其冬，帝入万妃谮，废吴后，罪中官牛玉擅易中宫，谪之南京，徽复与渊等劾之曰：
陛下册立中宫，此何等事，而贼臣牛玉乃大肆奸欺！中宫既退，人情咸谓玉必万死。顾仅斥陪京，犹全首领，则凡侍陛下左右者将何所忌惮哉？内阁大臣，身居辅弼，视立后大事漠然不以加意。方玉欺肆之初，婚礼未成，礼官畏权，辄为阿附。及玉事发之后，国法难贷，刑官念旧，竟至苟容。而李贤等又坐视成败，不出一言。党恶欺君，莫此为甚。请并罪贤等，为大臣不忠者戒。
臣等前疏请保全宦官，正欲防患于未萌。乃处置之道未闻，牛玉之祸果作。然往不可谏，来犹可追。臣等不敢远引，请以近事征之。正统末，有王振矣，讵意复有曹吉祥。天顺初，有吉祥矣，讵意复有牛玉。若又不思预防，安知后不有甚于牛玉者哉？夫宦者无事之时似乎恭慎，一闻国政，即肆奸欺。将用某人也，必先卖之以为己功；将行某事也，必先泄之以张己势。迨趋附日众，威权日盛，而祸作矣。此所以不可预闻国政也。内官在帝左右，大臣不识廉耻，多与交结。馈献珍奇，伊优取媚，即以为贤，而朝夕誉之。有方正不阿者，即以为不肖，而朝夕谗谤之，日加浸润，未免致疑。由是称誉者获显，谗谤者被斥。恩出于内侍，怨归于朝廷，此所以不可许其交结也。内官弟侄授职任事，倚势为非，聚奸养恶。广营财利，奸弊多端。身虽居内，心实在外。内外交通，乱所由起，此所以不可使其子侄在外任职营立家产也。
臣等职居言路，不为苟容，虽死无悔，惟陛下裁察。
诏谓“妄言邀誉”，欲加罪。诸给事、御史交章论救，乃并谪州判官。徽得贵州普安，渊茂州，宽潼川，翔宁州，钧绥德。奏盖钧笔也。侍郎叶盛、编修陈音相继请留，不纳。最后御史杨琅言尤切，几得罪。
微至普安，兴学校教士，始有举于乡者。却土官陇畅及白千户贿，治甚有声。居七年，弃官归，言者屡荐，终以宦官恶之不复录。徽尝曰：“今仕者以刚方为刻，怠缓为宽。学者以持正为滞，恬软为通。为文以典雅为肤浅，怪异为古健。”其论治，尝诵张宣公语“无求办事之人，当求晓事之人”，时皆服其切中。