却说宦官鱼朝恩，专掌禁兵，势倾朝野，每有章奏，期在必允，朝廷政事，无不预议，偶有一事，不得与闻，即悻悻道：“天下事可不由我主张么？”自大如此，都是代宗一人酿成。养子令徽，为内给使，官小年轻，止得衣绿，尝与同列忿争，归告朝恩。朝恩即带着令徽，入见代宗道：“臣儿令徽，官职太卑，屡受人侮，幸乞陛下赐给紫衣！”代宗尚未及答，偏内监已捧着紫衣，站立一旁。朝恩不待上命，即随手取来，递与令徽，嘱他穿着，才行拜谢。看官试想！似这种自尊自大的行为，无论什么主子，也有些耐不下去。代宗却强颜作笑道：“儿服紫衣，想可称心了。”朝恩父子，昂然退去。自是代宗隐忌朝恩，元载窥知上意，乘间入奏，请除朝思。代宗嘱令暗中设法，毋得泄机。
除一阉宦，须嘱宰相暗地设谋，真是枉做皇帝。元载遂贿托卫士周皓，及陕州节度使皇甫温，令图朝恩。这两人本是朝恩心腹，因见了黄白物，不由不贪利动心，遂与元载串同一气！载又徙温为凤翔节度使，温入朝陛见，载留他居京数日，悄悄的布定密谋，入白代宗。代宗称善，但嘱他小心行事，勿反惹祸。畏葸之至。载应诺而出。会值寒食节届，代宗在内殿置酒，宴集亲贵。朝恩亦得列坐，宴毕散席，朝恩亦谢恩欲出。忽元载领着周皓皇甫温等，踉跄趋入，七手八脚，将朝恩一把抓住，捆缚起来。朝恩自呼何罪，当由代宗历数罪状，朝恩尚哗词答辩，毫不服罪。代宗谕令自尽，即由周皓等牵出朝恩，将他勒死，乃下敕罢朝恩观军容等使，出尸还家，诈说他受敕自缢，特赐钱六百万缗，作为葬费。神策军都虞侯刘希暹都知兵马使王驾鹤，向系朝恩羽翼，至是俱加授御史中丞，俾安反侧。后来希暹有不逊语，反由驾鹤奏闻，勒令自尽。所有朝恩余党，从此不敢生心。
惟元载既诛朝恩，得宠益隆，载恃宠生骄，自矜有文武才，古今莫及，于是弄权舞智，约贿贪赃。吏部侍郎杨绾，典选平允，性又介直，不肯附载，岭南节度使徐浩，搜括南方珍宝，运送载家，载即擅徙绾为国子祭酒，召浩为吏部侍郎。代宗素器重李泌，特令中使敦请出山。泌应召至京，复赐金紫，命他入相。经泌一再固辞，乃在蓬莱殿侧，筑一书院，使泌居住，遇有军国重事，无不咨商。泌素无妻，且不食肉，代宗强令肉食，且为娶前朔方留后李暐甥女，赐第安福里，生子名繁。长源亦堕尘劫耶？偏元载阴怀妒忌，屡欲调泌出外，免受牵掣，适江西观察使魏少游，请简僚佐，载谓泌有吏才，请即简任。代宗亦知载有意调泌，特密语泌道： “元载不肯容卿，朕今令卿往江西，暂时安处。俟朕除载后，当有信报卿，卿可束装来京。”泌唯唯受命。何不仍归衡山，想是一入尘迷，便难洒脱。