正德初，户部尚书韩文言会计不足。廷议谓理财无奇术，唯劝上节俭。芳知左右有窃听者，大言曰：“庶民家尚须用度，况县官耶？谚云‘无钱拣故纸’。今天下逋租匿税何限，不是检索，而但云损上何也？”武宗闻之大喜。会文升去，遂擢为吏部尚书。韩文将率九卿劾刘瑾，疏当首吏部，以告芳。芳阴泄其谋于瑾。瑾遂逐文及健、迁辈，而芳以本官兼文渊阁大学士，入阁辅政，累加少师、华盖殿大学士。居内阁数年，瑾浊乱海内，变置成法，荼毒缙绅，皆芳导之。每过瑾，言必称千岁，自称曰门下。裁阅章奏，一阿瑾意。四方赂瑾者先赂芳。子黄中，亦傲很不学，廷试必欲得第一。李东阳、王鏊为置二甲首，芳不悦。言于瑾，径授翰林检讨，俄进编修。芳以黄中故，时时詈东阳。瑾闻之曰：“黄中昨在我家试石榴诗，甚拙，顾恨李耶？”
瑾怒翰林官傲己，欲尽出之外，为张彩劝沮。及修《孝家实录》成，瑾又持前议，彩复力沮。而芳父子与检讨段炅辈，教瑾以扩充政事为名，乃尽出编修顾清等二十余人于部曹。有司应诏举怀材抱德之士，以余姚人周礼、徐子元、许龙，上虞人徐文彪四人名上。瑾以礼等皆迁乡人，而诏草出健，因下四人诏狱，欲并逮健、迁。东阳力解之。芳厉声曰：“纵贳其罪，不当除名耶？”乃黜健、迁为民，而榜逐余姚人之为京官者。
满剌加使臣亚刘，本江西万安人，名萧明举。以罪叛入其国，与其国人端亚智等来朝。既又谋入浡泥国索宝，且杀亚智等。事闻，方下所司勘奏。芳即署其尾曰：“江西土俗，故多玩法，如彭华、尹直、徐琼、李孜省、黄景等，多被物议。宜裁减解额五十名，通籍者勿选京职，著为令。”且言：“王安石祸宋，吴澄仕元，宜榜其罪，使他日毋得滥用江西人。”杨廷和解之曰：“以一盗故，祸连一方，至裁解额矣。宋、元人物，亦欲并案耶？”乃止。
芳深恶南人，每退一南人，辄喜。虽论古人，亦必诋南而誉北，尝作《南人不可为相图》进瑾。其总裁《孝宗实录》，若何乔新、彭韶、谢迁皆肆诬诋，自喜曰：“今朝廷之上，谁如我直者。”