到了内阁辅，位极人臣，不得不说，大明历史上也唯一只出过这么一位滚刀肉般的辅，于是时人只好送他“刘棉花”的外号，因为棉花不怕弹（劾）。
当时的内阁和朝堂一片乌烟瘴气，另外两名内阁大学士万安和刘翊也不是什么好货色，上梁不正下梁歪，所以当时的人们谓朝廷为“纸糊三阁老，泥塑六尚书”。
刘吉的脸皮厚到什么地步呢？
但凡稍微有点自尊心的人，被人骂了要么还嘴，要么羞惭引退，而刘吉不同，他死死霸占着官位不放，宁死也不辞，言官骂他已是家常便饭，他早已视之为浮云，弘治五年的时候，终于弘治帝也开始瞧他不顺眼了，于是派了内宦去他家里，暗示他好几次是不是该致仕告老之类的含蓄话，刘吉这朵奇葩揣着明白装糊涂，死活听不懂内宦弦歌之外的雅意，接连几次打内宦悻悻而归。
面对这位脸皮厚到如此地步的辅，弘治帝痛定思痛，决定不再跟他玩虚的，干脆命太监怀恩亲自到刘吉家里，指着他的鼻子直接了当地告诉他，陛下瞧你不顺眼了，想寿终正寝的话你还是乖乖上奏致仕吧，不然后果很严重，刘吉呆了好久，这才一副比死了亲爹更悲痛的表情，依依不舍地上了奏本告老。
一般对告老奏本的处理，皇帝都要三请三留，给足了面子再加个衔号，最后才貌似不舍地批准，唯独对刘吉的告老奏本特事特办，弘治帝生怕刘吉反悔似的，怀恩十万火急的把奏本送进宫，弘治帝星夜披衣而起，笔走龙蛇，二话不说便准了。一君一臣赶时间赶得如此匆忙，朝中一时谓为美谈。
弘治五年致仕，刘吉再也没被起用过，然而毕竟刘吉在朝堂混了一辈子，而且当过礼部尚书甚至内阁辅，门生故吏可谓满天下，党羽多如繁星，如今的刘谢李三位大学士见了刘吉，都不得不拱手为礼，以前辈称之。
……
……
一位曾经风光无限，位极人臣的大学士，一位是身陷囹圄，罢官免职的锦衣千户，秦堪想破脑袋都不认为他和刘吉之
