许皇后死后，虽然霍光的小女儿成为了皇后，但刘病已还是立许皇后的遗腹子刘奭为太子。霍光老婆听说刘奭被立为太子，气得饭都吃不下，还吐了几口血，骂道：这是在民间生的儿子，怎么能立为太子！跟皇后生的儿子，反倒成为诸侯王了？
老太太命令皇后去毒杀太子。
有这么个老妈，女儿心地也不咋地，皇后也就拿着毒药要给太子吃，但每次太子吃的东西都要保姆先尝，皇后一直没有找到机会下手。
几年过去了，霍光挂了，姓霍的仍然独霸朝堂，老太太更是变本加厉，把房子装修得富丽堂皇，车子都不用油漆，而是直接用黄金涂抹，连伺候的女婢也都是身穿各类奢侈品游戏宫中，乱搞男女关系。而霍禹、霍山这些人更是四处建造别墅，霍云更嚣张，应该上朝开会的时候，他请病假，出去旅游了。
刘病已当年还在民间时，就知道姓霍的称霸朝廷，谁都不敢管他们。到了自己亲政后，派御史大夫魏相当给事中，管理后宫的事，老太太早前就告诫过霍禹、霍云、霍山：你们还是要收敛些，现在御史大夫兼任了给事中，如果有人告发你们，你们能自保吗？
后来有一次，霍、魏两家的奴仆争路，霍家奴仆竟然冲入御史的办公室，要踢魏相的办公室门，没想到御史大夫亲自出来认错，霍家的奴仆才就此罢休。
老太太霍显听说，一点也不高兴，反倒觉得魏相这个人不是一般的可怕，开始担忧霍家的前途。
魏相很快升为丞相，刘病已很看重他，经常与他谋划，他的老丈人许广汉与侍中金安这些人也时常在宫中进出，虽然霍山是尚书，管理大臣文书传递给皇帝，但刘病已绕过他，允许下面的大臣可以不经过尚书，直接把文书交给皇帝。
这等于是不信任霍山，姓霍的自然明白是怎么回事。
许皇后被毒杀的传言，刘病已也听说，只是没有证据可以证明。
但是人事调动，刘病已是可以做的，把关键岗位上姓霍的都调开，削弱他们的势力。
把度辽将军、中央卫位范明友——霍光的女婿，调为光禄勋，不带兵了，负责管理后宫事务；霍光的二女婿，直接被下放到西北的安定城去做太守。过了几个月，又把霍光的姐夫张望调离中央，去做蜀郡太守。霍光的孙女婿王汉则去武威做太守。
张安世成为京城卫将军，北军归他节制。霍禹虽然被任命为大司马，但没有印玺和绶带，撤销了他以前统领的屯戍部队和官属，只有一个有名无实的称谓。
霍家掌握兵权的人，几乎都被剥夺了兵权，脱离了军方，成为政府的管理者。
