霍光一去世，汉宣帝就着手对付霍家，就连霍光的儿子霍禹都对此百思不得其解。他对好友抱怨，霍家对陛下有恩，陛下何以冷落霍家至此？

直到霍禹的母亲霍显告诉了霍禹一个惊天秘密，霍禹才恍然大悟，霍家已经没有退路。

公元前 74年，18岁的刘病已在霍光的扶持下登上皇位，也就是汉宣帝。汉宣帝不想委屈了民间的发妻，想立许平君为皇后。霍显为了让许平君给自己的女儿霍成君腾位置，他竟然买通许平君身边的医女，下毒杀害了许平君。悲痛的汉宣帝下令彻查这件事。最后碍于霍光的势力，最终此事不了了之。

第二年，汉宣帝就娶了霍光的女儿霍成君为皇后。但这件事并没有就此结束，而是为霍家的毁灭埋下了伏笔。霍光在世的时候，汉宣帝对霍光的态度一直是恭恭敬敬的，朝堂大事也由霍光说了算。

等到霍光一去世，汉宣帝的态度便为之一变。在霍光去世的第二年，汉宣帝便把许平君的儿子刘奭立为皇太子。汉宣帝立太子的同时，也把许平君的父亲许广汉封为了平恩侯。

此时，虽然霍光已经去世。但霍家的势力还在，霍光的儿子霍禹担任右将军，并像霍光一样领尚书事。但是对付霍禹显然比对付霍光要容易得多。接着，汉宣帝在一次地震之后，以上天警示，朝廷不能在军事上投入太多为理由，解除了霍禹右将军的职位。

与此同时，汉宣帝也开始瓦解霍氏的党羽。他通过升职或者评级调动的方式，把霍光的女婿等和霍氏关系密切的人调离了要害部门，甚至远离长安。于是，霍家党羽看似是升官了，可是对汉宣帝的威胁却降低了。

此时的霍禹，虽然对汉宣帝削弱霍家有所不满，但还只是停留在口头抱怨之上。直到霍禹的母亲霍显把毒杀许平君的事情告诉了霍禹。霍禹才明白了汉宣帝为什么针对霍家。而且他们也知道，毒杀皇后是灭族的大罪，霍家已经走到了绝路。没有了退路，他们和汉宣帝将不死不休。

霍家的密谋很快就被汉宣帝知道了，汉宣帝轻而易举的就把他们一网打尽了。霍家的第二代当家霍禹被腰斩，霍显被处死，霍去病的孙子霍山和霍云则自尽身亡。霍家全族被灭，唯有皇后霍成君被废之后，移居昭台宫，保住了一条命。有好几千家因为和霍家牵连被灭族。以至于多年之后，汉朝的皇帝想找霍光的后人来祭祀霍光，却发现霍家人全被汉宣帝杀光了。

至此霍去病和霍光两大家族彻底烟消云散。

霍氏当时的权势有多大：

霍光的儿子霍禹为右将军，手上握有兵权，且领尚书事。

霍光的侄孙霍云是中郎将，统领皇帝的侍卫。

霍光的另一侄孙霍山是奉车都尉，负责皇帝车马仪仗。

霍光的女婿范明友是未央宫卫尉，负责保护皇帝安全。

霍光的女婿邓广汉是长乐宫卫尉，负责保护太后的安全。

在朝为官的党羽更是难以计数。可以说，没有一个皇帝能容忍这么一个超级家族的存在。