但是刘询的做法没有达到他想要的效果，霍家人犹如惊弓之鸟，只能加快了谋反多位的计划。
他们认为，留下来的时间已经不多。
霍家人开了一次家庭会，会议主旨是讨论一下当前复杂多变，极其严峻的形势。霍山等人指出，“张赦一事，是县官看在太后的面子上，没有继续追究。但是现在朝廷已经注意到我们了，就算不反，也难逃一死。不如先发制人，尚有生路。”
霍山等人希望姊妹们把话带给掌握兵权的妹夫姐夫们，让他们及早准备。
霍家的夫婿们也是一致领会到了会议精神，他们都是明白人，他们的小舅子已经犯了诛九族的罪，身为他们的亲戚即便不动手也脱不了干系，所以只能跟着一块大干一场。
事情在往最坏的局面发展。
霍云的舅舅李竟首先出事，他被指控私自结交诸侯王，下狱。
刘询因此事下诏免去霍云霍山的所有职务。
刘询在朝议上将霍氏不法的行径当着众大臣的面责问霍禹，直说得霍禹额头冒汗，却找不到一句话来反驳。
“这会不会是皇帝要动手的信号？”霍家人连做梦都在思考这个严峻的问题。
事实上，刘询就是想打击一下霍家人的气焰，并非要致他们于死地。
地节四年（前66年），霍家人召开了动手前的最后一次家族会议。
终于要反击了，日子已经约好，那天是吉日。
刘询并未发觉。
他与丞相等人继续削夺霍家的权力。霍云外放为玄菟太守，任宣为代郡太守。霍山因删改奏章罪发，入狱。
这还不算完。
亭长张章因告发张赦获得封赏，他尝到了甜头，暗中看紧了霍府。
功夫不负有心人，他终于获得了霍氏密谋造反的证据。
检举信再一次送到了刘询的办公桌上。
那还等什么呢？
“令廷尉府将他们一网打尽。”
刘询还是发布了拘捕乱党的谕令。
长安城再一次躁动起来了，街头巷尾满是兵丁，霍家亲朋故旧的大门被敲得砰砰作响。
范明友火速赶至霍府，告知霍山，霍云，希望他们赶紧想出对策。
他们真的想出了对策。
他们的对策就是服毒。
霍山，霍云，范明友服毒自杀，霍禹腰斩，其余霍家亲友悉数处死。
盛极一时的霍氏从此销声匿迹了。