么被罢官，要么被陷害入狱。当时的朝堂，几乎成了五侯的“一言堂”，桓帝虽然名义上是皇帝，却逐渐被五侯架空，再次沦为“傀儡”。
五侯的倒行逆施，引起了士大夫阶层的强烈不满。以李膺、陈蕃、杜密为代表的“清流”官员，开始公开反对五侯专权，他们纷纷上书桓帝，弹劾五侯及其党羽的罪行。
延熹三年（公元160年），司隶校尉李膺上书弹劾单超的侄子单匡，列举了他在济阴太守任上的贪污、杀人等罪状，并要求将单匡下狱查办。单超得知后，在桓帝面前哭诉“李膺故意针对单氏”，桓帝竟下令将李膺贬为槐里令。可李膺并不屈服，上任后仍继续打击单氏的党羽，单超气得吐血，却因李膺声望太高，不敢轻易杀他。
同年，太尉陈蕃上书桓帝，指出“五侯专权，百姓困苦，若不加以约束，恐生祸乱”。桓帝看完奏折后，对陈蕃说了句“朕知道了”，便没有下文。陈蕃再次上书，在奏折中写道：“陛下若再纵容五侯，恐重蹈梁冀专权之覆辙！”这句话触怒了桓帝，也触怒了五侯。徐璜、左悺等人纷纷在桓帝面前诋毁陈蕃，最终陈蕃被罢去太尉之职，回家养老。
士大夫的反抗，不仅没有让五侯收敛，反而让他们更加嚣张。为了镇压反对者，五侯开始大肆诬陷“清流”官员，将他们冠上“结党营私”的罪名，投入大牢。延熹五年（公元162年），南阳太守成瑨、太原太守刘瓆因打击宦官党羽，被五侯诬陷“谋反”，最终被押赴洛阳处死。此事在士大夫中引起轩然大波，各地官员纷纷上书抗议，却都被桓帝驳回。
不过俗话说得好，物极必反，五侯的权力达到顶峰后，必然就会发生反转，延熹三年（公元160年），单超因病去世。单超的去世，让五侯之间的平衡被打破，徐璜、具瑗、左悺、唐衡四人开始相互倾轧，争夺权力。
徐璜想取代单超的地位，便暗中收集具瑗的罪证，举报具瑗的弟弟具恭在沛国的恶行。具瑗得知后，也不甘示弱，举报徐璜的侄子徐宣强抢民女、草菅人命。两人在桓帝面前相互指责，桓帝是各打五十大板，只将具恭、徐宣罢官，并没有追究徐璜和具瑗的责任。
可这样的“和稀泥”，并没有解决问题。延熹七年（公元164年），徐璜因病去世；次年，唐衡也去世。剩下的具瑗和左悺，矛盾更加尖锐。左悺暗中买通了具瑗的家奴，收集了具瑗贪污受贿的证据，然后在桓帝面前揭发。桓帝此时早已对五侯感到不满，便借此机会下令彻查具瑗。
经查，具瑗在任期间，贪污的财物达数千万钱，家中的良田、奴婢不计其数。桓帝大怒，下令将具瑗免官，贬为庶民，并没收其全部家产。具瑗不堪受辱，在流放途中自杀身亡。
具瑗死后，左悺成了五侯中唯一的幸存者。可他并没有因此收敛，反而更加贪婪。延熹八年（公元165年），左悺因勒索郡国官员财物达数百万钱，被司隶校尉韩演弹劾。桓帝下令将左悺下狱，左悺知道自己难逃一死，在狱中自杀。
至此，曾经权倾朝野的“单超五侯”，全部退出了历史舞台。他们或病死，或自杀，或被贬为庶民，无一善终。
