石显的名声太臭，所以刘骜一上台第一个看不顺眼的就是这个人，自然要拿他开刀。
建始元年（前32年），新上任的大司马大将军，也就是刘骜的舅舅王凤提出，刘骜顺水推舟，把石显降官为长信太仆。
石显在元帝朝一直红的发紫，虽然不怎么在朝议上出现，但却借着其党羽干预朝政，可谓显赫一时，只手遮天。
他也知道如此不是长久之计，所以做事滴水不漏，让人抓不住把柄。不过，他却未曾想到，倒霉的一天会来得这么快。
短短的16年，弹指一挥间。
他只能怪自己眼神不好，把宝压在了刘康身上，而忽略了那“不成器”的太子。
王凤的意思，只要搬开石显，不让他有弄权的机会就可以了，现在新官上任，还不能搞出太大的事端，给新皇添麻烦。等到他甥舅俩的地位稳固了，再慢慢折磨石显不迟。
可令他想不到的是，石显贬职却让满朝文武嗅到了一丝明确的气息。
“石显要不行了！”
丞相匡衡，御史大夫张谭当年对石显俯首帖耳，在石显面前，连个屁都不敢放，俨然就是唯石公公马首是瞻的模样。如今，一看形势不对，赶紧上了一道折子。
这折子是参石显的，其中历数了石显及石显党羽的数条大罪，大义凛然地跟石显撇清关系。
刘骜在看到这个折子时，简直勃然大怒。
以前他只是听说石显是个坏蛋并未亲见，没想到这家伙居然坏到了骨子里。
“此人留不得。但念在其服侍先帝的功劳上，只是免官迁回原籍，不杀其性命。”刘骜的话很快传达下去。
石显回天乏力，只能一肚子气地把卷起铺盖，离开了呆了数十年的宫廷，去往家乡章丘。他的党羽少府五鹿充宗由少府降为玄菟太守，御史中丞尹嘉降为雁门都尉，虽说都是蛮荒之地，但好歹还是个关，其余人就没他们两一般幸运，一律卷铺盖丢官。
石显一路颠簸，思绪却万千。
十几年浮华，竟似历历在目，那一人之下，万人之上的感觉骤然失去，心里不是滋味。他甚至做梦都在想，皇上或许会大发慈悲，会叫他回去，这偌大的宫殿，哪一样离开得了他的操持。
他看得狠清楚，当今天子，是个花花肠子，美酒美色，样样皆爱，朝政，离了他，又岂能运转下去。
他一路走得磨磨蹭蹭，就是料定新皇上会有求于他。
他看得不错，新皇上的确不是个好料，但是他有一群比他石显更为野心赫赫的舅舅，有他们在，石显不会再有机会。
磨蹭了十日，二十日，一个月…
石显彻底地失望了，他满面倦容，就如一棵枯树，失去了生机，不见得逢春的气息。
他死了，死在了忧愤中，他竟然得以全身而死。
不管石显怎么想，其实从他降职的那一刻，朝局就不在他的掌控之中。
丞相匡衡，御史大夫张谭只是为了混个安稳的日子而已，取他而代之的是大司马大将军王凤。
石显一走，本来匡衡，张谭应该长舒一口气。可这哥两却连着皱了数日的眉头。
原因是来自一封司隶校尉王尊的骇奏。
王尊的奏章中说得很直白，他说丞相，御史大夫这哥两在先帝时就投靠了石显，他们只为了保持官位而不顾大臣的职责，现在石显一出事，他们两就跳出来发难，乃取巧弹奸，失大臣体，应当论罪。
刘骜收到王尊的奏章，心中也很清楚，匡衡和张谭就是混的，过错肯定有，可他考虑到自己刚刚即位，就罢免三公，似乎不是很妥当，于是，只能把奏章压在一边，不置可否。
匡衡自从得知王尊参他，经过多日的挣扎，最终做出了个决定，辞职。
“还是主动闪吧，等到皇上主动开刀，那就晚了。”
匡衡一把鼻涕一把泪地跪在刘骜的面前，陈述着辞职的缘由，并当场交还自己的丞相印绶。
匡衡的这一出把刘骜弄得左右为难，在赐还印绶的同时连忙拿好话安慰他，“请老丞相别轻信了他人言，朕不会为难你的。”
“可…”
“可什么…可是那个王尊…那个王尊妖言惑众，中伤大臣，朕已将他治罪贬官。您老放心就是。”
看着刘骜一脸严肃，不像开玩笑的样子，匡衡才渐渐放心。
匡衡依旧是丞相，只是王尊却被贬为高陵令。
这件事暂时平息了，但却远未结束，因为朝廷中同情王尊而非议丞相的越来越多，连王凤都认为王尊受了委屈，只是他刚刚就任，还不能出手打丞相的主意。
因此，只能骑驴看唱本，走着瞧了。