景帝即位后，邓通很快被免，“家居”，不久便被人告发而“下吏验问”，财产没收，最后的下场是“竟不得名一钱，寄死人家”。邓通落得此下场，可能与文帝在世时为文帝吸脓，而太子（景帝）吸时则面有难色，遭太子忌恨有关（汉93/3723-3724），是否果真如此，无从查考。成帝即位后，石显迅即从中书令的要职上迁为长信中太仆，秩中二千石，官秩提高不少，却脱离了控制皇帝文书往来的枢纽。对成帝而言，在维护其太子地位上，石显“颇有力”，主观上并无意惩处石显，但在大臣眼中，“势”与“职”紧密相关，调离要津无疑是失势的信号。当时中书令一职并未罢除，那是四年后的建始四年（前29年）春才出现的[15]。眼见石显不再任中书令，无法控制文书上传下达，原先畏葸阿附他的丞相匡衡与御史大夫张谭不久便开始“条奏（石）显旧恶”[16]，结果石显本人与党羽一道被免官，徙归故郡，郁闷死于途中（汉93/3729-3330）。实际上，成帝的处理，相当克制，免官相当于对考课落第与严重职务犯罪的处罚[17]，绝无置石显死地之意。确如时人感叹的“用之则为虎，不用则为鼠”“旦握权则为卿相，夕失势则为匹夫”[18]，墙倒众人推，被逼入死境。董贤早就成为众矢之的，哀帝一死，很快就被王莽收拾。