桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　山遐去東陽，王長史就簡文索東陽雲：“承藉猛政，故可以和靜致治。”

　　裴遐在周馥所，馥設主人。遐與人圍棋，馥司馬行酒。遐正戲，不時為飲。司馬恚，因曳遐墜地。遐還坐，舉止如常，顏色不變，復戲如故。王夷甫問遐“當時何得顏色不異？”答曰：“直是闇當故耳。”