郗司空在北府，桓宣武惡其居兵權。郗於事機素暗，遣箋詣桓：“方欲共獎王室，脩復園陵。”世子嘉賓出行，於道上聞信至，急取箋，視竟，寸寸毀裂，便回。還更作箋，自陳老病，不堪人閑，欲乞閑地自養。宣武得箋大喜，即詔轉公督五郡，會稽太守。

　　武帝語和嶠曰：“我欲先痛罵王武子，然後爵之。”嶠曰：“武子俊爽，恐不可屈。”帝遂召武子，苦責之，因曰：“知愧不？”武子曰：“‘尺布鬥粟’之謠，常為陛下恥之！它人能令疏親，臣不能使親疏，以此愧陛下。”

　　顧長康畫謝幼輿在巖石妙。人問其所以？顧曰：“謝雲：‘壹丘壹壑，自謂過之。’此子宜置丘壑中。”