謝萬北征，常以嘯詠自高，未嘗撫慰眾士。謝公甚器愛萬，而審其必敗，乃俱行。從容謂萬曰：“汝為元帥，宜數喚諸將宴會，以說眾心。”萬從之。因召集諸將，都無所說，直以如意指四坐雲：“諸君皆是勁卒。”諸將甚忿恨之。謝公欲深箸恩信，自隊主將帥以下，無不身造，厚相遜謝。及萬事敗，軍中因欲除之。復雲：“當為隱士。”故幸而得免。

　　謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。

　　王江州夫人語謝遏曰：“汝何以都不復進，為是塵務經心，天分有限。”