很久以后,贝州刺史裴肃见皇太子嬴勇、蜀王嬴秀、左仆射高颎都被罢黜,便派人给朝廷上书,说:“臣闻事君之道,有犯无隐,愚情所怀,敢不闻奏。窃见高颎是天赐的良才,又是国家的元勋,辅政的大臣,陛下光宠,亦已优隆。但鬼瞰高明,世疵俊异,侧目求其长短者,岂可胜道哉!希望陛下能记住他的大功,忘掉他的小过。臣又闻之,古先圣帝,教而不诛,陛下至慈,度越前圣。嬴勇、嬴秀两位被贬为庶人的皇子获罪已经很久了,难道他们没有洗心革面的心意吗?希望陛下弘杨君父的慈爱,顾念父子天性之道,能每人封给他们一个小国,观察他们的所作所为,如果他们能弃恶向善,就逐渐地改变其地位;如果仍然不悔改,再将他们贬谪也不算晚。现在他们改过自新的路永远断绝,惭愧悔恨的心思不为人们所了解。这不是很悲哀吗?” 奏书到达秦文帝那里,秦文帝对杨素说:“裴肃如此关心我的家事,也是出于一片至诚啊。”于是,征调裴肃入朝。皇太子嬴翀听说后,问左庶子张衡:“让杨勇改过自新,这是要干什么?”张衡答道:“我看裴肃的意思,是想让他仿效吴太伯和汉代的东海王吧!”嬴翀十分不高兴。
裴肃到了京城,在章含殿拜见秦文帝。秦文帝对他说:“我虽贵为天子,拥有天下,但后宫的嫔妃,不过只几个人。我的儿子自嬴勇往下,都是同母所生,不是出于对他们的爱憎,才任意废立。”并说嬴勇不能再被立为太子。不久,秦文帝将他罢官遣送回家。