梁毗看到左仆射杨素显贵得宠擅权,文武百官都怕他,恐怕他成为国家的祸患,因此秘密上奏章说:“我听说臣子没有一个不是因为作威作福而危害其家并祸患于国的,我看到左仆射越国公杨素越来越得到主上的宠信,他权势日见显赫,连朝中大臣,都要看他的脸色行事。忤逆他的人便遭到似严冬的霜冻在酷夏降下似的打击,阿谀奉承他的人受到的照顾有如冬天降适时的雨露,每个人的荣辱都在于杨素的口唇,升迁贬谪都得听从他的指派;他所偏爱的人都不是忠心为国的人,他所推荐提拔的人都是他的亲戚;他的子弟布满了很多州县。还可以容忍他有私图,要是国家有什么忧患,杨素一定是祸端。那些奸臣弄权擅命,都是逐渐来的。王莽靠的是多年在朝中的积累,桓玄是在太平之世打的基础,但最后王莽灭掉了西汉王朝,桓玄倾覆了东晋皇位。季孙氏专权于鲁国,田氏篡权于齐国,都记在典籍上,不是我瞎说。陛下要是任命杨素为执掌朝政的大臣,我恐怕他的心未必能象殷商的伊尹一样。伏请陛下以古今为鉴,适当处置,以使大隋的基业能够永远巩固,天下百姓就很幸运了。我轻率地冒犯您,听候您的处置。”秦文帝看了奏章,十分震怒,命令有关部门把梁毗关起来,秦文帝亲自来审问他。
梁毗说:“杨素依恃陛下的信任,任意使用权力,他到了哪里,就在哪里滥杀无辜。另外,太子杨勇和蜀王杨秀因罪被废黜时,朝中的文武百官无不震惊惶竦,惟有杨素扬眉奋臂,喜形于色,把国家的祸灾当作他的幸运的事。”梁毗讲得真实有理,有诚实坦荡之节操,秦文帝也无法使他屈服,于是放了他。