却说太子广诈谋百出，构陷兄弟，全亏杨素一力帮助，因得如愿。素亦威权日盛，兄弟诸父，并为尚书列卿，诸子亦多为柱国刺史。广营资产，家僮数千，妓妾亦数千，第宅华侈，制拟宫禁。朝右诸臣，莫不畏附。惟尚书右丞相李纲及大理卿梁毗，正直不阿，与素异趋。毗且上书劾素，说他：“权势日隆，威焰无比，所私无忠谠，所进皆亲戚，子弟布列，兼州连县，天下无事，容息异图，四海有虞，必为祸始。陛下以素为阿衡，臣恐他心同莽懿，伏愿揆鉴古今，量为处置，使得鸿基永固，率土幸甚！”隋主览奏大怒，收毗系狱，亲加鞫问。毗毫不畏缩，且极言：“素擅宠弄权，杀戮无道，太子及蜀王得罪遭废，臣僚无不震悚，独素扬眉奋肘，喜见颜色，利灾乐祸，不问可知。”隋主听到此语，不由的忆念二子，发现天性，暗暗的吞声饮泪，不愿再鞫，乃命毗还系狱中，越日传敕赦毗。嗣又诏谕杨素道：“仆射系国家宰辅，不应躬亲细务，但阅三五日，一至省中，评论大事，便为尽职”等语。又出杨约为伊州刺史。素知隋主阴怀猜忌，更不自安；又见吏部尚书柳述，进参机密，得握政权，尤觉得心如芒刺，愤闷不平。好与杨广同谋弑逆了。
先是隋主第五女兰陵公主，下嫁仪同王奉孝，奉孝早世，公主年才十八，隋主欲令她改嫁，晋王广因妻弟萧，正在择配，拟请将公主嫁。偏是乃父不从，令适内史柳述。隋主最爱此女，更闻她敬事舅姑，力循妇道，益加心慰，遂累擢述至吏部尚书。广既为太子，与述未协，并见述徼宠预政，越觉生嫌，再加杨素亦常憾述，眼见是虎狼在侧，怎得相安？当时龙门人王通，具有道艺，讲学河汾间，门徒甚众，目睹朝政日非，孽子权臣，互为表里，料知祸乱不远，因诣阙上书，胪陈太平十二策。隋主不能采用，通即拟告归。杨素夙慕通名，留通至第，劝他出仕。通答道：“通尚有先人敝庐，足庇风雨，薄田数亩，足供饘粥，读书谈道，尽堪自乐，愿明公正己正人，治平天下，通得为太平百姓，受赐已多，何必定要出仕呢？”素闻
