可没想到李建成跟隋朝的废太子杨勇一样，每日里耽于酒色，多有失徳之处，李纲虽然屡有劝谏，但建议均不被采纳。那会李纲有了杨勇的前车之签，担心引祸上身，便以体弱老迈为由向唐高祖提出辞呈，没想到却遭到后者一通臭骂，不让他辞职。
后来李纲在留任原职的情况下，还进授为太子少保，要求他继续辅佐当时的太子李建成。
李纲辞职不成，只好继续服侍李建成，但后者对他的劝谏依旧置若罔闻，令李纲很是郁闷，怎么自己教授的太子都这个样子，这跟自己想象的不对，不过还好，那会李渊没废李建成的意思，这让老李纲觉得或许自己这次可以辅佐这个太子登基。
然而，让他没想到是，没过几年，“玄武门之变”爆发，李建成被李世民射杀，李渊不久后也被迫让位，李世民成了皇帝。