谋大事，便去狱中探望，并向他询问对时局的看法。
这一场面有点像刘备三顾茅庐、问计天下的味道。根据《旧唐书》的记载，刘文静颇有试探的意味，对李世民说：“天下大乱，除非有商汤、周武王、汉高祖、汉光武帝那样的才干，否则不能平定天下。”
李世民则回答：“您怎么知道现在没有这种人？一般人看不出来罢了。”这话大有一种“舍我其谁”的味道。
由此可见，李世民是一个富有野心和大志的人，其夺权之心绝非始于后来的玄武门之变。所以，关于太子之位的兄弟相残，很大程度上是必然的。
而说到刘文静的试探，其实也是为了全心结交李世民。刘文静深知李世民有谋反的打算，于是提出了着名的“狱中对策”。不少史学家认为，这份对策堪比诸葛亮的《隆中对》。
之后，刘文静给李世民分析局势，说：“现在李密的瓦岗军正在围困洛阳，皇帝跑到江都去了，各路人马加起来多如牛毛，就差一个真命天子来驾驭了。
现在躲避盗贼的太原百姓都入了晋阳城，我在此做了数年县令，一旦举起大旗号召，可得十万雄兵。眼下你父亲手里就有大兵数万，你们如能举旗，民众必响应。
进取入关，号令天下，不到半年必成大业。”李世民听完后，更加坚定了反隋的决心。而这次牢房会晤之后，刘文静也成为了李世民的绝对心腹。
公元617年，李渊与刘文静在晋阳起兵反隋，史称“晋阳起兵”。
关于晋阳起义，根据《大唐起居注》和《两唐书》的记载，对于李渊和李世民谁是首谋有着不同的说法，但无论怎样，刘文静作为太原举兵预谋阶段的核心人物是毋庸置疑的。
在李唐创业的过程中，刘文静作为元从功臣，身兼谋士、外交官、将领多个角色，可谓居功至伟。
在举兵起事之前，李渊曾面临一个巨大的难题。当时隋炀帝虽然任命李渊为太原留守，但对他并不放心，所以派王威、高君雅二人作为副将监视他。而李渊想要起兵，首先就要铲除他们。于是，刘文静担负起了这个职责，设计处死了二人。
此外，当时天下虽然群雄并起，但许多人并无大的志向，只图据地自保，或是瞻前顾后，犹豫不决。