虽然暂时脱离了危险，但东躲西藏总不是办法，李密便决定去东郡(今河南滑县东)投奔一支比较强大的起义军。
这支起义军以瓦岗寨为根据地，多数成员都是擅长使用长枪的渔民和猎户，还有一些贫苦农民，他们都很勇敢善战。瓦岗军的首领翟（ｚｈáｉ）让，作战骁勇，而且有胆略，有气度，在瓦岗军中有很高的威望。他率领瓦岗军专门打击官府富豪，前来投奔的人越来越多，起义军队伍扩大到一万多人。
李密参加瓦岗军后，帮助翟让整顿队伍，还积极联络附近各部起义军，说服他们与瓦岗军联合，听从翟让指挥。翟让非常高兴，对李密越来越信任。
李密鼓励翟让干一番大事业，建议首先攻打荥阳，并获得了胜利。隋炀帝派大将张须陀带重兵来镇压。李密请翟让正面迎敌，自己则在荥阳大海寺北面的丛林里设下埋伏，把张须陀率领的官军引进圈套，全部歼灭，张须陀也成了瓦岗军刀下之鬼。从此，瓦岗军声威大震，李密的威信也提高了。他不但要求部下纪律严明，而且自己能以身作则，生活也过得很朴素，从而赢得了瓦岗军上下的拥戴。
攻打荥阳胜利后，第二年春天，李密又建议翟让趁隋炀帝到江都巡游、东都洛阳空虚的机会，赶紧进攻洛阳。不料被官方察觉，加强了洛阳的防御力量。李密当即改变计划，建议先攻打洛阳附近的兴洛仓(在今河南巩义东北)，一战而获全胜。
兴洛仓是隋朝最大的一个粮仓，瓦岗军把它攻克后，马上开仓赈（ｚｈèｎ）饥。常年挨饿的百姓，从四面八方拥向粮仓，当他们领到粮食时，一个个眼中含着泪花，对瓦岗军充满了感激之情。
贫苦的农民纷纷参加瓦岗军，孟让、郝孝德等部起义军也来归附，瓦岗军很快发展到几十万人，占领了河南大部分郡县。这时，翟让感到自己的能力不如李密，就把首领的位子让给了他。李密取得瓦岗军领导权后，建国号为魏，被推为魏公，兼任行军元帅，政权机构称“行军元帅魏公府”。
李密在整顿了内部机构的同时，发布檄（ｘｉ）文，声讨隋炀帝的罪行，号召人民起来推翻隋王朝。他还大量起用隋的降官降将，引起原来一些起义军部将的不满。为了巩固自己的地位，李密又安排刀斧手，设计杀害了翟让。从此，瓦岗军内部发生严重分裂，开始走了下坡路。
此后，李密一边与隋军大将宇文化及作战，一边派人到洛阳朝见隋越王杨侗，受封官爵。后来与隋将王世充交战失败，入关投降了唐朝，不久又因反唐被杀。