翟让，河南东郡韦城人，曾任隋朝东郡法曹(古代司法官员)，后来犯了罪被判死刑，关在牢里等候执行。看管他的牢头叫黄君汉，是个侠客，认为以翟让的才能，会成就一番事业，死于牢狱实在可惜，于是晚上偷偷放了翟让叫他逃走。翟让也很有义气，不肯走，说如果自己走了，官府追究责任一定会连累救命恩人。黄君汉大怒，说道：“我今日救你不是为了别的，只是看你是个大丈夫，在这乱世里能救百姓之命，你以后努力自勉就是对我的报答了，何必现在作此儿女之态!”于是，翟让逃到东郡境内的瓦岗聚众起义。
在单雄信、徐世(后来被李渊赐姓李，改名为李世，他与翟让起兵时年仅17岁)的辅佐下，翟让的瓦岗军发展迅速。由于瓦岗地近运河，是舟商漕运的要道，翟让等据此夺取运河上公私船只的货物，所以军资充足，来归附的民众有万余之众，成为河南、山东一带义军中最强的一支。此时，因参加杨玄感起事而亡命雍丘一带的李密投奔瓦岗，为翟让出谋划策。翟让接受李密的建议，先说服附近小股起义军来归附，然后攻下荥阳的金堤关和附近一些小县城，一时瓦岗军声威大震。