单雄信是曹州济阴(今山东菏泽市曹县西北）人，自少年时就骁勇善战，善于马上用枪。[1]隋大业七年（公元611年），与单雄信同郡且关系较好的法曹翟让因犯事逃亡瓦岗(今河南滑县南），设瓦岗寨反隋。同样对隋不满的单雄信、徐世勣等也先后前去投靠，之后，翟让采用徐世勣建议，在永济渠以劫公私船只为生，并逐渐聚集起万余瓦岗军。 大业九年(公元613年），隋炀帝第二次出征高句丽期间，对其统治不满的杨玄感纠集李密等起兵反隋，杨玄感兵败被杀后，李密及其部下在被解送高阳受审途中以重金利诱押解军士，在他们放松警惕后挖墙逃走，但四处逃亡受阻，只好于大业十二年(公元616年）前去投靠瓦岗寨。之后，因其谋略与政治眼光，李密逐渐获得了瓦岗首领翟让及其部下的信服。 大业十三年(公元617年)，翟让在王伯当、徐世勣等的建议下，让位于威信日重的李密。成为瓦岗之主的李密随即称魏公，将翟让封为司徒，而单雄信、徐世勣也分别被封为左、右武侯大将军。[瓦岗军随后在李密的带领下日渐壮大，并于大业十三年（617年）猛攻洛阳，击败了包括隋朝将领王世充援军在内的十万洛阳守军。此后，永安大族周法明、齐郡起义军首领徐圆朗、任城大侠徐师仁、淮阳太守赵佗也先后归附。
