翟让初任东郡法曹,后来因犯罪该当被处死。狱吏黄君汉认为翟让骁勇不寻常,于是在夜里悄悄对翟让说:“翟法司,天时人事,也许是可以预料的,哪能在监狱里等死呢?”翟让又惊又喜,说:“我翟让,是关在圈里的猪,生死只能听从黄曹主的吩咐了。”黄君汉当即给翟让打开枷锁,翟让再三拜谢说:“我蒙受您的再生之恩得以幸免,但黄曹主您怎么办呢?”于是流下泪来。黄君汉发怒道:“我本以为你是个大丈夫,可以拯救黎民百姓,所以才冒死来解救你,你怎么却象儿女子弟一样以涕泪来表示感谢呢?你就努力设法逃脱吧,不要管我了!”于是翟让逃亡到瓦岗(今河南滑县东南)为盗。
与翟让同郡的单雄信,骁勇矫健,擅长骑马使矛,他招集年轻人前去投奔翟让。离狐人徐世勣家在卫南,十七岁,有勇有谋,也前来投靠翟让,他们以瓦岗为根据地,故称瓦岗军。徐世勣劝说翟让:“东郡对于您和我都是乡里,那里的人大都认识,不宜去侵犯抢掠他们。荥阳、梁郡,是汴水流经的地方,我们抢劫行船,掠夺商人旅客,就足以自给。”翟让同意他的建议,于是就率众进入荥阳、梁郡的境界,抢掠公私船只,因此供给充裕,来归附的人越来越多,徒众达一万余人。
大业十二年(616年),贵族出身的李密,在参加杨玄感起兵失败后,投奔瓦岗军。 李密较有政治眼光,他建议翟让积极发展势力,扩大影响。翟让重视李密的建议,首先攻取荥阳。荥阳是中原的战略要地,向东是一片平原,向西是虎牢关。虎牢关以西的巩县有隋朝的大粮仓洛口仓。取得洛口仓不仅可以得到大量的粮食,而且已逼近东都洛阳。可见,夺取荥阳是瓦岗军发展势力的重要一步。面临强大的瓦岗军,荥阳太守杨庆无可奈何,隋炀帝特派“头号名将”、“威振东夏”的张须陀为荥阳通守,镇压瓦岗军。李密认为张须陀勇而无谋,遂建议翟让与张须陀正面接战,佯败而北走。李密率精兵埋伏在荥阳以北的大海寺附近,张须陀紧跟翟让十余里,到大海寺以北的林间时,李密伏兵四起,隋军陷入重围。张须陀本来掉以轻心,更加突如其来的强兵,使他措手不及,战败被杀。这次失败,隋军“昼夜号哭,数日不止”。可见,这次瓦岗军的胜利是对隋炀帝政权的沉重打击。
贫苦农民大量参加起义军。隋朝在洛阳的越王杨侗派遣虎贲郎将刘长恭率军二万五千人前往镇压。翟让、李密预先侦知隋军的动向,作了周密的部署。刘长恭对瓦岗军的情况则一无所知,表面看到瓦岗军的人数不多,遂麻痹大意起来,瓦岗军乘隋军初来乍到,饿饥疲惫之时,大举进攻,隋军大败,死者十之五六。刘长恭仓皇逃回洛阳。瓦岗军得到大量的辎重器甲,力量壮大,声威大振。同年四月,瓦岗军逼近东都城郊,攻破回洛仓(在今河南洛阳东北),致使东都粮食缺乏,陷入困境。九月,瓦岗军攻破黎阳仓(在今河南浚县东南),开仓济贫,起义军增加二十多万。这时,瓦岗军有数十万之众,控制中原广大地区,达到鼎盛时期。瓦岗军还公开宣布隋炀帝的十大罪状,明确表示要推翻隋炀帝政权。
隋炀帝对瓦岗军恨得要死,怕得要命,连忙派心腹王世充前往洛阳镇压瓦岗军。 十月十五日,也就是萧铣称王之后的第六天,一直在与瓦岗军对峙的王世充采取重大的军事行动。他率军连夜渡过洛水,在黑石设立营垒。第二天让一部分军队守营,以免后路被切断,王世充自己率领精兵来到洛水北岸列阵。李密得知这一情况之后,率兵前来迎击,结果瓦岗军大败,瓦岗军的重要谋士柴孝和落水溺死,李密率领精锐骑兵渡河来到洛水南岸,其他的将士向东来到月城,王世充的追军包围月城。王世充知道,此时只要把月城的敌军歼灭,瓦岗军将会元气大伤。就像下围棋一样,只要屠掉对方一条大龙,这局棋十有八九就会拿下。作为一个满腹经纶的人,而且还经过多次战争的磨砺,李密当然也明白这个道理。所以,他决不能让王世充把自己的大龙屠掉。但是怎么才能不让对方屠自己的大龙呢?李密有办法。那就是屠对方的大龙!按照兵法上说,就是围魏救赵之计。李密率领战败后跟随着他的那部分精锐骑兵直奔黑石而去。拿下黑石,王世充的不仅退路被断,而且粮草补给也将失去渠道。李密这招果然厉害。也许是王世充把精兵悍将都带走攻击瓦岗军去了,留在黑石军营的将士面对瓦岗军显得底气很不足,居然连续燃起了六次烽火,向围困月城的王世充求援。王世充只好放弃月城,回援黑石。这时候李密再度率领瓦岗军与王世充接战,结果胜负结果正好与上次相反:瓦岗军大胜,将士们带着两千多个敌军的首级凯旋回营。在李密的带领下,瓦岗军虽然未能象李渊军一样直取长安,但是他们在与王世充等洛阳守军的交锋中占尽优势。瓦岗军与隋军进行了三个月的争夺战,消灭隋军六七万人。
由于李密在屡次作战中所发挥的作用较大,隋军投降后,李密在瓦岗军中的声威大振。翟让自觉不如李密,于是翟让推李密为瓦岗军首领,上尊号为“魏公”。李密则任翟让为司徒。
看到形势大好、前途无量,瓦岗军的首领很有可能在不远的将来成为皇帝,翟让的一些亲友和下属开始有点不甘心。部将王儒信劝翟让自己当大冢宰(百官之长,相当于宰相),管理所有的事务,把让给李密的权力夺回来。翟让虽然文化不多,却是个豁达大度的人,他知道自己的才干比不上李密,压根没听王儒信的馊主意。翟让的哥哥翟弘是个大老粗,而且脑子有点不太好使,这时候也跑过来添乱,他对翟让说:“兄弟,天子你可要自己当啊,怎么能让给别人呢!你要是不当,我可就当了啊!”翟让听后哈哈大笑,也没怎么当回事儿,李密听说了却很恼火。翟让虽然具有很多优点,但毕竟不是神仙,他也有不少缺点,比如贪财、鲁莽,其实真正要命的并不是这些缺点,而是权力,他一天不死,李密的权力就随时可能被他拿回去。当时有个隋朝的官员崔世枢来投奔李密,却被翟让抓住关了起来。翟让的要求很简单:把你的金银细软全部交出来就行了,不给就动刑。有一次,翟让喊元帅府记室(其实就是李密的秘书)邢义期赌博,邢义期因为去晚了,被翟让打了八十杖。翟让还曾经向左长史(李密的秘书长)房彦藻说:“你上次攻破汝南,得到不少金银财宝全部都给魏公(李密)了,一点儿都不给我!要知道魏公是我一手推立的,还不知道以后怎么样呢。”房彦藻很害怕,就找到李密说:“翟让刚愎贪婪,有无君之心,应早图之”。大业十三年(617年)十一月十一日,翟让应邀带着兄长翟弘、侄子翟摩侯到李密的哪里喝酒,李密与翟让、翟弘、裴仁基、郝孝德等人一起喝酒。翟让的心腹猛将单雄信、大将徐世勣等人站在身后护卫,房彦藻、郑颋来来回回地查看。李密说:“今天我跟几位高官喝酒,不需要这么多人,只留下几个使唤的人就行了。”李密的心腹们都离开了,翟让的心腹还都留在那里。房彦藻说:“今天大家在一起是为了喝酒取乐,天这么冷,司徒(翟让的官衔)的随从人员也喝点酒、吃点饭吧。”李密说:“一切听司徒安排。”翟让想也不想,就说:“很好。”于是让随从人都出去喝酒吃饭去了,只有李密手下的蔡建德拿着刀站在一旁。在开饭之前,李密拿出一张很好的弓给翟让看,翟让刚刚把弓拉满,蔡建德从翟让身后砍了翟让一刀,翟让倒在血泊中。接着,翟弘、翟摩侯、王儒信都被杀了。徐世勣想跑,结果被守门的士兵砍伤脖子,幸亏被王伯当及时制止。单雄信跪下来磕头哀求,李密没有杀他。翟让其他的手下很震惊,不知道该怎么办。这时候李密发挥他的口才优势,他说:“我与各位一起兴起义兵,是为了除暴安良。司徒却独断专行、贪婪暴虐、凌辱同僚、对上无礼。现在只杀他一家人,请你们不要干涉。”为了安抚翟让的手下,李密让人把徐世勣扶到自己的营帐里,亲手为他包扎伤口。听说翟让的部队想散伙,李密就让单雄信前去慰问,随后李密又独自一个人骑着马进入翟让的军营去稳定军心,让徐世勣、单雄信、王伯当分别统领一部分原来属于翟让的部队,于是瓦岗军又恢复安定。