1930年中原大战期间，拥兵30余万的冯玉祥西北军失败瓦解，大多数部队被蒋介石收编改编，仅有7万残军北渡黄河逃入山西境内，靠着阎锡山每月16万元的接济勉强支撑。

第29军1万5千人编制，养活了3万官兵

1931年1月，这部分残军被负责北方编遣任务的少帅张学良收编，先称东北边防军第3军，后依全国统一编制称陆军第29军，宋哲元任军长，虽然全军仅给了两个师1万5千人的编制，但一番裁汰之后总共有3万余人不愿离开部队。无奈之下，在冯治安第37师、张自忠第38师之外，又组建了暂编第2师和两个军官团。很长一段时间，从军长到士兵，一律只管吃饭不发薪饷。直到1932年8月宋哲元被任命为察哈尔省主席，掌握了20多个县的地盘，经济拮据的情况才有所缓解。

第29军兵虽强，装备却很弱

若论兵员素质，第29军官兵都是西北军多年保存下来的百战余生，整编时又进一步裁强留弱，留下的都是经验丰富的老兵。但部队的装备实在太差，野炮、山炮加一起仅10余门，重机枪不过百挺，轻机枪每连不足两挺。士兵手里的步枪大约1/3是“老毛瑟”枪；1/3是清朝末年张之洞创立的汉阳兵工厂生产的“汉阳造”，还有1/3是第29军自办的枪械所制造或从孙殿英处买来的土造枪。

长城抗战第29军名声鹊起

尽管装备落后，但第29军因陋就简，为士兵每人打造了一把大刀，并请来了武术名家勤加教习。在1933年3月的长城抗战中，第29军血战喜峰口、罗文峪等地，并组织大刀队对日寇发动夜袭，毙伤俘敌近6千人，取得了东北三省沦丧以来抗击日寇的第1次重大胜利，消息传来，国人欢欣鼓舞。上海的《时报》、《申报》，北平的《世界日报》，天津的《庸报》等都进行了连篇累牍的报道，使得第29军官兵成为全国人民心目中的抗日英雄。

3万东北军的好装备被全部留下

当第29军获得举国赞誉的时候，驻守热河省的省主席、第4军团总指挥兼第53军军长汤玉麟却在日寇进攻下不战而逃，日寇百余骑兵不费一枪一弹，就占领了省会承德。在全国上下一致声讨下，汤玉麟主动提出将所部交宋哲元收编，使宋部再增加7个旅3万人枪。虽然汤玉麟的部队长期缺乏训练，士兵战力低下，但作为东北军的元老、张作霖的铁杆兄弟，其部队的装备却非常精良，不仅有大批战马和轻重机枪等数万枪械，还有几十门大口径火炮，宋哲元采取“先收编、再精简”的策略，大刀阔斧裁撤淘汰新收编各部，尤其是以军纪涣散的闻名全国的汤玉麟部，更是几乎尽数遣散，留下其武器弹药使第29军的装备得到大幅改善。

抗日同盟军精华编入第29军

1933年5月，第29军自长城撤至通州以东布防。在其后方的察哈尔省，原西北军首领冯玉祥组织领导抗日同盟军运动，从四面八方汇集旧部和从东北撤出的各路义勇军，组建了人数超过10万的察哈尔民众抗日同盟军。6月下旬至7月中旬，抗日同盟军强势出击，相继从日伪军手中收复宝昌、沽源、多伦等地。但是，蒋介石担心冯玉祥借此东山再起、重掌一方军政，因此对抗日同盟军采取严厉打压政策。为了保存抗日力量，也因为同盟军粮饷无着，难以长期维持，冯玉祥深思熟虑之后，决定由昔日的老部下宋哲元接手同盟军。由于第29军刚刚取得的抗日英名，宋哲元的收编工作非常顺手。