1929年5月，陈济棠怀疑手下余汉谋和桂系有勾结，将其撤职关押。不久后，余汉谋获释，率军击退桂军，但内心却埋下了反叛的种子。 两个月前，蒋介石以伙同李宗仁、白崇禧“分头发难，密约谋反”的罪名，将被骗到南京的李济深软禁于汤山。 消息传来，余汉谋与徐景唐、香翰屏、陈章甫、蔡廷锴、戴戟等一众粤军将领怒不可遏，他们齐聚一堂，商议对策。 余汉谋一拳砸在桌上，大声说：“李公对我们恩重如山，如今被蒋某人囚禁，我们怎能坐视不管？我提议，即刻起兵营救李公。” 徐景唐说：“幄奇（余汉谋的字）所言极是，姓蒋的干出这种事情，绝不能善罢甘休。” 会上，众人公推徐景唐为总指挥，准备出师讨蒋。 然而，此事却遭到了陈济棠的阻止，他以第四军军长兼粤省善后委员的身份，力阻出兵。陈济棠态度坚决，加之桂系在“蒋桂战争”中迅速落败，老蒋腾出了手，粤军将领对“反蒋”一事只得作罢。 老蒋对陈济棠的表现满意，任命他为第八路军总指挥，与拥蒋的广东省主席陈铭枢分治广东。陈济棠趁机对粤军进行改编，原有的军缩编为师、师缩编为旅，原本是师长的余汉谋成了第一旅旅长。 桂系兵败后，回到广西的李宗仁、白崇禧，倾全桂之军进攻广东，拥戴李济深的徐景唐等粤军将领，也起兵响应。 陈济棠召集手下商讨应对之策，在分配作战任务时，让余汉谋率部前往北江西岸阻击桂军。 余汉谋率部在北江西岸与桂军作战时，陷入了僵持，谁都奈何不了谁。这时，陈济棠收到一封密电，是陈铭枢发来的。 陈铭枢在密电中说余汉谋暗中和桂系往来，故意不好好打，准备寻找机会倒戈一击。 陈铭枢素来与陈济棠争权，这种电报本应先辨明真假，可陈济棠却派人将余汉谋从前线召回，软禁起来。 余汉谋被扣后，前方军心大乱，第一旅节节败退。代理旅长李杨敬心急如焚，连忙致电陈济棠，说如果再把余汉谋扣下去，恐怕全旅不是被桂系歼灭，就是要闹出哗变。 陈济棠看了电报后，思索再三，让余汉谋即刻到前线，以参谋长名义指挥第一旅作战。 余汉谋被释放后，虽心中不满，但还是选择以大局为重，迅速奔赴前线。第一旅官兵见余汉谋回来了，士气大振。 桂系在之前的“蒋桂战争”中，实力折损大半，兵力本就不足，在粤军的反击下，难以抵挡，只得退回广西。 经此一事，余汉谋对陈济棠虽表面恭顺，但内心却埋下了反叛的种子。 1932年，老蒋调集大军进攻中央苏区，电令陈济棠派一支部队前来。陈济棠虽不情愿，但还是让时任粤军第一军军长的余汉谋率部前往。 余汉谋在江西驻军期间，和陈诚往来密切。从余汉谋后来的表现来看，他应该是在这个时候，通过陈诚和老蒋取得了联系，并被拉拢了过去，成为老蒋日后对付陈济棠，而提前埋下的一枚重要棋子。 1936年6月，陈济棠在桂系的支持下，发出“讨蒋”通电。此时的陈济棠，拥有“海陆空”三军，兵力有二十万之众，纸面实力很是不俗。 然而，粤军内部却是暗潮汹涌，在老蒋的“银弹”战术下，将领们纷纷有了倒戈之心。 7月5日，余汉谋在大庾军部召集三个师长及亲信幕僚开会，说：“陈济棠不得人心，继续跟着他，将陷入万劫不复之地，我决定回师倒陈拥蒋，诸位意下如何？” 一个师长高声说：“军长，我们都听你的，我们早就受够了陈济棠的气。” 其他人也纷纷附和，余汉谋见状，满意地点点头，说：“好，既然大家都同意，那我们就准备行动。事不宜迟，我这就去南京见蒋委员长。” 7月7日，余汉谋在老蒋派来的代表上官云相的陪同下，从香港转道，乘飞机前往南京。 见到老蒋后，余汉谋恭敬地说：“幄奇愿尽所能，为委员长效力。” 老蒋大喜过望，说：“委任你为第四路军总司令，统辖广东军队，即刻回粤倒陈。这里有军费200万元，另外再给你100万元临时活动费，你放手去干。” 7月9日，回到驻地的余汉谋，给粤军师以上将领逐一发去电报，让他们服从南京，联合讨伐陈济棠。 陈济棠召集亲信开会，下令说：“如今余汉谋倒戈，形势危急万分。先缩短防线，加强北江防务。巫剑虹，你马上率第二军第四师撤出韶关，退至大坑口，一定要控制住由北南下的咽喉。这是我们的生死要道，绝不能有失。海军舰队全部集中到黄埔待命，我们要做好万全准备。” 本来，陈济棠打算让桂军主力入粤，先集中兵力解决掉余汉谋。不想，老蒋采取分化手段，一面任命李宗仁、白崇禧为广西绥署主任、副主任；另一面免去陈济棠本兼各职，以余汉谋为广东绥署主任兼四路军总司令。 如此一来，粤军将领纷纷倒向，陈济棠这个“南天王”，顷刻间就成了“孤家寡人”。 紧接着余汉谋在大庾宣誓就任新职，陈济棠苦心经营的空军，在老蒋的收买下，飞行员驾驶着大部分飞机去了南昌机场，摇身一变成了“蒋系”空军。 在此情况下，陈济棠只得宣布下野，乘坐军舰去了香港。 抗战爆发后，陈济棠将之前带走的公费全部交出，充做军费，并与余汉谋修复了关系，在这一点上，这个昔日的“南天王”还是很敞亮的。
