1936年冬天，毛主席约见了耿飚，他们沿着保安城墙外的一条小河边走边聊。

毛主席指了指流淌的小河，问耿飚：“你看这条河像不像你们醴陵的那条河？”

耿飚回答：“是渌江吧？夏天像，冬天不像。”

过了一会儿，毛主席又说：“哎，叫你去四方面军工作哩。”

耿飚回答：“周副主席跟我打过招呼，但说实话，我觉得我还是留在红一方面军比较好。”

毛主席说中央已经决定了，你不愿意也得去。耿飚于是就请示主席，去四方面军干什么。

毛主席回答：“去当参谋长，负责政治任务，具体地说就是反对张国焘的错误路线。”

耿飚听后一怔，认真地说：“主席，这个任务是不是应该派个政委或者政治部主任去呀？派个参谋长不合适。”

主席听后哈哈大笑，看着耿飚说：“你这个同志呦，一条河你能分出冬天和夏天，一个任务你也能分出政委和参谋长。四方面军只要参谋长嘛，事在人为，你当参谋长也能完成政治任务嘛！”

临别的时候，毛主席送给耿飚两句话：“开始跟着走，然后赶上前去。”

就这样，耿飚离开了红一方面军，到了红四军担任参谋长去了。临别之际，红大的几位老同学搞了一点肉为他送行。当时的红4军军长陈再道得知耿飚要来，非常高兴，派了一个通讯班去迎接。

红4军和红31军是红四方面军仅有的两支没有渡河参加西路军的部队，1937年8月25日，这两个军外加陕北的一些地方部队，改编成了著名的129师。

129师下辖2个旅，1个教导团和几个直属队，其中的385旅就是由红4军改编来的，而386旅则是由红31军改编来的。这两个旅的旅长分别是王宏坤和陈赓。此前担任红4军军长的陈再道已经被调到386旅给陈赓当副旅长去了。耿飚则继续担任385旅的参谋长。

不久后，129师开赴抗日前线，中央命令385旅只派出一个团开赴前线，剩下的一个团的和旅部则留在陕甘宁，负责保卫后方的安全。

眼看战友们都上前线保家卫国、抗击日寇去了，自己却被留在了后方，耿飚难以接受，为此他曾找到刘伯承师长和徐向前副师长，请他们改变命令，得到的回答则是留守后方同样重要。

毛主席不知怎么知道了耿飚不愿留守，想到前线打仗。不久后留守兵团成立大会上，他专门找到耿飚，安慰他说：“你在后方也可以指挥嘛，你可以给前线出主意呀。你们都走了，谁给我们中央这些人搞饭吃呀？”

耿飚听后再无怨言，安安心心地在后方待了7年。

到第7年的时候，贺龙派谭政、李井泉给耿飚捎话，说想把他调到抗大五分校当教育长。耿飚听后却婉拒了这些老战友，他说：“我在后方蹲久了，我向往前线，向往枪林弹雨的战场生活。”

耿飚的这番心思，没过多久就被聂荣臻知道了，聂荣臻是耿飚在红一军团的老首长了（耿飚曾任红一军团1师参谋长等职），他便把耿飚叫去，问他愿不愿意跟着自己去晋察冀工作。

耿飚听后自然连忙愿意，聂荣臻说：“那你就先当一段时间的晋察冀军区副参谋长吧，熟悉一下情况，由你分管作战工作。”

后来，晋察冀野战军成立，萧克为司令员，罗瑞卿为政委，耿飚为参谋长，潘自立为政治部主任。再后来，耿彪就成了赫赫有名的“杨罗耿兵团”（华北2兵团，后改称解放军19兵团）中的参谋长兼副司令员。

耿飚参与组织的正太战役、青沧战役、保北战役，参与指挥的清风店战役、石家庄战役、新保安战役都是晋冀察军区历史上有名的大胜仗。

平津战役结束后，19兵团奉命开赴太原，协助18兵团打太原。

一到太原，耿飚等人就去探望了徐向前。徐向前和耿飚虽然此前交集不多（一个在红一方面军，一个是红四方面军总指挥），但是两人的缘分很深。当年西路军失败，徐向前元帅一路乞讨回延安，将他接到部队的就是耿飚。

《耿飚回忆录》记载，当时天上下小雨，耿飚带着3个骑兵在王家洼附近侦查，看到一个身穿长袍的“商人”，胳膊下夹了一把伞，正在向附近的老乡问路。耿飚靠过去去一看，远远就认出了徐向前，而徐向前看到一个骑马的军人向他走来，立刻就往小巷子里去了。耿飚赶紧大喊：徐总指挥，徐总指挥！

徐向前听到呼喊停下脚步，耿飚摘下帽子让他看自己的脸，徐向前叫了一声：耿飚！眼泪随即就流了下来。

耿飚把徐向前护送到镇子里，又给刘伯承打了电话，刘伯承指示：绝对要保证徐总指挥的安全，你派专人护送他到镇原，我这里派骑兵去接。就这样，徐向前才回到延安。

有了这段特殊的缘分，徐向前对耿飚自然格外亲切，他问耿飚：“听说你们带了一个炮兵团来？你们家底很厚实嘛，攻打太原这样的城市，光靠炸药包却是不行，要有大炮、坦克才行。”

耿飚说：“过去我们也缴获过敌人的坦克，只是每人会开，炸掉了好几辆，这次打太原，我们一定再搞几辆。”

徐向前笑道：“你个耿飚，还是喜欢鼓捣。听说你前阵子开车，把你们司令员和政委都弄到沟里去了。将来有了坦克，你开我坐，你总不能把坦克也开翻吧？”

众人听后哈哈大笑。

耿飚喜欢开车，31年红军打赣州的时候，耿飚就学会了开车，后来他还开车把聂荣臻接到了张家口。晚年的耿飚腿脚不便，又购入电动轮椅一辆，自称“老年飙车族”，为了开车方便，把家里的门槛都给锯掉了。

在太原战役中，19兵团缴获了9辆坦克，耿飚下令组建一个坦克营，下辖3个连，每个连3辆坦克。

太原战役结束后，18兵团和19兵团在彭老总的率领下开赴西北。宁夏战役结束后，耿飚接到了中央命令，被调到北京去做外交工作，从此他的人生开始了另一全新篇章。

1950年，耿飚担任中国驻瑞典王国大使，有一次，瑞典皇家海军司令问耿飚：“大使先生，听说您过去是位将军，请问您过去指挥的部队多不多？”

耿飚听后回答：“不算地方部队的话，也就十几万人吧。”

海军司令听后敬佩地说道：“那比我们国家的所有军队还多呢！”

一旁的瑞典朋友听到这话也纷纷发出惊呼，称赞耿飚是“伟大国家派来的伟大使者”，但耿飚却谦虚地回答：“我是伟大国家的普通一兵。”

1979年以后，耿飚开始重回军队，担任中央军委常务委员、秘书长，1981年又担任过一年的国防部长，由于耿飚55年错过授衔，88年的授衔也没有赶上，所以他成为了共和国历史上唯一一位没有军衔的国防部长。

2000年6月23日，耿飚因病医治无效在北京逝世，享年91岁。