1952年，张祖谅准备去朝鲜，重新担任60军军长，毛主席对他说：“你先把牙补上，到了朝鲜，说话声音大一点，动员部队打翻身仗！”
1951年5月，60军180师遭到毁灭性打击。
远在四川担任川西军区司令员的张祖谅听到这个消息时，顿时坐不住了，因为他是60军的上一任军长。
60军的前身是晋冀鲁豫军区第8纵队，于1949年5月改编为中国人民解放军第60军，张祖谅先是担任副军长兼参谋长，不久，张祖谅升任60军军长。
1951年初，60军奉命作为第二批入朝部队时，张祖谅正准备带着这支部队入朝作战，但组织上考虑到张祖谅患有严重的胃病，而且川西军区刚成立不久，剿匪、建设等任务比较严峻，就让张祖谅留下来担任川西军区司令员，让韦杰带着60军进入朝鲜作战。
自从1951年3月，60军入朝以来，张祖谅就一直在关注60军在朝鲜战场上的表现，希望战士们可以把60军的威名打出来，让敌人看看他们的厉害。
1951年4月，60军入朝不到一个月时间，就在4天内打退了敌人7次大规模进攻，击毙了不少敌人。
张祖谅看到这份战报时，也是高兴得合不拢嘴，没想到短短一个月后，60军180师遭到毁灭性打击，这是志愿军进入朝鲜以来，损失最大的一次战役。
一时间，60军成了众矢之的，甚至有人提出撤销180师的编制。张祖谅知道后，心里很不是滋味，因为这支部队可是他从太岳军区一手带出来的，攻运城、破临汾、战晋中、取太原，从山西打到西北，又从西北打到西南，可以说是战功赫赫，威名远扬。
没想到现在这支部队打了这么一个大败仗，甚至连编制都可能被撤销，这让张祖谅如何能接受？
张祖谅很想了解相关情况，不过当时张祖谅在川西军区忙得抽不开身，所以就没有办法去朝鲜。
1952年7月，西南军区准备派一个参观学习团赴朝学习，张祖谅知道后，第一时间请求加入这个学习团。
张祖谅如愿以偿来到了朝鲜，在朝鲜，张祖谅见了志愿军副司令员陈赓以及3兵团代司令员王近山。
陈赓、王近山都是张祖谅的老领导了，他们也知道张祖谅的来意，陈赓把相关的通报拿给张祖谅看，看到通报上面的对敌估计不足、战术运用错误、指挥失策之类的字眼时，张祖谅的心里仿佛在滴血。
沉默了许久后，张祖谅突然抬头，对陈赓说：“我要重返60军，率领60军打一个翻身仗！”
“好，好啊！”陈赓知道张祖谅的本事，他早就想让张祖谅重掌60军了，但张祖谅的身体被胃病折磨得虚弱不堪，陈赓担心他的身体吃不消，这才一直没有提出来。随后，陈赓就向中央军委报告这件事情。
毛主席听说张祖谅要重掌60军，也很高兴，立即批准了。张祖谅迫不及待地动身前往朝鲜，临走前，他的妻子和川西军区的领导担心他的身体吃不消，建议他把胃病治好再走，但急于带着60军打翻身仗的张祖谅只想早一点到朝鲜，说什么也不肯留下来治病。
张祖谅入朝前，毛主席还亲自见了他，看到张祖谅一颗掉了还没有补上的牙齿，毛主席开玩笑道：“我看180师北大荒不用去了，番号不用改了，你晚去几天，到协和医院把牙齿补上。到了朝鲜，拉大嗓门，说话声音大一点，动员部队打翻身仗。”
张祖谅抵达60军军部时，已经是1952年10月下旬。
这时候，60军正接替68军担任文登里和汉江一线的防御任务，敌人听说阻击他们的是60军，都有些轻视，经常在志愿军阵地面前发起挑衅。
60军的指战员见敌人如此猖狂，气得不行，恨不得直接冲上去和敌人拼命，张祖谅很想早一点带着60军打一个翻身仗，但他也知道不能意气用事。
张祖谅提出，积小胜为大胜，他组织部队开展冷枪冷炮运动，一个多月时间，60军击毙了3115名敌人。
这样，敌人再也不敢小觑60军了。
随后，张祖谅多次组织小分队，主动出击，深入敌后搞破坏，这些小分队十分灵活，总是趁着夜色发起突然袭击，敌人根本反应不过来，小分队不仅击毙了不少敌人，有时候还炸掉了敌人的弹药库。志愿军和朝鲜人民军联合司令部为此还专门发报表扬了60军。
1953年6月，张祖谅大胆用兵，他让3个团几千人的兵力潜伏在敌人阵地前沿的草丛和灌木丛里，潜伏了20多个小时，最终只用了不到70分钟，就全歼了韩军第5师27团大部，创造了一次战斗歼敌1个团大部的阵地战记录，也改变了兄弟部队对60军的看法。
夏季反击战结束后，许世友拍了拍张祖谅的肩膀，称赞道：“张军长很有魄力啊，把几千人潜伏在敌人鼻子底下，出其不意，打了一个漂亮的歼灭战。”
