1992年10月6日，在中共十四大召开前夕，邓小平向中央政治局发出了一封信，对新一届中央军委领导班子的组成提出了自己的建议。这些建议在后来被中央采纳，并在党的十四届一中全会上落实，原济南军区司令员张万年被任命为中央军委委员、总参谋长。

邓小平第一次注意到张万年是在1979年的对越自卫反击战中。当时，张万年担任第43军副军长兼127师师长，他带领127师在战斗中歼灭和俘虏越军2125人，自身仅减员1000多人，且无一人被俘，战果非常显著。同年5月12日，《解放军报》发表了一篇题为《杀鸡用牛刀——师长张万年谈集中兵力打歼灭战问题》的长篇访谈，报道了他在这场战争中的突出表现。邓小平读后，对张万年给予高度评价，从此记住了这个名字。

1982年9月，张万年作为中央军委从全军选拔的优秀干部之一，出席了党的十二大，并被选为候补中央委员。1987年11月，广州军区司令员尤太忠调到中央军委任职，邓小平在讨论接替人选时，首先想到了张万年。他问尤太忠：“当年在对越自卫反击战里，那个杀回马枪的张师长现在在哪里？”

1990年4月，张万年调任济南军区司令员。临行前，他对军委领导表态：“我今年快63岁了，到济南军区再干两年就到了休息的年龄，我在广州的家就不搬了。”然而，张万年的计划未能如愿。邓小平在考虑新一任总参谋长的人选时，认为总参谋部作为中国人民解放军的指挥中枢，其负责人必须是有实战经验的“真正带兵的人”，于是选择了张万年。虽然张万年对此毫无准备，但他仍然服从了中央的决定。

张万年担任总参谋长后，出任了香港驻军准备工作领导小组组长，负责驻港部队的筹备工作。1992年12月16日，他主持了香港驻军准备工作领导小组第五次会议。他在会上强调：“最重要的是进驻香港的部队在政治上要特别过硬，一定要拒腐蚀，永不沾。当务之急是要把驻港部队领导班子配起来，把几个主要领导干部定下来。”随后，张万年为驻香港部队的人员配备和队伍建设做了大量工作。1993年1月8日，中央军委正式下达了组建中国人民解放军驻香港部队的命令，张万年积极推动这一任务。

1995年，张万年被增补为中央军委副主席。1997年5月，在香港即将回归之际，中央办公厅要求军队系统推荐参加中央政府代表团的成员名单。根据安排，中央军委副主席中只有一人参加交接仪式。当时，张万年和时任中央军委副主席的张震、迟浩田是备选人之一。张震认为，党的十五大即将召开，为了确保军委工作的连续性，建议让张万年出席这一历史性场合，并得到了江泽民的批准。

张万年得知张震的意见后，写信给中央军委，建议让张震前去参加交接仪式，因为他心中非常尊敬这位老领导。但中央军委经过讨论后，还是决定由张万年前往。1997年7月1日凌晨1时30分，在香港会议展览中心新翼七楼，张万年随中央政府代表团参加了香港特别行政区成立暨特区政府宣誓就职仪式。当天晚上，他彻夜未眠，亲历了这一历史性时刻。江泽民对他说：“人民解放军进驻香港，从此100多年香港没有中国军队驻军的历史，终于宣告结束了！”

1998年9月，张万年应美国国防部长科恩邀请，率领中国高级军事代表团对美国进行了正式友好访问。在参观佐治亚州美军本宁堡陆军基地时，美军陆军司令沙利将军激动地拥抱了张万年，并开玩笑道：“哎呀，我今天可把你抓到了！当年在越南战场上，我始终没能抓住你，今天终于见面了！”原来，这位沙利将军曾参加过越南战争，而张万年在1968年考察越南南方溪山战役时，两人曾在同一地区作战。曾经在战场上互为对手的两人，如今握手言欢，令张万年感慨万分。

在访问期间，沙利邀请张万年登上美军的战车，进行实弹射击。张万年熟练地操作瞄准器，果断按下击发按钮，两发命中目标，赢得了美军官兵的热烈掌声。临别时，沙利握着张万年的手说：“中国陆军是了不起的陆军，美国陆军也是了不起的陆军，希望我们两国军人永远不要在战场上兵戎相见！”

2003年3月，张万年正式从领导岗位上退休。在1992年至2003年的十多年间，他直接参与了中国国防和军队建设的一系列重大决策与实施，包括驻港部队的组建、军事现代化的推进等，为中国的国防事业作出了重要贡献。在张万年的领导下，中国军队逐步实现了现代化转型，维护了国家的主权和领土完整，为香港的和平回归和稳定发展奠定了坚实的基础。