华野3纵由原山东野战军第8师、鲁南军区一部和渤海军区一部合编组成的，属于华野最能攻坚的纵队之一，其主力师为8师，被誉为“陈毅军长袖中的小老虎”。

3纵的首任司令员是何以祥

何以祥早年间加入了川军，1930年，他所在的部队被贺老总收编，何以祥也从此参加了红军。不过何以祥打仗很猛，成长为很快

抗战期间，何以祥主要在山东抗战，任山东纵队第二旅旅长兼滨海独立军分区司令员、山东军区司令部参谋处处长。

抗战胜利后，何以祥留在了山东，担任山东军区8师的副师长。然而在1945年底，师长兼政委的王麓水牺牲，何以祥接替成为了师长。

后来山东野战军和华中野战军合并为华东野战军，8师改称3纵，何以祥又成为首任第3纵队司令员。

不过到了1948年初，何以祥的身体终于撑不下去了，只好离队休养，这一去就是一年多。

回来后，他并没有回到自己的岗位，而是到了第八兵团做了参谋长。

1955年，何以祥被授予少将军衔。

何以祥离开部队以后，孙继先出任了3纵代司令员，他也成为第二任司令员。

孙继先和何以祥一样，最早他是在冯玉祥的西北军，中原大战后被蒋介石收编，后来宁都起义加入了红军。

孙继先最出名的就是在长征途中，他带领十七名勇士，冒着枪林弹雨的危险强行渡过大渡河，为我军顺利渡江打开了有利局面。

抗战期间，孙继先主要在自己家乡山东，曾任鲁中军区三分区司令员等职。解放战争初，孙继先任山东军区第4师师长，率部参加了莱芜战役。到了1947年4月，孙继先升任华东野战军第8纵队副司令员。

没多久，孙继先就接替何以祥担任了代司令员。以后，孙继先成为了解放军22军军长。

建国后，孙继先又担任第二十训练基地司令员，历经艰辛，圆满完成了筹建新中国第一个导弹试验靶场的任务。

1955年9月，孙继先被授予中将军衔。