1928年6月4日，奉系军阀张作霖在出关返辽途经皇姑屯车站时，被日本人阴谋炸伤，不治身亡，终年54岁。
张作霖死后10余天，少帅张学良才得以易装秘密潜回沈阳，处理张作霖的后事。8月5日，张学良暨东北军政府为张作霖举行了隆重的祭灵仪式。祭灵仪式后，将张作霖的灵柩从大帅府的西餐厅，转放到大帅府的东厢房暂厝，并派人负责看守。
1928年11月，张学良为安葬其父，特派人在东北境内勘察，最后选中了抚顺东面60华里的高丽营子村南一处向阳的山岗，起名“元帅林”。
山岗前有浑水环绕，隔水相望的就是著名的铁背山，当年努尔哈赤在那里修建过界藩城，是努尔哈赤为加强自己的军事地位营建的第一个临时都城。浑河南岸、萨尔浒河以东的萨尔浒山，是当年努尔哈赤歼灭明军4万多人的地方，努尔哈赤认为这一战对清王朝的建立有重要的作用。
1929年5月，张学良夫妇及张作霖的五姨太和张作相、汤玉麟等人亲自来到这里踏勘。
据称，张学良曾对于凤至说：“这地方不错，我看爸爸可以长眠于此了。”得到众人的附和，陵址就这样选定了。在张作霖周年祭典后，开始营建元帅林。
元帅林造价预算达1400万元，东三省出资600余万，热河100余万，张学良出资500余万，招募民工1200多人，而且还在岗北设立了火车站，修建了通往元帅林的道路，计划三年完成。
元帅林所用石料有许多来自北京西郊圆明园、石景山五里坟的隆恩寺，以及附近的明代太监墓和清代饶余敏亲王及安亲王的墓地。这批众多的明、清两代石刻，购置后用火车运送东北。其中包括影壁浮雕62件，都是用整块汉白玉雕琢而成，雕镂精工，造型生动精美。由于采用了许多现成的墓地装饰、祭拜物，使得工程进度大大加快。经过两年的紧张施工，整个元帅林的主体工程于1931年夏天基本完成。
张作霖生前曾找了一位姓杨的风水先生，为他勘探其祖坟的所在地，杨认为锦县东北驿马房最好，在挖地基时又掘出一块青石板，杨说:“这块青石板非同寻常，是个上上吉兆。”张作霖听后大喜，于是破土动工，营建起墓园。
众所周知，墓碑是记述墓主人姓名、生、卒、葬年月及生平事迹的主要纪念性碑刻，通常由碑身、碑首和碑趺组成。规制比较高级的墓葬还要建造碑亭，以凸显陵寝壮阔和墓主身份地位。然而，张作霖的元帅林不建碑亭已令人很费解，不立碑更让人匪夷所思，对此众人纷纷猜测。
是因为风水吗？答案是否定的。
根据地形论，有大煞不立碑，如蛇形地、龟形地一般不立碑，还有石山煞气重，也不立碑，如果反其道而行，必破坏墓地生气，后果不堪设想。当年参与勘选地址的人认为元帅林“前照铁背山，后座金龙湾，东有凤凰泊，西有金沙滩”是块风水宝地，不存在不足以立碑的道理。
是怕盗墓吗？答案是否定的。
据说生性多疑的曹操怕坟墓被盗也是没有立墓碑的。一代枭雄张作霖的元帅林布置警卫，墙四角设置炮楼，恐怕任何盗墓者都难以靠近。
是风俗习惯吗？答案是否定的。
有的地方迷信说法，长得像动物的坟如果立了碑就好像是让动物的尾巴长在了前面，不吉利。当然这一点元帅林也不可能沾边。
是祖制要求吗？答案是否定的。
清朝祖制规定凡丢失国之寸土者，皆不得立碑。因此清朝皇帝除了怕死之外，死后不允许立功德碑就成他们的最怕。这条祖制，基本上都雷打不动地得以贯彻。自咸丰皇帝始，以后的清帝既不能御敌于马上，救民于水火，又不擅长料理内务，导致中国在世界之林的每况愈下，频频遭受列强的欺凌，所以清咸丰、同治及光绪诸皇帝的陵寝是没有神功圣德碑。张作霖作为“新派”代表人物，清朝祖制对他来说是毫无约束的。
那么张作霖的元帅林为什么没有立碑呢？真正的原因是什么呢？
一是名不正言不顺。张作霖生前名正言顺的最高官职是奉天督军兼省长，而“中华民国陆海军大元帅”这一头衔名不正言不顺。国民政府只承认张作霖为“张大帅”的军阀身份，并不承认其“中华民国陆海军大元帅”身份。这种情况下如果给张作霖立碑，是南京国民政府自打耳光。为难纠结之下，索性跳出窠臼不立墓碑，只有这样才能避免那些不可言宣的麻烦，估计这才是元帅林没立墓碑的深层次原因。
二是时间纠结交错。1928年12月29日，张学良宣布“东北易帜”，服从南京国民政府，实现了名义上的南北统一。如果建陵先于易帜，那么主政东北的张学良，凡事无需考虑南京政府的意见，以军政府名义为“中华民国陆海军大元帅”立碑是顺理成章之事。
三是手下督军们的意愿。张作霖手下督军们希望以“中华民国陆海军大元帅”之职，为张作霖立碑，是缘于此事牵涉他们各自的名分。否则岂不都自贬身价?而若满足张作霖手下督军们的心愿，就一定违背南京政府意愿。如何为张作霖立碑，对于张学良而言是一道无解的难题，唯有在元帅林不立碑，才可排除因给父亲立碑而带来的诸多困扰。
总而言之，元帅林不设墓碑(或碑亭)，非不为也，实不能尔，其间充斥着多少政治因素和争斗，蕴含着多少妥协交换的无奈，也只有建墓者自己才会清楚。
按计划，1931年11月举行张作霖安葬仪式，谁曾想“九一八“事变爆发，整个东三省沦陷。直至张作霖死后九年，1937年6月3日，日本人才将张作霖灵柩由奉天迁至辽西锦县东北驿马房张家坟茔地(距县城78华里)，与张作霖的原配夫人、张学良之母赵氏合葬。
气势恢宏的元帅林永远成为了空穴一座。
