黄河第一桥位于兰州市城北的白塔山下，横跨黄河两岸，天堑立即变成通途。在铁桥建成之前，这里通往青海、河西走廊、西域设有浮桥可以横渡黄河，现在仅存遗址。
金城历来是东西交通要冲，中原与西域往来的必经之途，穿城而过的黄河则是横亘在兰州这一交通枢纽之上的难以逾越的障碍，民间曾有“隔河如隔天，渡河如渡鬼门关”的歌谣。从明洪武五年（1372年）起，宋国公冯胜、卫国公邓愈都曾因军事需要在兰州黄河段修建过浮桥，但都很快被拆或被毁了。直到洪武十八年，兰州卫指挥佥事杨廉才在中山桥的位置上兴建了著名的镇远桥。据明人徐兰的《河桥记》记载，杨廉在黄河之上造大船28艘，以3艘备用，将25艘用绳锁连接，船下以石鳖固定，船上加盖木板、栏杆，并在桥南北两岸各树一根大铁柱和六根木柱，以铁链将浮桥固定。整座浮桥“随波升降，帖若坦途”。
此后500多年间，用以构筑浮桥的船数和用以固定的铁柱与木柱数虽有变化，但镇远浮桥却以其扼守要津的重要地位，如今矗立在铁桥南岸的将军铁柱正是镇远浮桥500年兴衰史的唯一见证。但是镇远浮桥并不坚固安全，遇到大洪水和冰棱，常常会发生桥毁人亡的惨剧。而且冬季黄河封冻，浮桥必须拆除，车马均由冰上通行。冬春之交冰将消未消之时，经常有人畜因冰裂落水而亡。春天冰融之后，又需重建浮桥，所费甚巨。
为了改变这种状况，早在光绪初年，左宗棠任陕甘总督时，就有过修建铁桥之议，但因为洋人出价太高而作罢。进入20世纪，清廷开始实行新政，鼓励洋务。升允就任陕甘总督，他敏锐地意识到“外人奇技巧思”正可以“宜民利用”，于是他决定借助外国的先进技术与设备来实施他的建桥计划。即于光绪三十一年（1905年）设立了甘肃洋务总局，由彭英甲兼洋务总局总办，期时正当清廷洋务的兴起，这为建设黄河铁桥提供了历史契机。
光绪三十二年(1906年)五月，德商天津泰来洋行经理喀佑斯正好游历至甘肃，双方一经接触，立即达成了合作的意向，桥价十六万五千两。光绪三十二年(1906年)九月十一，甘肃洋务总局与德国泰来洋行正式签订黄河铁桥包修合同，黄河铁桥的各项建设筹备工作全面展开，黄河铁桥的建设工程正式得到了国家的认可。建桥所需物资皆由德方提供，海运至天津港，在从天津到黄河岸边，在这天数千里的路途上，一条由火车、骡马组成的运输长龙，翻山跃岭，风餐露宿，历时近两年，终于将全部桥料一站站转运至兰州。
铁桥桥料全部由德国海运至天津，再由天津经北京、郑州、西安转运至兰州，以郑州为界，前一段有火车，后一段不通火车，所有桥料必须由畜力大车拉运。洋务总局事先在天津、郑州、西安设立了三个桥料转运点，同时选派官吏和护勇前往转运点接收运送桥料。桥料运输次序事先都做了精心而周密的安排，要求按照施工的先后顺序依次运送，桥料源源而至，铁桥次第施工，保证了工程进度。经过艰苦努力，宣统元年（公元1909年）闰二月十六，黄河铁桥历时近两年的长途运输终告结束。仅运费就耗银12万4千多两。在先行运送物资的基础上，一边开工，一边继续运送架桥设备。1908年初春，铁桥动工。白塔下黄河两岸，搬运桥料的号子声、凿挖地基的铁锤声、翻砂拉石腾起的风尘以及蒸汽机和搅拌机等大型机械的轰鸣惊醒了金城的那个春天。
黄河岸边第一次矗立起了庞然大物，镇远浮桥为工程运料和施工提供了方便。浮桥两侧河水中，树立起两座高出水面的三角形工程架，工程架的顶端一条钢丝绳穿越南北两岸，牵引着河面上的工程船往来穿梭。铁桥于宣统元年七月初四（1909年8月19日），竣工通行。中山铁桥全长234米，宽7.5米，有6墩5孔，桥上飞架5座弧形钢架拱梁，5座弧形钢架拱梁两侧分别有6条竖型钢架支撑。天时、地利、人和，一切冥冥中如有天助，僻居西部的兰州注定要在20世纪初叶、在积贫积弱的中国完成一件惊世伟业。
1928年，为纪念孙中山先生改名中山桥，由当时的甘肃省主席刘郁芬手书的“中山桥”匾额，被悬挂于铁桥南面的牌厦上，“第一桥”从此改名中山桥，沿用至今。百年过去了，中山桥——这座纯铁焊制的一座有近百余年历史的步行桥雄姿依旧，黄河铁桥已经深烙在人们心间，成了抹不去的记忆底片。
站在中山桥上，隔栏观望滚滚的黄河水，心中怦然涌起一丝淡淡的依恋，从巴彦喀拉山脉涓涓汇聚的水流，不远千里万里向着遥远的大海，蜿蜒曲折着，一分一秒不肯停下追逐的脚步，又在年年月月日日，分分秒秒丝丝的滋润着炎黄子孙坚强不屈的脉搏，歌唱着华夏儿女生生不息的脊梁。伫立在现在看来并不很雄伟壮观的铁桥上，向西遥望：几片白云浮在辽阔而碧蓝色的天幕背景里，秋日的阳光映射着波光粼粼的黄河水，流动的浪花激起片片涟漪，耳际不时响着水流相互击打的哗哗声。漫步黄河两岸，好一处恬淡闲适，静谧祥和的图画：人们不急不缓，悠然淡定，三三两两，神情从容，悠悠长长融于蓝天、净土、黄水间。
中山桥是伟大的，它虽没赵州桥的古老，但他是一种坚强的表现，信仰的值守，锐气的彰显，团结的象征，它在黄河金城一线成为一道风景，靓丽了一座城市，传承了一种精神。中山桥百年不老，黄河依旧奔涌流淌……中山桥将于黄河共存，中山桥为黄河增色，我也要祝福，祝福中山桥永存……
