张载祖籍河南开封，出生在陕西西安，因为当时他的爸爸在那里当官。后来他的爸爸在重庆涪陵任职时病逝，15岁的张载和妈妈弟弟一起，护送爸爸的灵柩北上，想要回到原籍安葬。

当他们走到陕西眉县横渠镇时，随身带的钱花光了，又听说前面闹兵变，只好原地待命。之后张载他们一家就在此地安家生活，他的爸爸也安葬于此。

后来他们卖掉了河南开封的祖宅，定居在横渠镇。

张载不算天资聪颖之人，靠着自己的努力，终成一代名家。他年少时读书非常刻苦，被称为苦读熬出来的一代宗师。他曾写了一副对联，“夜眠人静后，早起鸟啼先”，贴在书房里，时刻激励自己。

他年轻时还是个军事迷，带着自己写的军事文章跑到延安去找范仲淹。当时北宋正在和西夏打仗，范仲淹正好是前线指挥官。

范仲淹看了张载的文章，语重心长地对他说：“你应该去读书考功名，怎么热衷于军事啊？”意思是劝张载别想着打仗的事，而要让他努力学文化，货与帝王家。由此可见宋朝“抑武崇文”的风气有多浓厚。

嘉佑二年，也就是公元1057年，张载38岁参加科举，考中进士。那一年中进士的人中除了张载，还有苏轼兄弟、曾巩兄弟、章惇、程颢等人。那一届的进士可谓是群星荟萃、牛人扎堆，天下英才尽入彀中。

后来张载一直在地方任职，职务都不是很高。他曾得到宋神宗的召见，神宗向他请教治国之道。他说，要尊崇三代的法规制度，为我所用。神宗听到后很高兴，因为这跟王安石说的一样。同样的问题，王安石的回答是，要以尧舜为法。

一年后，轰轰烈烈的变法运动就开始了。

道不同，不相为谋。因为为官执政理念不合，张载辞职回到横渠，开始教书育人，传播自己的思想理念。

后来他还被推荐二次为官，也是因为理念不合，再次辞职。在这次返回横渠的路上，他走到临潼时突然去世。

因为他长期在关中讲学，弟子中大部分都是关中人，他创立的门派也被后世称为关学。与周敦颐的濂学、二程的洛学、朱熹的闽学，并称为宋代理学四大主流。

可惜他只活了57岁，没等到理学的黄金时代来临就走了。等他死后，关学也逐渐没落。