李世民病重，召来李治说：“我死之后，有长孙无忌和褚遂良在，你不必担心政事。只是有一人，你对他没有恩德，我怕我死后你无法驾驭，会生出祸端。” 李治不解地说：“敢问是哪位大臣？” 李世民缓缓吐出三个字：徐世勣，并继续说道：“此人自跟随李密降唐，陪朕征战四方，位列凌烟阁二十四功臣。朕尝赞其为“吾之长城”，就连高祖皇帝都称他为纯良之臣。他功勋卓著，乃王佐之才。只是，性格孤傲，非明主不能尽心。” “请父皇明示”，李治诚恳地说道。 李世民胸有成竹：“为父早有打算。” 当年，李承乾被废后，李世民任命皇九子李治为储君，接着，他改任徐世勣当太子詹事兼左卫率，加位特进、同中书门下三品。 李世民对徐世勣说：“朕知道你劳苦功高，现在的品阶配不上你的资历。只是，储君刚刚册立，而你为人忠厚，原来又曾当过他的长史。朕如此安排，就是希望你能辅佐他处理好宫内外的事务，还请爱卿休要见怪。” 看得出来，李世民是把徐世勣当成未来储君的辅政大臣培养。 为此，李世民作了很多铺垫，有次，他专门设宴款待徐世勣，喝着喝着，忽然叹息：“太子年幼，不谙世事，朕担心啊。” 话锋一转：“朕辗转反侧，彻夜难寐，总是想不出该把太子托付给谁。思量来，思量去，还是决定爱卿更合适。”接着，严肃的问道：“徐爱卿，你此前背叛过李密，将来会背弃朕吗？” 徐世勣感动的的痛哭流涕，立马下跪，咬破了自己的手指：“皇天在上，卑职若有负于朝廷，有负于陛下，天打雷劈，永世不得超生。” 李世民见状，赶忙上前搀起：“爱卿，是真喝多了。你的心意，朕怎能不理解？” 说完，两人继续喝酒。那天，徐世勣喝的很畅快，竟然在龙椅中睡着了，李世民竟然脱下了自己的外套，让人把徐世勣抬到偏殿中休息。 当李世民的人生已经走到了尽头，他还是不放心徐世勣，想让他对新皇李治恪尽职守。 李世民嘱咐李治：“既然你对徐世勣并无提携之恩，那朕就赐你一份恩德。朕会下令，将徐世勣外放。待朕驾崩，你当即授予他仆射一职。如此，他蒙受你的恩德，必定为你尽死力。” 紧接着，徐世勣就收到了外放叠州都督的诏书。 在李世民去世后的当月，李治按照父亲的嘱托，立刻任命徐世勣为洛州刺史。随之，又加封开府仪同三司，再拜尚书左仆射。 作为三朝元老的徐世勣，很清楚何为富贵乃至。所以，他不断地上奏请求李治免除自己的诸多官职。 但李治对徐世勣很信任，就是不愿意降低他的荣华富贵。 当然，徐世勣也有功于李治。李治“废王立武”期间，遭到了长孙无忌等一众大臣的反对。 关键时刻，徐世勣的一句：“皇后人选，此乃陛下家事，何须去问外臣？” 有了徐世勣的撑腰，李治变得更有底气，随即废黜王皇后，改立武氏为后。 在旷日持久的唐征高句丽之战中，徐世勣再次领兵出征，完成了对高句丽的最后一击。 李治当即加封徐世勣为太子太师，扩大其封邑至一千一百户。 徐世勣“扶上马，送一程”的使命完成了，他的人生也走到了尽头。当徐世勣卧床不起，他坚决拒绝除皇帝李治和太子李弘以外，所有人的关心，只喝皇帝和太子赐予的药草。 徐世勣叹息道：“我只不过是山东的一个田夫，攀附明君，滥取富贵，位至三公，年近八十，这难道不是命吗？寿命的长短必定是有期限的，怎么能随便就医求活命呢？” 总章二年十二月戊申日，徐世勣在家中病逝，享年七十六岁。李治闻讯，悲痛至极，当即下令辍朝七日，为徐世勣吊唁。并追封其为扬州大都督，亲自送予棺木，并带着太子登上未央宫城楼，送徐世勣最后一程。 不论是李治还是李弘亦或者徐世勣，都不会想到，不久后他竟被掘坟鞭尸。 李治死后，武则天篡夺皇位，成为一代女皇。徐世勣的孙子徐敬业，谋划扶持李显复位，结果遭到镇压。 武则天不但追回了给徐世勣的所有赏赐，还将其棺木捣毁，把尸体拖了出来。 对此，徐世勣也是早有预料，在徐敬业13岁时，徐世勣就说：“这孩子的面相不好，恐怕日后会祸及家门。”最终，果然应验。
