公元前237年，嬴政废掉吕不韦的丞相之位，并遣他离开咸阳，迁往河南。吕不韦虽不再是丞相，但他的权势仍在，各大王公贵族都来求见吕不韦，以免出什么事，他亲自写信向吕不韦。这封书信充满恐吓意味，要把他全家都送往蜀地去，吕不韦见大祸临头，立即投毒自尽。但吕不韦却因嬴政一纸书信，便喝下毒酒自杀。当年吕不韦耗费重金扶持子楚，就是因为他想要将他扶上皇位，所以他四处奔走，结交了不少的人脉，甚至还和安国君、华阳夫人攀上了关系，让他声名鹊起。那时吕不韦已把邯郸的美人许配给赵姬。有一天，子楚与吕不韦饮酒，子楚见赵姬姿容秀丽，甚是喜爱，便恳求吕不韦把赵姬赐与自己。赵姬到底是吕不韦之妻，正所谓君子之妻不可辱，何况子楚提出的条件实在太过份，吕不韦心中大怒，但又怕坏大局，只好答应下来，把赵姬赐给他。
虽然吕不韦把赵姬许配给了赵国，但不可否认赵姬对此事的影响，若无赵姬，便无秦始皇，若无赵姬庇护，恐怕嬴政早已命丧赵国。吕不韦得到了他想要的东西，当上了秦国的宰相。吕不韦现在已非昔日的小小商贾，而成了一方诸侯，地位崇高，但吕不韦仍与赵姬保持着良好的联系。史书上说：“秦王年轻的时候，太后就和吕不韦有过秘密关系。”秦庄襄王死后，嬴政登上了王位，这时赵姬就是太后，世人都以为她是个很有威仪、很有尊严的人，然而赵姬实在是太不守妇道了。赵姬曾是吕不韦的正室，现在虽是两个世界的人，但关系却是亲密之极，经常有秘密来往。秦始皇年纪渐长，亦知道了这件事，太后竟与吕不韦有私情，这算甚么一回事？再加上吕不韦自称“仲父”、“绯闻爸爸”，这让他情何以堪？
仲父虽然是他爹的弟弟，但他的名字里，却带着一个“父”字，这对他来说，并不是什么好事。秦始皇之所以会如此残暴，很大一部分原因就是因为他的身世，他那个不可靠的老妈，经常和人勾搭在一起，搞得他自己都搞不清楚自己的亲生儿子是谁，这都怪在吕不韦的头上，一旦他掌握了大权，肯定会对吕不韦痛下杀手。吕不韦与太后的奸情，在秦始皇年幼之时，尚可隐瞒，现在秦始皇已是年逾古稀，再也无法隐瞒。与太后私通，这是要被处死的大罪，吕不韦怕自己的秘密被人知道，就准备一走了之。但赵姬却不能置之不理，所以吕不韦便要另寻他人，以求得到太后的欢心。吕不韦又四处打量了一番，这才注意到这位客卿，颇有几分本事。
据史书上所说，吕不韦怕牵连到自己，便秘密请了大阴的那人做舍人，时纵倡乐，命他用自己的命根子做童车，让太后听了，好让他知道这事，好让太后高兴。”在吕不韦的引荐下，嫪毐深得太后的欢心，把他的才能说得淋漓尽致，太后对他大感兴趣，就把他召进了皇宫。他一个外人，怎会被允许进宫呢？吕不韦又想出一个坏办法，那就是让他扮成太监，拔下他的胡须，好让他能名正言顺地侍奉太后。若只是给太后当个小白脸，倒也罢了，但历史上的小白脸，都是野心勃勃之辈，不但风评极差，而且还干过不少伤天害理的事。在太后的宠爱下，他已是权势滔天，手下有上千名奴仆，手下更是不计其数。
而随着时间的推移，这段时间过得越来越滋润，越来越得意忘形，不但让太后有了两个儿子，还让自己的两个孩子继承皇位，更要命的是，这家伙居然以自己的父亲自居。秦始皇突然多了一个父亲，现在秦始皇已经成年，自然不会再忍受这样的人了。秦始皇终于得知了太后与吕不韦的私情，秦始皇一怒之下，连杀三人，连太后的两个儿子也杀了，但仍不足以平息秦始皇心中的怒火。而造成这一切的吕不韦，至今仍健在，秦始皇怎肯善罢甘休，而吕不韦亦成为秦始皇的眼中钉，肉中刺。吕不韦虽为秦国立下了汗马功劳，但他的所作所为，却是令人不齿，使他落得如此下场。
自古以来，功劳最大的人都不得好死，像郭子仪这样的人自然也有，但毕竟是极少数。吕不韦确是雄才大略，助子楚登上了储君的宝座，但他的所作所为，却是令人失望。若无吕不韦，便无秦庄襄王，亦即无秦始皇一统天下，故吕不韦对秦国确是立下了汗马功劳。吕不韦得势后，拥有一万多仆从，河南的封地更是达到了十多万，但吕不韦仍是个贪得无厌的家伙，吕不韦甚至下令，要把他的名字写成《吕氏春秋》，以纪念他的功绩。《吕氏春秋》中记载的是一种综合政治理念，对吕不韦来说，这是一种荣耀，但对秦始皇来说，却是一种阴谋诡计。
但不管怎么说，吕不韦的功绩和权势，都是不可小觑的，历史上有哪一位帝王会让这样的人活着？吕不韦之亡，与嫪毐贪功冒进有极大关联，既立下如此大功，又做了许多丑事，秦庄襄王的头顶已是青一块紫一块，吕不韦被杀，亦是情有可原。
