刘伯温功成身退，谨言慎行。但他究竟是怎么死的呢？
明哲保身
刘伯温博古通令，善观天象，又有丰富的行政经验，深知功高盖主的危险，特别是朱元璋性好猜忌，自己更应该及早抽身。于是在洪武四年，也就是他被封为诚意伯的第二年，刘伯温以年老多病为由，请求解甲归田，并谢绝了太祖的一切赏赐。朱元璋见他没什么野心，也就让他带爵回乡养老了。
刘伯温回到青田老家后，仍然谨言慎行，小心翼翼。他知道明太祖派出很多特务，在各地巡行，监察官员们的言行。无论官员在朝还是在野，都逃不掉这些特务的监视，许多大臣就是因为在日常生活中不谨慎而遭到了严惩，严重的甚至为此而丢了性命。刘伯温深知此中利害，担心言多必失，所以回家后闭口不谈政事，也不与任何地方官员往来，尽可能的避免一切嫌疑。据说当时的青田知县一直想找机会拜见他，但几次都遭到刘伯温的拒绝。后来，知县换上农夫的便装，终于在山中见到了刘伯温。可刘伯温一听他说出真实身份之后，马上自称草民，辞谢而去，从此避而不见。
小人陷害
尽管他如此谨慎，却还是遭到朝臣的陷害和皇帝的怀疑。
刘伯温在朝中时一向与胡惟庸不和。刘伯温素有识人的精准眼光，他一直认为胡惟庸是个害群之马，成事不足而败事有余。当朱元璋在李善长辞去宰相之职后，向他询问新宰相的人选时，刘伯温就向朱元璋如实地说出自己的想法。这件事后来被胡惟庸知道了，认为刘伯温是有意阻碍自己当宰相，因此心里十分憎恶他。而且刘伯温在初任司法官员时，铁面无私，不徇私情，也很让胡惟庸心生忌惮。尽管这时候刘伯温已经辞官回乡了，但是还十分受到朱元璋的宠信，常常写信给他询问一些事情。这对于一心想掌握大权的胡惟庸来说，仍是一个巨大的潜在威胁，所以胡惟庸总想找机会致刘伯温于死地。这个机会终于来了！
事情的起因是刘伯温的一道奏折。当时刘伯温的家乡附近有一片三不管的不毛之地，后来成了盗贼的聚集地。刘伯温上奏折给朱元璋，请求在这个地方设立巡检司，以防止盗贼在那里聚众起事。为了这件事，刘伯温派他的长子刘琏进京面见朱元璋。刘琏到京城后，没有先告诉胡惟庸掌管的中书省，而是由通政司直接上达给朱元璋。胡惟庸知道后自然更加不满，认为刘伯温眼中根本没有自己。他到朱元璋面前恶意诬陷，说刘伯温看中了那块地，那地方有帝王之气，风水好，刘伯温想抢过来做自己的基地。当地的百姓不让给他，他就想以设立巡检司为名，把百姓都赶走，借以实现他日后让子孙称王的目的。
朱元璋听了胡惟庸的造谣，虽然当时表面上没什么反应，心里却也在暗暗怀疑，因为他深知刘伯温精通阴阳天象之理。不久之后，朱元璋就借故剥夺了刘伯温的爵位和俸禄。刘伯温知道皇帝对自己起疑了，心中十分害怕，赶忙亲自到京师谢罪，然后就一直住在京城中，不敢再提返回家乡的事。
恩及子孙
刘伯温在京城中，每一天都提心吊胆，战战兢兢，深知自己处在危险的境地之中。这时胡惟庸已经当上了宰相，大权在握，表面上虽然对刘伯温很客气，暗地里却在虎视眈眈。刘伯温不久就忧虑成疾，一病不起。他一再请求朱元璋让他回乡养老。一直到洪武八年，朱元璋才准许他返回青田。
刘伯温回到青田后一个月，就病重死去了，死时还不到65岁。他在临死之前，曾经把二子刘璟叫到床前，告诉他说：“为政之道，有时要宽大一些，有时要严猛一些，应该宽严交替并用。数年来，皇上以严猛治国，现在的要务则是在于修德省刑，实行宽大之政，以安抚民心，使国家长治久安。”他还说，现在正是胡惟庸当政之时，他无论说什么都是没用的，不过日后一旦胡惟庸失势，皇帝一定会想到他。他叮嘱儿子如果那时皇帝来问他死前说过什么，就把这些话上奏给皇帝。
果然，洪武十三年，胡惟庸因谋反大罪被杀，朱元璋又想起了当年刘伯温对他的评价，于是派人去刘伯温家中去探问。刘璟按照父亲的遗嘱，把他死前的话密奏给朱元璋。朱元璋看到后不禁感慨万千，更加佩服刘伯温的先见之明。
据说，刘伯温在京中病重之时，胡惟庸曾特地带了医生去为他诊治。他们回去后，刘伯温服了这个医生开的药，从此更是一病不起，药实无效，不久就病重而死。因此，刘伯温的被害，也成为日后胡惟庸被杀的一个重要罪名。而朱元璋在刘伯温死后，才想起他来，因为感念他的忠诚，破例让他的子孙世世代代传承爵位，而不是一代即止，一直延续到明朝灭亡。