武帝听了之后点了点头，站在远处痴痴的看着。李少翁又请武帝将这块石头磨碎，做成药丸服用，说那样就可以在梦中思念李夫人了。武帝于是又听从了李少翁的意见，又营建了“灵梦台”，每年都会去祭祀。可是后来这个李少翁却死了，因为他劝武帝建造建台宫，用来招致天神。武帝也同意了，于是李少翁暗中写好帛书喂进一头牛的肚子里，一切准备好了以后，李少翁特地让武帝看到了这头牛，对武帝说头牛的肚子里有古怪，武帝一听，赶忙让人把牛杀掉，自然也就见到了里面的帛书，而且上面的话很是古怪，不过武帝认出了这笔迹是李少翁写的，知道自己上了当受了骗，盛怒之下把李少翁处死了。
王李二位夫人死后，后宫又有尹、邢二位美姬同时得到了武帝的宠幸。可是这两个人经常争风吃醋，弄得武帝心烦意乱的，没过多久，这两个美姬也失去了宠爱。汉武帝晚年的时候宠幸的最后一个美女是河间赵氏。据说武帝巡狩路过河间府时，随行的方士说道：“陛下，刚刚微臣四外观看了一番，发现这里紫气缭绕，必有奇女子。”武帝本来就相信鬼神，便立即派出太监四处寻找，太监寻找之后，果然在一家姓赵的家里发现了一个少女美艳无比，只是这名女子双手有病，左右拳紧握，无论怎么使劲，这两只手就是伸不开，但奇怪的是这两只手并不麻木，依然有感觉。这些太监们回报了武帝，武帝听了之后很是奇怪，便亲自去观看，只见果然如此。不过他爱怜赵女的美貌，禁不住上前轻轻握住了赵女的手，为她伸直手指。谁知奇事又来了，经武帝这么温柔的一抚弄，赵女那紧握的双手竟然全能伸直了。众人见了之后，无不惊奇，而武帝心中的惊奇更非别人能比，他认为赵女乃是老天特地派下凡尘来挞给自己的，于是就高高兴兴的把赵女接回了长安，从此之后赵女专宠后宫。武帝封赵女为婕妤，地位也就仅次于皇后。
赵婕妤进宫有一年左右。为武帝生下了一个儿子，取名叫刘弗陵。这位皇子怀胎一十四个月才生下来，武帝认为上古时代尧也是一十四个月才生下来的，这个孩子将来一定是个奇才，况且长得英俊聪明，容貌、身材都酷似少时的汉武帝，所以武帝特别喜欢这个刘弗陵。刘弗陵是公元前94年出生的。比太子刘据小三十四岁。当时汉武帝已经六十四岁了，老年得子，很是疼爱这个儿子。他曾经对大臣们说：“古代的尧是一十四个月才降生的，而朕的这个儿子也是一十四个月才降生的。可见，他的母亲也跟帝尧的母亲差不多。”于是汉武帝就把赵婕妤居住的那座宫室的大门命名为“尧母门”，于是，有些好事之人就推测武帝要把原太子刘据给废了，立小儿子刘弗陵为太子。
当年，汉武帝因为宠爱卫子夫，爱屋及乌之下，也就很喜欢太子刘据。但是随着时间的推移，武帝对卫子夫的宠幸渐渐消退，也日渐对他们母子显得有些冷淡，弄得这母子二人总有一些不安全的感觉。武帝发现了这种情况，就在一次卫青进宫的时候，对大将军卫青说道：“我大汉王朝的各项制度均属刚刚建立，加上四方夷锹狄侵扰中原，朕如果不变更完善制度，后世便无法可依；朕如果不出兵征讨外敌，天天下就不安定。为此，不得不烦劳百生。如果后世仍像朕这样干的话，那就是在走秦朝灭亡的老路。太子据一向敦厚稳重，是个守成之人，朕相信他一定能安定天下，不使朕担忧。如果要寻找守成的君主，还有比太子更合适的吗？朕常听人说皇后和太子每每有自感不安的心情，难道是真的吗？如果真是这样的话，大将军可以把朕的这些话都告诉他们，让他们不必在忧虑了。”卫青听完了武帝的这一番话之后，跪倒在地叩头谢恩道：“臣在此替卫皇后与太子据谢过陛下了。”说完这番话之后，卫青感激的已经是涕泪横流了。卫青把武帝的这番话告诉卫子夫后，卫子夫也是激动万分，于是摘掉头饰，亲自去找汉武帝谢罪了。
从此以后，武帝每次外出的时候，总把把身后的事交给太子去办理。把宫内的大小事情也交给了皇后去办。卫子夫从此以后，更加小心，不敢稍有一点疏忽然，还经常提醒太子，不要自作主张，大事小情的都必须要经过皇帝的同意才能去办。可是太子刘据的性情实在与汉武帝大不相同，太子据性情仁慈、宽厚、温和，与武帝的性格是大相径庭。武帝喜欢作用酷吏，加重刑罚，从来不把杀人当成一回事。刘据则经常劝武帝实行完厚仁慈的政策，甚至还利用太子的地位，亲自纠正过不少的冤案错案；武帝大兴土木，连年用兵，为此连国库的钱都花光了还不够，而刘据又经常劝说武帝与民休息，免除赋税，尽量减少百姓们的负担。久而久之，武帝就对太子据产生了厌烦的情绪，到了后来只要太子一开口，武帝就会怒目而视心中着实的不快。
卫子夫虽然有卫青对她说过一番武帝所说的宽慰的话，但她知道武帝的这番话并作不得数，她清清楚楚的知道自己辉煌的时代已经过去了，自己已经失掉宠了，就从武帝很少在去中宫就可以看得出来。尽管现在因为太子的关系，她这皇后的位置还算稳妥，但她每每心怀担忧，如履薄冰，不管做什么事情，她都很谨慎，尤其害怕太子得罪了武帝，惹得武帝不高兴，以致于会丧失太子之位，所以卫子夫经常会痛心的规劝太子不要违抗武帝的命令，想方设法要取得武帝的高兴。