项羽和刘邦原来约定以鸿沟（今河南荥阳境内）东西边作为界限，互不侵犯。后来刘邦听从张良和陈平的规劝，觉得应该趁项羽衰弱的时候消灭他，就又和韩信、彭越等会合兵力追击正在向东开往彭城（今江苏徐州）的项羽部队。终于布置了几层兵力，把项羽紧紧围在垓下（今安徽灵璧东南）。
这时，项羽手下的兵士已经很少，粮食又没有了。刘邦为了快速取胜，在心理上打败项羽，就布置了很多官兵在项羽的营外唱楚地的民歌。项羽夜里听见楚歌从四面八方传来，不禁吃惊地说：“刘邦已经得到了楚地了吗？为什么他的部队里面楚人这么多呢？”说着，心里已丧失了斗志，便从床上爬起来，在营帐里面喝酒；并和他最宠爱的妃子虞姬一同唱歌。唱完直掉眼泪，在旁的人也非常难过，都觉得抬不起头来。一会儿，项羽骑上马，带了仅剩的800多名骑兵，向南突围逃走。边逃边打，到了乌江畔，觉得无颜面对家乡江东的父老，自刎而死。
因为这个故事里面有项羽听见四周唱起楚歌，感到吃惊，接着又失败自杀的情节，所以后人就用“四面楚歌”这句话，形容人们遭遇各方面攻击或逼迫，而陷于孤立窘迫的境地。