苏轼早就预感到了这一切，因此在高太后去世之前，他就曾多次上奏愿出知“重难边郡”。元佑八年三月，时任礼部尚书的苏轼曾“乞知越州”，但不被朝廷所准，结果是年九月高太后一死，哲宗就命他以端明殿学士兼翰林侍读学士、礼部尚书的身份充河北西路安抚使兼马步军都总管，知定州（治所在今河北定县）军州事，也就是担任河北西路地区的军政首长兼定州知州。按照当时的规定，朝廷重要大臣赴任边境城市，都要向皇帝当面辞行，谁知哲宗竟以“本任官阙，迎接人众”为借口，对曾“日侍帷幄”伴读五年的老师苏轼不予召见，不让他上朝面辞，这对于苏轼来说，无疑是个非常强烈的警讯，后来事实也证明，直到哲宗去世，苏轼都没有机会再返朝廷。
元佑九年（1094）四月十二日，哲宗下诏改年号为“绍圣”，意思是继承神宗朝变法革新的政治方针。不久，范存仁等旧党执政大臣被罢免，章悖等新党人物被哲宗起用。这批新党执政大臣并不以王安石新法的革新精神和具体政策为执政目标，而将全部精力集中在打击“元佑党人”上，纵情地发泄这多年来被排挤在政治核心之外的怨愤。
换句话说，这些新党人物的行事原则已经毫无革新变法的精神，而是在卷土重来、重新掌权之后，进行政治反扑，竭尽全力地对政敌进行打击报复。从绍圣元年到绍圣四年短短几年时间里，以章悖为首的新党唆动朝廷，先后两次大规模地贬斥元佑大臣，致使司马光等去世的旧党领袖被追夺赠官、谥号，更甚者竟连墓碑都被毁掉，而其他的元佑大臣则大都被窜逐到岭南等边远地区。
苏轼虽对司马光尽废新法持有保留态度，但总的来说，对王安石的新法持反对态度，再加上他以“使某不言，谁当言者”（宋·朱弁《曲洧旧闻》）自负，常“以高才狎侮公卿”（《铁围山丛谈》），更是让他难逃此劫。而新党人物对苏轼的攻击，依然是故技重施，以苏轼曾在起草诏书的时候借机讥讽神宗朝廷为借口，对苏轼进行一次比一次剧烈的政治打击。
绍圣元年闰四月三日，第一道诏命下达，诏令取消苏轼端明殿学士、翰林侍读学士称号，撤销他定州知州的职务，以左朝奉郎的身份任英州（今广东英德）知州，正六品上（宋·彭百川《太平治迹统类》卷23）。
没过多久，御史虞策向哲宗进言认为苏轼“罪罚未当”，于是第二道诏命下达，降苏轼以左承议郎的身份担任英州知州，正六品下。年近六十岁的苏轼开始从河北定县前往广东英德。这将是多么漫长艰辛的路途啊！史料记载，苏轼赶赴贬所途中，曾上书宋哲宗，要求从水路乘船赴贬所。他在《赴英州乞舟行状》中说，他本想走陆路，日夜奔驰，快点到贬所，但由于忧悸成疾，两目昏花，双手麻木无力，再加上经济上也因不善理财，用尽俸禄，无钱买马雇人，因此想改从水路赴英州。虽然哲宗很快就答应了，但他以“六十之年”，在“三伏之毒暑”下，这“四千余里”迢迢路途上的艰苦，可想而知。
然而新党人物仍不放过他，御史刘拯继续向哲宗进言，说“轼于先帝，不臣甚矣”，于是第三道诰命随之而达：“诏苏轼合叙复日不得与叙。”仍知英州（《太平治迹统类》卷24）。意思是仍然担任英州知州，但是无法升迁。根据宋朝官制中关于“叙官”的规定，官员如无重大过失，每隔一定年限即可调级升官，这道诰命断绝了苏轼升迁的机会。
六月，苏轼刚到安徽当涂时，便接到朝廷发布的第四次诰命：撤销苏轼左承议郎的身份，由英州知州降为宁远军（治所在今广西容县）节度副使，惠州（治所在今广东惠阳东）安置，不得签书公事。宋代的“节度副使”本是个虚职，品级要比司马低得多。这个官职对于苏轼已经没有任何实际意义。
人生真是一场笑话，一场大梦，经过了人生的奋斗、磨难，苏轼在人生轨道上转了一大圈，又重新回到了被贬谪黄州时的境况，又一次成为没有任何实际权力、由当地看管的犯官。这对苏轼而言真是情何以堪：“四十七年真一梦，天涯流落泪横斜。”（《天竺寺》）的确是他当时的心情写照。
一贬再贬的现实，不仅让苏轼心生感叹，也让他意识到自己的命运已经发生了本质上的变化，他不再是一个外放的州官，而是一个“不得签书公事”、听候地方安置的罪人。六月五日，朝廷正式下达贬其为宁远军节度副使惠州安置的诏令后，苏轼毅然决然地作出决定，不再像黄州时期那样让妻儿老小一家人都跟随他，而是要独自承担所有的苦难。他不顾全家人的强烈反对，命苏迨带领家人到阳羡（今江苏宜兴）跟从苏迈居住，自己只带了小儿子苏过、侍妾朝云和两位女佣继续南下前往惠州（参见《书六赋后》）。
苏轼从绍圣元年闰四月离定州任南下赴贬所，途中经过了许多艰难困苦，正如他在《八月七日初人赣过惶恐滩》诗中所描述的：“七千里外二毛人，十八滩头一叶身。山忆喜欢劳远梦，地名惶恐泣孤臣。”他以花甲之年，长途跋涉了七千里；以一叶之身，泛舟十八惶恐滩头，其中的辛酸、凄楚，又岂是三言两语可以道尽！但苏轼却保持着达观的态度，在《与程德孺书》中，他说：既然事已至此，就只能“随缘委命而已”了。绍圣元年十月二日，苏轼终于抵达惠州，结束了长达六个月的长途奔波劳顿生活。
苏轼在惠州居住了三年左右。宋哲宗绍圣四年（1097）闰二月，朝廷的第五道诏命下达：“责授琼州（治所在今海南琼山）别驾（知州的佐官），昌化军（治所在今海南儋州）安置，不得签书公事。”（《太平治迹统类》卷24）
琼州就是海南岛，是被人们称为“天涯海角”的地方，是当时堪称最边远、最险恶的蛮荒之地，被贬到此地实在是无更远处可贬了。据记载，苏轼之所以被远贬儋州有两种说法，一说是因为苏轼在惠州时曾经作过这样一首诗：“白头萧散满霜风，小阁藤床寄病容。报道先生春睡美，道人轻打五更钟。”（《纵笔》）这首诗传到宰相章悖的耳中，他恨恨地说道：“苏子瞻尚尔快活！”他无法忍受苏轼被贬谪在外，竟然还能生活得如此快活，一气之下就把苏轼贬到离京城最远的海南岛（事载宋·欧阳态《舆地广记》）。
另外一种说法是，宰相章悖通过文字游戏来决定旧党人物被贬的地点。苏轼字子瞻，瞻与儋偏旁相同，所以贬儋州；苏辙字子由，雷字下有田字，所以贬雷州，其他人都以此类推（事载宋·陆游《老学庵笔记》）。
不管怎么说，在如此短的时间内，朝廷居然数改谪令，对苏轼一贬再贬，可以看出政敌对待苏轼手段的狠毒，以及哲宗对他的厌恶之情。这次的贬谪是因为新党人物对于所谓的元佑党人普遍加重的惩处，加上君主多疑，小人多谗，苏轼多直言，因此“直言便触天子嗔，万里远谪南海滨”（苏过《次大人生日》）。
与先前被贬惠州相比，被贬海南岛意味着苏轼的命运再次遭遇重大转折。这时苏轼已是六十二岁的老人，他认为自己“生还无期，死有余责”（《昌化军谢表》），“垂老投荒，无复生还之望”（《与王敏仲书》）。垂垂老矣还要到那么荒僻的地方去，心中认为根本已没有生还的希望了。因此苏轼决定，其他家人都留在惠州，他只带苏过一人前行。并且决定到了海南之后，“首当作棺，次便作墓”，死后就葬在海南，并为此立下遗嘱，对长子苏迈吩咐了后事（《昌化军谢表》）。在面临生离死别之际，苏轼显得异常冷静。在给朋友的信中，他说自己用佛家布施的观念劝告子孙们：“父既可使之子，子独不可使之父乎？”说古时候父亲能把儿子施舍出去，现在儿子为什么不能施舍父亲呢？并宣布：“生不挈家，死不扶柩，此乃东坡之家风也。”（《与王敏仲书》）
自绍圣元年（1094）至元符三年（1100），就在这短短的五六年的时间里，苏轼由一个三品高官直降到九品小芝麻官，之间降了七个品级，十四个官阶。想当年，苏轼在十七个月里，从汝州团练副使的八品官职一路劲升到三品大员，提升了六个品级，飞跃了十二个官阶。这是个多么强烈的对比，人生真是难以捉摸！
这次苏轼从定州一路被贬到南荒惠州以及海南儋州，与上一次贬谪黄州相比，有几个重大的不同之处：
第一，贬谪之地的自然环境更加险恶，生活环境更加艰难，宋代的惠州乃“瘴疠之地”，儋州更是“海氛瘴雾，吞吐呼吸。蝮蛇魑魅，出怒人娱”（苏轼《桄榔庵铭》）之处，苏轼能坚持生活下去的希望微乎其微。
第二，年纪老大，身体虚弱，此时苏轼六十二岁，已经步人晚年。在赶赴英州的路上，他所写的《赴英州乞舟行状》中就说五十九岁的自己已是眼不能视，手不能提，发凸齿落，如今经过数年贬居惠州的日子，身体状况可想而知更是大不如前。能够生还中原的希望微乎其微。
第三，朝廷的政局变化对苏轼更为不利。宋哲宗与欣赏苏轼才华的宋神宗不同，章悖也不是王安石，他们贬谪苏轼等人不是因为政见不同，其主要目的是打击报复，“子瞻谪岭南，时宰欲杀之”（黄庭坚《跋子瞻和陶诗》）。苏轼的处境十分危险，重返朝廷的希望微乎其微。
当然，这只是主要的三个微乎其微，其他如日常生活方面也与前几次的贬谪有着不同之处，前几次苏轼仍有家人相随照顾生活，如黄州时妻子王闰之与全部家人皆伴随于旁，惠州时尚有朝云与女佣在旁，但这次贬谪海南，年纪老大，却只有幼子苏过同行。面对这种严酷的形势时，苏轼将如何使微乎其微的希望变化为巨大的希望？他在物质生活、精神生活方面又将会采取哪些措施呢？
首先来看苏轼在惠州、儋州时期面对艰难生活的举措和态度。北宋时期的惠州，在经济和文化上都比中原地区落后许多，生活条件十分艰苦。但苏轼安之若素，凭着他一如既往的乐观和开朗，把困窘的生活过得有滋有味。
惠州地区市井寥落，每天只能杀一只羊，但苏轼不敢与为官者争买羊肉，只好叮嘱屠夫，每次将没有人要的羊脊骨卖给他，回家之后将羊脊骨放在锅里用水煮熟，再趁热浸在米酒中，撒点薄盐，烤到微焦再吃。这样就可以啃食半天，慢慢地享受着由骨头缝儿里所抉剔出的一星半点的羊肉。在给弟弟苏辙的信中，苏轼不无自嘲地写到：“意甚喜之，如食蟹鳌。率数日辄一食，甚觉有补。……此说行，则众狗不悦矣！”（《与子由书》）苏轼自觉“罪大责薄”，遭贬来惠州，使得兄弟被放逐，家人分离，觉得有辱亲朋好友，再加上“衣食渐窘”，心情必然郁结。但是苏轼性格中的乐观豁达，让他可以在苦中寻乐、寻趣，觅得羊脊骨的特殊滋味。
在儋州，苏轼的生活更加艰难。北宋时代的海南气候恶劣，人烟稀少，极为偏僻荒凉，被中原人士视为十去九不还的鬼门关，生活条件比惠州艰苦得多。《宋史·苏轼传》说当时“儋耳地，非人所居，药饵皆无有”。苏轼写给朋友程天侔的信中，说这里“食无肉，病无药，居无室，出无友，冬无炭，夏无寒泉”，无肉无药对苏轼还不是最难过的，没有书籍笔墨纸张，再加上语言不通，习俗迥异，没有朋友，这才是让苏轼最痛苦、最茫然无措的。刚来到海南的时候，苏轼简直是度日如年：“从我来海南，幽绝无四邻。耿耿如缺月，独与长庚辰。”（《和陶杂诗》）这是当时他心中充满着飘零窘困、生命难测、前途未卜的孤寂感的真实写照。
犯官身份的苏轼无处可居，刚抵达儋州时，虽得州守张中之助暂住于破旧的官舍之中，但不久就被朝廷派官吏将他赶出官舍，张中更因此而遭到罢黜。他的《新居》一诗中“旧居无一席，逐客犹遭屏”，所指的就是这件事。苏轼无他法可想，只得在儋州城南桄榔树下买地自己筑屋，他在《答程天侔三首》（其一）中详细地描述了其中的过程：“近与小儿子结茅数椽居之，仅庇风雨，然劳费已不赀矣。赖十数学生助工作，躬泥水之役，愧之不可言也。”筑屋的工作是靠着十几个跟随苏轼问学的士人与当地的百姓一起帮忙。连建房所需一切物资，稍有缺乏，邻居们都主动送来。当时所盖茅屋共有五间，因四周尽是桄榔树，苏轼便把新居取名为“桄榔庵”。他在信中写道：“尚有此身，付与造物，听其运转，流行坎止，无不可者。”（《答程天侔三首》）看来他已决定长居此地，修心养性。茅屋建成了，“而囊为一空”，但他认为“困厄之中，何所不有？置之不足道也，聊为一笑而已”（《与程全父十二首》其九）。身处几乎与世隔绝的蛮荒之域，在物质与精神生活都极度匮乏的情形下，苏轼还尚能勉力自救，认为一切不足为道，而发为一笑，正是他特出于他人的超然态度。
在“饮食百物艰难”“药物酱酢等皆无”的儋州，“老人与过子相对，如两苦行僧耳”（《与元老侄孙书》），苏轼因营养不足而消瘦了很多，贬至雷州与他隔海相望的弟弟苏辙，情况也与他相去不远，为此苏轼写了首诗与弟弟开玩笑：“海康别驾复何为，帽宽带落惊童仆。相看会作两癯仙，还乡定可骑黄鹄。”（《闻子由瘦》）他们两人都瘦到连帽子都因为过于宽大而老是掉下来。如果再照这么瘦下去，兄弟俩定将变成两个清瘦的仙人，乘骑黄鹤，高飞远举，回到故乡。虽然物质生活极端缺乏，但苏轼胸中仍是“超然自得，不改其度”（《与元老侄孙书》），他在精神的领域中永远富足而不虞匮乏，他觉得瘦则瘦矣，只要能够安居而闲适，便是千金难买的福气。正因如此，就算是身处在如此艰难苦境中，他仍然能随时随地抱持超然旷达的态度。
在海南时，虽然生活艰困，但苏轼仍注重健身养生。梳头和沐浴原是他的两大爱好，他曾多次在沐浴后有感而发，如元丰七年“浴雍熙塔下，戏作《如梦令》”，绍圣元年“与过游白水山佛迹院，浴于汤池，作记并诗”（明·傅藻《东坡纪年录》）。但海南这个地方因为“陶匠不可求”，所以没有澡盆之类的器具，洗澡很不方便，他在《次韵子由浴罢》的自注中说“海南无浴器，故常干浴而已”。没有办法好好地“浴于汤池”，于是他采取了替代办法：“理发千梳净，风唏胜汤沐。闭息万窍通，雾散名干浴。”用的是道家的办法，每晚睡觉前双手揩摩全身，称为“干浴”，据说“命日干浴，令人胜风寒时气，寒热头痛，百病皆愈”（唐·王焘《外台秘要》）。
苏轼个性中的超旷让他“随缘委命”，个性中的达观则让他“随缘为乐”。他在儋州时所作的《谪居三适》组诗，充分表现出他在日常生活中所体会到的乐趣。
第一种乐趣是“旦起理发”：早上起床后迎着海风洗脸梳头，“一洗耳目明，习习万窍通”，有着说不尽的清爽与舒畅；
第二种乐趣是“午窗坐睡”：中午时分，在窗下将双腿盘起坐在蒲团上，两肘靠在竹几上，什么也不想，悠闲地打个盹，重游“无何有”之乡；
第三种乐趣是“夜卧濯足”：海南虽是个“天低瘴云重，地薄海气浮”的地方，但柴火不缺，供水充足，虽洗澡多有不便，却可以常洗脚。以前想好好地洗个脚都非易事，现在却可以一边听着炉火上沸水发出如“松风”般的声响，同时不停地在瓦盆里交相加入冷水和热水，直到身心皆畅。接着在灯下剪一剪脚指甲，那种通身舒适、快活的感觉，就如同雄鹰摆脱了羁绊，远飚于天。他还说如果有了这样的享受，谁还想再回到“冠履装沐猴”的日子？