苏轼略做安排，在六月二十日乘船离开海南。临行前，儋州百姓依依相送，“知君不再见，欲去且少留”（《别海南黎民表》）。随他同行者，除了三子苏过外，还有他在儋州所畜养的狗，苏轼曾为这只名为‘乌觜’的狗写了首《乌喙诗》，诗中说：“知我当北还，掉尾喜欲舞。”意思是当乌觜听到苏轼将要北返中原的时候，高兴地摇头摆尾。由这首诗，我们可以感受到苏轼临老得以北返的兴奋之情。六月二十日登船渡过琼州海峡，已是夜深之时，天上万里无云，月光将海面映照得格外澄清明净，他禁不住赋诗道：“九死南荒吾不恨，兹游奇绝冠平生。”（《六月二十日夜渡海》）虽然在荒僻的岭南历尽磨难、九死一生，但饱览奇景异俗不也是平生难逢的快事吗？
在海南整整居住了三年的苏轼，本以为将会老死于此，正因如此，他已调整好自己的心态，将自己融入当地的生活中。他与当地百姓“负大瓢行歌田亩间”，背着大葫芦在田野之间边走边歌，歌声响彻云霄（《侯鲭录》）；他向往着“化为黎母民”（《和陶田舍始春怀古二首并引》）；他甚至已是误把他乡当故乡：“我本海南民，寄生西蜀州。”（《别海南黎民表》）而当地的七十岁老媪，问他是否感到“昔日富贵”仿如“一场春梦”，更是让苏轼惊觉“符老风流奈老何，朱颜减尽鬓丝多”（《被酒独行遍至子云威徽先觉四黎之舍三首》）。
苏轼收到内迁的诏令后所作的《儋耳》诗，最能代表他当时的心情：
霹雳收威暮雨开，独凭阑槛倚崔嵬。
垂天雌霓云端下，快意雄风海上来。
野老已歌丰岁语，除书欲放逐臣回。
残年饱饭东坡老，一壑能专万事灰。
虽然“放逐臣回”是则“快意雄风”的消息，但此时的苏轼已融入当地生活，成为一个高歌“丰岁语”的野老，加上历经了五年贬逐投荒的艰苦生涯后，苏轼已是六十五岁的暮年老翁，简陋的生活条件损害了他的健康，真可谓身心皆疲。苏轼虽然孤忠不减，但已不复有当年东山再起的雄心壮志，只能感叹“残年饱饭东坡老，一壑能专万事灰”。但另一方面，也正是历经了无穷的苦难和波折，让苏轼对人生、对宇宙、对自然都有了更为深入透彻的思考和了悟。
自从五月接到内迁的诏令后，年迈的苏轼展开了与五年前贬谪边荒时近似的漫长旅程，仍旧是诏令多改，依旧是奔波劳顿。
苏轼在六月二十日离开海南，当时的他心情非常复杂，既有“余生欲老海南村，帝遣巫阳招我魂”，对离开海南产生的依依离情，又有“倦客愁闻归路遥”，对前途不明的渺茫之感（《澄迈驿通潮阁》）。但他还是掩不住心中的兴奋之情，只因“苦雨终风也解晴”，“云散月明谁点缀，天容海色本澄清”（《六月二十日夜渡海》），天上乌云都已散去，加诸在身上的诬词终将除去，所有以前经历的风雨岁月都将结束。
离开海南之后，苏轼在徐闻县与秦观见面。秦观为“苏门四学士”之一。他在绍圣初年“坐党籍”，从此开始遭受接连贬斥的厄运。元符元年（1098）九月，秦观“移雷州编管”（《宋史·哲宗本纪》），与海南的苏轼仅有一水之隔，苏轼在五月接到诏令后，曾写信给他，相约在徐闻县见面。两人临别前，秦观把自己预写的一篇挽词给苏轼看，“其语哀甚，读者悲伤之”（《宋史·文苑传》）。仿佛知道自己大限已近，苏轼看了挽词后，以“齐死生，了物我，戏作此言”（《书秦太虚挽词后》）来安慰秦观，“遂相与啸咏而别”（宋·何蘧《春渚纪闻》）。孰料这一别便是永诀。八月，秦观在藤州（今广西藤县）“出游华光亭”时去世（《宋史·文苑传》）。
苏轼于七月四日抵达廉州贬所，他在《记过合浦》中回忆由海康（今属广东、）前往合浦（今属广西）时的情形，因为“连日大雨，桥梁大坏”，所以苏轼必须改乘小船，傍着海岸而行。六月的最后一天，夜晚小船“碇宿大海中”，天上没有月亮，星星也是疏疏落落。苏轼环顾四周，不禁为自己屡遭劫难而感叹。但当他看到儿子酣睡在他的身旁，看到他视为此生最重要的《易传》、《书传》、《论语说》三本着述时，便也随之释然，就是这种由内而发的成就感，成为他生命航船上的压舱石，让他得以面对狂风恶浪。
在廉州尚未安定下来，苏轼便又接到诏书，“改舒州团练副使，徙永州”（《宋史·苏轼传》）。七月二十九日苏轼与苏过一起离开廉州，赶往永州（今属湖南）上任。九月六日，经过郁林（今广西玉林）时，惊闻秦观病逝藤州的噩耗，苏轼悲痛不已，“两日为之食不下”（《与欧阳晦夫》），连声悲叹：“哀哉痛哉，何复可言！当今文人第一流，岂可复得！”《与欧阳元老》苏轼为此专门改道前往藤州，想去吊祭秦观之灵，可惜当他抵达藤州时，秦观女婿范冲已经扶柩而去，苏轼为此大感伤恸。
离开藤州之后，苏轼与苏迈、苏迨二子以及全家在广州相聚。随后乘舟北赴永州，十一月中旬途经英州时，朝廷再次下诏，复苏轼为朝奉郎，提举成都府玉局观，外军州任便居住。“提举成都府玉局观”其实是朝廷赐给苏轼的祠禄官名，这是宋代大臣被罢职之后朝廷为示优礼所给予的称号，以道教宫观为名，无职事，仅借名食俸。就是说现在的苏轼可以享受一份七品的俸禄，而且可以随便选择住处。对此，苏轼感到由衷的高兴，此时的他一身疲惫，心中急切地希望能够尽快安定下来。
宋徽宗建中靖国元年（1101）正月刚过，苏轼北返到达大庾岭。他在一村店休息，有一老翁问苏轼的随从：“官为谁？”随从回答是苏尚书。老翁问：“是苏子瞻欤？”回答说是。老翁就上前向苏轼行礼，说：“我闻人害公者百端。今日北归，是天佑善人也！”苏轼笑了，非常感谢老翁，写了一首《赠岭上老人》诗题于壁上：
鹤骨霜髯心已灰，青松合抱手亲栽。
问翁大庾岭头住，曾见南迁几个回？
大庾岭对封建时代的官员而言有着特殊意义，如果官员被贬至大庾岭以南，那就意味着政治生命已经结束，一般少有北还的希望。当时有所谓“春、循、梅、新，与死为邻；高、窦、雷、化，说着也怕”的民谚，其中“春、循、梅、新”指的是广东的阳春、龙川、梅县、新兴等偏远地区，“高、窦、雷、化”指的是广东的高州、信宜、雷州、化州等蛮荒地带。这就是为何苏轼感叹“曾见南迁几个回”！苏轼曾在宋哲宗绍圣元年（1094）九月经大庾岭赴惠州，南迁六年后又过此岭北返，这从某种意义上说明苏轼的政治生命就要复苏了。
当时的朝廷中有一种舆论，认为既然章悖等人已经被驱除出朝廷，苏轼、苏辙兄弟作为在世的最具影响力的旧党领袖当然会得到重用，这几乎成了当时的士林公论。
不少人写信给苏轼，希望证实这一消息，章悖的儿子章援也是其中之一。那时，章悖已被贬谪至雷州，章援写了一封长达七百字的长信给苏轼，委婉地希望苏轼以后如果有机会，可以援救自己的父亲，或至少不要报复。苏轼在给他的回信中不但未将自己年老投荒、一贬再贬的痛苦遭遇归罪于章悖，更是以“海康风土不甚恶，寒热皆适中。舶到时，四方物多有”来安慰章援。另外他还写了信给章悖的外甥黄师是，要他转告章悖的母亲：“海康地虽远，无瘴疠，舍弟居之一年，甚安稳。”（《与黄师是三首》之二）表现出超乎常人的胸襟气度。
其实苏轼对于当时的政治形势有着非常清醒的认识，因为所谓的建中靖国并不就是“元佑更化”，而是新旧两党人物兼而用之。新党立场非常鲜明的蔡京、蔡卞兄弟固然离开了朝廷，但是作为一种政治代价，旧党立场同样非常鲜明的苏轼、苏辙兄弟也不可能回到朝廷担任要职。据《续资治通鉴长编》记载：当初召回大批元佑大臣的时候，曾布就曾向蔡卞保证，其他旧党人物不好说，但苏轼、苏辙兄弟绝对不会回到朝廷来。他还以“两党得志”后将“怀私挟怨，互相仇害”，任何一方都不得势“则天下无事”劝进徽宗，让他对“元佑、绍圣两党，皆不可偏用”。因此当时就有所谓“左不可用轼、辙，右不可用京、卞”的说法。更何况，向太后与以前的高太后有很大的不同，她本人既不可能也无意长久拥有朝政大权，她虽然晋用了一些受章悖所排挤的元祦旧臣，但对于新党人物的蔡京却也很看重。至于宋徽宗，虽然以韩忠彦与曾布为左右相，但他本人显然更希望继承神宗、哲宗的衣钵，在韩、曾二人之间，他更亲近新党的曾布。况且当时朝中的旧党并无可用之才，正如王夫之在《宋论》中所说：“忠彦虽为世臣，而德望非温公（司马光）之匹。”在这种形势下，旧党的势力日微，曾布与其他新党人物就开始紧锣密鼓地酝酿召回蔡京，复兴绍圣时期的政策。
五月间，苏轼到达金陵。当他听到向太后已去世，曾布得势时，敏锐地觉察到朝廷的动向正在朝着不利于旧党人物方向发展。苏轼迅速打消了原来去颍昌（今河南许昌）与弟弟苏辙会合、并且终老颍昌的打算，因为颍昌距离开封这个政治中心也是政治漩涡实在是太近了！
苏轼自从在英州接到“任便居住”的诏命之后，心中一直为北归养老的住处多有考虑。他所考虑的因素最主要有两点：
1．与弟弟苏辙间血浓于水的亲情：苏轼心中非常渴望在垂暮之年，在历经劫难，九死一生之后，能与弟弟苏辙朝夕相处，重拾天伦，尽享“同归林下，夜雨对床”（《书出局诗》）之乐。
2．应对朝廷政局变化：此时的苏轼对政治“心似已灰之木”（《自题金山画像》），一心只想“闭户治田养性而已”（《与子由二首》其一），他已不想再次卷入政治的漩涡中。
在给朋友的信中，他多次讨论有关归老之地的考虑，从中我们可以看出苏轼当时心中的矛盾和犹豫。在刚北返时，他曾一心“渡岭过赣归阳羡，或归颍昌”，想要与弟弟苏辙“老兄弟相守，过此生矣”（《与孙叔静三首》其二）。另一方面，秦观因受他的牵连而去世，心中既有不舍，更有自责。为了“安晚节”（《与李方叔四首》其三），所要考虑的归老之处便以远离朝廷为标准。他想住在“土如濡”、“米胜珠”的江南，远离京城，以免再次卷入政治漩涡。
苏轼也曾想过回四川老家，在《与郑靖老二首》其二中他说：考虑到自己身体还算健康，圣上又赦免了自己的罪过，于是就计划着像陶渊明一般当个农夫，以“带月之锄，可以对秉”，他想“归蜀”终老，但若不能如愿，便以杭州为家。
常州亦是苏轼自海南北归，曾经多次考虑度过余生的地方。宋神宗熙宁七年（1074）与元丰七年（1084），他曾两度在那里买田：“臣有薄田在常州宜兴县，粗给粥。”（《乞常州居住表》）不至于忍饥受寒。另外，在贬谪惠州时，苏轼只带上了小儿子苏过和侍妾朝云，长子苏迈、次子苏迨已于宜兴安家，所以宜兴是有生活基础的。
宋徽宗建中靖国元年（1101），当苏轼到达虔州（今江西赣州）后，曾准备住在常州、舒州（今安徽安庆）或真州（今江苏仪征），他在给朋友苏伯固与钱济明的书信中写道，他年事已高，应以退居为要，但归老之地以舒、常、真三州皆可，并且让他们帮他留意是否有适合的房子可以典买。他还告诉钱济明，据虔州太守霍子侔说，常州东门外有裴氏宅想出卖，要钱济明帮忙派人去看看屋子，了解价格如何，如果适合居住，而又是能力可及，他就准备买下。
但心中的亲情再次动摇了苏轼的决心。苏轼收到弟弟苏辙邀他同归颍昌的书信，信中苏辙告诉苏轼：“桑榆暮景，我们两兄弟相聚的时光有限，岂忍再长相别离？”言语酸楚，感人肺腑。苏轼对弟弟的深情厚意“不忍违之”，于是再次改变主意决定归居颍昌。
然而就在这个时候，苏轼感到朝中风气丕变，于是与朋友程德孺、钱济明在金山相见，商量之后，“遂决议为毗陵之居”（宋·何蘧《春渚纪闻》）。苏轼写了一封信给弟弟苏辙，向他解释改变心意的原因。他说：
兄在真州，与一家亦健。行计南北，凡几变矣。遭值如此，可叹可笑。兄近已决计从弟之言，同居颍昌，行有日矣。适值程德孺过金山，往会之，并一二亲故皆在坐。颇闻北方事，有决不可往颍昌近地居者。事皆可信，人所报，大抵相忌安排攻击者众，北行渐近，决不静尔。今已决计居常州，借得一孙家宅，极佳。浙人相喜，决不失所也。更留真十数日，便渡江往常。逾年行役，且此休息。恨不得老境兄弟相聚，此天也，吾其如天何！
然亦不知天果于兄弟终不相聚乎？士君子作事，但只于省力处行，此行不遂相聚，非本意，甚省力避害也。……兄万有一稍起之命，便具所苦疾状力辞之，与迨、过闭户治田养性而已。（《与子由二首》其一）
由信中所言，我们可以得知苏轼终于下定了退归常州的决心。他虽然非常渴望能与弟弟苏辙朝夕相处，尽享“同归林下，夜雨对床”（《书出局诗》）之乐，却又因时势所逼，不能达成愿望，心中的遗憾难以名说，只能感叹此乃天意，天命不可违！
除了避开政治纷争之外，当时苏轼举家已在舟上度过多日，正值六月酷暑，急需一个安息之所，要早做决定。而且苏轼心知弟弟苏辙的经济情况也不如以前宽裕，不忍心再带着一大家人前去投靠他，增加他的负担，因此归老常州已成定案。
度岭以来，苏轼受到沿途各州县官员的热情款待，老百姓们的反应尤为热烈，所到之处无不是人接人送，前呼后拥。根据邵博《邵氏闻见后录》记载，六月中旬，当苏轼所乘船只到达常州时，苏轼头戴便帽，身披短袖坎肩，坐在船舱中，“夹运河岸，千万人随观之”--运河两岸有成千上万的百姓追随前行，争睹这位当代伟人的风采。苏轼对身边的朋友说：“莫看杀轼否？”邵博在记述了这一动人场景之后，情不自禁地议论道：“其为人爱慕如此。”苏轼所说的“看杀”出自《世说新语·容止》第十四，说卫玢是有名的美男子，弱不胜衣。他从豫章来到建康，大家久闻他的容止美名，想来一睹其风采的人围成一道道人墙。卫玠本来就体弱多病，不堪其劳，最后成病而死。苏轼之所以引用此典故，一方面是因为他当时已染暑热，身体不适，另一方面也有“盛名之下、其实难副”的自谦之意。更何况此时的苏轼实在不愿意再引起朝廷的过分关注，民间百姓对他的热烈关注、关心在当前的政治环境中则未必是什么好事。苏轼当时已是年过六十的老翁，即使不是鸡皮鹤发，也自然不是和卫玠一样的“璧人”。运河两岸千万人随观，为的是他绝世的文采风流，这自非卫玢的容止所能够比拟的。
宋徽宗建中靖国元年六月，当苏轼终于决定归老常州时，他其实已身染重病。
自元符三年（1100）六月离开海南，从瘴疠之地内返，苏轼途中已身染瘴毒；加上这一年以来行走道途，生活不定，已过花甲之年的苏轼，怎能抵受如此的折磨？他早已精力衰颓。再加上多以舟楫为家，所行之处，河道熏污，秽气袭人，五六月间又正是暑夏之时，江浙地区天气炎热、气候潮湿，白天骄阳似火，夜晚暑气蒸腾，郁闷湿热。六月，六十六岁的苏轼终于病倒，他向朝廷“请老，以本官致仕”（苏辙《亡兄子瞻端明墓志铭》）。