在苏轼任地方官、辗转于各个任所之际，北宋朝廷的政治斗争非常激烈。起因是王安石的变法。前文我们已经说过，王安石变法的目的实质上是富国强兵，改善北宋积贫积弱的局面。但是新法条例在推行中遭到了一些大臣的极力反对，因此形成了反变法派。因意见分歧，一些老臣纷纷隐退，王安石只好起用一些“新进勇锐之人”。此时，一批投机钻营的小人也趁机混入了变法派阵营。这些人假借变法之名，大肆打击异己，以巩固自己的地位。王安石在新旧两派的夹攻排挤下，两次罢相，并最终于熙宁九年十月退居金陵，不问政事，直至终老。变法派被小人操控，使得变法成为统治阶级内部进行的一场严肃的政治斗争，已经演变成争权夺利、互相倾轧的“党争”。面对反变法派日益强大的阵营，新派中假意支持新法而谋得高位的小人恐慌难当，他们决定出手反击。于是，直言敢谏的苏轼就成为了他们首选的打击对象。带头的是御史中丞李定、权监御史里行何正臣和舒亶等人，他们开始多方搜罗苏轼的“罪证”。而此时的苏轼是一位名副其实的实干家，他在地方上勤于政事，做出了很多成绩，深受百姓的拥戴，同时也得到神宗皇帝的多次表扬。所以，那些奸诈的小人在苏轼政绩上寻找不到任何纰漏，便在苏轼的诗文上做文章，“乌台诗案”应运而生。
“乌台诗案”之“乌台”是御史台的别称。此名来源于汉代，据说当时御史台外有一棵很大的柏树，上面栖息着很多乌鸦，所以御史台从此又被称为“乌台”。此次苏轼一案是因诗文而起，所以称“乌台诗案”。
乌台诗案的导火索是苏轼在到达湖州任所后，按例上呈给皇帝表谢恩的《湖州谢表》。在谢表中，苏轼写了这样几句话：“知其愚不适时，难以追陪新进，察其老不生事，或能牧养小民。”（《东坡集》卷二十五）“新进”和“生事”等词语刺激了一些小人。因为“新进”一词在变法期间已经成为那些毫无能力却突然升迁的人的代称。那些靠“歌颂”变法而迅速得势的人，认为苏轼在用“新进”和“生事”等词语嘲讽他们。于是，这些人开始群起而攻之，陷害苏轼。他们将苏轼的诗文收集起来，从中断章取义，罗织罪名，其焦点主要集中在苏轼肆意批评新政上。的确，苏轼有些诗句对新法是有所批评，但那是因为他深入地方，目睹了一些新法的弊端。他借诗文抒发情怀的同时，主要还是想引起当权者的注意，以便于改进政策，并没有反对朝廷之意。但是欲加之罪，何患无辞。李定等人轮番向神宗皇帝上书，弹劾苏轼。神宗皇帝在数日内连续收到了四份状纸。第一份是元丰二年的六月二十七号由何正臣上交的。他首先批评苏轼的谢表“愚弄朝廷，妄自尊大”，并且特别强调苏轼对新政的否定。他同时还上交了一本苏轼的诗集作为罪证。第二份和第三份是在七月二日由舒亶、李宜同时提交的，他们在上交苏轼更多诗文的同时，还曲解苏轼的诗文，以此来激怒神宗。七月三日，李定上交了第四份状纸，声称苏轼有四大该杀之罪。这四大罪从考取进士及第开始批判，直到苏轼在地方官任上，简直无所不包。四人在状纸中都极力建议皇帝将苏轼处以极刑，“以示天下”。神宗虽然爱惜苏轼的文才，但是在众人轮番的状告中，只好下旨将苏轼逮捕，押送回京审讯，准备治罪。元丰二年（1079年）的八月十八日，苏轼被押解到京城。
苏轼入狱后，随即被投入阴暗的牢房。之后的五个多月，李定等人对苏轼进行了百般折磨，逼迫苏轼屈认罪行，苏轼对这些小人严词讽刺，毫不妥协，已做好慷慨赴死的准备。苏轼入狱后，营救苏轼的人也很多。这其中包括曾经位居参知政事的张方平和宰相吴充等。这里还要提到两个特殊的求情之人：一个是已经退隐的王安石；另一个是神宗的祖母曹氏。王安石和苏轼之间的矛盾只是集中在政见上，在才学和为人上，王安石是很佩服苏轼的。所以在苏轼被抓之后，王安石上书皇帝说：“安有圣世而杀才士乎？”神宗的祖母曹氏关于二苏“两宰相”之说，早就有所耳闻，她极力反对神宗处死苏轼。神宗也很爱惜苏轼的才气，本来就没有打算置苏轼于死地，再加之众人的求情，他于当年的十月十五日颁布了大赦天下的诏令，苏轼暂时没性命之忧。十二月二十八日，神宗做出最后的裁决：苏轼贬居黄州。其他有关官员也都不同程度地受到了牵连——苏辙因上书营救苏轼，得罪当权者，被贬到高安。与苏轼关系密切的黄庭坚和曾巩等人也都遭到贬谪。历史上著名的“乌台诗案”至此告一段落。
北宋神宗三年（1080年）二月，苏轼在其长子苏迈的陪同下到达了黄州。黄州地处今湖北省东部的长江北岸，北宋时属于偏僻荒凉之地。苏轼的官衔是“责授检校尚书，水部员外郎，充黄州团练副使，本州安置，不得签书公事”，在名义上说，苏轼得到的是一个闲职，不能参加公事；实质上，他在某种程度上还是受到朝廷监视的，是一个特殊的“囚徒”。苏轼在黄州过着简朴的生活，还经常亲自参加劳动。虽然如此，苏轼却感到很适意，一度有在此终老的打算。因无公事缠身，苏轼经常出游，流传千古的《赤壁赋》就是他在游览赤壁后所作的。但是，百姓的疾苦并没有被苏轼忘记，在其《黄州道上遇雪》中，“伫立望原野，悲歌为黎元”，很明显地表达了这种情怀。苏轼虽然被剥夺了参加公事的权利，但他总是请求其他官员多为百姓做事。这里举一例来说明。武昌一带自然灾害不断，百姓生活贫困，但是朝廷赋税却丝毫没有减免，百姓竟然被逼迫到溺杀婴儿的程度。苏轼“闻之辛酸，为之不食”，于是写信给鄂州知州朱寿昌，请求赈济。苏轼虽然没有实权，但是他的爱民之心仍然赢得了黄州人民的爱戴。在苏轼修造房屋时，当地居民纷纷前来帮忙，用苏轼自己诗中的话说：“四邻相率助举杵，人人知我囊无钱。”在黄州居住的五年间，他同当地人民建立了很深厚的感情。
（四）东山再起再遭忌恨
宋神宗一直很赏识苏轼的才华，多次想重新起用他，但都遭到一些忌恨苏轼的权臣的阻挠。元丰七年（1084年）四月，神宗下诏说：“苏轼黜居思咎，阅岁滋深。人才实难，不忍终弃。”苏轼终于被改授距离京师很近的汝州（今河南境内）任团练副使。苏轼本想上书皇帝请求继续留在黄州，但是又恐获罪。于是，他只好带领家人奔赴汝州。元丰八年（1084年）年底，苏轼一家到达泗州时（今江苏境内），盘缠所剩无几。苏轼给神宗上书《乞常州居住表》，他说“有薄田在常州宜兴县”，所以请求皇帝允许他在就近的常州居住。宋神宗同意了苏轼的请求，当苏轼到达南都（今河南商丘）时，皇帝批复的圣旨到达，于是他再一次从南都携家眷返回常州。第二年五月，苏轼刚到常州，朝廷的圣旨紧接着也到达了，任命苏轼为登州知州。
苏轼境遇的暂时好转是因为北宋政局又发生了变化。北宋神宗元丰八年（1085年）三月，在位十八年的宋神宗病逝，年仅10岁的皇太子赵煦继承皇位，是为宋哲宗，并于第二年改元为元祐。因新皇帝幼小无知，无法处理政事，朝政由神宗之母高太后掌握，实际上就是垂帘听政。高太后向来是反对王安石变法的，她听政后开始着手推翻新法，朝政因此大变，史书上称为“元祐更化”。一批因反对新法被降职或自请退隐的老臣纷纷被起用，司马光被任命为宰相，这其中也包括苏轼被任命为登州知州。之后，司马光再次向朝廷推荐苏轼和苏辙，希望朝廷能量才录用。所以，苏轼在到达登州的第五天，就又被召回京城任礼部郎中，不久又任起居舍人。三个月后，又进一步被提升为中书舍人。起居舍人已经是皇帝近臣，中书舍人的地位在起居舍人之上，已经能够参与国家机密了。苏轼对连番的提拔并没有感到很兴奋，而是上书请辞，他说：“臣顷（前不久）自贬所，起知登州；到州五日，而召以省郎；到省半月，而擢为右史（起居舍人）。……出入禁闼，三月有余，考论事功，一毫无取。今又冒荣直授，躐众骤迁。非次之升，既难以处；不试而用，尤非所安。”苏轼的请求不但没有被批准，而且在司马光死后不久又被升为翰林学士，可以说已成为位高权重之人。这段时间是苏轼仕途升迁的高峰。
刚直不阿的苏轼似乎总是不合时宜。王安石主持新法时，他被视为保守派，因此遭受各种打击和迫害。“元祐更化”之后，他又和当政者产生了分歧。以司马光为首的保守派不分青红皂白全面废除新法，这种盲目的做法又引起了一些官员的反对，这其中就包括苏轼。其实，苏轼兄弟一直很敬重司马光的正直为人，但是并未因此在政见上对司马光曲意逢迎。在很多问题上他都敢于和司马光据理力争。例如在役法问题上，司马光主张废除免役法。免役法其实比较合理地减轻了百姓的一部分压力，刺激了百姓发展生产的积极性。对这项行之有效的政策，司马光却要代之以差役法，苏轼与之当堂辩论，固执的司马光被苏轼称为“司马牛”。苏轼就这样招致了保守派的不满。元祐元年（1086年）九月初一，忠心耿耿、以天下事为己任的司马光病逝。之后，苏轼和著名的理学家程颐之间的矛盾进一步激化。因为程颢、程颐兄弟是洛阳人，苏轼、苏辙兄弟是四川人，所以他们之间的斗争在历史上称为“洛蜀之争”。“洛蜀之争”持续了很长时间，很多不满苏轼的人趁机挑起事端，攻击陷害苏轼。