城陵矶在岳州和武昌两地之间，处于川湘交界之地，自古以来都是兵家必争之地。当时太平军的秋官又正丞相担任城陵矶的守卫，而攻打城陵矶的清军水师，有一部分归曾国藩直接训练和掌握。另有山东登州镇总兵陈辉龙也统领着一营的清军水师，广西保升道员褚汝航统领的另外有一营清军水师，由广西保升同知夏銮统领的清军水师一营，广西升用道员李孟群统领的一营，加起来共有四千多名水师兵勇。其中李孟群营有广西水勇一千名，陈辉龙营有四百多名的广东水兵，剩下的以湖南人居多。这些人大多归曾国藩管制。这批水兵虽然船多械足，但在经过了几次战斗之后，军队之中骄傲的情绪逐渐滋生。曾国藩进攻的步伐非常缓慢。因为他的大部队还没有到达岳州，他在等待时机。塔齐布也提出了类似的看法。但陈辉龙因为自四月下旬到达这一带后，便因船炮不齐、粮饷不足坐等了两三个月，待到启程后，又因为风大而耽搁住了。他特别着急，想快点儿把太平军斩尽杀绝。褚汝航、夏銮也都怂恿曾国藩出兵，并且要求一同前往。曾国藩觉得陈辉龙已经在水师营中干了四十多年，经验极其丰富，一定是瞅准了进攻的最佳时机。况且褚汝航他们也是多次建立战功的名将，每次都善于把握时机。
七月十六日辰刻，陈辉龙、褚汝航、夏銮分别带领各自的清军水师向城陵矶进发。这时李孟群还未到达岳州，但他的前队广庆水兵也跟随着陈辉龙的部队。左营彭玉麟、右营杨载福也准备好进行援助。这时还风平浪静，等到了城陵矶时，恰好与太平军遭遇。陈辉龙等一起向太平军发起进攻，枪炮齐发，轰毙了数十人，烧毁了太平军的数只战船。这时风势已大，广东提标水师右营游击沙镇邦，对水师最忌讳的事情全然不顾，乘风追击。陈辉龙见风势愈大，打算插旗收队；又害怕游击沙镇邦的炮船有危险，便又督催拖罟（gu）赶往救护。没想到船太大，竞在漩涡激流中搁浅。两广兵勇也被风吹得七零八落，互相拥挤。太平军的战船就在这时候突然杀过来，将它们重重包围。广东弁（bian）兵的战船以及广西何越王廷的船只，欲前去救护，又因风力太盛，互相拥挤在了一起，无法使用枪炮。当太平军的船只逼近时，兵勇陷入重围，进退不得，被杀害了许多，余下的都跳水得以逃生。陈辉龙、沙镇邦都已经阵亡。褚汝航见陈辉龙情况危急，出于情义，便赶去相救。无奈太平军的兵力越来越强大，清军渐渐有些支撑不住。褚汝航赤手空拳杀了几名太平军，夏銮也与太平军进行正面交锋，均被重创，落水殉难。广东署千总何若沣、广西带勇侯选府经唐亚，一同遇害。这时提督陆营虽带领部队到达了城陵矶，但无法渡过港口，也就无法前去救援。清军水师大败，死伤无数，还损失了几员大将。
水师的失利让咸丰帝非常恼火。咸丰帝严厉斥责了曾国藩。据称，咸丰帝看完奏折以后，感到非常愤怒，他指责“曾国藩系在水路督战，于陈辉龙出队时，不能详慎调度，可见水上一军，毫无节制。即治以贻误之罪，亦复何辞？”“唯曾国藩前经革职，此时亦不必交部严议。仍责令督饬水师将弁（bicn）奋力攻剿，断不可因一挫之后，遂观望不前。”
不过，虽然话是这么说的，此次水师在城陵矶打了败仗，指挥不力的曾国藩应负很大一部分责任。但他的指挥不力并不是没有原因，首先是没有足够丰富的水师作战的经验；其次是对手下的将领过于依赖，认为他们毕竟也统带了几十年的水师，从心理上认为他们在具体作战方面一定胜于自己，所以在驾驭时不免放任了他们。
不过，曾国藩由此也得到了不少的好处，首先就是这些清军水师统领战殁后，他便依靠水师一统天下；其次就是他认识到在任何时候所依靠的人只有自己。并且陆军最终攻克了城陵矶，所以咸丰帝也没有过于责备。
乘胜追击平湖北
咸丰四年七月中下旬，清军在攻下城陵矶之后，乘胜追击，湘军水师沿江扫清了太平军的残部，攻占了蒲圻，接着乘机攻占了沿江的重要港口，在距武昌六十里的金口安营扎寨。塔齐布、罗泽南率领的陆军，在八月下旬，攻下了武昌远郊的纸坊。曾国藩准备进攻武汉。长江、汉水把武汉分割成了三部分，其中数武昌的位置最为重要，攻打武汉，实为攻打武昌。
共有两万名太平军驻守在武昌，拥有几千只船舰，并且还在武昌城外修筑了坚固的防御工程。但是这些船舰都是由民船改装而成，并不适合作战。而且武器装备简陋，用的都是土炮，也缺乏有经验的将领。再加上太平军已两次遭到惨败，信心极其不足。
而湘军的情况则与之恰好相反，总兵力在两万左右，武器装备也甚为精良，而水师虽在城陵矶惨败，但陆军却获大胜，并最终攻下了城陵矶。曾国藩此时也是信心十足，增加了水师的兵力，使船舰更加坚不可摧。
根据双方的特点，结合武汉三镇的形势，曾国藩制定了水师作战的详细计划，采用了集中优势兵力各个击破的军事战略。他派水师清理江面，把太平军与武汉三镇的通路给切断了，再与陆军联合，用炮火向太平军的营垒发起进攻；陆军的绝大多数力量来攻击武昌，魁玉带领的湖北兵围攻汉阳。
8月21日，水陆两军同时向太平军发起进攻。水师共分两路，他们发挥火力优势，将太平军的五百多艘船舰击毁烧尽；塔齐布率领的陆军将洪山攻下，使位于武昌南面重要高地和“陆路汇总之处”得到控制。罗泽南率领的军队也在同一天将花园营垒攻下。这时，守城的太平军混乱极了，许多人纷纷弃城逃跑。第二天，清军水师又击毁了数百只船舰，攻下了武昌和汉阳城外太平军的所有大小营垒。黄再兴大为吃惊，不敢恋战，第三天凌晨便弃城出逃。汉阳守军也在同一天弃城东走。第四天，水师又乘机对未撤离的汉水太平军船队进行围攻，数千只船舰，有的被烧毁，有的被击沉，无一能够幸免于难。
短短的四天中，湘军中只有二百多人伤亡，却一举将武汉重镇攻下，使太平军损失了两千多艘船舰，数千名士兵。代价微，战绩巨，实出乎意料。如此大胜，使整个满汉统治阶级甚受鼓舞。这次胜利，从武汉三镇掳掠了大量财物，许多湘军将领和士兵得以加官晋级。更以为太平军已是日薄西山，没有几天活儿头了，他们便把从军作战当作风险小而又可以名利双收的捷径。所以以极大的热情投入到新的战役中，图谋有更大的收获。
曾国藩也信心倍增，他辞谢了署理湖北巡抚的任命，全心全意带领军队东下，并制定了从三路进军的计划，他准备先破田家镇，再进攻九江。三路军马先后在9月上、中旬发动进攻。在长江北岸，魁玉、杨昌泗带领的绿营军为主力，但这一军队素质较低，太平军把他们堵在了蕲州一带，动弹不得。塔齐布、罗泽南率领的两军是南路湘军的主力，分别向兴国和大治两地进犯，既使东进没有了障碍，又使武昌南面的防御工事得到巩固。接着两军向半壁山和富池口分头进逼。中路的水师偶尔与太平军的舰队战上几个回合，不分上下。
田家镇、半壁山是太平军的防守重镇，湘军东下九江也必须途经这里。
太平兵在田家镇设有重兵防守，并在那里修筑了坚固的土城；同时在半壁山派重兵防守；江面上有两道连接两处的铁链，小船和木排布置在江心，木排上设有木城，里面守有重兵。太平军在这里集结了大批兵力，大约有四万人，并派燕王秦日纲前来亲自率领。虽然太平军兵力强盛，部署严密，但后方力量却十分薄弱，秦日纲不敢主动攻击，只是一味地消极防御，处境十分尴尬。
综合双方势力以及形势发展情况，曾国藩做出了先以主力部队进攻兵力较少的半壁山的决定。在上次防御中，太平军利用地形的险峻以及防御工事的坚固来对付清军，但这次他们变通了策略，转而采取在营垒之外进行野战的方法。
10月1日，当罗泽南率领的军队行到半壁山前二三里处时，太平军便前去主动迎击，驻扎在田家镇的大营也派军队渡江前去援助。经过一天大战，太平军死伤无数。而罗泽南率领的湘军却注意审时度势，虽太平军多次来营前求战，罗泽南却命令全军休整，第四天才与太平军开战。秦日纲虽然亲自率领军队，但并不能挽回败局，反而死伤更多，以至于丢掉了半壁山大营。罗泽南与已攻占昌池口的塔齐布军联合起来，收复了南岸；接着湘军水师又在13日向太平军大举进攻，使太平军的江边防守被击破，焚毁了数千艘船只。
半壁山被破、江心铁链也被清军给摧毁了，驻扎在田家镇的太平军一下子就失去了战斗的勇气，加上蕲州的太平军也听到消息而撤退了军队，于是，太平军只好将田家镇主动放弃，沿江下撤。
攻克城陵矶、平定湖北以后，曾国藩在以后的日子里感到无限风光，自此以后，屡攻屡克的他大有一鼓作气将金陵拿下的攻势。