更为严重的是，临清州花花世界，使那些新附的参加者萌发了流氓习性，旧病复发，概不肯服从太平天国一切财物缴圣库纪律的束缚，在州城打家劫舍，掳掠财物，捞了一把后，就再也不服从指挥调动，彼此结帮合伙，成群结队乘隙陆续潜逃。派人追赶，反而被伤害。他们人数众多，曾立昌等北伐援军统帅到此地步，也无可奈何。
4月18日，曾立昌等决定从速撤出临清州，可是西进受阻，仍退回州城。4月22日深夜，又先以庙宇里神像安置城头伪装守军，遂分军出城，沿途，新附者仍不断结伙逃遁，胜保等军乘机追赶，援军且战且退，因军中粮食、火药奇缺，将士多在挨饿中行走，军心日益涣散。4月23日，在李官庄被胜保军追攻，牺牲千余人。4月25日，由李官庄退至清水镇，又被追军杀死千余人。到此之时，即使太平军内部老弟兄也是人心不一。据说，当军队到达清水镇时，原先不打算就地驻扎的，但传令官误传号令，竟将“行进”误当作“停止”。曾立昌和陈世保、许宗扬为严肃军纪，命将他斩首，部属们讲情，因不允许，竞在大帐里吵吵闹闹做出要散伙的态势，曾立昌等恐怕众人离去，只好宽恕。这种下级集体顶撞上级的正确命令，而且还能得逞，这在金田起义后的太平天国军队里是罕有的，以致统帅们的威信扫地，再也难以号令全军了。这天深夜，北伐援军趁清军因沿途紧追人倦马乏及早安营之际，突然偷袭，用火球焚烧敌营五座，取得胜利。曾立昌即提出：趁此追赶，不难将清妖一网打尽，从此返撤往北直抵阜城，可绝无阻滞，乃是转败为胜之绝好机会啊！但陈仕保、许宗扬以代表多数人为由，竭力反对曾的正确主张，他们说：众人都要南归，北行恐怕有更多逃散。我们北上，不如南下。还说：趁着这次侥幸获胜，明天清晨早些赶路，清妖就追不上了。
南逃者主张占了上风。
这时的北伐援军，经过几天的逃散、死亡，人数越来越减少，而且后有胜保等追军，前有地方官绅组织的练勇，不断损兵折将；每遇敌军和练勇追堵，犹如惊弓之鸟，不敢恋战，寻路逃跑，以致死伤更大。
5月5日，北伐援军南经山东梁山、钜野和金乡等县到达江苏丰县，胜保又率军围攻，此时声势曾多达四五万众的北伐援军仅存几千人众，至是众寡悬殊。是夜，北伐援军突围东走，至温口支河，正遇山洪大涨，不能徙涉而受阻，清军追赶而上，援军只得强行抢渡，其中一千余骑兵因急于渡河，误陷河滩淤泥中，难以自拔，竟被敌军当作活靶子乱箭射死，很多冒险渡河者也为急流淹死，曾立昌也溺水而死。陈仕保、许宗扬泅河搜集残部二千余人，从永城南走，经安徽蒙城至凤台展沟集。5月14日，陈仕保战死，许宗扬率残部经颍上、霍丘等地，返回天京。
这支北伐援军回来还剩多少人？语焉不详。据清人奏报，他们途经颍上时，只有两三百人，后又经过几次战争，看来回到天京时更少了。
北伐援军，进军迅猛，旗开得胜，到南撤时，兵败如山倒，乃至全军覆没。前后只有七十几天，真是来得容易去得快。它的直接原因，就是曾立昌等人的指挥失误。
北伐援军失败后，杨秀清曾打算再派出援军，东路拟由天京渡江北上，但因浦口失陷未能通过而了了；西路派燕王秦日纲率众北上，但秦日纲军至安徽舒城，就南折回，他向杨秀清打报告说：北路妖多。
两路援军就此划上了句号。
自是，被困连镇、高唐的北伐军只能是自我奋斗，自生自灭的了。
林凤祥受刑之时，“刀所及处，
眼光直视之，终未尝出一声”
连镇，北伐军失败前的一个重要据点。以林凤祥为统帅的太平军将士在这座北国小镇的二百八十天日日夜夜战斗，为太平天国史写下了慨而慷的一章。
北伐军是在1854年5月2日自阜城突围，乘夜进占连镇的。
连镇，地跨运河两侧，称东连镇、西连镇。北伐军进踞后，即运用水道交通运输之便，在很短期间，补充军资粮食及布置防务。等到阜城围军僧格林沁等匆匆赶到，东西两镇均已扎妥坚固的木城，深沟壁垒，枕戈已待了。
北伐军虽仅剩万人，仍保持旺盛的士气，众志成城。有很强的战斗力。
5月12日，北伐军主动出击，获得一个小胜仗。
5月14日，北伐军又主动出击，占领西连镇周边各村庄。
5月21日，僧格林沁和胜保的联合部队猛攻连镇，打了一个败仗。
5月28日，李开芳分军突围南下，接应来自天京北上的援军。林凤祥继续坚守连镇，等候援军的到来。
此后多天，林凤祥督同将士与僧格林沁的几万军队进行了艰苦卓绝的战斗，屡战屡胜。他们还经常主动出袭围军，打得敌军措手不及，死伤甚众。僧格林沁军队疲于奔命，劳而无功，士气低落，临阵退却，怯懦厌战。但他能源源得到兵源、粮草弹药的补给，相比之下，困守在连镇的北伐军就处处短绌了。
僧格林沁采取了围而不战、以断粮食的战略。他调遣民工环着连镇，外筑了一道一丈多高、长围百里的土堤，堤外再掘深沟三道。在筑堤时，经常被北伐军冲塌，即使这样，僧格林沁仍督使官兵随塌随筑，修筑完整。他的这番用心，别有意图，但却没有引起林凤祥重视。
阴历十一月严冬季节到了，僧格林沁命令将士每日夜间不断向土堤浇水，天寒地冻，土堤变成了冰城，再要突破也就不容易了。林凤祥带北伐军多次冲击，都没有见效，往往靠近土堤，就先滑倒。北伐军被围困在里面了。林凤祥因陆战未能得逞，又派熟悉水性的将士由运河潜出听取消息，也均被清军撒在河中的滚钩渔网捕获。他们再也得不到镇外村庄接济和外界情况了。
北伐军的粮食发生恐慌。
几个月前，将士还能分食到高粱、黑豆，其余粮食全无，但高粱很快就吃完了，剩余的黑豆也不甚多，这时只能供给林凤祥和将军汪一中等高中级干部，其余人员只能吃与驴马待遇的轧油豆饼。大概到1855年2月初。即西连镇失陷前后，黑豆、轧油豆饼也都吃光了，将士只能将战马宰杀，全军只剩得林凤祥的一区坐骑，其余全数宰食了。
北伐军长期为饥饿所困，形势愈来愈急。
在此期间，林凤祥多次率众突围，未近土堤，就遭地雷轰炸。将士因饥寒交迫，多有出逃降敌，前后共达三千余名，占围城总人数的一半。僧格林沁将降众编为“义勇”，予降人施绍恒以守备衔，统带随同作战。
1855年2月5日，北伐军放弃西连镇。
林凤祥因人员减少，防地过宽，将西连镇所有兵员尽数移至东连镇。
北伐军此时只剩下两千战士，虽然饥饿有加，却仍坚守几重木城、长濠，时刻准备打击来犯的敌人。
僧格林沁占领西连镇后，强化了军事攻势，以杀立威。他宣布自即日起，以后投降的北伐军将士，除年老及十五岁以下幼孩准予接收，其余一概处死。翌日，林凤祥部两军帅、前清县丞萧凤山和附生钟有年等九十余人前来投降，尔后又有二百余将士投降，均被诛杀。
3月7日，僧格林沁向东连镇发动总攻势。
清军兵分四路，从东、西、南、北杀进了东连镇。北伐军将士血肉相搏，白刃相接，杀死清军官兵不计其数，但自己也伤亡累累，所有木城尽被烧毁，余众且战且退，退至运河畔，有的奋战牺牲，也有的跳河自杀。无一降者。林凤祥也在镇陷时，持刀冲杀，身受重伤；将军汪一中，总制江玉道、萧在仁、李开兰、吉金祥等被俘，后解押到沧州杀害。
东连镇失陷。
但林凤祥不知去向。
僧林格沁十分焦急，他命令搜索：生要活捉，死要见尸。在打扫战场时，见瓦砾榛莽下有块新砌的青石板，翻开来看下面是一个深不可测的地洞。降人施绍恒自告奋勇愿意下去察看。过了些时候，施绍恒爬上来说，地洞下到底面，纡回曲折，深数十丈，内有室甚宽敞，林凤祥因身受重伤，住在其中，旁有几十个将军、总制级干部；见施至，拟拔刀相加。林凤祥阻止了，说：现洞已破，杀之无益。
3月14日，林凤祥和他的部将指挥黄益峰、将军陈亚末、欧振彩等被押解到北京。当天，清惠亲王绵愉会同巡防处人员进行审讯。林凤祥坚强不屈，只是侃侃叙述了自己在太平天国的五年经历，别无他答。
第二天，林凤祥在北京菜市口刑场被凌迟处死。
凌迟，又称寸磔，是封建社会后期一种极为残酷的刑罚。相传明朝正德皇帝凌迟权宦刘瑾，由职业刽子手刀割了三百六十六刀，开始是两刀将眉毛下肉削下掩盖眼睛，每天一百二十二刀，至第三天最后一刀始割断喉管以毕命。据时人记载，当时杀害林凤祥，乃是“命刽子十六人，各持木柄小铁抓，四面环锄，顷刻间自顶至踵，肉筋俱尽，仅余骨骼”（《宝韦斋类稿》），但林凤祥昂然挺立，毫不畏缩，他受刑之时，“刀所及处，眼光直视之，终未尝出一声”（《见闻杂记》）。
后来，在林凤祥等牺牲后的第八年，即1863年那年，太平天国追封林凤祥为求王，李开芳为请王，吉文元为祝王和朱锡锟为腑王。
运河水至，冯官屯顿成泽国，只有李开芳坐帐处的几方丈地尚未被淹。
北伐援军撤出临清南走时，北伐军尚苦守阜城待援，在他们跑到连镇的第三天，北伐援军已在逃跑中败散。但北伐军因为被阻隔，不清楚，大概在这年5月下旬，方才知道天京派出的援军已进入山东，这个迟到的消息据称是一个广东妇女送来的密信。
北伐军离浦口远征后，曾经三次打报告到天京，路远迢迢，天各一方，他们却从未收到回音，天京派出的信使都在中途失踪了，以至林凤祥、李开芳、吉文元和朱锡锟到最后结束生命时，还没有接到太平天国晋封他们为侯爵所赐用的银印。
这个广东妇人能讲各省方言，因而才能混过重重封锁线来到连镇。她可能就是北伐援军派出的信使。
林凤祥、李开芳当然是欢喜欲狂。
他们商定，林凤祥留守连镇，李开芳南下接应援军北上。
当时北伐军已不满万人，而且还有不少非战斗力的牌尾。林凤祥甘愿担当最大风险，让李开芳带领一支精兵出围。
这是一支善于作战的骑兵部队，原定是一千名，在各营挑选，条件有三：能跃一丈宽沟，能抛丈二高火球。能于马道旁并马跑出马道者，方为合格。但据李开芳后来说，他只带了六百三十余人骑突围出去。看来，北伐军将士英勇善战，也已经见存不多了。
5月28日，李开芳等乘夜冲出连镇，过吴桥、柘园、绕德州，经陵县，穿恩县县城，一夜连闯三百里。沿途探寻北伐援军去向。至30日占领山东高唐州，一小时后，胜保等追军赶到，李开芳赶紧布置防务，闭门紧守。他在坚守高唐的二百八十多天里，和比他们多十几倍兵力的清军进行了三十多次激战，充分发挥自己善于夜战近战、肉搏战的优势，次次打垮敌人。胜保曾用水攻计，决堤灌水入城，因大雨滂沱，反而冲及清军营垒，李开芳乘势组织守军于夜间出击，在泥水中杀死无数敌人；胜保无法，开铸一万五千斤重的大炮，轰塌城墙二三丈，但清兵畏怯，不敢冲进缺口；他又命清军开挖地道，埋地雷轰塌城墙五丈余，可是蔽天的浓烟，却遮迷了攻军，因而地道虽然挖至一百三十余丈，也了无成效。胜保屡战屡败，不敢进攻。高唐州城，固若金汤，守军甚至白天大开城门，自由出入。
咸丰皇帝大发脾气，将胜保拔去花翎，革职留营，在僧格林沁攻陷连镇后，命他赴高唐接办军务，将胜保发往新疆效力赎罪。
僧格林沁到了高唐，相度形势，即改变强攻战术，故意在南门外放松守备，诱令逃出，拟在途中歼灭。李开芳见僧格林沁率军来到高唐，也知连镇失陷，再坚守高唐无益，决计撤退南归。1855年3月17日，冲出高唐，向南奔驰，半夜鸡叫声中，进入荏平冯官屯。冯官屯三村相连，中多富户，高楼广厦，外匝砖墙，十分坚密。李开芳正在休息扎营时，僧格林沁前锋骑兵已赶到，他急忙连夜掘壕树栅，布置守卫。天明，僧格林沁军主力赶到，攻占附近两村，李开芳军反击，杀死头等侍卫达崇阿等多人，北伐军也有两百余人战死，仅剩四百余人坚守冯官屯一村。
冯官屯米粮丰足，战守可恃，僧格林沁军用大炮猛轰，几乎将屯内房屋全数轰毁，北伐军则开掘地沟，盘旋三匝，可由地下通行；并有小孔向外了视，俟敌军靠近，乃向上开枪，击毙敌人多名。
僧格林沁以几万之众对付几百北伐军，竞无计可施，于是采纳以水灌屯之计，组织民工以一个月工程，开挖旧汉河，自东昌（聊城）境引运河水至冯官屯；因冯官屯地势颇高，又借用水车将水灌进屯内，河水渐流入屯，浸没所挖的地道深沟，遍及全屯，平地水深几尺。至5月中旬，冯官屯已成泽国，北伐军粮草火药尽行浸湿，将士几都泡在污水里，只有李开芳坐帐处的几方丈地尚未被淹。
李开芳在屯里仍坚持战斗，指挥将士赶制木排长梯，拼命扑出，均未成功。僧格林沁因一时未能攻陷冯官屯，就开展政治攻势，改原来的武力进剿为招抚。
5月27日，李开芳部两湖籍将士二百二十人出屯投降；翌日，又有黄近文等将士一百四十人出屯投降，僧格林沁说他们是诈降，尽数杀死。
5月31日，李开芳表示愿意投降，带领全部将士八十八人乘坐小船，前来投降，僧格林沁在他们刚要渡出时，暗派步骑队万多人张左右两翼围困，将李开芳等人全数擒捉。
李开芳在被俘后作了口供，建议清军不要杀太平军中的广西人。他说：“若是广西人投出，也准免罪不杀广西人何乐而不投出。若广西人纷纷投出，则南京不难破了”（《李开芳供》）。还信誓旦旦表示，愿意去打南京，招安同伴。但是僧格林沁仍将他解往北京，在路绝食。6月11日，李开芳及其部将黄懿端等在北京被杀。黄懿端在临刑前，飞脚踢死两个刑卒，踢伤两个。
曾国藩抱着穆彰阿的大腿，春风得意，步步高升。
曾国藩出场了。
曾国藩在近代中国是一个非常人物。誉之者说他是理学大师、大儒，是一代名臣；毁之者说是卖国贼、刽子手。正如章太炎说：誉之则为圣相，谳之则为元凶。
他也是一个非常有争议的人物。
但对付太平天国，他的确是两者兼而有之，是能臣也是刽子手。
曾国藩是进士出身的。因为有学问，又能依附穆彰阿、倭仁等当朝权臣和理学权威的门下，使他春风得意、机遇迭生，从1840年（道光二十年）的一个从七品的翰林院检讨，不到十年连升十二级为正二品侍郎了。他在大清王朝六部中先后出任礼部、兵部、工部、刑部和吏部的侍郎，人称“侍郎专家”。由此他于政府职能和官场升浮都是非常熟悉的。
原来曾国藩初登宦途时，曾有几年一直停步在翰林院检讨的座次。有年大考翰詹，从翰林院选拔人才，穆彰阿任总考官，交卷后，他向曾国藩面索应试诗赋，曾国藩立即赶回住处仔细誊清，又是亲自送往穆府。穆彰阿见曾国藩如此恭敬，心中大喜。两人的师生之谊深化了。从此之后，曾国藩因穆彰阿美言，几乎年年升迁，就在1847年，三十七岁那年，升授内阁学士兼礼部侍郎衔。
曾国藩的官运亨通，穆彰阿是帮了大忙的。