湘潭之战的胜利消息传到京师，引起咸丰皇帝对曾国藩和湘军的真正重视。清军与太平军作战，几乎每战必败，像湘军在湘潭之战上的胜利，实在太罕见了。自此之后，清政府对湘军刮目相看了。黎庶昌《拙尊园丛稿》记载：“湘军初练，某大学士言于朝，以为曾氏回籍自练军队，一呼数万，志不在小，非朝廷之福。而湘潭战后，皇帝特召编修袁方英（湘潭人）问所破贼状，皇帝听了大悦，当日授袁为松江知府，曾国藩之志方得以明。”遂后，咸丰发出一系列上谕，嘉奖湘潭大捷。同时下旨严责鲍起豹失城丧土之咎，革职拿办；培齐布被任命为湖南水陆提督。尤让曾国藩感到高兴的是，准他单衔奏事，湖南省文武百官，除巡抚一人之外，曾国藩视军务需要皆有权调遣。
这些上谕从根本上转变了曾国藩在湖南的政治地位。上谕先发至巡抚衙门，骆秉章接旨后，立即带着藩、臬两司等一班官员，拥着一抬绿呢空轿，亲自来接一直住在城外船上的曾国藩，对他百般赞誉，硬是把曾国藩请人轿内，住进省抚衙门。曾国藩再三推辞，带着郭嵩焘、刘蓉、陈士杰等一班参谋住进原来的湖南审案局里。骂他最凶的徐有壬当晚单独拜会曾国藩，恳切检讨过去的态度，主动提出湘军在衡州向陆知府借的十万两白银，由省库拨还，还答应湘军以后的粮饷，“鄙人尽力筹措”。曾国藩脚跟站稳后，立即着手总结岳州、靖港、湘潭三次作战的经验教训。他认为一年来编练的湘军，到实战之中有的敢战、有的一触即溃，要在湘军中树立“不怕死”的精神，现在正是该严厉整顿的时候。经过调查，三次战斗，塔齐布、彭玉麟、杨载福所率之营能战能防，临败不溃，于是嘉奖了这些有功的官兵。而那些溃败之营，尤其是靖港之战不听指挥，拼命逃跑的官兵，上自营官，下至伍卒，一律裁撤。第一个拿来开刀的是曾国葆的一营，在靖港战役中最先逃跑，除去最后跟着曾国藩撤退的一些官兵外，一律撤去不用。曾国葆本人也被撤去营官，开缺回籍。曾国葆哭着找曾国藩要求留下。曾国藩认为正人必先正己，军令已出，不能再行收回，让他回家告诉曾国荃与曾国华，在籍各招五百壮丁，用心操练，储备待用。
曾国葆先被撤职，其他各营整顿顺利，共裁团丁三千余人。塔、彭、罗、杨四部则大量增募，仅塔齐布一军即达七千人，罗泽南部增至一千余人。整顿后的湘军共有陆师二十营、水师二十营。水陆师各设统领二人，陆师由塔齐布、罗泽南充任：水师由彭玉麟、杨载福充任。将战斗中表现勇敢的两员猛将，鲍超和申名标，提拔为营官。
这次整顿，在湘军史上称为“长沙整军”，是极重要的一次事件。湘军以后的能战，同这次整军有极大关系。每天清晨，长沙城外的演武场上，陆师在塔、罗的指挥下认真训练；水陆洲畔的江面上，彭、杨指挥水师演练攻守。
曾国藩每天穿戴整齐，亲临检视、训话。还亲自编写了《得胜歌》，请人谱曲，让官兵每天演唱，鼓舞士气。
励精图治整军务
靖港失败后，曾国藩把自己关在长沙城外，七昼夜不与人说一句话，陷入深刻的反省与思考中。胜败乃是兵家常事，但此次失败成为曾国藩“咬牙立志”的关键一次。曾国藩后来说，他平生有“四大惭”，即四大耻辱，而靖港之败是其一，他说：“甲寅年岳州、靖港败后，栖于高峰寺，为通省官绅所鄙夷”，但他经历“此一磨折”，后来才有成功。他还说，他一生“打脱牙之时多矣，无一次不和血吞之”，靖港之败亦是“打脱牙之时”。而“打脱牙和血吞”不是目的，“生平咬牙立志，徐图自强”才是目的。
曾国藩善于从失败中总结教训。他认识到，此次失败，也在于水军未经操练，军纪不严。不但打败仗时溃不成军，即使彭玉麟统帅打湘潭取胜时，部下也大肆抢掠。
湘军始建之初，水陆师不仅缺乏实战经验，组织指挥系统上也未能做到层层节制。而临阵作战时，论胆量技勇，兵不如勇，论纪律则勇不如兵。因此曾国藩认识到，必须有得力人员协同管带，加强文武官员的层层节制，才能相互维系。过去，湘军每营仅有一二绅士主持，故纪纲不密，维系不固。靖港之役，就错在“但知轻进之利，不预为退步之地”。而水师之弊，在于没有经战阵之兵勇，全是招募船户水手，编组成军，训练未满一月就拉上前线，故临阵胆怯。因此，曾国藩此后很重视老兵的作用，水陆兵勇编组时，务须新老兵勇互相搭配。
在指挥系统方面，重要的变化是增加统领一级。过去，湘军陆师的编制最高为营一级，由曾国藩直接统辖调遣。营以上设立统领，统率二营或数营。陆师以罗泽南、塔齐布等为统领，水师以杨岳斌、彭玉麟等为统领，由统领指挥营官，曾国藩则指挥统领。这样，在湘军中便出现了旅、团一级的编制，而在实战中，指挥也确实灵便，兵力使用相对集中，比较能适应战争形势的变化。在水师方面，一方面咨札李孟群招募两广水勇一千名，于五月抵达长沙；另外，咨调陈辉龙率广东水师四百名前来参加湘军水师。这支水师配用湖南舵工、水手，以利控制。尤其是在装备上多加洋炮，现在只来六百尊，不足分配。因此，曾国藩又奏请清廷让两广总督购买夷炮数百尊解来长沙。长沙整军后的湘军水陆师，共计一万五千名左右，其战斗力远较衡：州出师时强大。曾国藩还认识到，此次靖港之败，也由于赏罚机制没有建立起来。他感到，古人用兵，都是先明功罪，但今天多是患难之交，投奔大营来并非是为利禄驱使，因此所订法条难于施行，所以“两次致败，盖由于此”。有鉴于此，这次他驻扎在长沙城南门外的妙高峰上整顿营务。规定：凡是临阵脱逃的将领，不再录用。湘乡团练最早的组织者原湘乡知县朱孙诒，因在宁乡、岳州战役中临阵脱逃，被曾国藩断然逐出湘军。曾国藩的弟弟曾国葆也在被裁之列。
经过长沙整军，湘军实力大增。“规模重整，军容复壮矣”。咸丰帝的上谕又称“肃清江面之举，仍借此一军，以资得力”。因此，湘军士气也受到鼓舞。六月，修造战船的工作已经完成，广东总兵陈辉龙也到达长沙，添造浅水拖罟二号，李孟群到广西招募的水手一千余名也回到长沙，与曾国藩所募水勇日夜操练。
转败为胜城陵矶
靖港之战和湘潭之战，让曾国藩吸取了不少经验，同时也得到了许多教训，对湘军进行了重新的整顿，用有生气的兵员代替素质较差的兵卒，同时赏功罚罪，使湘军又焕发出原有的生机。恰巧在这个时候，曾国藩接到咸丰帝的谕旨：“曾国藩添募水陆兵勇及新造、重修战船，既据奏称已可集事，则肃清江面之举，仍借此一军，以资得力。塔齐布胆识俱壮，堪膺剿贼之任。著骆秉章即饬统领弁（bian）兵迅速出境。曾国藩与该署提督共办一事，尤应谋定后战，务期确有把握，万不可徒事孟浪，再致挫失也。”
于是，曾国藩便遵照咸丰帝的命令，带兵出征。
经过曾国藩的整顿，湘军的战斗力有了相当大的提高。加上曾国藩在打了两次败仗之后也摸索出了一些用兵之道，所以此次出征可以说是非常地顺心遂意。自咸丰四年五月曾国藩带兵从长沙出征以后，至七月一日，接连攻克了常德、澧州，并再次攻占了岳州城，曾国藩为此感到一些欣慰。这次胜利让咸丰帝也极为高兴，他在上谕中称：“此次克复岳州，大获胜仗，湖南逆踪业就肃清，江路已通，重湖无阻。即著塔齐布、曾国藩会督水陆兵勇，乘此声威，迅速东下。力捣武汉贼巢，以冀荡平群丑。”
曾国藩见水师接连获胜，便带领手下战将陈辉龙到了岳州。这时太平军虽然屡次遭到失败，但仍盘踞在城陵矶下游一带，又在汉口布置了数千只战船，连缴数十里。