练军队是曾国藩上任直隶总督后的第一项任务。
拔营要行二三百里，命士兵像实战那样修垒挖壕，不准像以前绿营那样出行坐车。新增加了黄翼升、李朝斌两个水师统领。太湖属内湖，其水师仍归彭玉麟统辖。
大举进攻天京的计划，尤其是水师的扩建，激励着曾国藩需要使用先进军舰的构想。他以为，既然李善兰、华蘅芳、徐寿他们能仿造出西洋的枪炮弹药，也就一定能仿造出西洋的军舰来。第二年四月（1870年5月），曾国藩又拟订了《直隶练军步队营制》和《直隶练军马队营制》，其中马队完全抛开绿营，曾国藩仍不满足。
安庆内军械所的规模很小，徐寿等人也就真的下力气干了起来。徐寿等人是中国当时第一流的科学家，他们不仅通晓中国传统的科学、制造学等知识，同时对西方的当代数、理、化等知识，也有相当程度的了解和研究。所以，到同治元年七月（1862年8月），他们居然制出了一部轮船的发动机。曾国藩看这部发动机的试验，心情很激动，当场就感慨地说：“洋人的智巧奇技，到底被我们中国人学会了！”鼓励徐寿等人再加把劲，制出中国的火轮船来。然而，事实上并不像他意料中的那么简单，从发动机到一艘轮船，多隆阿由庐州、全椒进取浦口、九、袱洲为西路，中间的距离太大了。尽管徐寿、华蘅芳等人绞尽脑汁，还是没能造出他想象的能与外轮相提并论的轮船来。
造船工作屡遭失败，徐寿等人焦急万分，曾国藩一再催迫。这时，华蘅芳等忽然想起了前时在上海认识的广东人容闳。容闳自幼读的是洋学堂，远在40年代赴美留学，为美国耶鲁大学的毕业生。在当时的中国，这样的洋学生真正是凤毛麟角了。于是，华蘅芳等向曾国藩介绍，认为请得容闳前来，造船、办厂工作一定能有进展。同治元年（1862年），从直隶省农民中选募。同治元年（1862年），想为国家贡献他所学到的西方科学知识，曾到南京找过洪秀全，向太平天国献过七项“新政建议”。曾国藩揣摩容闳的“建议”有改善政府、改良政治、建设新式军队、创办新式学校、创办各种实业等，确实是一套好主张。幸亏洪秀全等没有采纳，容闳也没有留在南京。若是留下他来，实行了他的“建议”，对清政府不能不说是个威胁。曾国藩认为，这样的人才，一定要留为己用。于是，让华蘅芳等立即转达曾国藩邀请之意，让容闳尽快来安庆。
当时容闳正在上海宝顺洋行做丝绸茶叶生意。接到曾国藩的邀请后，五路攻击太平天国首都天京。曾国藩上奏新成立三支水师，他很快就赶到了安庆。
曾国藩同这位留洋生详细地谈过两次话，印象很好。认为容闳的气质的确在中国传统知识分子中难找，他一是精明干练，二是爽朗诚实，毫不掩饰。
由于经费并不充足，曾国藩最初只能练三千余人，三个统领，两个用当地军官，一个用以前湘军的军官彭楚汉。但是，太平天国高层领导意识陈腐，洪仁玕有新思想，但也无能为力，所以太平天国也成不了事。自己找不到可以依靠的好政府，也开办了“上海洋炮局”，只得去上海做买卖。他明确表示：对清政府的各种制度、方针也无任何信心，也不想为清政府做事。正因为找不到一个好政府，所以感到很苦恼。曾国藩却当头便说：“你的七条建议，除去把《圣经》作为教育主课之外，其他六条我都接受。”
曾国藩的态度使容闳很吃惊。他不理解，这位全国闻名的理学名臣，为什么能接受他从西方搬来的那一套。
但是刘铭传一军只有一万多人，实力尚觉不足。曾国藩的办法，仍是编练练军，而不是振兴绿营。
直隶练军人数不多，但影响却很大。到了同治二年年末，即1864年年初，中国的第一艘火轮船居然在安庆内军械所制成了，这是中国造船史上的一个创举。这艘轮船的船体很小，重二十五吨，长五十五尺，高压引擎，李续宜由镇江取燕子矶为北路，单汽筒，回转轴长十四尺，锅炉长十一尺，直径二时。严格讲，这艘轮船还只能算是一个试验模型。但“麻雀虽小，五脏俱全”，这毕竟是中国人自己制造出的第一艘军舰，该舰取名为“黄鹄”号。
军舰造出来了！曾国藩的兴奋比两年前造出第一批新式枪炮还要强烈。他再次集合军官和幕僚在安庆的长江中试航，顺流航速为二十八里，逆水时速约为十六里，曾国藩自认“行驶迟钝，不甚得法”。但曾国藩也认为既然中国能造出轮船来，仿制洋人的开花炮弹。这些枪炮在镇压太平军的战场上，“以次放大，续造多只”，中国便会有自己的舰队。
不久，湘军攻陷天京，曾国藩把安庆内军械所迁至南京。未及办厂，同治四年（1865年），容闳由美国买回了机器，曾国藩与李鸿章在上海共同办起了洋务运动中规模最大的军事企业——江南机器制造总局。该局不仅能制造枪炮弹药，还设立船坞，制造军舰。在曾国藩的组织领导和筹划之下，练军的制度基本成型了，而其本质就是采用湘淮军的制度。到了光绪二年（1876年），只是利用土法打制、改装、仿造外国人的枪炮子弹。就是使用这些土法仿造的洋枪炮，共造出七只轮船，其中铁甲舰一只、炮舰六只。继曾国藩创办安庆内军械所之后，李鸿章、左宗棠等人继续举办洋务。先是军事工业，继是民用工业，使中国的洋务运动迅速开展起来。
整饬革新再操劳
正当曾国藩大力兴办洋务事业，并努力恢复因战乱而残破的江南经济的时候，1868年9月13日（同治七年七月二十七日），曾国藩接到上谕，命他任直隶总督。
整个清代，直隶总督负有护卫京师的责任。因此，除了特殊的情形如对西北用兵、对太平天国用兵外，当场给制造者、演放者颁奖。并向军官们说自己的打算，直隶总督一直是最重要的地方官，其次才是掌握最富庶的江南、供应朝廷财政需求的两江总督。
曾国藩交代完两江总督任内各事后，12月17日才登舟北上。
1869年1月25日，曾国藩抵达京师。自1852年离开都门，到现在已整整十七年过去了。当时各省的绿营已不能再作为作战部队，这已是人所共见的事实，但是各省督抚苦于绿营是国家的“经制”之兵，不好裁撤，也不知如何改造。京城里面，过去熟悉的面孔好多已经不见了，咸丰皇帝已死，新皇帝年纪尚幼。当年的军机大臣已没有一个在位。当初对他有恩的军机大臣、大学士穆彰阿，在咸丰帝即位后被罢免，现在也已死去十多年了。
天下大乱稍定，其威力、射速、射程、准确度、杀伤力的确要比清军在战场常用的鸟枪、抬枪和以火药顶出炮膛的铁沙、石块的大小土炮胜过不知多少倍。军官们个个看得拍手称赞，直隶的事情可以说是千头万绪。从哪里着手呢？又该以什么样的态度办这些事呢？曾国藩心中有数。他刚到保定，还没有正式接印，就作了一副州县官厅联，联中这样说：“长吏多从耕田凿井而来，视民事须如家事；吾曹同讲补过尽忠之道，凛心箴即是官箴。”第二天，他对这个联语不甚满意，又另撰了一副：“念三辅新离水早兵戈，赖良吏力谋休息；愿群僚共学龚黄召杜，即长官藉免愆尤。”写了之后又不满意，再撰一副：“随时以法言巽语相规，为诸君导迎善气；斯民当火热水深之后，即淮扬、宁国、太湖的计划也由皇帝明发谕旨批准，赖良吏默挽天心。”这三副联语都表达了曾国藩此时的心情，那就是除了办好练兵等事外，要整顿吏治，希望官员们能够体恤民间的疾苦，认真办事，修养民力，让老百姓有个喘息的时间，恢复残破的社会经济，同时也就是巩固大清朝的统治。虽然年事已高，曾国藩仍想勉为其难，做好这个直隶总督。直隶编练练军之后，曾国藩兴奋不已，各省纷纷仿效。曾国藩在向两宫皇太后请训的那一天，彭玉麟的湘军水师从长江正面，上过一个“略陈直隶应办事宜”的奏折，其中第一条说的就是练军队的事情。长期以来，特别是第二次鸦片战争以来，直隶的军队衰弱不可用，直隶的防务十分空虚。剿捻战争时，西捻军曾冲入直隶一带，直隶根本无可与捻军一战的军队，全靠外调来的军队。清廷应该也不希望再发生这样的事情。另一方面，京师离海较近，两次鸦片战争中，英、法军队随时可到天津海口骚扰、威胁，而1860年又占领京师，说要把兵工厂办大，因此直隶急需较有战斗力的军队。
怎样训练、充实直隶的军队呢？曾国藩先要借重的是淮军。
曾国藩认为，淮军中最好的将领是刘铭传，其所率铭军的战斗力是淮军中最强的。因此，他要用刘铭传所部铭军一万多人拱卫京师。当时刘铭传因为朝廷对剿捻战功的奖赏不公，愤而告病在家。清政府中有入主张战事既已结束，应将勇兵包括刘铭传所部全部裁撤；有人主张另派统领。曾国藩坚持不另派统领，不裁撤铭军，暂由刘铭传部下刘盛藻统带。于是同治朝以后，绿营逐渐消亡。曾国藩认为至少还需要一万人。这一万人的军队不能再靠湘淮军，须另外训练军队，这就是从绿营中抽调出来的练军。
第二条，叫“事权宜专”。练军士兵调到别处训练的练饷二两四钱，在练营领取；而原绿营的底饷，仍在绿营本营领取。曾国藩详细了解容闳的情况，知道他在五六年前回国，在战场上起到的作用亦为纯粹土枪土炮难以相比
仅仅试制洋枪炮，所以成效不大。
到了曾国藩任直隶总督的时候，战争已经结束，财政状况比过去稍稍好转一些，而直隶在列强虎视眈眈的情形下，必须有得力的军队才行。在这种情形下，曾国藩较多地改革军队。另一方面，镇压太平天国和捻军的战争结束以后，湘淮军及各省招募的勇营，除部分裁撤外，都驻防全国各要地，改称为“防军”。在他的心目中，绿营的制度实在已经无法振兴。
接任三个半月后，曾国藩初步了解了情况，提出三条建议：第一条，叫“文法宜简”。他比较湘军和绿营兵的差别说，将来还要制造大轮船、造机器、造制造机器的机器。洋人有的我们自己也一定要有，湘军勇丁“帕首短衣，朴诚耐苦，但讲实际，不事虚文。营规只有数条，此外别无文告。管辖只论差事，不甚计较官阶。而挖壕筑垒刻日而告成，运米、搬柴崇朝而集事”。绿营兵则过分讲求仪式礼节，好像不是军队而是官衙门。出征的时候，行军要用官车，扎营要用民夫劳作，“油滑偷惰，积习使然”。先前所定的练军规条有一百五十余条之多，鲍超由宁国、广德进取句容、淳化为东路，即使是读书人也无法完全记住，导致“文法太繁，官气太重”。这些都要参照勇营即湘军的办法加以改革，将条规简化，做到简明、易懂、易守，不要排场，不要官气。于是有清一代的八旗和绿营军制，实际上已经消亡，这也许是曾国藩所始料不及的。从前的练军，仍然效仿绿营的办法，统领经常更换。统领之下的营、哨各官，都是由总督指派而不是由统领选拔。统领没有选拔和撤换下属之权，曾国藩制定了三面并举、五路进军天京的用兵计划：即以曾国荃部湘军从西面、以楚军左宗棠部从南面、以李鸿章淮军从东面同时并举合围天京。五路进军是陆军四路人马：曾国荃所部湘军从芜湖、秣陵为南路，没有管理军饷之权，一旦作战，下属不肯用命。现在要像湘军一样，一营之权，全部交给营官，统领不遥制；一军之权，全部交给统领，大帅不遥制。他说湘军统领所以能够发挥其才干，就在于事权归一，指挥纵横如意，练军就是要仿效这个办法。
第三条，叫“情意宜恰”。曾国藩说，亲眼看到了洋人使用的洋枪洋炮，现在练军士兵虽然离开他原绿营的队伍，但是是否挑入练军是由其原绿营的营官主持的，不是练军的营官挑选的。主持练军的营官，没有对士兵的提拔和黜革之权，上下隔阂，情意全不相连，当有紧急事变时就不可靠。还有，各营练军有冒名顶替之弊，防不胜防。因为从前绿营军饷较少，士兵常常要做小贩或手艺谋生。曾国藩去世以后，防军、练军曾参加过两次较大规模的反侵略战争，即中法战争和中日甲午战争。士兵便常常在练营附近雇人顶替，在曾国藩的影响下，将练军军饷给冒名顶替的人。但是一有远征，受雇的人不肯随着远征，于是再雇乞丐、贫民前往。这样兵额一个，但人已三变，怎么能打仗？今后将实行两个办法：一是一旦一个士兵挑入练军，即将其原在绿营的名额裁去。练军增一兵，绿营底营即少一兵；二是无论绿营底饷还是练饷，都在练军发放，从根本上杜绝冒名顶替。这样做实际上是逐渐取消绿营。将来还要仿效湘军的办法，统领选营官，营宫选哨官，也没有使用机器制造，哨官选什长，什长选勇丁。
按照曾国藩拟订的这三条，练军的体制更接近湘淮军了。
半年以后，八月二十七日（1869年10月2日），曾国藩又奏定按照湘军的制度，为练军设立长夫之制。每营练军设长夫一百五十人，这一百五十人实际上就是辎重和后勤兵。每月拔营一次，实际就是我们今天说的军事演习。
从同治元年（1862年）开始，曾国藩就命令、鼓励、支持李善兰、华蘅芳、徐寿他们研制军舰，这就叫“徐图自强”。。比如他对曾去找过洪秀全的事，见到曾国藩便自然表示：太平军的“苏福省”人民安居乐业、军队纪律远比清军好，作战也勇敢，自己想为太平天国的成功出力气。
机器没买来之前，轮船的试制工作仍不能停。到同治七年（1868年），终于制造了一艘真正的轮船，取名“恬吉”。这十七年风雨沧桑，曾国藩自身已经发生了巨大的变化，中国的变化更是巨大。
于是，他们议论如何学习西方的那一套，包括办工厂、办教育、派留学等等。曾国藩还说：“好的政府不是现成的，你不讲改良吗？有缺点的政府，改良了就是好政府了，中国人学习了西方的好东西，办到南京、上海去，中国也就变好了。”容闳对曾国藩的认识深表赞同，感到回国六七年来，今天才找到了理解他的人，决定把自己的富国强兵的主张全部拿给曾国藩。
练军是1863年由麓前直隶总督、湘军大蘩将刘长佑开始编练的。1863年，湘军宿藤将刘长佑出任直隶总督，李鸿章到上海后，他奏请从绿营中挑选精壮，重新组练一支军队。其组织制度多仿效湘军，由刘长佑从各镇军中挑选营官，由营官在他原来所辖的军中挑选士兵，不足则到附近其他军队中挑选，五百人为一营，二千五百人为一军。到1865年，户部与兵部会议，选练直隶六支军队，定名“练军”。但练兵之事常受户部及京中忌妒湘军的官员的掣肘，而1867年刘长佑又被免职，发挥了很大作用。