到六月初，提督鲍起豹来到长沙，他说，军队的任务是防堵’逆匪‘，因此不要经常训练。在炎热的夏季，军队也不宜过于辛劳。他根据这些理由严厉斥责塔齐布，袒护清将。而中丞您也对我起了疑心，认为我不应干涉旗兵的内部事务。恰在这个时候，我与您保举塔将、弹劾清将的奏折，在同一时间发出，而且您又在这个时候写信来，责备塔将军为何不勤加操练。这样，提督于是怀疑您和我暗地合力排斥他，都是挟持私心而非难公正，难道果真如此吗？这真是天大的冤枉啊！自此之后，在处理旗兵与乡勇之间矛盾的时候，我虽然尽量做到公平，但往往是压抑乡勇而抬举旗兵。我扪心自问，可以说无半点私心，也可以让天下所有人来评判。到初六这一天，发生了兵变，有的人说兵变是暗中有人指使，也有人说既然已经看到了兵变的苗头，为什么不早作防犯。君子之行坦荡荡，怎肯费尽心思、机关算尽去与人争狠斗勇？我本是一普通乡绅，为理公事又没有真正有权的职务，全凭名声来震慑’匪徒‘。如果名声因此受到损害，那么，奸猾小民将会更加肆无忌惮，这样，我当初的设想与事情发展的结果恐怕难以一致。想到这些，我只得抽身隐退，暂时到衡州驻扎。’曾国藩的双重身份，并没有给他带来什么优势，反而给他添了不少麻烦。本来地方团练大臣们的地位就很尴尬，他们既不是地方大吏，又不是钦差大臣，只是辅佐地方组织地主武装，协同维护地方秩序。这个举措是清政府的应急手段。而曾国藩却一味蛮干，以钦差大臣自居，支持他的张亮基一走，新任巡抚和地方官便认为他多余了。地方大员对曾国藩不支持，文武官员也就更不配合，不久便发生了争端，几乎闹出了大事。
事情由曾国藩越权干预绿营兵引起。
清朝常例，绿营兵由总督统辖，由各省提督统带，负责训练等事务。团练大臣只能管辖团勇，对地方绿营军营务更无权过问，可曾国藩却通过塔齐布对湖南绿营军加以干涉。
塔齐布是满洲镶黄旗人，姓陶佳氏。初由火器营护军提升为二等侍卫，于咸丰元年（1851年）派往湖南任都司，在助守长沙之战时升为游击。曾国藩为湖南团练大臣，见塔齐布生性忠勇，剽悍骁健，无旗人和绿营军官中的腐败习气，很是看重他，于是聘他为教师，训练团勇。塔齐布对曾国藩唯命是从，认真做事，很得器重，二人交往愈加密切。
曾国藩训练团勇很严格，有军事训练、政治教育，同时还要与绿营军一道会操，虽长沙盛夏酷暑之时，也不许停止。曾国藩不许练勇停止会操，绿营兵也就得陪练勇训练，绿营若不参加，何谈会操。于是，便引起湖南绿营骄将情兵的反对。长沙协副将清德早对曾国藩干预绿营不满，于是便利用部队的懒惰情绪，拒绝听从曾国藩的命令，不再参加与团练的会操，也不再听曾国藩的训话。
一次会操时，曾国藩发出了会操的命令，只有塔齐布率领所部前往，其余驻长沙的绿营兵拒绝参加，还群起指责塔齐布谄事曾国藩。曾国藩大为恼火，以清德惰于操练、临阵退却参劾之。清德不服，赴湖南提督鲍起豹处申诉，反控曾国藩以炎热气候强令军队操练，虐待士兵，塔齐布令绿营与练勇会操是破坏营制。
鲍起豹跟清德是一个圈子的，自然会护着清德，惩处塔齐布了。绿营兵在鲍起豹的纵容下，更加嚣张，乃寻衅挑起纠纷，鸣号列队攻击塔齐布的军队。曾国藩出来干预，鲍起豹挑动军队包围塔齐布的营房，捣毁了营房、居室。并攻人曾国藩的团练大臣公馆，枪伤了他的随员和护兵，几乎击中了曾国藩。
曾国藩、塔齐布狼狈逃走，才免于被杀伤。曾国藩的公馆与巡抚衙门仅一墙之隔，骆秉章却装聋作哑。直到曾国藩仓皇跑来，他才不得不同意曾国藩的处理意见，让肇事者赔礼道歉，并不追究鲍起豹和清德的任何责任，也不对曾国藩加一语安慰之词。事后，长沙城里的各级官吏皆言曾国藩干预绿营兵事务，是自取其辱。曾国藩知道长沙再无自己的立足之地，于1853年9月自动离开长沙，移驻衡州。
曾国藩初办团练，以落败暂时告一段落。
很显然，曾国藩出山之初很不顺利，一是他手中没有实权，没有管理地方的职责，但练兵筹饷，哪一项都要与地方官打交道。曾国藩此时性格外露，没有顾忌，因而招人怨、招人忌。二是体制上的矛盾，如文官不统辖武将，这是清朝的定制，曾国藩破坏了，因而就有人名正言顺地反对他。再者，绿营兵是国家正规军，湘军当时称为乡勇，属于临时性质，是无法与绿营军争位置的。曾国藩的性格决定了他督办团练必然会走到这一步。曾国藩的这种性格对他的发展是极为不利的，直到咸丰八年再度出山时才有大的转变。
受排挤发奋练勇
初办团练遭遇到的挫折让曾国藩清醒了很多，他心里有了初步的打算。离开长沙之前，原想给皇帝上疏，弹劾湖南巡抚、提督的纵兵闹事对他的排挤。后来思之再三，还是决定“好汉打脱牙和血吞”，在与幕僚谈论此事时曾说：“我的起兵是被人反激而成的。初办团练之时，借人抚衙而居，令不得行，想杀几个不听令的士兵，全军鼓噪入吾居处，几为所戕。因是发愤练兵万人，居然成就了一支队伍，而有今日。”他是说，居人之室、借人之军，难以立足，必须发愤练成自己的一支军队，才有成功的本钱。这是他离开长沙，到衡州独辟山林的主意。
当年的衡州城，即今天的衡阳市，是湖南衡州府的知府衙门所在地。地处湘水和蒸水的汇合处，是湖南省的名城，仅次于长沙。因为是知府重地，府称“衡州”，所以俗称衡州，而不叫衡阳。此城北临南岳衡山，控水陆要冲，历来是兵家必争之地。
衡州曾是曾国藩的祖籍，曾妻欧阳氏是衡州人，衡州亲友多，是他的第二个故乡，这是他来衡州的重要原因。
因为有长沙的教训，曾国藩这次学聪明了。他来到衡州之初，就盘算着怎么跟地方政府搞好关系。衡州知府陆传应在曾国藩到来之前已有巡抚的札文，照例开城相迎。知府官位仅是从四品，比曾国藩整整低了五级，但曾国藩并不以高压下，照样以“兄”相称，给陆知府的印象颇佳。
经由陆传应的首肯，团练大臣的“署衙”暂设于小西门演武场。这个演武场实际上是一处大祠堂，位于衡州西门外的蒸水滨，是当年吴三桂在衡州称帝时开辟的，场面很大，有现成的阅兵台和“行署”。曾国藩把由长沙带来的一千多名团丁安驻于此，罗泽南、王錱、李续宾、李续宜、江忠济（江忠源之弟）、曾国葆等人算是他的手下大将了。
初来衡州，又怕被人排挤而出，曾国藩的挫败之心很重，也知处境尴尬，又怕给知府带来压力。所以，处处小心谨慎。
让曾国藩挠头的头等大事，就是自己的名份问题。自己该属于哪个衙门口呢？朝廷并未立定规矩。只说办团练，但团练大臣数十个，各自的品级并不一致，各地也无“团练大臣”的衙门。几经商量，先起名为：“钦命团练大臣曾统辖湖南湘军总营务局”。牌子写好之后，曾国藩感到不妥：皇帝诏书写的是“帮办团练大臣”，帮而办之，湖南主要办团练的角色还得是骆秉章；统辖湖南湘军就更不妥了，皇帝没给他这么个衔，也无统辖军队的权力。商量来商量去，还是照旧用长沙时用过的“湖南审案局”五个字。
招牌不变，曾国藩的主意与在长沙时可大不一样了。他不再蛮干，不再仅做维持地方治安的帮手。他要下决心练成一支劲旅，自做统帅，做李泌、郭子仪那样的事业。
团丁安置好之后，他想的是先有一批可靠的军官。于是提笔在手，给郭嵩焘、刘蓉、李元度、陈士杰等人各写了一封信，让他们前来共谋大计。这时郭嵩焘在湘阴募集练勇资金；刘蓉在曾国藩眼里是诸葛亮般的“卧龙”人物，在长沙时他一度随行，后因故返回湘乡；李元度是曾国藩的同窗，平江举人；陈士杰是自己的弟子，以拔贡上京朝考时，曾国藩是他的阅卷考官，现在桂阳州原籍守制。
曾国藩的书信发出后，立即作出反应回信的是江忠源。江忠源当时正带兵在江西与太平军作战，时任湖北按察使。江忠源的信并没有寄到衡州，而是寄到了长沙。江忠源在信中要曾国藩抓紧编练军队，练成一支劲旅开赴江西与太平军作战。绿营军在能征善战的太平军面前的确是不行了，一触即溃。
江忠源的来信解决了曾国藩久未想通的问题：皇帝给各地团练大臣的任务是“帮办”练团勇，并不是要他们编练到前方作战的正规部队，若是练成一支正规部队，实属越格。实际上，当时各省的团练都不过是数百人的地主武装，湖南的一千余人已是最多的了。这千余人，在巡抚、提督眼里，也如丁如沙。他们的饷项、器械全靠自己解决，已属绝路。若真的编练大部队，更难以想象了。江忠源写信要他招募数千人马，奔赴前线，这正好让他作出新文章：即让江忠源代奏皇帝，批准他在衡州招募勇丁，编练成军，交他指挥。
实际上，未待朝廷批准，曾国藩已经开始在衡州招募军队。
首先是李元度应邀到来，还带来了五百名新募的平江勇。一个月后，李续宾、曾国葆、金松龄募来了湘乡二千五百余名湘丁。江忠济、邹寿璋从新宁、宝庆一带也招来一千多人。同原来的湘勇合在一起，共有五千余人。曾国藩把这五千余人分为十营，开始训练。
在曾国藩训练团勇的同时，他发出的邀请函也都有了回复，郭嵩焘、刘蓉、陈士杰相继到来。让曾国藩更高兴的是，郭嵩焘还募得湘阴军饷二十万两，不日即可汇到。他料到塔齐布在长沙不为鲍起豹所容，在军官缺乏之时，写信向骆秉章报告了团丁安置等情况，请他随时派人来视察，顺便向他借调塔齐布、杨载福、周凤山三员抚标军官，骆秉章一一同意。
曾国藩见文武齐备，同郭嵩焘、塔齐布、罗泽南、刘蓉、王錱、李元度、陈士杰、杨载福、周凤山连续几天商量了训练办法，制定了详细的军事条例。
十营兵勇分别由塔齐布、罗泽南、王錱等人统带。
衡州知府陆传应见到曾国藩一下子招募了这么多人马，认为壮了衡州的声威。曾国藩又常和他商量练勇事宜，于是对曾国藩满投机缘。在初办之时，由府库存银取出十万两，派为练勇之用，权作暂借，曾国藩自然喜悦。也算是出山以来遇上了真正支持他的人了。
于是，衡州城外那块荒废多年的演武场上，突然炮声隆隆，烟尘滚滚，人喊马嘶，杀声阵阵。引得大人小孩前来围观，惊奇地看着这支从天而降的人马。
书生治军有特色
谚语云：秀才造反，三年不成。军旅之事，自古就是“文人止步”的范围。
兵凶战危，其间种种，与文人所学大都格格不入。文人于军事，多是在笔墨之间表示向往之意。如唐代的边塞诗人。即使忧愁多病之身的李贺，也喜欢写“黑云压城城欲摧，甲光向日金麟开”这样充满战场杀气的文字表达对战争生活的向往。但是唐宋以来以文人出身而在军事领域成功的并不多见，北宋的范仲淹、明朝的王阳明算是特例。在义理考据之学中消磨壮志与才情的清朝士人，更是男儿血性渐凋落，“江湖侠骨已无多”，曾国藩、胡林翼等人能够取得成功，并表现出卓尔不群的军事才干，也就无怪乎蔡锷将军发出感慨了。
曾国藩和湘军从一开始就注定成为19世纪中国的一个最重要的文化现象——“投笔从戎”。这可以说是历史上一支真正由读书人领导的军队。
这群读书人挺身而出的最大使命，就是为了捍卫中国传统文化。太平天国对于孔孟的态度，让他们为之激愤，也正如此，让他们立下了“上马杀贼，下马读书”的誓言；至于效忠朝廷等，倒成了次要的目的。在曾国藩、胡林翼、左宗棠等一帮程朱理学的忠实信徒看来，太平天国所提倡的“拜上帝教”
等，其实就是类似西方文化妖魔化的体现，是直接违背“天理”的行为，而他们有责任和义务在这样的生死抉择中承担自己的使命。正因如此，这支颇有湖南士林风气的儒生在后来艰苦卓绝的生死绝杀中，屡遭挫折而不馁，表现出了与叛道者誓不共存的殉道精神。
早在太平军初过湖南时，曾国藩就编写了通俗易懂的韵文，发动和鼓励当地士人及百姓团结起来，共同对抗太平天国。这就是今天可以看到的《保守平安歌》三首：《莫逃走》、《要齐心》、《操武艺》。其中《操武艺》一首对乡民和团练的军事技术训练，说得有板有眼：要保一方好土地，大家学些好武艺。
武艺果然学得精，纵然有事不受惊。
石头要打二十丈，石灰罐子也一样。
木板只要五寸宽，箭箭要中靶子上。
石头罐子破得阵，叉钯锚子一齐进。
靶子也立一块板，板上先凿四个眼。
眼内安个小木球，戳在锚子尖上留。
只要枝枝戳得准，保守地方总安稳。
火器虽然是个宝，鸟铳却要铸得好。
火药也要办得真，不然炸裂反伤人。
铳手若是不到家，不如操演不用他。
唯有一种竹将军，装得火药大半斤。
三股麻绳紧紧缠，一炮响动半边天。
件件武艺皆无损，石头锚子更要紧。
石头不花一文钱，锚子耍出一道圈。
若是两个习得久，打尽天下无敌手。
读书子弟莫骄奢，学习武艺也保家。
耕田人家图安静，学习武艺也不差。
匠人若能学武艺，出门也有防身计。
商贾若能学武艺，店中大胆做生意。
雇工若能武艺全，又有声名又赚钱。
白日无闲不能学，夜里学习也快乐。
临到场上看大操，个个显出手段高。
各有义胆与忠肝，家家户户保平安。
诗中所述，大都是冷兵器时代的训练方法，也夹杂了一些简单火器的使用，可以说完全没有超出戚继光《练兵实纪》、《纪效新书》的范围。曾国藩在两次兼署兵部侍郎期间，曾下过功夫钻研军事，对历代兵书多有研究。而他能在这样一首小诗中把单兵技术训练描绘得如此详细、讲解得如此清楚，已经难能可贵了。
与曾国藩一同起事、最初创建湘军的，也都是一批典型的文人，确切地说是一批湘乡文人。谭伯牛把其主要人物曾国藩、罗泽南、王錱称为“三个性格迥异的湘乡人”，另外一位重量级人物江忠源则是湖南新宁人。
除了“三个湘乡人”，当时投在罗泽南门下的还有李续宾、李续宜、刘蓉、刘典、蒋益澧等人，后来都成为湘军营垒中的杰出人物。
“书生治军”是湘军的一大特色。根据罗尔纲在《湘军兵志》中统计，湘军将领中，书生出身的占到百分之五+八；在统领一路乃至多路人马的高级将领中，这个比例更是达到了百分之六十七。
就是这样一群书生联手创建了湘军。不过当时的“湘军”与今天所说的“湘军”，意义不尽相同。郭嵩焘称咸丰四年（1854）“立水陆各十营，号日湘军”，认为一建军便称湘军；胡林翼在咸丰九年致李续宜的一封信中称“湘军万人循固始、商城，出六安”。在这期间，湘军各主要领导人对所统之军尚无统一和公认的名称，他们所称的湘军只是今天意义上的湘军中的一支。