在张自忠的训勉激励之下，张宗衡率领官兵咬牙苦撑，殊死拼杀。日军在炮火掩护下两度冲入村内，该部以肉搏战将敌击退。日军再次猛攻，守军伤亡奇重，弹药用尽，眼看阵地就要失守。就在这千钧一发之际，张自忠飞马赶到。危急中的官兵，看到军长身骑白马的雄姿，顿时激情奋发，土气陡增，挥舞大刀向日军冲锋，终于打退日军，守住了阵地。
29日，援军20军团骑兵团和57军333旅先后到达临沂。
30日，张自忠下令反攻，日军抵挡不住，向东北撤退。第二次临沂战役胜利结束。
短短2个月之内，张自忠指挥59军连续取得3个战役的胜利。2月的淮河作战，将华中日军阻于淮河以南，打破了南北两路日军夹攻徐州的计划。两次临沂战役的胜利，又进一步斩断了北路日军的左臂，粉碎了敌第5、第10师团会师台儿庄的计划，造成矶谷廉介第10师团孤军深入为我围歼的契机，从而为台儿庄大捷拉开了序幕。
3月30日，军事委员会军令部致电李宗仁指出：“张军坚忍抗战，毙敌累累，希传谕慰勉。”同一天，国民政府以张自忠建树奇功，特颁令撤销对他的“撤职查办”处分。这样，张自忠就由59军代理军长而成为名副其实的军长。
4月上旬，第一集团军番号撤销，集团军直辖部队分拨张自忠、冯治安、刘汝明、石友三各部。其中59军分得姚景川之骑兵第13旅。至此，原29军部队完全被拆散，宋哲元将军专任第一战区副司令长官。
4月8日，姚旅及中央军李仙洲第92军第13师开抵临沂，归张自忠指挥。
4月13日，张自忠升任第27军团军团长，辖第59军和第92军。
中国军队在临沂和台儿庄的胜利，大大刺激了蒋介石、李宗仁等人的求胜欲望。
从3月下旬起，他们又陆续调集20多万精锐部队向徐州地区集结，与第五战区原有部队合计达64个师又3个旅，总兵力不下60万。同时，还将中央军胡宗南、黄杰、桂永清、俞济时、宋希濂等部布置于豫东，作为徐州的后援力量，摆出了与敌决一死战的架势。日军利用中国军队急于求胜的心理，调集13个师团30万兵力，于5月中旬将徐州包围。被围之中国军队虽数量庞大，但态势不利，在心理与士气上也处于劣势；若不及时突围，后果不堪设想。
5月15日，蒋介石在武汉主持召开最高军事会议，决定放弃徐州。第五战区据此决定将所属部队分3路，从日军兵力薄弱的西南面向豫皖边界山区突围。李宗仁指定张自忠指挥第59军和第21、27、139师等部殿后，掩护大军撤退，完成任务后开赴许昌集结。
张自忠又一次面临严峻考验。
自淮河作战以来，59军已连续作战3个月，全军5个旅只剩下不到两个旅，急需撤出战场进行整补。因此，以屡担巨艰、伤亡惨重的59军承担殿后重任，确属勉为其难。但张自忠毫不迟疑地接受了任务。
至5月17日，战区主力部队陆续脱离战场。18日，张自忠才命令各掩护部队放弃当面阵地，开始撤退。他让21、27、139师先行，自己率领59军殿后。
19日上午，日军占领徐州。
经过千里跋涉，59军终于6月1日抵达许昌。
日军占领徐州后，继续向华中推进，企图一举攻取武汉，迫使中国政府屈服。
武汉扼南北交通要冲，素有“九省通衢”之称，是华中地区的政治、经济、交通中心，得失关系重大。蒋介石亲自坐镇武汉，指挥5、9两个战区共100多个师和海空军各一部，组织防御，一场大战势不可免。
6月11日，规模空前的武汉会战正式打响。
战至8月底，长江以北日军攻占六安、霍山，并向固始、潢川推进。9月初，代理五战区司令长官的白崇禧急调张自忠部开赴潢川布防，阻敌西进，要求张部守卫潢川至9月18日，以掩护胡宗南等部在信阳、武胜关等地集结。
就在张自忠挥师东进之际，固始已于9月6日失守，日军第10师团沿固潢公路直扑豫南潢川。
时间太紧了，59军必须抢在日军之前赶到潢川。但是，这些北方子弟不适应鄂东豫南阴霾潮湿的气候，加之连日强行军，官兵们身体抵抗力锐减，患恶性疟疾者日多。由于药品匮乏，每日都有数十名官兵死亡。张自忠焦急万分，却毫无办法。军情紧急，使他不得不狠下心来，严令部队不顾一切向潢川疾进。
15日，日军攻克潢川西北之息县城，并继续向罗山方向进犯，企图切断59军退路。
15日中午，日军骑兵突袭59军军部。保卫军部的只有一个手枪营，情况万分危急，有人建议军部南移，但张自忠不为所动。此时如移动军部不仅影响士气，而且将失去守城部队唯一退路。张自忠一面指挥手枪营抗击来袭之敌，一面调集部队增援，激战半天，终将敌骑兵打退。
日军屡攻屡挫，恼羞成怒，竟惨无人道地施放毒瓦斯，导致我官兵大量伤亡。16日晨，七里岗阵地失守，日军开始攻击潢川城。紧急关头，张自忠力排众议，带领180师师长刘振三和军部毅然进入潢川城，守城官兵士气为之大振。
16日午后，日军第10师团集中所有野战重炮，向潢川城发起了几天来最猛烈的攻击，毒气弹的施放也增加了数倍。
攻上来，打下去，往复拼杀至17日中午，城北、城西角均被敌炮摧毁，日军步兵蜂拥入城，潢川岌岌可危。张自忠命士兵架起刺刀，与敌展开肉搏战。震耳欲聋的炮声消失了，代之而来的是手榴弹的爆炸声和撕心裂肺的喊杀声。
日军还在不断涌入城内，战局万分险恶。情急之下，张自忠下令组织敢死队，发起反冲击，死命锁住日军突破口。城内日军成了瓮中之鳖，一个个、一伙伙地被守军吃掉。18日，潢川西北之日军，从息县分兵攻击罗山县城，切断了59军向西的退路。而此时59军已在潢川一带坚守了12个昼夜，完成了战区赋予的阻击日军至18日的任务。19日凌晨，张自忠下令，趁夜暗向潢川西南方突围。天明时分，日军再攻潢川城，才发现对手已经无影无踪。
潢川战役，59军孤军苦战12昼夜，为后方友军的集结争取了宝贵的时间。该役，59军歼敌3000人，自身伤亡4000余人，其中4位营长阵亡。日军第2集团军广播承认：“皇军在潢川方面遭到支那军队极强烈之抵抗，致蒙受巨大之损失。”
10月12日，李宗仁电告张自忠，他已升任第33集团军总司令，冯治安副之，张克侠为参谋长。
10月中旬，武汉南北屏障大部失守，各路日军已逼近武汉。与此同时，日军开始向广州发起进攻。蒋介石认为战局可能南移，遂决心结束武汉会战。
10月17日，张自忠出席第5战区高级将领会议，会议决定战区主力向平汉路以西转移，确保鄂西。鉴于日军的猛烈攻击对战区翼侧造成很大威胁，李宗仁命张自忠第33集团军殿后担任掩护。
这样，继徐州突围之后，张自忠又一次担起了殿后的重任。在成功地掩护了战区主力西撤之后，33集团军于11月中旬到达鄂北钟祥、荆门地区。
11月13日，张自忠又被任命为第5战区右翼兵团(又称右集团军)总司令，下辖第33集团军、王瓒绪之第29集团军、刘汝明之第28军团、郭仟之江防军及萧之楚第26军等部，总兵力达15万余人。
张自忠深感责任太大，致电李宗仁请辞说：“职自知任重才轻，万难胜任。”但李主意已定，张之固辞未能获准，只好于18日由钟祥赴荆门就职。从此，张自忠成为一方面的统帅。
1937年12月，张自忠背着“撤职查办”的处分重归军旅，戴罪立功，然而，时隔不到一年，不仅处分撤销了，而且连获晋升，由军长而为军团长，由军团长而为集团军总司令，由集团军总司令而为战区右翼兵团总司令，擢升之快，令人称奇。这一方面是因战争急需人才，另一方面则是张本人屡建战功。但张自忠并未因此而有丝毫居功自傲和沾沾自喜的情绪，他所感受的只是职务提高了，责任更重了，必须加倍勤勉，奋发努力，才能胜任工作。
3.恶战1939年冬季
张自忠刚刚进驻鄂北，日军便频频前来进犯。从1938年11月到1939年4月初，短短4个月里，张自忠指挥所部接连进行了4次中小规模的战役，歼敌不下4000人。其中2月的京山之役战绩尤佳。蒋介石特致电张自忠说：“贵部坚强抗战，屡挫凶锋，使战线稳定，居功甚伟。特赏洋2万元，代备死伤官兵抚慰等临时补充之用。”国民政府主席林森签发命令，授予张自忠宝鼎勋章一枚。1939年5月2日，国民政府又颁布命令，为张自忠加授上将军衔。
1939年5月，中日两军在鄂北地区展开了第一次大交锋——随枣会战。日军华中派遣军调集4个师团、2个旅团及坦克、炮兵、工兵等特种部队约12万人，向襄河东岸随县、枣阳地区进攻，企图将第五战区主力包围歼灭于枣阳东北地区。张自忠刚刚在临沂战役中与老熟人坂垣征四郎进行了较量，这次又要与平津时期结识的另一个老熟人冈村宁茨比试身手，这是一个比坂垣更为强劲的对手。此时冈村的职务是侵华日军最精锐的第11军司令官，也是这次战役的最高指挥官，他的战术是“分进合击，锥形突贯，两翼包围”。
这时，张自忠的右翼兵团只辖第29、33两个非嫡系集团军，因战斗消耗和编制压缩，总兵力不足4万人。而右翼兵团当面之敌达3.5万人，若以武器装备因素，则日军整体力量居明显优势。
5月1日拂晓，日军在强大火力支援下，向襄河以东张自忠右翼兵团180师和37师发起猛烈进攻。随枣会战开始了。
守军凭借工事顽强抗击，以血肉之躯支撑着并不坚固的防线，连续打退敌人3次进攻。战至6日，日军发起第四次进攻，阵地终于被突破，狮子山、杨家岗、长寿店、普门冲、黄起庵相继失守。180师师长刘振三被日军隔阻于马家集以西，与师主力失去联络。37师师长吉星文也脱离部队，不知去向。这样一来，33集团军在河东的两个师，均被敌人冲乱。日军乘胜推进，8日攻占枣阳，战局极为不利。张自忠决心东渡襄河，亲赴第一线督战，全力扭转危局。
8日拂晓，大雨瓢泼，天色漆黑。张自忠率幕僚及总部人员冒雨渡河，向东疾进。
渡河之前，当张自忠由总部所在地快活铺行至襄河岸边转斗湾时，意外地碰见了吉星文。张自忠当然明白是怎么回事，厉声责问：“你来这里做什么？”吉答：“我来向总司令报告。”张一听，怒不可遏：“哼，向我报告？你怎么知道我来这里？部队在河东作战，你到西岸干啥？还是卢沟桥抗战的英雄呢，你是狗熊！你赶紧给我过河去，再退我就杀你的头！”
吉星文不敢懈怠，立刻调头返回河东。
张自忠渡过襄河后，将59军所有3个师全部投入战斗，并严令河东所有部队和河防部队全力发起反击，阻止日军北进，截断其后方联络。38师是张自忠手中最得力的部队，该师的参战使战局明显好转。5月10日，该师在田家集以西之大家畈伏击日军辎重联队，一举歼灭其1000余人，并缴获军马数十匹、运输艇30余艘、军用地图、弹药给养和药品一大批。据敌俘虏供称：该辎重联队所输送之物资，系供给主力部队渡河侵犯襄阳、樊城之用的。所携之60艘运输艇一次可输送一个大队的兵力。由于该辎重联队的覆灭，日军渡河攻击襄樊之计划落空了。
右翼兵团其他部队也在张自忠的严厉督饬下，积极向日军侧后发动袭击，几乎完全截断了日军的后方补给线。日军被迫停止北进，以主力部队回师维护补给线，第5战区战局明显缓解。此时战区左翼兵团主力汤恩伯之31集团军，若能及时从桐柏山区向南出击，与张自忠之右翼兵团合力夹击日军，必将造成一次绝好的歼敌机会。无奈，汤氏一味保存实力，使战机失之交臂。对此，李宗仁与张自忠都不胜惋惜。
随枣会战中国军队共歼敌1万余人。其中张自忠右翼兵团歼敌4500余人，缴获军马74匹及大批军用物资；自身伤亡4414人，失踪者2702人，其中又以59军付出代价最大，伤亡达2153人，失踪者2381人。
战后，李宗仁致电张自忠，对右翼兵团的奋勇作战予以高度评价。蒋介石指示李宗仁拨发张自忠部奖赏及补充经费现洋5万元。
经过连续多次的较量，日军也充分领教了张自忠的厉害。于是，张自忠作为一个不好对付的敌手而开始受到日军的尊敬，被他们冠以“现代关公”和“活关公”的称号。
随枣会战后，日军一连几个月没有大的动作，正面战场归于平静。国民党军事当局趁机对全军进行了一次全面整训。
国民政府军事委员会1939年10月，召开第2次南岳会议，决定于同年12月发起“冬季攻势”。冬季攻势的主要目标是击溃侵华日军主力第11军，夺回武汉三镇。为此，以第5、第9两战区为主要攻势地区，2、3战区次之，其他战区策应。
5战区共辖45个师，总兵力约30万人，李宗仁将30个师用于攻击。其中张自忠指挥第29、33集团军和预备兵团第84军，共13个师约9万人，受命攻击京钟公路之敌——战斗力很强的日军甲种师团第13师团，尔后进击汉口。这是第5战区攻势行动的主体，也是全国冬季攻势的重点之一。蒋介石对该方面的作战极为重视，特派军委会魏高参前来担任监军，每日向他报告战况。
12月12日，随着张自忠一声令下，右翼兵团数万大军一齐向当面之敌发起猛烈攻势，枪炮在呼号的寒风中轰鸣，声震山河。
但张自忠未曾料到，日军早在11月底已经破译了蒋介石关于冬季攻势的密码电报，因而日军各部队已预先构筑了甚为坚固的防御工事，而我军恰恰缺乏重炮等攻坚火器，攻势从一开始就进展不利。
经过8昼夜血战，38师终于攻克罗家陡坡北面的曾家大包。随后，又在王家台子一带杀伤日军1500多人。
此后，敌我双方在钟祥、长寿店一线对峙，29集团军也因攻击无进展而与敌相持。
为打破僵局，20日张自忠率领特务营，又一次东渡襄河，进至丰乐河附近的果园村督战。在张自忠督励下，官兵们不顾一切地向敌人猛扑，攻克一个又一个山头。日军被这突如其来的猛烈攻势打乱了阵脚，22日开始向南退却。我军乘胜推进，战局出现有利转机。
但这时由郭仟指挥之江北兵团方面却出现不利形势。日军第13师团集中兵力向汉宜公路反攻，江北兵团伤亡惨重，于22日撤回襄河西岸。这样一来，右翼兵团陷入孤军苦战，日军得以将兵力集中，攻击我右翼兵团，刚刚好转的战局又变得严峻起来。一旦顶不住日军之反扑，那么不仅5战区之冬季攻势会随之破产，而且襄河河防也将出现险情。