他的秉直刚介恰与那种行阳奉阴违之术、媚言诡诈之法的晚清政坛恶习是格格不入的。因此，一心想“从新鼓铸”的左宗棠面对着的只能是“成例具在，丝毫难于展布”，“有所建白，为同僚所尼，多中辍”的局面。尤其是他“入赞纶扉”，即有“暗倾恭邸”、“扬左抑李”之说，奕与李鸿章等人对他不是暗中拆台，便是处处掣肘，甚至予以攻击。李鸿章因兼任北洋通商大臣的关系，免不了常与入值军机处并充总理各国事务大臣的左宗棠打交道，所以对左强作笑颜，主动写信与左“略叙契阔”，且到北京拜访了左宗棠。但在背地里，李鸿章却对左宗棠大加贬斥，说左入京“赞襄未必有益”，“左相精力甚健，于枢廷政务、各省情形不甚了澈，所建练旗兵、借洋债、兴畿辅水利、加洋药税厘诸议，似属救时要政，却近老生常谈，恐有格于时势不能尽行之处”。李鸿章的亲信薛福成则把左宗棠描写成一个意气用事之人。据薛记载，他代李鸿章所拟《复陈海防事宜疏》由奕交给左宗棠审阅时，左“每展阅一叶，每因海防之事而递及西陲之事，自誉措施之妙不容口，几忘其为议此折者，甚至拍案大笑，声震旁室。明日复阅一叶，则复如此。……诸公并厌苦之，凡议半月而全疏尚未阅毕”。在薛福成笔下，左宗棠竟然是一个不关心海防和办事拖沓的人物。在奕、李鸿章等人的内外夹击之下，左宗棠深感京师无他留身之处，无可奈何之下，只好在七月初开始，连续称病告假，并疏请告老归乡，退出仕途。清廷在作了一番“慰留”之后，终于外放左宗棠为两江总督兼南洋通商大臣。
尽职尽责辖南洋
左宗棠离开军机，被授予两江总督头衔，接受谕旨后于光绪七年腊月二十二日（1882年2月10日）抵达南京。
新任两江总督兼南洋大臣的左宗棠至江宁（今南京市）接篆视事。两江总督之职，辖江苏、安徽、江西三省。南洋大臣则从同治十二年（1873年）起由两江总督兼任，其职责是代表朝廷主管南方的对外通商事务并兼及海防，它与由直隶总督所兼任的北洋大臣分别成为晚清南、北方最有权势的封疆大吏。左宗棠担任此职，正可谓英雄有用武之地，较之在枢垣处处受人掣肘，在这里更有利于发挥他的才能。
两江本是帝国主义侵略势力最为深入的地区，多年以来就是中国人民反抗帝国主义侵略的一个前沿阵地。七八十年代之交，随着世界资本主义向帝国主义过渡，西方各帝国主义国家和东方的日本都加紧蚕食中国的边疆和近邻，中国面临着更加险峻的国际形势，这就促使左宗棠更加注意“洋务”和“海防”问题。尤其是法国侵略越南，并由此窥视我国西南边疆，更引起他的关注。在他接任两江总督后不久，就传来了法军攻占越南河内的消息。法国试图通过占据越南并进而侵略中国的阴谋由来已久。早在18世纪50至60年代，英法为了争夺殖民地，发生了“七年战争”，结果是法国失去了其殖民地印度大部分领土和将近全部的北美辖地。于是，法国开始把它在东方殖民掠夺的重点从印度转到了越南，对越南进行了一系列的侵略战争。到19世纪60年代，法国已侵占了整个越南南部。至70年代中期，通过两次《西贡条约》的签订，法国声称已将越南置于它的“保护”之下。这样，中国的西南边疆，已受到法国侵略势力的严重威胁。光绪六年（1880年），茹费理出任法国总理，他更加积极地推行殖民扩张政策，增兵越南，策划侵略中国。光绪八年（1882年），法军攻占越南河内，企图打开红河通道，直窥云南。次年，法军攻下越南首都顺化，使越南变成法国的殖民地。接着，法国的侵略矛头又对准了中国。
基于这样的形势，左宗棠一上任，便把“防边固圉”作为重要的任务加紧布置落实。光绪八年正月二十五日（1882年3月14日），左宗棠在抵南京仅一个多月后，就开始查阅江苏营伍情况。他指出如对水陆各营加紧训练，“以后日加振厉，化弱为强，自有成效可睹”。他通过亲自阅视各营，发现“弁兵年逾五十者颇多，并有六十余岁而仍食粮充伍者”，对此他下令一律加以裁汰，新“募取精壮补额”，既免致虚靡，又提高了军队的战斗力。此次出阅江苏营伍，左宗棠周历扬州、清江、镇江、常州、苏州、上海等地。值得一提的是，他到上海经过租界时，那些一向鄙视清朝官员的外国人急忙在租界“换升中国龙旗，声炮执鞭，迎道唯谨”。第二年左再次到上海，此景不仅复现，而且外国人“恭谨有加”，以至“观者如堵，诧为从来未有之事”。可见外国人畏左之声威并非一句空话。左宗棠也确在国势一向“积弱”的环境中为中国人争了口气。
左宗棠把加强海防视为防止外国染指东南沿海的关键。第二年即光绪九年（1883年），他又亲自乘船沿江而上，逐处勘察形势和警备情况，并“会集防江防海各军营将领语访方略，随处熟商布置”，以此“为未雨绸缪之计”，一旦外敌来犯，便于他“即赴前敌指挥，胸中稍有把握”。以后，左宗棠又多次视察江苏各地炮台要塞与军营战地。在调查研究的基础上，左宗棠对南洋海军作了新的规划。前几年，担任巡阅长江水师的彭玉麟曾建议添造十艘小火轮设防海口，但是前任总督刘坤一“以经费无出”为由，置之不理。左宗棠根据江防兵力部署需要，认为彭玉麟的建议是正确的，不仅决定增添十艘小火轮，而且指示向福州船政局与德国订购多艘快艇。1883—1884年，2400马力的“开济”号与2800马力的“南深”号、“南瑞”号先后加入南洋舰队编制，大大加强了江苏海军的实力。他认为如不加强南洋之防，“万一南洋有警，何以待之？”因此，“谋国者当计及久长，岂以我躬不阅遽图恝置乎？”他于光绪九年三月三十日（1883年5月6日）所写的有关筹办海防的奏折，系统地阐发了其精辟的见解。他说：“自海上用兵以来，事势纷纭，未能确操胜算，虽阅四十余年，内外极力支持，尚无定局”，其原因在于“泰西各国以经商致富，广造机器，增制轮船，动辄挟其所长，多所凌忽”。而中国不但不“以经商为本务”，反而对机器生产多予责难，甚至对勇于抵抗外来侵略的官员和将领予以压制，使中国失去了四十余年的机遇。他指出：
综观往事，窃有不能已于言者。海上用兵以来，文如林则徐，忠而有谋，以之制初起之寇，本有余力，不幸为忌者所间，事权不属，不克竟其设施；武如陈化成，力扼吴淞，苦战不却，不幸右路未战先溃，致夷兵革于右路，力遂不支，遂以身殉。是则议论不协，勇怯不齐，有任其咎者，遗憾至今四十余年，不知伊于胡底！而所谓识时务者，仍以因循粉饰，苟且目前之安，此志节之士所为抱抑塞磊落之怀，扼腕叹息者也！
接着，左宗棠强调“和局可暂不可常，其不得已而出于战，乃意中必有之事”。此时，他已意识到法国的入侵已不可避免。他认为就“自古谈边防者不外守、战与和”三方面而言，次第为“必能守而后能战，能战而后能和”，反对那种一味求和的妥协论调。他认真分析了东南沿海的军事实力，感到“虽海外与战，难言遽有把握，但筹边固圉，则尚力所能为，亦有未可因循玩惕坐昧机宜者”。他看到了南洋“诸将领又各思发愤为雄，自可及锋而试”。因而饬令“一面挑选奋勇弁丁，一面严明赏罚，订立规程，俾互相激劝，以齐心力，遇有外国兵轮闯入海口不服查禁者，开炮测准轰击”。左宗棠的这些主张，恰与直隶总督兼北洋大臣李鸿章在法国的进逼面前妥协求和的态度截然不同。李鸿章在光绪九年四月接到清廷派其迅赴广东督办越南事宜的命令后，极为不满，他说：“若以鄙人素尚知兵，则白头戍边，未免以珠弹雀。枢府调度如此轻率，殊为寒心。”他声称：“各省海防兵单饷匮，水师又未练成，未可与欧洲强国轻言战事。”显然，李鸿章不愿也不敢奔赴抗法前线。
与李鸿章的表现相反，左宗棠于光绪九年间会同受命巡阅长江水师的彭玉麟（字雪琴，湖南衡阳人）时，对诸将讲的一段话，充分显示了左宗棠和爱国将士为保卫祖国不怕牺牲的英勇气概。左宗棠向诸将校说：
能破彼船坚炮利诡谋，老命固无足惜。或者四十余年之恶气藉此一吐，自此凶威顿挫，不敢动辄挟制要求，乃所愿也。
彭玉麟说：“如此断送老命，亦可值得。”
诸将校表示：“我辈忝居一二品武职，各有应尽之分，两老不临前敌，我辈亦可拼命报国。”对此，左宗棠非常激动，他不仅记述下了这段对话，而且还在家书中写道：
值此时水师将领弁丁之气可用，悬以重赏示以严罚，一其心志，齐其气力，所为必成。我与彭宫保乘坐舢板督阵誓死，正古所谓“并力一向，千里杀将”之时也。
正是为了一吐四十余年之恶气，左宗棠甘愿拼命于疆场也在所不惜，他在给清廷的上奏中表示：“总督亲履行间，所办者辖疆江海防务，责无旁贷。遇有寇警，应亲临前敌，督战防所，即其汛地。如敌人轮船冲过白茆沙总要隘口，则防所即是死所，当即捐躯以殉。”
左宗棠的这些话是多么感人肺腑啊！
“民为邦本，本固邦宁”的古训左宗棠依然牢记，他把兴修水利、发展农业生产用以“保民”视为加强海防的重要内容之一。他说：“莅事以来，以治水行盐为功课，而精神所注，则在海防。盖必治水而后可以保民，能保江淮以北之民不为岛人所驱使，而后两江之兵不可胜用。岛人之势日孤，官军之气日壮。”因此，他在两江任内“唯农田水利一事，躬亲相度”，“凡修堤坝、开沟洫，去淤垫”无不认真部署，治理了运河、淮河，加固了淮北盐城沿海一带的滨海大堤。左宗棠以为实现了治水“保民之道”，再“加以桑棉之利”和“垦荒成熟”，就可以用中国的“本富”去抵抗外国的“末富”，说出了“彼之末富安能与我之本富争，彼之淫巧安能与我之食货比”的话。这表明他对西方资本主义发展的认识是有差错的，且同他曾意识到西方“以经商致富，广造机器，增制轮船”的思想也是相矛盾的。但他着眼于兴修水利和发展农业生产，则对于农业经济的发展不无促进作用。实际上左宗棠加强海防的主张更多的是强调师法西方，引进和仿制外国船炮，并在两江督所令江南制造总局和金陵机器局增制枪炮，以御外侮。正如左宗棠谈及他治水的目的时所指出：
江南要政，以水利、海防为急。……我朝治吴有声绩者，推陈鹏年、陶澍、林则徐，皆名显当时，功垂后世，诚以民为邦本，食为民天。水利兴，而后旱涝有备，民得所养。民得所养，而后礼义廉耻由此兴，尊亲乐利之心由此笃。民心定，民力纾，官司有所恃以为固，更得精兵利器辅之，自可销好慝之萌，折骄寇之焰。由是言之，水利固关系国计民生，亦实海防根本。
左宗棠意识到为进行反侵略战争必须在国内创造一个民有所食、民有所养的安定的社会环境，这种思想是有着非常重要的意义的。此外，左宗棠在筹划海防的过程中，对沿海人民群众的力量寄予厚望。他令滨海二十多个州县的官府组织渔团，加以训练，借此作为反对外国武装侵略的一支生力军。他亲自到沿海校阅渔团，认为：“此军有成，则海外有截，豪俊之士闻风而至，以战以守，均确有把握。”
创立沿海渔团，借助人民力量，进行反侵略斗争，这是左宗棠继承了林则徐“民心可用”的进步思想。他认为“渔船水手之胆夙优，能通方略者代不乏人”。他们熟悉江海水情地势，勇敢善战，是一支不可轻视的力量。左宗棠下令江苏沿海沿江的22个厅、州、县各设团练局，每百名年轻渔民中选取30名，在数万名渔民水手中共计挑出精壮四五千名作团丁，组成团练局，每月初一、十六两日集中到局军训，操练演习。每人每天发给口粮100文。另在吴淞口设立渔团总局，由苏淞太道总负其责，苏淞镇总兵为会办，统辖全省各县渔团。一旦外敌入侵，渔团便可作为正规军队的补充，协同作战。这种军民联防的威力，使得外国侵略者“颇为震慑”。各地渔团成立后，左宗棠于光绪九年九月和十年十一月（1883年10月和1884年12月），两次到崇明、靖江、通州等地检阅渔团。光绪九年九月十九日（1883年10月19日），左宗棠从江宁乘船东下，特地校阅了江阴、靖江、通州（今南通）、海门渔团。二十一日晨抵达崇明，调阅崇明渔团，因该团训练无方，就将其会办刘光才记过，团总、团佐停给功牌、顶戴，团丁撤销，以示惩罚。午后，驶抵吴淞口校阅水勇。这些水勇“精能过人”、“观者靡不诧为罕见”。当天夜晚，他泊舟上海。二十二日，他又在上海召集奉贤、南汇、常熟、昭文、太仓镇、洋华亭、金山各渔团团总、团佐会议，一面晓以大义，一面颁示奖惩，“于操演纯者奖进之，技艺左疏者训斥之”。由于左宗棠这样亲临校阅、奖惩分明，各渔团“无不欢欣鼓舞，踊跃争先”。经过一年多的训练，到第二年十月，他再次视察各渔团演练时，放炮打靶，攻夺防守，技术熟练，阵容井然，成为一支颇具实力而不脱产的海防武装，配合军队严防海口及沿江。
左宗棠在筹划两江布防的同时，对法国侵略越南并进而入侵中国南疆的局势极为关切，特别是光绪九年四、五月间奕、李鸿章等人的议和妥协主张以及李鸿章拒绝往广东“督办越南事宜”而仍以北洋大臣的身份去上海同法国代表脱利古谈判，对此，他异常愤懑。他致函总理衙门说：“法越交兵一事，议论纷纭，究以执咎无人，莫敢以正义达诸政府。”他则“默察时局”，强调“唯主战于正义有合，而于事势攸宜”。