此时只因兀术搅乱中原，便有一班草寇乘机窃发，占据地方。一个叫做孔彦舟，绰号孔千金，占据武陵地方；一个张用，绰号张飞虎，占据襄汉地方；一个李成，绰号李无敌，占据江淮湘湖地方。这三个共连兵数万，围了江州，围得水泄不通。城中渐渐支持不来。又有一个马进，绰号马八百，在扬州地方作乱。高宗因命招讨使张浚督岳飞、扬沂中分道进讨。张浚受命，因集诸将计议。岳公道：“若要解江州之围，须先破他筠州。筠州破，他见巢穴受伤，则江州之围不必救而自解矣。”张浚大喜，从其言。那时岳公潜出贼右，一箭射其前部落马，然后纵坐下青骢马，挺手中钢枪，冲突其阵，所到之处，勇不可当。贼人见了，尽裹将来。那岳将军全无惧怯，来一个杀一个，来两个杀一双。贼众齐上，岳公转起神威，大喝一声，就如平地起一个霹雳，手起枪落，只见杀人。贼众慌了，遂一哄而走。岳公却从后掩杀，马进大败，直奔至筠州。见事势危急，遂合集围江州之众，背筠河而布阵，绵绵密密，如长蛇之形，直长至十五里。
岳公登高坡一望，见贼势浩大，因说张浚道：“贼势甚众，难以力敌，须用奇胜。”张浚是其言。岳公乃分精骑数千授杨沂中，叫他乘夜衔枚渡过筠河，约以日中，但听前山炮响，却从山后共击。杨沂中领计而去。岳公乃自领三千人马，暗暗伏于远僻险隘之处，却于红罗旗上大书“岳”字，单只着二百个人，随着旗帜在前诱敌。贼望见岳家旗，虽然惧怯，却见他兵少，便不以为意。遂分一半人守寨，领十馀万人一拥而前。这二百人怎生抵挡？只得拖着旗帜而走。贼众随后追来，追不上数里，早听得一声炮响，岳家埋伏之军，早星飞电掣，一齐拥出。贼人见了，已自心惊。战到午时，已将大败，忽又听得山后战鼓齐鸣，杨沂中率领数千精骑，从山背驰下，张浚又自率二千步兵，杀入贼寨。贼众首尾不能相顾，忙奔乱窜。岳公令人大叫道：“投降者尽坐于地，决不妄杀！”一时坐而投降者，就有八万馀人。贼人大败，马进竟为追兵所杀。遂复了江、筠二州。岳公又领兵渡江，追杀至黄梅县。李成、孔彦舟见事急了，只得北走，投降了刘豫。惟张用还拥着十万之众，为盗于江西。岳公知他是相州人，因写书招他来降，道：
吾与汝同里，南董门、铁路步之战，皆汝所悉。今吾在此，欲战则出，不战则降。
张用见书，叹息道：“真吾父也。若再不见机，死无日矣。”遂尽率十万之众，亲自降于辕门。岳公大喜，出帐迎接，握手论旧，张用遂死心塌地，为岳公所用，由此江淮之地悉平。张浚表奏高宗，以岳飞之功第一。高宗诏下，进岳飞右军都统制，屯洪州，弹压盗贼。
到了绍兴二年，又出了一个大盗曹成，拥众十馀万，从江西历湖广，据道州、贺州、邵州、郴州、连州，到处骚扰，军民大受其害。高宗诏岳飞，权荆湖东路都总管。岳公受命，随即着一个将官，持金字牌、黄旗，招曹成来降；若不降，则大兵即来诛戮。曹成见了金字牌旗，正在军中吃饭，慌慌张张，连饭碗都打碎了，大惊道：“岳家军来矣，怎敌得他过？”随即拔寨而起，分道而遁。岳公闻报，即选精骑随后追赶，直赶过桂岭。曹成遂欲以十万之众，守住蓬头岭。那蓬头岭是个极险隘之处，真个是一夫当关，万人难过。
岳公因分付前军道：“此地极为险峻，兵贵神速，趁他立脚未稳，一鼓破之。若容他把守停当，便天神也难攻破。”那时岳家兵止八千人，却人人奋勇，果然一鼓登岭。曹成见了心慌，竟逃往连州而去。岳公因对张宪等一班将士道：“曹成败去，若尽数追杀，则胁从可悯；若纵放了他，又仍聚为盗。今汝辈但诛其首恶，馀众须以恩义招其投降，切不可妄杀，以体上天保民之仁。”张宪等领命，于是自贺州直到庆、郴、桂，共招降一万馀人，与岳兵会于连州。曹成正被岳兵追赶得上天没路，适值韩世忠遣将招曹成投降，曹成只得乘机就领了八万人马，诣韩世忠帐下投降。岳公探知，遂整得胜之军而回，岭表之地忽平。捷报朝廷，高宗大喜，遂授岳飞武安军承宣使。
到了绍兴三年，又出了一个云都大盗彭支，连兵寇掠循州、梅州等十一郡，其势甚是猖獗。高宗诏岳飞入朝，面谕以剿贼之事。又以隆祐太后被虔州之惊，密密谕岳飞道：“殄平盗贼之后，可即将虔州百性尽行屠灭，然后报朕。”岳飞闻言，忙叩首阶下，道：“愿陛下但诛首恶而赦胁从，庶不负上天好生之德。”高宗沉吟半晌，方点首道：“卿言是也。”岳公受了君命，遂领兵径到虔州。那大盗彭支恃人多将广，在强盗中，也要算一个英雄的，谁知见了岳将军，就不济起来，到得对阵时，战不上十数合，早已被岳公纵马而上，直律律的捉了过去。贼党一时惊怖，谁敢上前来？遂尽数退保于一个固石洞。岳公恐怕前面攻，他后面走，因访了几个老成居民做向导，领了三百名死士，各带鼓一面，从山中小路衔枚而渡，反在他洞背后，将战鼓乱鸣起来。贼众大惊，岳军然后一拥而上，破了洞口。正如瓮中捉鳖，贼人方出投降。岳公只诛了首恶，馀人一概赦免。虔州百姓个个感其再生，家家香灯跪接，图像供养。岳公既平了云都之难，回朝复命，龙颜大悦，亲洒宸翰，书“精忠报国”四字，制大旗以赐之。岳飞谢恩而出。
那时许多山贼俱被岳将军平了，谁知又有一个水中的大盗，比山贼更是凶恶。他一名杨太，又名杨么。这杨么乘着宋朝之乱，无人料理着他，遂东勾西引，聚集了十馀万人，屯据湖中，僭号为“大圣天王”，时时上岸来骚扰地方，掳掠居民，官兵不敢正眼觑他。他常自夸说道：“我水中有穴，岸上有巢，纵有官兵，也无奈我何。他若从陆路杀来，我却躲到水里；他若从水路杀来，我却又走到岸上。焉能犯我分毫？若要犯我，除是飞来。”因此骄矜，遂无恶不作，湖襄一带大受其害。高宗闻之，因命统制王，会兵进讨杨么。不期兵到鼎江，早被杨么率亡命之徒，只一阵，就将官兵几乎杀尽。报到高宗，高宗大怒。此时已升岳飞兼黄复州汉阳军、德安府制置使，高宗遂降诏，命岳飞移屯于鄂，剿捕杨么。有人对岳公说道：“杨么屯据水中，水中出没，是他的熟路。
今将军所部皆关西汉子，水战恐非所长。”岳公笑道：“兵亦何常之有？全在主将。陆则陆用之，水则水用之，顾用之何如耳。岂有不习水战之说哉？”遂先遣人招谕他来降。杨么置之不理。早有一个得力同党，叫做黄佐，最有识见。因岳家来招谕，他就转了一个念头，遂聚所部商量道：“我见岳节使用兵与众不同，真是旗开得胜，马到成功。连金兵数十万多被他杀败，我与他相抗，万无生理，不如投降他，乃为上着。”众亦以为然，遂亲到辕门纳款。岳公大喜，遂表奏黄佐武义大夫，随即率骑到黄佐营中，按其部垒。有人谏止，俱不听。到了黄佐营中，出于意外，尽大惊，俯伏在地，道：“将军推诚若此，情愿执鞭坠镫。”岳公都以温言抚慰，那些人欢声若雷。岳公接了营垒，以手拍黄佐肩道：“子知顺逆者，必能成功，封侯岂足道哉！我欲汝至湖中，视其可劝者招之，可乘者抚之。”黄佐感岳公赤心待人，誓以死报。
那时张浚都督诸军士至潭洲。他的参政席益见岳兵不战，说他玩寇，将欲奏闻。张浚道：“岳公，忠孝人也。兵有深机，胡可易言！”席益见张浚说道这一句，羞惭而止。过不多几日，黄佐欲邀一个贼将周伦，同来投降。那个周伦不肯听，黄佐因大怒，遂率领自部下的人马，夜袭其寨，把周伦一刀杀了，献于岳公。岳公大喜，随迁黄佐为武功大夫统制。
此时岳公胸中已有了成算，正欲剪灭杨么，适值高宗有旨，要召张浚回去防秋。岳公忙去见张浚，袖中取出一个小小图儿，送与张浚看。上面细细开载：杨么屯兵某处，杨钦屯兵某处，俞端、刘铣屯兵某处，某处最险，某处可以进兵。岳公一一指示道：“已有定指。都督若少留，不八日可破贼也。”张浚道：“王已有前辙，君侯何言之易也！”岳公道：“前日王以王师攻水寇则难，飞今以水寇攻水寇则易。若以敌将攻敌兵，夺其手足之助，离其腹心之人，八日之内，当俘诸贼。”张浚壮其言。
却说杨么有个心腹，叫做杨钦，膂力绝人。黄佐又甜言苦口，说他来降。岳公大喜道：“杨钦骁勇，今既来降，贼腹心失矣。”遂表授杨钦为武勇大夫，礼待甚厚。因复遣杨钦到湖中去招降。杨钦感激不胜，因暗暗对岳公道：“将军招降固妙，然招降者有限，还须如此如此，方可完事。”岳公听了，愈加欢喜。杨钦辞去，果又到湖中，招了俞端、刘铣等来降。进到辕门，岳公见了，就喝骂杨钦道：“我叫你去湖中把众贼尽招了来降，今却只叫这几个儿来降，原来是个不了汉，见我何为？”喝令左右拖翻在地，杖了二十，道：“我今且恕你，可速速到湖中，尽数招降，方算你的大功！”杨钦喏喏而去，岳公却暗暗调下三万人马，等到黄昏夜静，遂令众兵马衔枚去攻他的陆路。众兵马到了，一齐拥入。那些贼人不曾防备，慌慌张张，无计可施，都大叫：“情愿投降！”岳公遂传令准降。那一夜，就降了七万馀人，众人方晓得日间杖杨钦，皆是岳公与杨钦定下之计，欲以攻其所不备也。
湖贼此时已降去八九，独杨么还自拥着五万馀人，认做秦关之险，万万无失；又倚着他的大船利害，往来冲突，无人敢当。那大船长有数十丈，两旁俱可以走马，上有城楼，强弓硬弩，刀枪锐石，都藏于城楼之内，不用船舵，前后做成大车轮数十，若要运动，着数百人一齐踏动，其去如飞。他若要追人船，顷刻便到；人若要追他，便一年也不能够。两旁又置了撞竿，我船若遇着他的，只一撞，便立成齑粉。以此官兵再奈何他不得。岳公却想出一计，以三千人上君山，去斫取大木下来，穿成大筏，把那些港汊尽数填塞满了；又把腐木乱草浮于上流而下，满铺水面。
却捡那水浅之处，叫善水之人，一头摇着船，一头乱骂，蠢言恶语，无所不至。杨么不知是计，见官兵将他丑态都骂尽了，激得杨么怒气填胸，两太阳火星乱爆。随着人踏动车轮，来追官兵，只引他的船到那水浅之处，草木壅集车轮之内，将车轮碍住，踏他不转。车轮不转，船便一步也不能行。岳公乃遣兵，急急与他厮杀。那贼兵慌了，忙要奔入港汊中去，不料港汊中尽被那些巨筏塞满。官军却乘筏子，张着生牛皮，以蔽矢石，尽把巨木以撞其船。官兵见了杨么的船，便都攒拢来，用挠钩搭住。杨么计穷，忽走到船尾上，扑通的撺入水里，思量赴水而逃。不期被牛皋看见，早一挠钩搭将起来，一刀斫了首级。众贼见了，心胆俱碎，只得投降。
此时杨么水陆二路，还有八寨。岳公亲历诸寨，用好言抚慰。老弱者放他归田，少壮者籍以为军，人人感激。诸寨中粮草，尽数都搬运将来，其馀寨栅，一把火烧个干净。果然只得八日，斩了杨么，湖湘尽平。张浚闻知，因赞叹道：“岳侯真神算也！”杨么初说“除是飞来”，今果死于岳飞之手，真先谶也。