武帝要处置伯玉必须首先解除垣崇祖在江北的武装。建元四年（公元482年）三月，武帝即位，五月，将崇祖征为左卫将军。大概考虑到垣崇祖在江西的影响，这样处理过于急躁，有可能引起荒人变乱，又听其留任豫州，至七月，复将其调入京师，并以构扇边荒、相率为乱的罪名，将其与荀伯玉共同处死。（参见《南齐书》卷二五《垣崇祖传》。）不过笔者认为，垣崇祖与荀伯玉之死还有更深刻的原因。《南齐书》卷二《高帝纪》载，建元四年，三月庚申，召司徒褚渊、左仆射王俭诏曰：“吾……构疾弥留，至于大渐。公等奉太子如事吾……当令太子敦穆亲戚，委任贤才，崇尚节俭，弘宣简惠，但武帝以伯玉曾向道成密告自己，则天下之理尽矣。”按：齐高帝遗诏似乎与一般遗诏并无不同，内容无非嘱托大臣辅助新君，克勤克俭，以求天下大治。但笔者觉得这个遗诏另有含义。齐武帝与齐高帝同创大业，历经磨难，虽非明君，但他“留心政事，务总大体，严明有断”（《资治通鉴》卷一三八，武帝永明十一年。与其一同被诛的垣崇祖，早在齐高帝镇淮阴时，即率门宗归附之，亦是江淮豪帅一类，以后，道成篡位，即以其为豫州刺史，直至道成去世，崇祖一直是捍御淮南的重要人物。），可称中主。且其即位时，正值中年（据《南齐书》卷三《武帝纪》，武帝卒于永明十一年，时年54，则其应生于公元440年。其即位在建武四年（公元482年），年43。），对治国之术应有了解，如无深刻原因，齐高帝似无叮嘱褚、王尽心辅助太子之必要。齐高帝似已意识到齐武帝在“敦穆亲戚，委任贤才”这两方面会出问题，叮咛再三。其实，齐高帝留此遗诏，并非杞人忧天。齐武帝和江淮豪帅的不睦，他早已察觉。《南齐书》卷二七《王玄载传王瞻附传》载：从弟玄谟子瞻……素轻世祖。世祖时在大床寝，瞻谓豫章王曰：“帐中物亦复随人寝兴。”世祖衔之，未尝形色。建元元年，为冠年将军、永嘉太守，诣阙跪拜不如仪，为守寺所列。有司以启世祖，世祖召瞻入东宫，仍送付廷尉杀之。遣左右□启上曰：“父辱子死，王瞻傲慢朝廷，而对之心怀怨恨，臣辄以收治。”太祖曰：“语郎，此何足计！”既闻瞻已死，乃默无言。
王瞻跪拜不如仪，罪不至死，但武帝还是坚决将他杀害。这反映了武帝和江淮豪帅间所存在的矛盾。武帝身为太子尚敢专制诛戮王瞻，则其即位后，对江淮豪帅将采取什么态度，齐高帝自可推想而知。齐高帝发此遗诏，尚不放心，又把自己认为是贤才的荀伯玉托付给齐武帝，遗命以之为南兖州刺史，但和对待王瞻一样，齐武帝还是把荀伯玉杀害了。
《南齐书》卷二二《萧嶷传》载：“建元中，世祖以事失旨，太祖颇有代嫡之意，而嶷事世祖恭悌尽礼，未尝违忤颜色，故世祖友爱亦深。”此事于《南史》卷四七《荀伯玉传》有证。其时，世祖专断用事，多违制度，为荀伯玉所奏，齐高帝因宠爱豫章王而有废世祖立豫章王之心。据《南齐书》卷三一《荀伯玉传》，豫章王预先告知世祖高帝之意，此即所谓“嶷事世祖恭悌尽礼”之事。齐高帝即位前，对荀伯玉已大加委信，此等废立大事不可能不与荀伯玉商议。伯玉为豫章王司空谘议参军，二人关系应十分密切，齐高帝欲立豫章王，荀伯玉可能起了相当大的作用，其对废立的态度亦可想而知。又《南齐书》卷二五《垣崇祖传》载：“初，豫章王有盛宠，以后他附结萧道成，世祖在东宫，崇祖不自附结。”可见垣崇祖和荀伯玉、王瞻一样亲附豫章王而疏远武帝。齐高帝虽最终未行废立，但齐武帝明白，垣崇祖和荀伯玉一日不除，就随时有可能构扇边荒，拥立豫章王，是以必欲除之而后快。武帝虽对豫章王友于甚笃，但却不能不心存芥蒂，豫章王也明白自己处境尴尬，世祖即位后，他地位隆重但却深怀退素，并修理田园，以表其冲淡之志，这与齐高帝时，其在荆州任上广思经略，捍御北虏，开馆立学，政行修理的积极进取态度形成鲜明对比。而且临终告诫其子：“治闺庭，尚闲素，如此足无忧患。”又云：“圣主储皇及诸亲贤，亦当不以吾没易情也。”玩味此语，似透露出齐武帝和豫章王的一种微妙关系。《通鉴》卷一三五武帝永明元年“边荒”作“江北荒人”，意同，均指江淮地区附于崇祖的门宗和部曲。齐高帝为废立事件的当事人，自然十分明白武帝和豫章王及江淮豪帅的关系，所以临终谆谆嘱咐武帝要善待诸王，并委托褚、王二人“令太子敦穆亲戚，委任贤才”，这是齐高帝发此遗诏的背景。
齐武帝使我们看到这样一种矛盾现象：一方面，江淮豪帅受到严重压抑、打击甚至诛杀；但另一方面，江淮豪帅却又被委以捍御疆场的重任。捍淮蕃海之将领仍以江淮豪帅为主。永明四年（公元486年），武帝心腹兖州刺史垣敬去世，以王玄载为持节监兖州缘淮诸军事、平北将军、兖州刺史，六年（公元488年），嘱武帝以之为南兖州刺史，卒。先欲以其弟玄邈继其任，未果，又以垣荣祖为持节、督缘淮诸军事、兖州刺史。玄邈则于永明十年（公元492年）正月复为徐州刺史。（参见《南齐书》卷二七《王玄载传》、卷二八《垣荣祖传》。）这表明，齐武帝虽对江淮豪帅时有猜嫌，心存疑忌，但舍却他们又无武力可用，江淮豪帅是稳定江淮局势的主要力量。齐武帝临终，异代之际，江淮“伧楚”又介入政争。《南齐书》卷四七《王融传》载：“世祖疾笃暂绝，子良在殿内，太孙未入，融戎服绛衫，于中书省阁口断东宫仗不得进，欲立子良。上既苏，太孙入殿，朝事委高宗。融知子良不得立，乃释服还省。”王融在世祖临崩之际，欲拥立子良，世祖崩，又“处分以子良兵禁诸门”。只是在关键时刻，齐明帝排闼而入，才挫败了王融之谋。（参见《南史》卷二一《王融传》。）在此之前，王融“招集江西伧楚数百人，并有干用”。这数百名“伧楚”当是以子良募人之命召集而来，禁诸门的子良兵中应包括了这些“伧楚”。又《南史》卷四六《李元履传》载：“与王融游狎，及王融诛，郁林敕元履随右卫将军王广之北征，密令于北杀之。”元履系李安民之子（李安民亦为自青徐南迁协助齐高帝建立霸业的江淮豪帅，参见罗新：《青徐豪族和宋齐政治》。），则王融所结交的文武中亦有江淮豪帅。或者李元履亦参与了未遂政变，所以郁林王才有杀元履之意。王融为王弘曾孙，少时为柳元景抚军板行参军，江左甲族，但其祖僧达为宋孝武所杀。王融父宦不通，欲绍兴家业，唯有于武功一途求之。（高门甲族某一房支不振，其子弟亦多以武功求仕进。《南史》卷二三《王蕴传》，蕴为尚书仆射王景文之侄，但“父楷……人才凡劣，故蕴不为群从所礼，常怀耻慨……明帝即位，四方叛逆，欲以将领自奋，每抚刀曰：‘龙泉太阿，汝知我者。’”王融情况与王蕴类似，故亦“以将领自奋”。）而江西“伧楚”为南朝最善战之阶层，于王融以武功显达颇有助益。因此王融遂有结“伧楚”、习骑射、交元履等种种不为高门甲族所齿的行为。此益显示出江淮“伧楚”豪帅对南朝政治斗争之重要性。任何阶层和个人欲在政治上有所作为，必对这股武装力量尽全力拉拢利用，而不能视若无睹。此点于齐明帝之立表现至为明显。关于寿阳豪帅裴叔业在齐明帝篡权过程中的作用笔者已有所论述（参见韩树峰：《河东裴氏南迁述论》。从而违背了道成的遗愿，将其迁为散骑常侍、南濮阳太守。），除裴氏外，齐明帝亦曾拉拢夏侯氏，《梁书》卷十《夏侯详传》载：齐明帝为刺史，雅相器遇。及辅政，招令出都，将大用之。每引详及乡人裴叔业日夜与语，详辄末略不酬。
齐明帝行将篡位，急须用人之际，召夏侯详入京，但夏侯详意存观望，态度不明。明帝未达预期目的，对夏侯详不免有忤。但他明白夏侯氏在豫州的重要性，所以对夏侯氏没有不利行为，而且北魏南侵，仍以之为建安戍主，这证明伯玉并非一般平民，带边城、新蔡二郡太守，委以捍淮之任。前引《魏书·萧宝夤传》云寿春多其故义，萧宝夤未曾出镇豫州，所谓故义当是齐明帝刺豫时所结交的地方豪族，他们和南齐关系十分密切，所以萧宝夤降魏，经寿春，还特别对他们进行慰唁。以后，梁江州刺史陈伯之自寿春降魏，魏主以宝夤为东扬、南徐、兖三州诸军事，东扬州刺史，以为陈伯之声援（参见《魏书》卷五九《萧宝夤传》。），当是因寿春多宝夤故义，以借用其影响之故。
除豫州豪帅外，其他地区的豪帅也为齐明帝所利用。诛灭高、武在蕃诸王的主要武将除裴叔业外，其他如王玄邈、王广之、陈伯之等皆非豫州豪帅。王玄邈已见上述。王广之，据《南齐书》卷二九本传云，沛郡相人，他基本活动在淮水附近而且主要在徐州一带。齐高帝废苍梧，以广之为督徐州诸军事、徐州刺史、钟离太守。建元初，广之以家在彭沛，请求招诱乡里部曲，以取彭城，复被任为徐刺。武帝世，复刺徐。明帝时，他以预废郁林勋，增封三百户。陈伯之，济阴睢陵人，与王广之同乡，广之讨南兖州刺史安陆王子敬，子敬拥兵自卫，协助其完成代宋建齐的霸业。道成临终，伯之独入斩子敬。以后，陈伯之降梁复叛，以齐建安王萧宝夤已率江北义勇至六合及自己深荷明帝厚恩来煽动佐史。（参见《梁书》卷二九《陈伯之传》。）这既反映了宝夤在江淮地区的影响，也证明了陈伯之本人与南齐的密切关系。
明帝所遣诛害诸王的军主尚有名徐玄庆者，此人事迹史书所载不多。他曾于建武三年至永泰元年（公元496—498年）出任徐、兖二州刺史，在边境抗胡，从这一情况分析，他似乎也出于北土酋豪。刘宋有兖州刺史徐遗宝与刘义宣、臧质一同叛乱，系高平金平乡人，与垣氏为姻戚（参见《宋书》卷六八《刘义宣传》。），徐玄庆或即是其同族。
综上所述，南齐之建立，武帝之即位，明帝之篡权，莫不与江淮豪帅密切相关，江淮豪帅及其所率领的乡里部曲是南齐时期最重要的武装力量，参与政争者均竭力拉拢利用。这些受到压抑的“伧楚”政治地位在南齐时期也有了较大变化。《梁书》卷四九《文学·钟嵘传》载嵘上言：“永元肇乱，坐弄天爵，勋非即戎，官以贿就……名实淆紊，兹焉莫甚。臣愚谓军官是素族士人，自有清贯，而因斯受爵，一宜削除，以惩侥竟。若吏姓塞人，听极其门品，不当因军，遂滥清级。武帝以其田业在江西，而担心伯玉和他勾结起来，率领“边荒”发动叛乱，以致崇祖在豫州任上时，不敢对伯玉轻加处置，而只能加意安抚，可见崇祖在江淮地区的影响。若侨杂伧楚，应在绥抚，正宜严断禄力，绝其妨正，直乞虚号而已。”钟嵘要求加以限制的两种人之一就是因军功进的“侨杂伧楚”。此处之“杂楚”地域不明，荀伯玉为广陵人，《释伧楚》即以之为江淮“杂楚”，从前文分析，余氏所言不误。钟嵘云名实混淆在永元之时，其实“伧楚”地位之变化早在南齐立国之初就已开始，非永元时独然。南齐既以此力量立国，复以此力量为政权基础，只能对江淮豪帅加以安抚而没有其他选择。不过，江淮豪帅的地方色彩十分浓厚，其武装力量主要在地方而非中央。南齐朝廷固然可因此利用他们捍御疆场，抵制外虏，但其强大的地方力量也使朝廷感到对他们难以控制，因而心生猜嫌。同时江淮豪帅因其力量所在，亦不愿赴京求禄，致使江淮豪帅与南齐朝廷的关系远未达到北府将与刘宋政府及雍州强宗与萧梁政权那种水乳交融、相濡以沫的关系。这种尴尬的关系使江淮豪帅地位难以稳步上升，其发展总是一波三折，而南齐国祚短促，原因或有许多，但其赖以立国的武装力量与其关系松散，当为一因。南齐就是在江淮豪帅倒戈降梁的情况下灭亡的。
三、江淮豪帅与萧梁政权
齐、梁虽同为萧姓政权，但二者所依赖的武装力量绝不相同，南齐赖江淮“伧楚”立国，萧梁则以荆襄豪族得兴。梁之伐齐，实为东西两大武装力量之对抗。关于伐齐之梁将多出荆襄，论者已多，今兹就南齐将领之出身加以说明。《南齐书》卷七《东昏侯纪》载：
（永元三年）九月甲辰，以（李）居士为江州刺史，新除冠军将军王珍国为雍州刺史，车骑将军建安王宝寅为荆州刺史。以辅国将军申胄监郢州，龙骧将军马仙琕监豫州，骁骑将军徐元称监徐州。
李居士，据《南史》卷四四《文惠太子长懋传》载，并成为其心腹，系赵郡人。赵郡李氏为北方望族，见于记载，仕于南方者唯居士一人。居士南渡应当很晚，故以武功显。以其原籍分析，南渡后应居于江淮间。萧衍起兵，东昏以李居士总督西讨诸军事，以抗梁兵。新亭战败，降梁。王珍国，王广之子，南齐建武末年，曾在徐州抗魏。梁武兵围建康，珍国战败，弑东昏降。马仙琕，《梁书》卷一七本传称其为扶风郿人。据《宋书》卷三七《州郡志》“雍州”条，东晋曾侨立扶风郡，治襄阳，后徙治筑口，原籍扶风之流民南下后当以侨居于此者为多，但笔者仍认为《梁书》云仙琕为扶风人，系指其原籍，而非侨立之扶风。原籍扶风之流民，亦有流移江淮者。《陈书》卷一三《鲁悉达传》云：鲁悉达，字志通，扶风郿人也……父益之，梁云麾将军，新蔡义阳二郡太守……侯景之乱，悉达纠合乡人，保新蔡，力田蓄谷。时兵荒饥馑……有得存者，皆携老幼以归焉。悉达……仍于新蔡置顿以居之。招集晋熙等五郡，尽有其地