作为一名党的高级干部，粟裕得到中央命令之后就开始积极准备，以待中央一声令下立即出动。可是，作为一个领兵作战20年的指挥员，特别是曾经在江南长期作战，如今又将重返江南独立作战，担负党中央赋予的重新开辟江南根据地重担的粟裕，对于中央的一个重要决策，对于即将到来的南下江南作战并开创新的解放区的重要任务，进行了多方面的思考。他必须认真领会毛泽东这一决定的战略意图，分析敌我双方的力量对比与分布，考虑好应付可能出现的各种困难的办法并在出发前有所准备，为大部队的南下制定出最佳的行动方案。在这些工作还未做好，心中还没有充分把握之前，他是不会轻易向中央提出自己意见的。
在反复考虑之后，粟裕认为中央军委的决定的确有大胆与出奇之处，如果他带3个主力纵队南下，打乱敌人的后方，肯定会取得一定的效果。但是，这既是一着妙棋，可又是一着险棋。在仔细权衡华东野战军南下与不南下、我江北主力部队分兵与不分兵的利弊之后，他认为中央军委的决策并非上策，认为不南下会取得更佳的战果。粟裕的基本考虑是：中央作出这样决定的主要目的，是要改变中原战局，在中原打歼灭战，大量地歼灭敌人。事实上，这时在中原地区打大歼灭战的条件已逐渐成熟。一是敌人在中原的三条铁路干线和各大中城市的防守上分散了很多兵力，有利于我军在运动之中捕捉战机；二是中原地区的平坦地形虽然有利于敌人相互支援，但如果我军破路之后，敌人的重装机械化部队就无法机动，有利于发挥我军徒步行军的长处，迅速集中兵力，实现战役的速战速决；三是中原地区背靠山东和晋冀鲁豫老解放区，便于得到支援和安排伤员；四是我军挺进外线以后，已经度过了最困难时期，逐渐适应和掌握了外线作战的特点，新的解放区也已经有了一定的基础。相反，如果3个纵队过江，虽然可以调动部分敌人回防江南，但是国民党军队在江北的4支主力部队，即整编第五军、第七军、整编第十一师、第四十八师要支撑国民党军队的中原防线，拱卫南京和武汉，是不可能将其调动南下的。特别是第七军和四十八师属于桂系的部队，驻在武汉的白崇禧更是不会让其脱离自己的指挥。另外，中原地区国民党所有机械化部队的主官也是不愿到江南水网地区去作战的。所以，国民党军队可能调到南方的部队不会是其主力，只能是一些二三流部队，这使中原兵力对比的改变不可能很大。在此背景下，如果我军3个主力纵队南下却削弱了我军在中原与敌人决战的能力。从以上因素考虑，部队南下的方案与中央要在中原地区打大歼灭战的初衷是矛盾的。如果再从另一方面来考虑，我军南下之后，是在新区转战，行程数省，部队的重武器必须全部放弃或丢失，这是不可避免的损失。同时，部队在转战中处处有敌人的围追堵截，伤员的救护与安置有很多困难，这就使得部队减员的数量不会少，很可能达到三分之一甚至二分之一（3个纵队加上部分地方干部约为10万人，减员可能会达到5万人），这也是不可避免且更为严重的损失。
单是这些减员的代价，在江北就可以歼灭敌人好几个师。而如果3个纵队不南下，和其他部队配合作战的话，在中原进行大的歼灭战，其效果会更好。此外，还有一个问题是只有粟裕等原来新四军的领导才会有体会，就是要南下的这几个纵队原来都是新四军的部队，是从苏中苏北撤到山东的，在当时的北撤中和不久前从内线到外线的转移中，都是做了大量的思想工作才使广大官兵转过弯来，现在又要过江南下进行长期的新区转战，思想转弯又得有一个过程。
粟裕经过深思熟虑之后，对中央的这一决策产生了新的想法。粟裕在回忆录中这样写道：
虽然我有以上考虑，但要不要向中央提出建议，开始我是有顾虑的。主要是担心自己看问题有局限性，对中央如此重大的战略决策提出不同看法，会不会干扰统帅部的决心。但又想，作为一个战役指挥员，在即将执行上级赋予的作战任务时，应当结合战争的全局进行思考，从全局上考虑得失利弊，把局部和全局很好地联系起来。全局是由许多局部组成的，从局部看到的问题，也许会对中央观察全局、做出决策有参考价值。想到这些，我终于消除了顾虑，于4月18日把自己的看法和建议报告了中央。
应当指出的是，当粟裕正在反复考虑这一问题时，陈毅从陕北回到了当时设在河南濮阳的华东野战军指挥部。粟裕将自己对这一问题的想法详细告诉了老战友和老上级陈毅。陈毅听后，对于这一改变中央决策而且将牵涉全局的意见十分重视。起初，陈毅是不同意粟裕意见的，因为他自己参与了中央这一决策的讨论与形成的全过程，他很清楚中央对这一决策的重视和慎重。而且，先遣渡江的主帅人物，也是他和毛泽东的一致意见——派粟裕。但是，在经过两人多次认真而严肃的讨论之后，作为一个方面军的统帅，陈毅以敏锐的洞察力和丰富的作战经验，深深领会了粟裕的意见，逐渐同意了粟裕的意见，最后是赞赏和支持了粟裕的意见，并鼓励粟裕大胆向中央提出自己的想法。然后，陈毅又拉着粟裕去拜访了路经濮阳的李先念，仔细谈了粟裕的想法，征求李先念的意见。李先念在与陈毅、粟裕进行了多方的分析之后，也表示完全支持粟裕的意见。
在陈毅、李先念的支持下，4月18日，粟裕以个人署名的一封长达3000余字的报告《华野三个纵队暂不渡江南进的建议》用电报发给了中央军委。
毛泽东是在前往西柏坡途中的五台山文殊院收到粟裕这封电报的。毛泽东刚一看到这封电报时，十分震惊，甚至有些生气地说：
“粟裕要干什么？陈毅在哪里？发个电报，把他们都请来，让他们把不渡江的理由说清楚。”但是，毛泽东很快就冷静了下来，他和中央军委几位负责人研究之后，大家都对粟裕的报告十分重视，认为必须认真听取粟裕的意见，于是电令粟裕到中央进行当面报告，同时电令陈毅也前往中央。
4月28日，当粟裕和陈毅到达当时中央所在地河北阜平城南庄时，毛泽东放下手中的毛笔，走出房门，穿过庭院，亲自迎接（这是极为罕见的举动，毛泽东自从担任党的领袖以来，他的习惯是不出门迎送战友和下级的）。毛泽东握着粟裕的手，望着这位已经不再年轻的前方大将，深情地说：“粟裕同志，你还记得吗？我们分别已经整整17年了！”
根据毛泽东的指示，聂荣臻、李先念、薄一波等也奉命来到了城南庄。1948年4月30日至5月7日，中共中央在城南庄召开了书记处会议，中央的“五大书记”毛泽东、朱德、***、周恩来、任弼时全部出席。会议的中心议题就是一个：听取并研究粟裕提出的调整南线战略进攻部署的建议。与会者在认真听取了粟裕的报告之后，对他的建议和全国的战局进行了全面的分析研究。与会者的讨论乃至辩论是相当充分的，毛泽东为了考查粟裕，甚至说出了这样的话：“当然，如你感到确有困难或不愿意率一兵团南下，我们可以考虑另换统帅……”但是，会议最后是一致同意了粟裕的意见，并由周恩来代表中央宣布了如下决定：“华野一兵团在4至8个月内暂时不南下，先加入中原作战，力争实现歼灭敌人主力于长江以北的新战略（在这里，党中央还有一个重要考虑，是要尽可能减少今后解放江南时对江南主要经济区的破坏，以便于新中国的经济建设）。如果将来刘邓、陈粟两大野战军的确无法粉碎国民党在中原的防御体系，一兵团立即执行南下方案。”
也就在这次中央军委的会议上，毛泽东和中央军委还做出了两个重要的决定：一是中原地区的决战歼敌从华东野战军发起，华野先打济南，紧接着打徐淮，在徐州淮海战场上与国民党军队进行一场决战；二是为了中原野战军更好地配合华东野战军的作战行动，也为了加强中原野战军的工作（中野转战大别山时期消耗很大，仅剩十来万人，重武器几乎全部丢失，又要马上对付华中和徐州西部几个兵团的敌人，压力很大，中央曾在一个文件中形容说“中原局的困难是中国革命最后最大困难”），中央决定将陈毅和邓子恢从华东调到中原局工作，陈毅担任中原局第二书记，邓子恢任第三书记（第一书记是邓小平），陈毅同时任中原野战军第一副司令员（司令员为刘伯承，第二副司令员为李先念），邓子恢任第一副政委（第二副政委为张际春）。粟裕也参加中原局的领导工作，是中原局的12名委员之一，只是不到中原局去，工作仍然在华野。这样，华东野战军就由粟裕全权负责，中央决定由粟裕接任华东野战军的司令员兼政治委员。对于中央这一决定，粟裕表示坚决不能接受，认为华野不能没有陈毅。这一次，毛泽东向粟裕让了步，同意华野的司令员兼政委仍然由陈毅担任，但只是名义，陈毅本人必须立即到中原局工作（陈毅和邓子恢后来带了4000多名干部赴中原局工作），粟裕则以华野的代司令员兼代政委的名义全权负责华东野战军工作。
城南庄会议的结果，实际上形成了在江北集中兵力打歼灭战的战略决策，这也就是后来的淮海战役的最初蓝图。正是在这种战略决策之下，中原战场上才陆续出现了打开封、战睢杞、克济南，活捉区寿年、生擒王耀武等一系列胜仗，才会有由两大野战军共同进行的淮海战役。
三、蒋介石派来了“一头猪”
为什么毛泽东和中央军委对在中原作战如此审慎？这是从当时中原战局的具体情况所决定的。
中原地区自古以来就是兵家必争之地，又是国民党政府统治的中心地区。中原若失，长江天险也就难保。长江天险若失，蒋介石也就败局已定，无可挽回。所以当时蒋介石和他的国防部长何应钦高叫的口号就是“保江必保淮”。
为了逐鹿中原这一场重头戏，蒋介石把他的机动兵团集中了6个放在这里，总数有60多万人，而且有强大的空军支持。除此之外，还有两个对国民党军队有利的条件。（一）中原战场当时的四周都是国民党统治区，国民党政府已经统治多年，调动人力物力都比较方便，后勤供应不成问题。这和东北战场相比有很大的不同。（二）如果中原战场打开了大仗，北边的傅作义集团和西边的胡宗南集团都可能予以援助，这就可能使国民党军队的主力部队到达100万人以上。而如果傅作义集团南下江淮，我军要消灭傅作义集团的难度将大为增加。
蒋介石把中原战场的指挥中枢放在我国历史上最有名的古战场徐州。
如果从较为可信的殷代历史算起，徐州（古称彭城）就是我国各方力量争夺天下的四战之地。在3200多年前，殷代著名帝王武丁伐大彭的战场就是在这里摆开。这以后，历史上的风云人物如楚文王、徐偃王、晋悼公、越王勾践、刘邦、项羽、韩信、曹操、吕布、关羽、石勒、谢玄、宇文化及、隋炀帝、李世民、黄巢、韩世忠、张士诚、朱元璋、李自成、史可法、林凤祥、李开芳、僧格林沁、曾国藩、赖文光、李鸿章、张勋，直到蒋介石，都曾在这里打过大仗。抗日战争中，著名的台儿庄会战也发生在这里。这里在近代又成了国内交通大动脉陇海铁路和津浦铁路的交汇点，成了国民党统治中心南京的北面门户。正所谓是“俯视东海，仰视关中，屏障沪宁，遥扼冀鲁，窥苏皖而撼中原”。辛亥革命元老、曾经担任过武昌革命军总司令的著名军事家黄兴曾就徐州的重要性说过这样的话：“南不得此，无以图山东；北不得此，无以窥江东，是胜负转战之地。”
在徐州这个八方瞩目的头等军事要地，派谁去做领兵统帅？这时在中原地区的国民党军队的最高统帅是桂系领袖、刚从国防部长位子上下来的白崇禧，其职务是华中“剿匪总司令部”的总司令。蒋介石这时为了拉拢并利用桂系，不能不重用白崇禧，而早有“小诸葛”之称的白崇禧能打仗，这在国民党各派系中也是公认的。桂系另一个主要领袖、当时的国民政府副总统李宗仁的意见是由白崇禧统一指挥调动整个中原地区的全部军队。但蒋介石不放心把中原地区的130万大军都交给白崇禧，因为白崇禧有可能不听他的主张，不接受他对下级的越级指挥，所以蒋介石决定把中原的部队一分为二，即在华中“剿总”之外，单独设立徐州“剿总”，而华中“剿总”则驻武汉。这样他就得在国民党的高级将领中选出一个人到徐州。蒋介石选定的徐州地区军事统帅是在国民党军队中地位颇高的“五虎上将”之一的刘峙。
严格来说，刘峙在国民党军队高级将领的所谓“五虎上将”中是最不能打仗的一个。由于他的资历老，历任重职，部下一般都称他为“福将”，是把“福将”一称作为一种讥讽，用淮海战役时期担任国民党国防部第三厅中将厅长的郭汝瑰的话说，“这是国民党军队中讥讽刘昏庸糊涂的代名词”。刘峙在过去的重大战事中曾经打过好几次大败仗。抗日战争初期，当卢沟桥事变爆发后，刘峙由豫皖绥靖公署主任调任第一战区第二集团军总司令，奉命率军从开封北进，驻防保定，阻击日军沿平汉线南下。在当时全国人民抗日情绪万分高涨之时，他这个总司令竟是开仗即败，而且一败再败。他指挥部队在固安和日军打了第一仗，就丢了固安。然后，徐水、保定、石家庄、邢台、邯郸、安阳，一个一个城市相继落入敌手。战至11月5日，他只得将部队交给副总司令商震指挥，自动卸职。由于他的这次大溃退，引起全国上下的一片骂声，给了他一个“长腿将军”的称号。蒋介石无奈，只得让他回到后方，当一个重庆卫戍司令。1946年8月，蒋介石一心想打内战，刘峙坚决支持蒋介石的内战方针政策，和陈诚一起高唱“三个月消灭共军”。他当时任郑州绥靖公署主任，统一指挥河南和陕西两省的军事行动。为了扫平我冀鲁豫解放区，刘峙从华东和中原战场调集了14个整编师30多万人的兵力，发动了气势汹汹的进攻。9月1日，他指挥的整编第三师在大黄集被我华东野战军全歼，师长赵锡田被俘。而这位师长不是别人，乃是顾祝同的亲外甥。由于刘峙这一仗打得实在太臭，引得当时的参谋总长陈诚和陆军总司令顾祝同都来到商丘前线，召开会议，并当场宣布撤去刘峙和其参谋长赵子立的职务。蒋介石也骂他太不争气，只给了他一个战略顾问委员会委员的闲职，让他回上海赋闲。