淮海战役第一阶段中，华东野战军胜利取得了歼灭黄百韬兵团17.8万人的辉煌战绩。
当华野正在和黄百韬兵团激战的时候，蒋介石匆匆从河南调了黄维兵团12万人马前来增援。11月24日，黄维兵团刚跨过淮河就发现情况不对，急忙准备掉头返回。但此时已经来不来，中野大军迅速将他们包围在了双堆集一带。
黄维兵团被围后，曾计划用4个师的兵力齐头并进，向南突围，结果廖运周率部战场起义，使得他们的突围成了幻想。在接下来的日子里，黄维兵团在飞机、大炮、坦克的掩护下，继续尝试突围，但打了一个多星期依然不见援军。
我军对黄维兵团发起猛攻，但由于双堆集地形开阔，我军每前进一步都非常不容易。为了减少伤亡，中野开始采取壕沟战术，用土工作业的办法抵近黄维兵团的阵地。但黄维依旧执迷不悟，拒绝放下武器。
12月10日上午，眼看南线的战事如此胶灼，粟裕、谭震林、陈士榘、张震等华野领导同志坐不住了，他们在北线和杜聿明相持，中野在南线和黄维僵持，如果一直这么下去很容易出意外。经过商量，粟裕给总前委打了打电话，提出应该先集中兵力解决黄维，然后再收拾杜聿明，如此可以争取主动。总前委当场表示同意。
当天下午，粟裕就给总前委并军委发去电报，称华野决定派出三个纵队外加一部分炮兵，“即晚南下，参加歼灭黄维作战，统由陈士榘同志率领南来，请分配其作战任务”。出发前，粟裕还特地嘱咐陈士榘，在战争中缴获的武器，一粒子弹一把枪都不能留，要全部交给中野。
陈士榘率领部队星夜兼程，于第二天来到了中野司令部。经过研究，中野认为要解决黄维兵团，首先必须拿下双堆集的一个堆，让他们失去依托，如此我军的火力便能发挥作用。攒了一股子劲的陈士榘毛遂自荐，要求他来指挥完成这个任务，只需要给他一个接近指挥和使用部队的地方就好了。
中野两位首长对陈士榘的担当和魄力很是赞赏，让他等一下，和前线沟通一下，看谁愿意把位置让回来。结果等了三四十分钟，前线的各个纵队都不愿意让出位置。这也可以理解，仗都打到这个份上了，怎么可能撤下来？
陈士榘见大家都不愿意让，便说道：“我相信中野是一定能完成围歼任务的，这不过是时间问题。既然没有我的位置，我建议由我去加强阻击李延年、刘汝明两兵团的援军，为兄弟部队解决黄维兵团争取时间。”
据陈士榘的儿子陈人康回忆，当时中野首长“无奈地摊了摊手说，也好，我这里的部队都和敌人杀红了眼，你谅解一下吧！”随后，陈士榘就开着他的吉普车离开了。陈人康认为：父亲确实太傲了。当然这也是可以理解的，单从职务上说，陈士榘毕竟是一个野战军参谋长，纵队司令员属于他的下级。
陈士榘率部向南出来，当他来到二野6纵的防区时，发现6纵政委杜义德已经在一个十字路口等候他多时了。杜义德拦住了陈士榘的车队，并告诉他中野首长要和他通电话，陈士榘拿起电话，对面传来的熟悉的声音：你不要南去了，就留在中野，6纵王近山、杜义德统一由你指挥。我已经跟他们讲好了，他们都听你的，攻击位置也让给你。
陈人康说，“这时，父亲又提了一个‘过分’的要求：靠近6纵左翼的华野7纵、13纵、豫皖苏独立旅及华野炮兵第3团也要由我指挥。”中野首长经过考虑后，同意了陈士榘的要求。
这段交流的经过，在陈士榘的回忆录《天地翻覆三年间》和陈士榘儿子陈人康的回忆录《回忆我的父亲开国上将陈士榘》中都有记载。
随后，陈士榘就把归他指挥的这几个纵队的首长召集到一起，要求他们把火力集中到尖谷堆，暂时不要管平谷堆，战斗一打响，就全力向尖谷堆进攻。
12月14日傍晚，陈士榘下达了总攻的命令，如同泰山压顶一般拿下了尖谷堆，并在15日午夜，彻底结束了战斗。
双堆集战役结束后，陈士榘就接到了华野的电话，要他立即返回，参与淮海战役第三阶段的作战指挥……
