10月中旬，正当陈谢兵团尚在休整时，国民党在洛阳附近地区调集了李铁军兵团10个旅，其先头部队整编第20师于20日占领了新安县城。在潼关、洛南一线地区，胡宗南集中了裴昌会兵团8 个旅，先头部队第27旅已进到圄乡以西地区，企图东西对进夹击陈谢纵队，打通陇海路。
这时，毛泽东指示陈谢：除留一部兵力牵制裴昌会兵团外，主力即由休整地经陇海路南下，歼灭豫西各县反动武装，开辟根据地；如敌人跟踪南下，则寻机分别歼灭之，但要打有把握之仗；并指出不要怕敌人占领陇海路，只要在东西南面打开局面，大量歼灭敌人，胡宗南虽占有陇海路，但兵力分散，我即能再歼敌军，重占陇海路。
根据中央军委这一指示，陈谢率领大军于10月底开始南下，11月1 日至5 日连克宝丰、鲁山、南召、方城、叶县、临汝、郊县、登封等城，歼灭了国民党军第15师，活捉了善于防守的第15师师长武廷麟。
陈谢兵团向伏牛山以东地区展开攻势后，国民党军李铁军兵团即由洛阳地区南下，以其主力整编第3 师、整编第20师的5 个旅尾随跟进。此时部队正在打郊县县城。陈赓沉着镇定，指挥部队全歼了敌人才撤出城外。
11月的豫西地区，已是天寒地冻，冷风飓飓。
打下郊县，我军刚进南召、方城一带，李铁军就带着7 个整旅，气势汹汹地扑上来。
李铁军几万人马拼在一起，使陈谢兵团既吃不了他，也感到巨大压力。如何对付敌人的尾追呢？对此，有人提出把部队拉向西面，到伏牛山背上建立根据地，有人提出就地设伏，立即歼灭这股敌人。
针对这种种意见，陈赓在南召主持召开了前委扩大会议，会上议论纷纷。陈赓提出将主力再作分遗展开，。以拖散和疲惫敌人，创造新的歼敌条件。他说：“我们的作战方针是集中优势兵力，各个歼灭敌人，不打无准备之仗，不打无把握之仗，如果我们贸然行动，可能使自己陷人被动。”接着他又说道，“李铁军我知道，他和我曾是黄埔同期，这个广东人精明得很，想让他上你的套不是那么容易的事。他没后台，全是靠小心谨慎才有了今天的地位。我们对付他，必须得有个法子，可以把他引得四处跑，消磨他的气势，然后再寻机吃掉他。从中原的全局着眼，我们的主力绝不能向西钻到大山里去，而要在平汉路以西的广大地区展开，以便有力地配合挺进中原的主力作战。”
绝大多数与会者赞同陈赓的意见。会议决定采用“牵牛”战术，以第13旅等部伪装主力，西向镇平、内乡、西峡口，斩断国民党军的西荆公路，与南下开辟陕南的部队呼应，引诱国民党军第3 师等部西援，而主力则在伏牛山东麓广大地区展开。
陈谢兵团各部队立即行动，国民党军果然被扯散，其第20师进驻南阳，第3 师则尾追陈谢兵团第13旅等部西进。这样，陈谢兵团主力就胜利地在伏牛山东麓展开，歼灭国民党地主武装，发动群众。从南渡黄河至11月底，陈谢兵团共歼敌5 万余人，建立了豫陕鄂、陕南根据地，孤立了敌人的重镇洛阳。
12月下旬，蒋介石集中14个整编师、33个师整编旅的优势兵力，由白崇禧亲自出马指挥，对大别山刘邓大军发起全面围攻，企图摧毁这个重要根据地，使刘邓大军无以立足。
大兵压境，根据地初建，又因刘邓大军中大部分是北方人，一时难以适应南方水土，病员较多，处境更为困难。
据此，毛泽东指示他们配合华东野战军西线兵团破击平汉路，斩断国民党军在中原的南北动脉，吸引大别山的国民党军回援，配合刘邓野战军主力粉碎国民党军的围攻。
陈赓坚决贯彻中央军委的指示，决定派兵团主力东向平汉路，并以第11旅南向桐柏，接应第10纵由大别山向桐柏展开。
12月13日，陈谢兵团配合陈粟大军开始了平汉路的大破击战役，相继攻占平汉重镇漯河、驻马店及沿线城镇20多处，彻底破坏铁路Zto 多公里，华野部队同时大破开封至郑州、郑州至许昌之间铁路400 多公里，切断国民党的两大“动脉”，造成对国民党在中原战场横向和纵向的战略分割，不仅使其中原部队的物资补给陷人困境，而且剥夺了其兵力快速机动的优势，使蒋介石十分震惊，被迫重新决策。
蒋介石起初还企图维持大别山之围攻形势，急令裴昌会兵团东出郑州接防，原驻郑之孙元良兵团南下，李铁军兵团驰返平汉，以救平汉之危。但裴昌会兵团被彭德怀的西北野战军所牵制，难以脱身，致使孙元良兵团不能南下。只剩下李铁军兵团一路星夜赶来，疲惫不堪。
陈赓当机立断，决心将李铁军兵团第20师抑留于确山地区，将整编第3 师孤军引人西平、遂平地区一举围歼。李铁军发觉情况不妙，率部仓促在西遂间之祝王、金刚寺一带转入防御。经中央军委批准，在粟裕统一指挥下，由陈谢兵团一部协同华野第3 纵队，于12月25日对国民党整编第3 师发起总攻，经1 昼夜激战，将敌第5 兵团兵团部及整3 师全歼，毙俘6000余人，李铁军带少数人逃跑。