由战略防御转入战略进攻的序曲，就是刘邓大军挺进大别山。
1947年6 月30日晚，在黄河北岸，集结在晋冀鲁豫野战军主力4 个纵队，13万人马，早已袜马厉兵。听到一声号令，全军战船齐发，在鲁西南张科镇到临淄集300里地段上，黄金搭档刘伯承、邓小平指挥部队，按中共中央毛泽东的战略构想和部署，精心筹划，出敌不意，势如破竹，一举突破了国民党军自以为可抵40万大军的“黄河防线”，打乱了蒋介石的防御体系，直接威胁着华东战场上几十万蒋军的左翼及其后方，揭开了人民解放军战略进攻的序幕。
为了把刘伯承、邓小平领导的部队，与留在后方的晋冀鲁豫其他部队以及活动在晋南的陈赓、谢富治兵团区别开来，也为了对外宣传的需要，毛泽东开始将晋冀鲁豫野战军称作“刘邓大军”。
“刘邓大军”突破黄河天险，蒋介石急得如热锅上的蚂蚁，慌忙调兵遣将，以第2 兵团王敬久纵队14个旅的兵力，死守郓城、菏泽、定陶一线，并以各路军马齐头并进，屯兵坚城，伏击侧背的诡计，逼迫刘邓背水一战，欲置其于死地。
刘邓冷静地分析了敌情，果敢地决定将计就计，背水一战，发起鲁西南战役！
刘伯承和邓小平，两个四川老乡，大军事家，大政治家，珠联壁合，相得益彰。
刘伯承说：“此时不打，更待何时？”
邓小平说：“在对待生死的问题上，我们只能有一种选择。为着人民利益，我们要生存下去，让敌人去跳黄河！”
7 月4 日夜，刘伯承、邓小平率野战军指挥部在鲁西南寿张以南渡过黄河，跟进到鲁西南，在山东郓城以南的郑家庄安营扎寨。
7 月8 日晨，刘邓大军攻克郸城，10日，收复曹县、定陶。
此时，敌整编第70师一个半旅、第32师两个旅、第ho师两个旅，分别抵六营集、独山集和羊山集。在巨野东南约80里处，从南向北，摆成了一字长蛇阵，全然陷于被动挨打的困境。而刘邓大军则摆脱了背水作战的危险局面，在黄河以南开辟了广阔的战场。
刘邓大军成功渡河之后，毛泽东在陕北窑洞里，酝酿着更为精彩非凡的战略构想。毛泽东电示刘伯承、邓小平：“要放手消灭敌人，歼敌越多，对山东粉碎敌人重点攻势，乃至尔后跃进大别山均极为有利。”
遵照毛泽东的这一指示，刘伯承决心采取“攻敌一点，吸其来援，啃其一边，各个击破”的战法，与邓小平一起要看蒋军跳黄河。
7 月13日，刘邓指挥部队以隐蔽果敢的动作，直扑王敬久的“长蛇阵”，迅速将其3 个师分割包围，于14日歼其大部，仅剩一个半旅，被包围于羊山集。
羊山集是山东金乡城西北30华里处的一个大镇，居民千余户，村镇背靠羊山。羊山集东西长约3 华里，因为靠山，以石砖房居多，周围环有寨墙，并有外壕一道，东南两边地势低洼。该集北面有一座东西向长约2000米、高400 米孤山，有三个突出山峰，远处望去，犹如一只绵羊卧在那里，羊山集由此而得名。居民称东峰为“羊头”，中峰为“羊身”，西峰为“羊尾”，羊身高于羊头和羊尾，能瞰制整个羊山和羊山集。此时正值雨季刚过，羊山集附近形成了沼泽地带。因羊山集一面靠山，三面环水，部队运动甚为困难。羊山集内国民党军的火力可控制羊山周围1000米的距离，有利于其固守和相互支援，易守难攻。
陈再道指挥第2 纵队，陈锡联指挥第3 纵队，一起向羊山集地域敌第66师发起攻击，敌凭借坚固工事死守，我军连攻两天，未能奏效，伤亡不小。
7 月19日，蒋介石急飞开封城，亲自督战，又调来8 个师1 个旅的重兵驰援羊山集。
刘邓要拿下羊山集，必有一场恶战。
就在这时，7 月23日，毛泽东从陕北致电刘（伯承）邓（小平）、陈（毅）粟（裕）谭（震林）和华东局，要刘邓改变作战方针，确定了确保与扩大战略主动权的军事部署。电报说：“刘、邓对羊山集、济宁两点之敌，判断确有迅速攻歼把握，则攻歼之，否则立即集中全军休整十天左右，除扫清过路小敌及民团外，不打陇海，不打新黄河以东，亦不打平汉路，下决心不要后方，以半个月行程，直出大别山，占领大别山为中心的数十县，肃清民团，发动群众，建立根据地，吸引敌人向我进攻打运动战。”同时，毛泽东还要求陈毅领导的华东野战军和陈赓谢富治集团配合向中原推进，共同实施战略进攻的任务，并规定陈谢集团挺进豫西后归刘邓指挥。
这一部署，是毛泽东整个宏伟战略的关键部分之一。
7 月23日，陕北靖边县小河村，在毛泽东、周恩来、任弼时所住的院落里，用柳树杆搭起的凉棚下，毛泽东主持召开中国共产党前委扩大会议，史称“小河会议”。毛泽东向坐在他身边的高级将领们描绘着振奋人心的远景蓝图：从1946年7 月算起，用5 年时间从根本上打倒蒋介石，为此，必须加快战争进程，由战略防御转入战略进攻，与蒋军进行战略决战。而战略决战的序幕，毛泽东选择了中原，选择了大别山，选择了“刘邓大军”。于是，刘邓大军南渡黄河，由内线转为外线作战，充当把战争引向国民党统治区去的战略突击队。
毛泽东设想，第一步，刘邓大军13万人于6 月30日开始在三天内顺利渡过黄河天险，揭开解放军实行战略进攻的序幕。刘邓大军在鲁西南连续作战28天，歼敌4 个师部和九个半旅共56000 人，打开南下大别山的通道。
第二步，刘邓大军准备向中原出击，直下大别山。
大别山，雄峙于国民党首都南京和长江中游重镇武汉之间的鄂豫皖三省交界处，北濒淮河，南扼长江。是直接威胁着蒋介石“卧榻”南京的战略要地，是国民党战略上最敏感而又最薄弱的地区。毛泽东分析，刘邓大军作战略跃进，必然逼迫蒋介石调动他在解放区的重兵集团回头护驾。这就达成了将战争弓响蒋管区，在外线歼敌的战略目标。刘邓大军好似一把尖刀，如能突然插进蒋介石统治的心脏中原腹地，必将致敌于死命。因为我军战略进攻的矛头指向大别山，可以东慑南京、西逼武汉、南扼长江，瞰制中原。对此极为重要的战略基地，蒋介石必然会调动进攻山东和陕北部队回援，从而打乱蒋之战略部署，粉碎他的战略攻势，使我们能够将战争引向国民党统治区域。更为巧妙的是，此时，蒋介石正在将主力压在陕北和山东两个解放区，毛泽东着刘邓大军钻到蒋介石的后方，在其软腹部生根立足，等蒋介石醒悟过来时，一切已经太晚。
如果说，党中央留在陕北是1947年毛泽东所布下的关系战略全局的第一步棋，是他军事生涯中的得意之笔；那么，刘邓大军挺进中原，则是1947年毛泽东所布下的关系战略全局的第二步棋，同样也是在一生中的得意之笔。周恩来称赞说：“这是毛主席的伟大战略部署。”正处于鏖战中的刘邓领会毛泽东主席的战略意图，但是他们也深深感到，不打好羊山集这一仗，下一步棋要走好也不容易。他们认为，各路援敌尚在行进途中，金乡之敌已无力北援，主力可以集中，完全有迅速歼灭羊山守敌的把握。这些敌人不歼灭，有可能增加南进的阻力。于是，决定继续攻歼据守羊山的敌整编第66师。
邓小平坚定地说：“攻羊山的部队不能后撤！”
刘伯承幽默地鼓励将士们说：“蒋介石送上来的肥肉，我们不能放下筷子！”
刘邓首长既希望尽早南下，又不想放弃这次歼敌机会。他们说，别看有蒋介石亲自坐镇，我们一定要啃下这块硬骨头。为此，刘邓调整了部署，加强炮火，使兵力上达到了1O：3 的优势。
刘邓立即亲临羊山集前线，向正在组织攻打羊山集的指战员传达了中央军委的指示精神，并指示陈锡联、陈再道：“不能疏忽大意，更不能急躁”，命令他们要亲自到前沿看看地形，了解一下为什么攻不下来，与指战员一起研究如何打法，尽快把羊山集之敌歼灭掉。
7 月25日夜里，大雨倾盆，直下到26日黄昏，总攻计划无法实施，推迟到27日。
这天得到情报，蒋介石于7 月25日向顾祝同发出命令：“刘邓被大雨所困，交通、通讯均发生困难，是围抄歼灭的良好时机。命王仲廉一日内赶羊山，与金乡王敬久集团、鲁道源58师合击刘伯承部。此战若予以彻底打击，则结束山东战事，指日可期。自明日（7 月26日）起，各部队即应逐渐与匪主动接战，望各级官兵猛打穷追，达成任务。希饬遵照。”
7 月27日，天气突然放晴，下午6 时30分部队发起总攻击，羊山激战一天，蒋介石的第66师被全歼，解放军也打得很苦，二纵队司令员陈再道将军后来感慨万端地说：“羊山集这一仗，是我们打得最苦的一仗！牺牲的战士最多！”至此，刘邓大军结束鲁西南战役，共歼敌5 石万余人，俘敌4.3 万余人，收复了鲁西南地区，从而打开了千里跃进大别山的大门。
战役结束的第二天，刘伯承伏在油灯下，在黄色粗糙的纸上写着：“我们勉作毛泽东式的军人，在政治责任与任务需要上，必须从战争中学习战争。”刘伯承为此兴奋地赋诗一首：
狼山战捷复羊山，炮火雷鸣烟雾间。
千万居民齐拍手，欣看子弟夺城关。