纵队成立后，主力部队随即参加战略进攻，南渡黄河，转战伏牛山，第二十五旅留在豫西，开辟了豫西根据地。
  1948年5月，第九纵队又改称为中原野战军第九纵队。10月，参加郑州战役，在兄弟部队协同下，全歼北逃之蒋军1.1万余人。11月，参加淮海战役，在参加攻打宿县、任桥阻击战和围歼黄维兵团中，歼敌8500余人。
  1949年2月，第九纵队于河南周口地区整编为中国人民解放军第十五军。军长秦基伟，政治委员谷景生，政治部主任余洪远。由原留豫西之第二十五旅归建改称第四十二师，张显扬任师长，薛涛任师政治委员；第二十六旅改称第四十四师，向守志任师长兼政治委员；第二十六旅改称第四十五师，崔建功任师长（政治委员暂缺）。
  作为渡江先遣军，第十五军于3月5日先于其它兄弟部队，从整训地周口地区开始向长江沿岸挺进。
  在部队向长江沿岸开进之前，军首长要求各师和军直分别召开誓师大会。砥砺士气，使请缨热潮一浪高过一浪。各级党委、支部、党员、模范、功臣竟相表态：“要做全革命，不做半革命！”“一百里不到，九十里不停，保持光荣，再立大功！”陈慎言等九名战士向军首长送去了用指血写成的挑战书，提出以“打通思想”和“任何情况下不动摇，不逃跑”，“保证完成任务”为挑战的条件，军长秦基伟看到战士们火一样的杀敌热情，深受感动，愉快地接受挑战。他在应战书中写到：“你们热情的来信我已经看到了，在‘打过长江去，解放全中国’的伟大进军中，我很高兴和你们作革命的竞赛。”除战士们提出的两项条件外，秦军长建议再增加三条：（一）执行党的新区政策、城市政策；
  （二）坚决服从命令，执行三大纪律，八项注意；（三）努力学习，不断进步。士兵和军长进行革命竞赛，在部队中引起强烈反响，收到了很好的鼓动部队士气的效果。
  淮海战役使部队得到锻炼和提高，战后补充了大量出身于劳动阶级的解放战士。在胜利形势鼓舞下，全体指战员情绪极高。
  在向江南进军的道路上，全军充满着高昂的士气和胜利的信心。部队出发时，正赶上连续大雨，指战员冒着暴雨和泥泞，日夜不停地前进，战士们的衣服、背包、面袋全湿透了，冷冷地雨水顺着颈项冲到背脊，水湿的衣服紧裹住全身。连续的大雨，使平坦的大道变成了一条泥水沟，有些地方滑得站不脚，有些地把脚陷进去拔不出来，许多人接二连三地摔倒在泥水里，有的成了泥人。
  行动异常艰难，情绪格外高昂，这就是真正的革命战士。在充满困难的行军途中，部队的宣传员用快板给大家鼓劲儿，有一首《胜利》快板这样唱道：长江天险不可怕，毛主席早已有计划。蒋匪主力被消灭，剩些零星不顶打。长江水有几千里，他守住这里守不住那。咱们翻江倒海过江去，蒋匪统治一齐垮。解放江南老百姓，革命功臣人人夸。
  还有一首《爱脚》的快板，恢谐生动，深受指战员们的欢迎：两只脚，有功劳，一举一动离不了。听说行军我高兴，立功机会来到了。
  第一走路要把我放平，不要西歪又东倒。第二万一起了泡，穿破、挤水、煤油调，千万莫把皮撕掉，宿营让我洗个澡，将来总结行军时，给我记一大功劳。
  榜样的力量是无穷的，共产党军队的领导不是当官做老爷，而是吃苦在前，享受在后。在艰难的行军途中，军长秦基伟亲自下伙房做饭，并指导炊事员怎样才能把饭菜做得更好，使广大指战员深受感动。
  渡过了淮河，人民的风俗、生活习惯和城乡的景色，都与北方大不相同。
  村镇上的街道漫长而狭窄，小摊上摆着竹器和鱼虾，人们说的话也使北方来的战士听不懂，到处给人一种新奇的感觉。沿途尽是水田，到处流着清澈的溪水，气候也与淮河以北有显著的差别。
  一过淮河，部队就进入了大别山地区。这里大部分是过去的红色区域，工农红军曾长期活动在这里，以后又成为抗日战争时期及人民解放战争时期的解放区。富有革命传统的广大人民群众，对于弟兵表现出无比的热情。这里也曾被白崇禧的部队长期盘踞，给人种下了极端仇恨的种子，尤其是匪首张涂和他带领的匪徒，人民提起来无不咬牙切齿。
  淮河南岸的潢川，本是一座秀丽的城市，也是大别山的门户。这里也是军事上的重镇，是几条公路干线的联接点。经过国民党军队的长期蹂躏，城市冷落，商业萧条，墙壁上还残留着敌人暴政的遗迹：伪镇公所绘制的“独子要应征”、“和尚道士要当兵”等标语。当地流行的一首歌谣说：“生下孩子给老蒋，打下粮食给保长，黎民百姓饿肚肠。”敌人强迫抓壮丁造成了许多悲剧。潢川第二区小流店村的青年农民胡胖子、吴庄材，不愿给蒋介石当炮灰，都叫自己的母亲用菜刀砍断了右手。青年农民李成海为了逃避当兵，让妻子用针刺破了他的眼珠，变成了瞎子。
  大别山是这个部队的诞生地。当年兵团司令员兼政委陈赓，在二次国内革命战争时期，任红四方面第十二师师长，带领部队长期战斗在这个地方。
  在部队到达新城时，他回忆说：内战时他曾来过这里四次，并在附近的山头上负过伤。当晚他住的房子，就是当年鄂豫皖工农民主政府所在地。
  部队经过湖北和安徽交界地区时，必须越过高大险峻的唐家山。这给炮兵部队增加了巨大困难，指战员谨慎地在峻峭的山崖上行进，遇到牲口不易通过的道路时，便把大炮卸下来扛着走。为了不影响进军，副连长成祥瑞扛着173斤重的炮身走了一里多路，驮手于润流独自扛着197斤重的炮腰爬过了三里高的大山。有一次牲口摔伤不能走路，营长贾文先扛上50多斤重的炮前架，爬过了五里高的山峰。当炮兵部队愉快地唱着歌到达宿营地时，驻地群众非常惊奇，以无限钦敬的语气说：“你们怎么能过得了这座山呀？从前‘中央军，炮队死了好多牲口，几次都没有过得来呢！”大别山对革命有巨大的贡献，他们的子弟成千上万地涌进革命部队。许多人为革命事业献出了宝贵生命，许多人经过千锤百炼，已成长为人民解放军优秀指挥员。第十五军军长秦基伟就是大别山的儿子。他的家乡在湖北省黄安县，当他还没长到枪高，只有13岁时，就参加了黄麻起义。土地革命战争时期，任红四方面军经理处监护连排长，总部手枪营连长，少共国际团连长，警卫团团长，红四方面军总参谋部补充师师长。抗日战争时期，任一二九师秦赖支队司令员。晋冀豫军区第一军分区司令员，一二九师新编第十一旅副旅长，太行军区第一军分区司令员。象第四兵团的副司令员兼参谋长郭天民，十三军军长周希汉，十四军军长李成芳，都出生在大别山地区。
  3月25日，部队经过麻城北面一个叫大河铺的集镇，这里是第三十八师师长徐其孝的家乡。他怀着激动地心情回到了离别了20年的家乡，一进村，发现一切都变得不认识了：原来相当热闹的一座市镇，现在只剩下了六户人家。他家里的房子已经变成废墟，父亲、哥哥、弟弟都被敌人杀害，只有70多岁的母亲侥幸活下来，以行乞为生。周希汉军长是湖北麻城人，他回到故乡后，竟找不出哪一堆长满荒草的败墙是自己的家门。李成芳军长是16岁离家出走当红军的，这次他率领部队恰巧经过他的家乡麻城李家河。部队走进村庄时，村里的人都挤在村口欢迎他。但他几乎一个人也认不得了，好半天才看见他的叔叔李清义。李老先生悲愤地对他说：“你走后，白党把大别山压死了。1932年3月饿死了你爹，7月间又饿死了你娘，全村16家被遭害死了54个人呀！第二年你妹妹又失落了，饿得谁也顾不上谁了，你家的房子也给白军拆了。..李成芳军长又跑去看望一个同志的母亲，她的儿子和李军长一起参军，但早已牺牲了。屋里冷落得凄惨可怕，破烂不堪的四壁被烟熏得漆黑，挂着一条条雨水冲成的印痕，满地灰尘，满屋蛛网。应着他呼唤的声音，从草堆里站起一位瞎了眼的白发老婆，抱着李军长痛哭，半天才迸出一句话：“都叫白党杀光了。成芳，快带队伍打过去，给我们报仇呀！”大别山地区经历了种种变化。唯一不变的，是人民对革命的坚贞不移的忠心。大别山人民以全力支援大军渡江南征。到处建立了支援前线司令部、供应站，日夜抢修公路，抢修桥梁，调集渡船。他们象当年爱护红军战士一样，准备了大批雨帽雨伞，到处搭起彩楼，设上茶水站，沿路欢迎大军的红旗，一直摆到江边。
  第十五军取捷径，以战备姿态隐蔽出动，直出望江、宿松。历经20天，行程1500里，连克湖北省英山、罗田及安徽省太湖、望江四城，按预定计划在3月27日占领望江、华阳镇和宿松以东的老洲头一线江岸。在华阳镇及江字号滩头阵地，歼敌刘汝明部一个营；在老洲头，宿松保安团五百余人向我投降。军主力于29日进至太湖、望江地区，控制江北岸以华阳镇为中心的滩头阵地（包括长江及附近大小湖泊），掩护兵团主力展开于沿江北岸一线阵地，做好渡江准备工作。
  第四兵团以第十三军为左纵队，第十四军为右纵队，则于3月18日到达光山、潢川地区待命。