从库伦到包头要经过内蒙的边界和绥远，平沙漠漠，一望无际，偶不小心就会走错了路。在途中冯获知他的旧部佟麟阁、孙连仲、刘汝明等都率部开往甘肃，已过五原，张之江和鹿钟麟则在五原扎营，于是冯等一行决定先赴五原。经过阴山山脉和戈壁沙漠，遇上了宋哲元，9月15日鹿钟麟赶来相迎，当天下午到达五原，西北的败军大批集合在此，除了国民一军外，还有三军的孙岳，五军的方振武和六军的弓富魁。
  五原是一个空落落的土园子，人烟稀疏，荒凉冷落得赶不上内地一个较大的乡镇。大家劫后重逢，恍若再世，当时一致推举冯就任国民军联军总司令。
  15年9月17日冯玉祥就职誓师，于右任以国民党中央执行委员会常务委员的资格为授旗的党代表，他在就职宣言中说：
  “……现在我所努力的，是遵奉孙中山先生的遗嘱，进行国民革命，实行三民主义。所有国民党一、二两次全国代表大会宣言与议决案全部接受，并促其实现。……至于政治主张，我既是一个国民党党员，是国民政府委员之一，一切由国民党决定，国民政府主持，我唯有与诸同志集合全体的力量履行就是了。”
  这天于右任头发蓬乱，胡须黑多白少，长及腹部，戴着一顶半旧的黑色学生帽，上穿夹袄，下穿棉裤，外罩一件黑色皮大衣，脚上玄色鱼头布鞋，白布袜子已成灰色。与会官兵服装都是五颜六色，破鞋破帽，领章肩章全没有，有的戴奉军皮帽，有的戴直军布帽，七零八落，非常褴褛。
  冯玉祥在五原组军，以鹿钟麟为参谋长，何其巩为秘书长，李兴中为参谋处长，陈连富为副官处长，徐庭瑶为军务处长，宋式颜为军械处长，过之翰为军需处长，张吉墉为军法处长，张允荣为内防处长，薛笃弼为财政委员会委员长，石敬亭为政治部长，乌斯马诺夫（苏俄人，随冯自俄来华）为顾问。
  国民军旧部自冯在五原就任总司令后，即纷纷来归，张之江由宁夏来五原，石友三亦由包头赶来，当时包头是阎锡山的势力范围，可是部队全是国民军，所以冯即偕石友三去包头。
  于右任已完成了把冯玉祥的国民军纳入革命军系统内，就由五原前往陕西。孙岳在五原病重，因为过去几个月作战辛苦，更加重了他的病势。他的部队改归徐永昌指挥，后来徐永昌率旧国民三军由陕北入山西，驻峪道河。国民二军自在天津战败后，大部退洛阳，岳维峻被俘至山西太原，其残部由李虎臣率领进兵西安，和国民三军的杨虎成等部会合。这时陕西境内有各派系的军队，刘镇华奉吴佩孚命进潼关夹攻西安，井岳秀驻榆林坐观成败，吴新田亦奉吴佩孚命以汉口为根据地。李虎臣、杨虎臣在西安城内被刘镇华所部4万人围困达七八个月，冯玉祥组军后即决定取道甘肃分十路援陕，以解西安之围。
  甘肃驻军也非常庞杂，有的受张作霖命令，有的由吴佩孚委任。吴佩孚委张兆甲为甘肃督军，张兆甲据陇东，又委孔繁锦为甘肃省长，孔据陇南，两股力量联合，一自陇东，一自陇南向兰州挺进。兰州在刘郁芬手中，刘郁芬是国民军的师长，由冯委为甘肃督军，下辖两旅，一个旅长是孙良诚，一个旅长是张维玺。兰州附近防御阵地相当坚固，孙良诚又骁勇善战，因此不仅击溃了来攻的部队，并且乘胜进兵陕西，解了西安之围，从兰州到西安是一场艰苦的长距离行军，孙良诚苦战数月，居功最伟。
  西安解围后，15年12月上旬冯军攻破潼关，刘镇华率部东退，刘部镇嵩军且有一部为冯军内应，刘乃退陕州。
  潼关之战的变化是由于华阴庙一战（华阴庙在潼关西40里），是役刘军损失极重。旧属刘镇华的陕军麻振武部亦自渭北渡河，加入攻刘。刘军大半缴械，纷纷东奔。
  16年1月上旬冯军进驻西安，以石敬亭为陕西省主席。石字筱山，山东利津人，出身第一混成协学兵，满清时曾考秀才，写作俱佳。冯玉祥对石极为赞许，称石为人肝胆义气，勤勉惕励，对主官真心真意，处同僚上下和睦，言动有则，事事都有计划。
  16年5月1日，国民政府任命冯玉祥为国民革命军第二集团军总司令，冯即在西安宣誓就职，誓词云：［奇书网·电子书下载乐园—Ｗww.Ｑisuu.Ｃom］
  “谨奉国民政府命令，于十六年五月一日劳动节，在西安率全体革命将士，以为大多数被迫民众谋最大幸福之决心，联合革命民众，将全力献给于党，拥护党之主义及政策，与国际帝国主义者及国内一切反革命势力作最后之决斗，完成国民革命，悬此目的，生死赴之，谨宣誓于青天白日旗帜之下。”
  5月6日冯玉祥移驻潼关，率领第二集团军准备会师潼关收复洛阳，其战斗编制为：
  第二集团军总司令冯玉祥
  中央军总司令冯玉祥（兼）
  右路军总司令孙连仲
  左路军总司令徐永昌
  南路军总司令岳维峻
  北路军总司令宋哲元
  5月26日攻下洛阳，奉军军长万福麟乘火车头东逃。冯玉祥令孙良诚率军沿陇海线向郑州东进。以第五路军由洛阳经孟津、偃师向郑州进攻，27日攻占孟津，28日越过偃师，30日克复孝义。骑兵集团则出巩县向汜水、郑州方面追击。第一路军亦由登封小道抄袭密县。郑州处于腹背受敌之势，因此北洋军分东北两路溃退，30日晚占领郑州，6月1日占领开封。
  6月4日京汉路革命军抵郑州。谭延闿、汪兆铭、徐谦、孙科、顾孟余、唐生智均连袂抵郑，即派代表至潼关迎接冯玉祥，冯于6日抵郑州，12日开党政军联席会议，决议划定新战区，陇海路以北，平汉路以东归冯玉祥负责，唐生智所部则撤回武汉整补。冯部各路军均改编为军，军之上为方面军，编制如下：
  西北军总司令冯玉祥
  第一方面军总指挥孙良诚
  第二方面军总指挥靳云鹗
  第三方面军总指挥方振武
  第四方面军总指挥宋哲元
  第五方面军总指挥岳维峻
  第六方面军总指挥石敬亭
  第七方面军总指挥刘郁芬
  第八方面军总指挥刘镇华
  靳云鹗本是吴佩孚的嫡系，因为反对吴联奉而被吴免职，后来又因奉军对靳攻击而穷无所归，冯玉祥军出潼关后，靳乃投奔冯。
  这时革命军已次第克复蚌埠、徐州。蒋中正于6月中移节徐州，特召集李宗仁、白崇禧、王天培诸将领开军事会议，电邀冯玉祥参加。19日冯应召抵徐，蒋中正率李宗仁、白崇禧等重要将领，亲迎冯于九里山西麓车站。20日中央委员胡汉民、吴敬恒、李煜瀛、李烈钧、张人杰等亦自南京来徐州，晚间即在徐州花园饭店宴冯。蒋中正即席发言说：“此次南北军事领袖把臂言欢，商洽党国大计，意义极为重大，真是革命史上最重要的一页”。冯说：“军阀对我辈称为南赤、北赤，今天两赤见面，就是为了救中国”。吴敬恒说：“我们的赤，是赤裸裸的三民主义，纯洁无瑕，不含渣滓，以总理的三民主义救中国。”席散后，由李烈钧居间沟通蒋、冯的意见，李烈钧与冯有旧，所以奔走其间。此时正值宁汉分裂时期，蒋希望冯玉祥出兵沿京汉路直下武汉，渡江北伐的革命军则返归南京，溯江西上。冯玉祥认为革命军当面的奉军、直鲁联军是真正敌人，宜先以全力将之扑灭。武汉方面是自家人，小有意见，何必认真，更不必以兵戎相见，徒给敌人造机会。他反对对武汉用兵。
  李烈钧、李煜瀛和吴敬恒等中委从中反复奔走，舌蔽唇焦，磋商两日，毫无结果。冯以阅兵为词，不辞而别，径返开封。徐州会议无疾而终。
  蒋中正面对这个形势，只好先以一部分兵力防守长江上游，利用冯玉祥对奉军和直鲁联军的同仇敌忾，决定先用兵鲁南，予北洋军阀重创后，再回师西征。故以第一路军的一部，第二路军的全部及第三路军的主力分别扫荡鲁南的日照、临沂、台儿庄、临城。
  张宗昌因为山东是他的根据地，所以拼死抵抗，又因知道革命军内部有困难，遂守临沂以牵制革命军，革命军围城将近30日，最后在无结果情况下被迫后撤。
  河南方面靳云鹗投靠冯玉祥后，16年9月初冯、靳反目，冯乃免靳第二方面军总指挥职，冯玉祥的鱼电如下：
  “靳总指挥荐青同志鉴：第二方面军总指挥靳云鹗违抗命令，贻误戎机，蓄谋反动，逆迹昭彰，若再曲予包容，必将贻祸党国。靳云鹗着免去本兼各职。其第二方面军总指挥一职，着由军长马吉第升充，并令秦军长德纯为副总指挥。该员自此免职以后应闭门思过，力改前非，仍当念其前劳，随时录用，幸勿怙过不悛，终身莫补，致负本总司令曲予衿全之意，是所厚望焉！此令。”
  马吉第和秦德纯都是靳云鹗所属军长，冯免了靳职，用他下面的人递补，很是辣手。靳于9月7日发表阳电云：
  “各报馆钧鉴：顷奉冯总司令鱼电，等因，并据马军长吉第阳电称，冯军兵力约有步兵两师，骑兵两旅，炮兵两团，于今早在长葛和尚桥两处与职军所部开火，现正在激战中。李军长镇亚歌电称，冯军韩复渠率三师兵力约两万人，突至登封临汝附近，我军众寡不敌，退入城内，现该城已四面被围，音信不通。并探得有向禹州进攻之势，各等情，云鹗当复冯总司令一虞电，其文曰：郑州冯总司令勋鉴，鱼电祗悉，查此次驻军京汉，不即东进，系遵国民政府迭次秘令，防止我公异图，巩固党国根本，中经我公数番督令，均皆电呈政府，请赐明示。