在中原战事已接近尾声的时候，蒋介石为了迅速回师江南对红军作战，对善后问题的处理故示“宽大”，将收拾华北残局的全权委诸张学良；对河南方面的军事也摆出一了百了、以政治和平解决的姿态，并邀请与西北军有关系的马福祥、张之江等于十月上旬到河南洽商收拾西北军的办法。冯命鹿钟麟出面与之接洽，并表示本人不再过问。鹿向马、张提出的条件是：一、冯下野外游，希能予以便利；二、军队由鹿负责改编为十个师，以河南西部及陕、甘两省为驻防区域；三、拨给编遣费三百万元。但是，蒋介石以吉鸿昌、梁冠英等已经投降，在新郑被围的张维玺等部亦已表示愿意缴械，在这种情况下，当然不会允许西北军这个集团继续存在下去，因此，几经磋商，迄无成议。张维玺等经马福祥、张之江等的劝降，他们都接受了南京军事参议院参议名义，全部军队一律解除武装。
吉鸿昌被蒋委为第二十二路总指挥后，即调赴豫、鄂、皖边境，归豫鄂皖边区绥靖督办李鸣钟节制；梁冠英为第二十五路总指挥，调赴苏北，归江苏绥靖督办张之江节制；葛运隆为第三十三师师长，所部由洛阳调赴湖北，把他们这几部分都隔离开来。在这个时期，张自忠也收到了蒋介石的任命状，名义是第二十三路总指挥，因他的军队已开往黄河北岸，没有接受这个名义。宋哲元在洛阳时，也从空投收到过一件第二十四路总指挥的任命状，宋看过后就把它撕掉。十月八日，冯玉祥到石家庄与阎锡山会面。他们鉴于大局急转直下，无法挽回，而蒋介石又坚持他两人必须下野，遂商定阎将军政交与徐永昌，冯将西北军交与鹿钟麟，他们两人出国暂避。阎回到太原，便将军政作了安排，并声言去日本游历（后仅去大连躲了一个时期）。冯到了晋城，并没有表示出国远游的意思，仍然希望掌握这部分残余的军队赴西北谋出路，并且有意扶植他的宠将孙良诚（这时孙本人已无一兵一卒），把退回来的军队都交孙节制，鹿钟麟自从与马福祥、张之江接洽失败后，很是失望。在南京接洽的代表李火斤、冉廷宾、李光汉等发来电报说：蒋的态度益趋冷淡，坚持冯、鹿均须下野。而停留在焦作的孙连仲也在自谋出路，派田镇南、李汉辉到济南，通过韩复榘的关系，接受了蒋介石的第二十六路的任命。冯的卫队旅季振同部也愿随孙共同行动，不愿退往山西。鹿看到越来越没有希望，于是一面打电报给冯说：即日骑马前往晋城，一面又对外宣称派参谋长秦德纯代表前往沈阳，实际上他却秘密搭了秦的专车前去天津，同时发出漾电（十月二十三日）声明下野。这时，刘郁芬已离开陕西，冯对重返西北的打算才完全绝望，不得不离开军队前往晋祠退隐，以后又辗转移居于汾阳之玉带河。开入山西境内的张自忠、刘汝明、赵登禹等残部，由张学良改编为第二十九军，以宋哲元为军长。至此，冯玉祥惨淡经营历时二十余年的西北军遂完全瓦解崩溃。
