国民党军取得龙潭大战胜利后、共同的大敌已去，又陷入内部纷争之中。宁方认为西面汉方更危险，需派兵布防。所以无力继续北追孙传芳的残兵。这又给孙传芳一个喘息的机会。
9月15日，张作霖召集孙传芳，褚玉璞到北京举行会议，讨论对付南方问题。会议鉴于国民党宁、汉双方仍在酣斗，河南又发生冯、靳之争，认为应先以重兵赶走京汉线上的阎锡山晋军。于是9月底到12月底，晋、奉两军在京汉线展开了一系列的战役。
1927年9月28日，下野后的蒋介石东渡日本，准备去说服未来的岳母同意他娶宋美龄女士为妻。8月，蒋介石给宋美龄发出求爱信，他说：“余今无意政治活动，惟念生平倾慕之人，厥惟女士，前在粤时，曾使人向令姊处示意，均未得要领。当时或困政治关系，顾余今退而为山野之人矣。举世所弃，万念灭绝……所谓功业宛如幻想。惟独对女士才华容德，恋恋终不能忘。但不知此举世所弃之下野武人，女士视之，谓如何耳？”
此举得到宋美龄的应允，但宋家仍不同意，于是蒋介石决定去日本向宋老夫人面求。9月23日，蒋介石在上海发表一简短宣言，谓：“此行与政治无关，惟在获宋氏家族对美龄女士婚事之同意。如获同意，则将在上海结婚，然后揩游海外。”9月28日，又在《民国日报》发表《家事启事》，宣称：“各同志对于中正家事，多有来书质疑者。因未及遍复，特奉告如下：民国十年，原配毛氏与中正正式离婚。其他二氏，本无婚约，现已与中正脱离关系。现在除家有二子外，并无妻女。惟恐传闻失实，易资淆惑，端此奉复。”
1928年1月24日，孙传芳、张宗昌以庆贺春节为名到北京，张作霖召集他们举行会议，讨论应付蒋、冯、阎各军的问题。张作霖在这次会议上还表示了对孙传芳冒险渡江，英勇作战精神的钦佩，并特许孙传芳在沧州以南黄皮县属桑园成立新兵训练处，招募新兵，补充实力。同时，派他为鲁西总指挥，所部驻兖州、济宁、金乡、鱼台一带，并在曹州以东沙土集与冯军相对峙。
此时的国民党方面内争也告一段落，1927年8月22日，汪精卫召集庐山会议会谈宁、汉合作。武汉政府的谭延恺、孙科、程潜、唐生智、顾孟余和南京政府代表李宗仁等与会，冯玉祥也派代表刘骥参加。会议决定：第一、武汉政府于9月9日以前迁往南京，与南京政府合并。武汉改设政治分会，推派谭延恺、孙科先期赴宁，部署迁宁事宜；第二、武汉东征军，以程潜的第六军开赴南京以西，协助第七军作战；唐生智部江左、江右两军向皖北出击，会同宁方军队先肃清津浦南段的孙鲁军，然后合力进攻山东。
23日，李宗仁和汉方代表谭延恺、孙科前往南京。25日，武汉政府宣布迁都南京，并改组“国民政府”，宁、汉两方彻底合流。
1927年9月11日，国民党宁、汉、沪(西山会议派)在三方代表在上海举行谈话会，商讨统一党务和宁、汉政府合并改组办法。宁派力主非汪精卫下野无以平党员之愤，于是汪精卫于13日通电下野。
13日，三方决定：由宁、汉、沪三方各推委员会组行使党务政治的最高机关中央特别委员会；中央政治委员会及中央政治会议暂撤销；宁、汉两政府合并改组；推汪精卫、谭延恺、蔡元培、谢持起草统一宣言，并推张继、于右任、何香凝、李石曾、蔡元培5人代行监察委员职权。
15日，国民党特别委员会在南京成立。推定李宗仁、汪精卫、胡汉民、谭延恺、孙科等32人组成中央特别委员会。
17日，国民党中央特别委员会发布宣言，宣布从前对立之三党部，均不复行职权，从前三方互有攻击之言论，皆成陈迹，不得复引为口实。并声言：一方面继续清党，不使全党中有不忠实党员；一方面要继续北伐，在最短期间，完成中国的统一，以图“三民主义之实现”“拯全国同胞于水深火热之中”，而完本党之天责。20日，南京国民政府发表成立宣言。宣言追溯了1925年广东国民政府成立以来的历史，提出继续北伐、完成全国统一；废除不平等条约，恢复民族国家独立、自由、平等地位；扫除贪污腐败，树立“革命政府”之模范等施政方针，并提出当务之急是要肃清共产党。
蒋介石下野后于1927年9月28日访问日本，打探日本对中国北伐的态度。当时日本的田中义一首相以私人身份会见了蒋介石，表示反对北伐，希望蒋介石专心致力于中国南方的统一。此后，蒋介石接到请他火速归国复职的电报，于1927年11月18日离开日本归国。
而到了国民党二届四中全会以后，蒋介石重又执掌军政大权。1928年4月7日，蒋介石在徐州誓师，下达讨伐奉军的总攻命令，这就是第二次北伐。为了不引起日本对北伐的干涉，蒋介石在出兵前，特地邀请日本记者，宣布北伐的范围将不包括日本的特殊利益“满洲”地区。这次战争中，孙传芳、张宗昌的军队直接与蒋介石的第一集团军交锋。
9日，各路北伐军发起全线总攻。第一集团军第一军团总指挥兼第一军军长刘峙，指挥王均的第三军、缪培南的第四军、顾祝同的第九军、杨胜治的第十军和贺耀组的第四十军由徐州北进，担任津浦路正面进攻。曹万顺的第十七军、陈焯的第二十六军、夏斗寅的第二十七军、金汉鼎的第三十一军和陈调元的第三十七军进攻临沂、沂水，直趋胶济线为右翼。第四军团总指挥方振武，率阮玄武的第三十四军、鲍刚的第四十一军、高桂滋的第四十七军和余念慈的独立骑兵师，沿鱼台、金乡进攻济宁为左翼。
冯部孙良诚指挥部队与孙传芳军在鲁西南一带对阵。孙传芳在北洋军阀中素称“治军有方”，全部兵力9万多人，主力部队仍有6万人，作战勇猛。而孙良诚是冯部有名的骁将，二孙部队接触后，杀声连天，战况异常激烈。
4月10日，蒋军从正面占领韩庄，左翼渡过微山湖占领夏镇、鱼台，右翼占领台儿庄、郯城。鲁军用了三个月时间在台儿庄、韩庄之间修筑了一道长八十里的防线，竟然不战而退。12日，张宗昌在没有通知孙传芳的情况下命自己所属部队总退却，把孙传芳抛在前线单独与蒋军作战。孙传芳不知张宗昌部已退，为配合张部，从鲁西侧击蒋军。连破蒋军阵地，连克丰县、沛县，直逼徐州。
蒋介石看到徐州危机，连忙致电冯玉祥告急，尽快派后备部队支援。冯令石友三率全体预备队约1．5万人火急应援，猛击孙军右侧。石友三也是冯部骁将之一，在石军猛攻下，孙传芳军被迫后退，解了徐州之危。又经冯部孙良诚骑兵部队冲击孙军背后，并截断了孙军退路，孙军才连忙后撤。孙良诚、石友三等部乘胜追击。石军攻丰县，击毙孙部军长袁家骥，又在渔台大败孙军。同时，方振武、孙良诚等部也取得胜利，15日席掖池骑兵部队占巨野、嘉祥。16日攻占兖州，截断了孙传芳军的后路。20日，方振武、孙良诚、石友三、马鸿逵等部攻克济宁。从此，孙传芳部溃不成军，无力应战。奉鲁军张宗昌残部退向泰安一带。21日，方部由济宁继续北进。4月22日，冯、蒋两军在泰安城外齐头并进，一周内攻克了泰安。28日晚，方部夺取万德、张夏之线，与津浦路正面的第一军团刘峙部会师。30日，各路军队对济南发起总攻。当天夜晚，张宗昌悄悄地乘早已准备好的从德国购来的“义威号”铁甲车率残部弃城北逃，孙传芳也被迫急命部队后退离济南北撤。在突围逃走过程中，孙军又遭惨重损失。所部二三万人，损失大半。经过这次孤注一掷的反攻以后，孙军从此就一蹶不振了。
在这次战斗中，充分表明蒋军的战斗力不如冯军，鲁军的战斗力不如孙军。张宗昌的鲁军大多数由收编土匪而来，部队不听指挥，士兵经常逃散，逃散士兵再回到山上落草为寇。因此有人讥诮张宗昌扩军是化匪为兵，打仗时是化兵为匪。
5月1日上午，蒋军刘峙、陈调元、顾祝同等部与蒋介石率北伐军总司令部进占济南。当时济南城中有日本侨民1810人(男981人、女829人)，日本田中内阁以“就地保护侨民”为借口，于4月19日决定再次出兵山东，阻挠蒋介石的军队北上，派遣第六师团5000人在青岛登陆，经青岛和胶济铁路沿线要地“保护帝国臣民”。实质上是命令日军对青岛和胶济铁路沿线实行军事占领。为了抢先控制济南，日军驻天津3个步兵中队于4月20日侵入济南，还公然在济南城里筑起了街垒。21日，南京政府对日本政府提出了严重抗议。25至27日，日军第六师团在青岛登陆，沿胶济铁路运兵济南市，26日，第十一旅团开抵济南商埠。到28日，驻济日军已达3000余人。日军在邻接济南城的济南商埠以纬四路为中心线，划为东西两个警备区，构筑工事，收容日本侨民，呈现出一副临战态势。
盘踞济南的奉系军阀的走狗张宗昌弃城北逃，1928年5月1日北伐军开进济南。这时日军早已在市内各马路构筑工事，敷设电网，步步为营，当北伐军部队进入济南时，日本军队就寻衅开枪，打死中国军民多人。5月2日日本军第6师团部侵入济南，设立司令部，对国民党北伐军肆意武装挑衅。当日蒋介石要求日军撤退，日军应允并撤出工事。不料5月3日上午，日本军国主义按照预谋向国民党北伐军驻地发起了大规模的军事进攻，双方发生冲突，中方指责日方先开枪杀死一名中方士兵，日方指责中方士兵首先抢劫日侨并殴打日本巡查，将北伐军7000余人缴械。此后战斗蔓延至济南城内，日军向蒋军的两个营发动攻击，蒋军一个营被消灭，另一个营也损失惨重。蒋军被迫还击，压倒了日军的气焰。但日军师团长福田逼迫蒋介石下了停战令。
