区区一师长“信口雌黄”，何以北廷仅加申斥而不敢下令撤职？这有多方面关系：第一，他的地位是当时北方所谓“南天柱石”，激怒了他怕他敞开大门来放出南军；第二，他是曹的大将，当时“四省经略”的曹与“三省巡阅”的张（作霖）已有结合（曹弟与张为儿女亲家），不无投鼠忌器的心理；第三，时有冯（国璋）、段之争，冯以长江三督（江苏李纯、江西陈光远、湖北王占元）为背景，本人则高卧津沽与曹联络，颇有举足轻重之势；第四，皖系又有靳（云鹏）、徐（树铮）之暗斗，靳为持重派，主张采取“软化曹吴”的政策。
段知北洋系行将土崩瓦解，一心一意地编练边防军想造成个人独有的新武力，所以他一再表示让步。其步骤如下：（一）邀冯入京，以冯为副总统而自为总理为合作条件；（二）令曹约束吴的行动；（三）九月二十四日以靳阁代龚阁。只是有一件，为维持北廷威信计，王揖唐万无撤换之可能。（按：冯段合作未成而冯死。）曹在表面上站在段、吴的中间，段往这边拉一把，吴往那边扯一下。曹的地位近在肘腋下，不能像吴之剑拔弩张，所以他假装着一副怒容，责吴不应“阻挠和议”，一面却向北廷催索吴师欠饷，以为不如此不足以平其气。有人献策于段：“吴之不驯是未得湘督之所致，给他督军做，万事皆休。”段颇心动，遣吴光新赴湘试探吴的口气，吴马上提出“不要地盘”的口号来。
要地盘好办，不要地盘就无法向之进行“绥靖政策”了。鲁督张树元、皖督倪嗣冲等请予吴以严厉之处分，段迟疑未决，只责成鄂、赣驻军严密监视其行动。且自靳阁登场后，首先是吴打来捧场电报，随之而曹、张两使联电拥靳，段为之啼笑皆非。另一方面，日本公使小幡质问北廷：“靳阁是否将与西南联合而将《军事协定》取消？”靳期期不知所答。
九月十一日王揖唐驱车南下，抵沪时且向西南七总裁宣誓：“本人誓以至诚与西南谋和，有违此言，神必殛之！”然而鱼行老板还是鱼行老板，西南置之不答，匪惟不答而已，且暗受吴的指示，有舍和言战进兵赣、湘之意。而吴呢，一则受了曹的“假训斥”，谅解曹的环境，九月后果然守口如瓶；二则感于口舌力争之无益，下了“直接行动”的决心，欲与西南组织“爱国同盟军”，又欲只手擎天-撤防北归，单独与皖系作战。这时期外表上风波已平，一切返于静态，实际是“万木无声待雨来。”
直到九年（1920年）一月中旬，他才以“久戍疲劳”为由轻轻巧巧地发出请求撤防的电报。另一电反对与日本直接交涉，措词尚属温和（日使小幡对鲁案向北廷提出通牒请由中日直接交涉）。
除对外问题发表主张外，吴在衡阳的一切行动亦值得一写。吴与湖南有着难分难解的关系：第一次入湘时岳州为其发迹脱颖之地；第二次入湘时衡州为其扬眉吐气之始。那时他的环境和个性都有划期的大转变：过去他是个落落寡合、沉默寡言的军人，同僚呼之为“吴傻子”，没一个看得起他，没一个不讨厌着他，他既无拳无勇，只能“我行我素”置而不较，那时他得力于一个“忍”字；现在他功成名就，竟然是雄辩滔滔的一流人物，高谈春秋大义，狂呼爱国口号，国人愈推重他，曹的左右愈厌恶他，曹却愈信任他，常说“子玉是我最大的本钱”。所以恨吴的当面不敢说，只窃窃私议而已。吴过去并非循规蹈矩一流人物，驻长春时的一段佳话依然啧啧人口。自驻军衡阳以来，却变成了道貌岸然的老学究，恶鸦片如蛇蝎，视嫖赌为畏途，其军纪之佳在北洋团体中数一数二。有人说吴前后判若两人，但吴过去无权责，虽细行不检，不会影响到别人的头上，后来爬到了“南天柱石”的地位，自觉前程无量，所以他要把自己做全军模范，推而及于北洋团体。
吴治军极严，违反军令者死。某日命张福来率兵一团进占一座山头，吴用铅笔画着地形，把原纸递给福来说：“须照这路线进兵。”福来领着兵马走到山脚下，知道上山有一条迂回曲折的山路，他打开纸头一看，笔尖直指山顶，福来连声说：“糟了！糟了！”左右询知原委，都说：“我们应循着山路走，难道叫我们攀藤扪葛而上？”福来说：“咱们正得从直线攀登山顶，否则师长叫我们的脑袋搬家。”他咬紧牙关，带队爬上颤巍巍的高山。不到一刻钟之久，湘军赵部从侧面包抄而来，正想占领高地，远远望见山巅上飘动着吴军旗号，以为良机已失，且不明敌军虚实，只得引兵退去。这里是两军作战的险要，假使福来绕着山路走，湘军必捷足先登。后来福来逢人恭维“主将妙算如神”，实则偶然巧合而已。即此一节，可见吴的军令之严。
吴在衡阳改取守势后，近而张敬尧弄得乌烟瘴气，远而安福系、交通系把持政柄，各武人割据地盘，视军队若私人所有，促吴下了“革命行动”的决心。当王揖唐派周渤等赴湘办理国会选举时，吴把湘南绅耆及英彦之士叫过来说：“你们莫同流合污，跟着我不愁没有出路。”那时他暗中拆安福系和张的台，与南军精神上成立“停战协定”，双方信使不绝。湘督谭延闿（零陵独立后谭以湘督名义设行署于永州）派广西人张其锽为代表，其锽系一才气纵横之士，吴与之一见如故。此后吴与湘军谭、赵间不仅不采敌对态度，且为生死患难之交，更以湘军为媒介，与西南各将领莫逆于心。
探马早报到北京，说吴怎样通敌，怎样养寇自重。段的“武力统一”政策是不会因此放弃的，可是北洋诸将除吴肯打硬仗外只知刮地皮、抽大烟，不足以当冲锋陷阵之任。段的智多星徐树铮有鉴及此，暗中也有改造北洋系的计划，向日本成立西原借款为购械练兵之用，舆论为之哗然。针对着这些行动的便是吴的“反对借款、不住租界、不与外人勾结、不做督军、不抢地盘”的几大主张，一薰一莸，双方摩擦日甚，遂演为直皖两系的一场大战。
撤防与驱张
七年（1918年）南北之役，吴师一马当先攻入长、衡，张敬尧以皖系爪牙现现成成坐上“湘督”交椅。张部军纪荡然，尤以其义子第五团长张继忠即所谓“少帅”者招抚了齐鲁之交的散兵游匪，开到湖南后烧、杀、抢、奸，无所不用其极，不独湘人怨气冲天。西报记者亦叹湘省之暗无天日为举世所无，即帝国主义者对其征服地亦未尝至于此极。直到现在，任何湘人谈及当年张的祸湘史无不咬牙痛恨，而当年中外各报之口诛笔伐几于无日无之。试举张纵兵殃民之一例：第七师犯了重大案件，苦主向督署控诉，张气得暴跳如雷说：“这些都是私通南军的乱党。本军秋毫无犯，岂容血口喷人！不砍下几个脑袋来不足以儆刁顽之风！”苦主们有的家里死了人，有的被第七师兵士放了火，有的妻女被****，还得赔上一个脑袋来补偿张家军名誉之损失，哪个再敢来多讨苦吃？这一来张果然收了“政简刑清”之效，而张部无不歌颂“督帅”之神明。此后奉令****，奉令抢劫而益无忌惮，湘人暗中呼之为“张毒”或“毒菌”（督军谐音）。
当时流行几种术语：劫案谓之“打起发”，奸案谓之“玩花姑娘”；湘人有由城市避居乡下的，因为城市北兵太多，又有由乡下逃到城市来的，因为乡下更是无法无天的世界，逃来逃去谓之“躲北兵侉子”。城市每天有血案，夜间行人绝迹，街头但闻北兵嬉笑怒骂之声。乡间轮流“望风”，如有“灰面袋”（北兵之另一称呼）经过时赶忙把女眷送往山后藏躲，而金银细软则早已窖藏起来（城市居民则将箱篓存于各洋行），是为湘省之“黑色恐怖时代”。
蹉跎复蹉跎，容忍复容忍，湘人的怒火终于按捺不下，旅京湘绅向北廷请愿易督。北廷对各报之口诛笔伐是“熟视无睹”，对湘人之奔走呼吁是“充耳不闻”，一如张之包庇其部下者然。湘人鉴于夏虫之不可语冰，遂将目标移向广州及衡阳，始而组织各界联合会，继而推派驱张请愿团。九年（1920年）春间衡城变成了各省请愿代表的山****，近之有湘代表请愿驱张，远之有京沪各地代表请愿声讨安福系，而两问题就是一问题-张仅为安福系摇旗呐喊之马前小卒而已。
吴目击湘人之陷于水深火热，暗暗叫声惭愧：“我虽不杀伯仁，伯仁由我而死。”他驻防衡州不啻“虎伥”的地位，何颜久居是邦？加以边防军士饱马腾，日本人推波助浪，谚谓“先下手者为强”，所以他下了撤防北上的决心。
他一再请求撤防而北廷“相应不理”。事实上北廷一方恃之为对南的“万里长城”，一方又虑其北归后将为“害群之马”，所以一味地采取延宕政策。吴的请求撤防电有云：“远戍湘防，瓜期两届。三载换防，不可谓速，阋墙煮豆，何敢言功。既经罢战议和，南北即属一家，并非寇仇外患，何须重兵防守……对外不能争主权，对内宁忍设防线？”
九年三月北廷电曹给以直截了当的回答：“不准吴师撤防。”吴因之忿激更甚。时值豫督有易人之说（以吴光新代赵倜），他借题发挥打了个“指桑骂槐”的电报：“比年以来，政府举措投施无不违反民意，全国所痛绝者则保障之，全国所景慕者则排挤之，顺我者存，逆我者亡，举满清所不敢为、项城所不肯为者而政府悍然为之！曾亦思武力权威较满清项城何若？全国之大，能否尽为一系所盘据？疆吏之多，能否尽为一党所居奇？兆民之众，能否尽为一人所鞭笞？以若所为，求若所欲，徒见其心劳日拙也。”
一请不准则再请，再请不准则三请，三请不准则四请、五请以至请之不已，请之不已而不准，是终不准撤防也，超过了他的最大忍耐限度，才自动地撤起防来。三月上旬他电请张敬尧派队接防，一面派人护送全师官眷七百余家北归，一面令兵士不得无故请假，不得向商民赊欠，沿途扰及民间一草一木者死。五月二十五日开始撤防，军士沿途唱着吴所亲撰的“登蓬莱阁歌”，其词如下：
北望满洲，渤海中风浪大作！想当年吉江辽沈人民安乐。长白山前设藩篱，黑龙江畔列城郭。到而今，倭寇任纵横，风云恶。甲午役，土地削，甲辰役，主权堕，江山如故，夷族错落。何日奉命提锐旅，一战恢复旧山河，却归来，永作蓬山游，念弥陀。
段闻吴军撤防之报，急令沿途各督截堵，并命第三师前旅长张学颜密往勾结旧部。第一个段视为北洋骁将的张勋臣（敬尧）就不敢硬着头皮试家伙，睁眼放吴过去。吴以“环次队形”扬帆而下，第三师居中，两岸有掩护队，后有殿卒。二十七日过长沙时吴不曾正眼相觑，直向岳阳进发，过岳阳亦未停留，出湘江，越洞庭而入长江，直趋武汉。三十一日舍舟登陆，自龟山至谌家矶步步为营。鄂督王占元替他办粮草，备火车。过汉时武汉学生向之献花，呼为“革命将军”。
吴抵汉后做诗一首，题曰“回防途次”。原文如下：
行行重行行，日归复日归。江南草木长，众鸟亦飞飞。忆昔赴戎机，长途雨雪霏。整旅来湘浦，万里振天威。孰意辇毂下，妖孽乱京畿。虺蛇思吞象，投鞭欲断淝。我今定归期，天下一戎衣。舳舻连千里，旌旗蔽四围。春满潇湘路，杨柳正依依。和风送归鸟，绿草映晴晖。少年惜春华，胜日斗芳菲。来路作归程，风景仍依稀。周公徂山东，忧谗亦畏讥。军中名将老，江上昔人非。建树须及时，动静宜见几。何日摧狂虏，发扬见国威。不问个人瘦，惟期天下肥。丈夫贵兼济，功德乃巍巍。江上送归舟，风急不停挥。得遂击楫志，青史有光辉。春日雁北乡，万里动芳徽。鸿渐磐石愿，衍衍不啼饥。止戈以为武，烽烟思郊圻。同仇复同仇，归愿莫相违。
当时吴的政治主张博得全国盛大同情，所以吴师撤防一事成为赫然触目的大新闻。虽妇人、孺子、贩夫、走卒，亦无不耳闻吴将军的赫赫大名。因其反对日本，有人赠给他“英美派”的新头衔。不错，召开国民大会的主张与英美民主潮流暗暗相合，英美报纸都把吴捧成了新中国的大英雄。但吴却是个不偏不倚的土货，他宣称不住租界、不借外债、不托庇外人，对日本如是，对英美亦复如是。英美对中国未采攻势，所以他撇开未说。
那时湘军地小饷绌，人不过一万，枪不满两千，兵士衣不蔽体，官长月饷数毛，人呼为“叫化队伍”。可是张敬尧呢？第七师扩充至四万，乃弟敬汤以“小诸葛”自负，除其直属部队外，尚有李奎元、范国璋两师，安武军（倪嗣冲部）及鲁军张宗昌各部亦约三四万人，声势异常浩大。在吴眼光中看起来，湘事湘人自了，驱张直如驱豕羊耳，同时他把兵精械足的边防军视若粪土，凭他一师三旅不难一举荡平。他是武备学生出身，所以认段为师，并以段过去曾反对洪宪、削平复辟之乱，虽刚愎自用，究不失为公忠廉介的老前辈，其一切误国行动乃受群小包围，为爱惜国家领袖计，对段颇欲留有余地，只以“兵谏”为名，“清君侧”为其目的。
六月七日吴师由汉登车，八日抵郑州，一路目中无人去赴遥遥数千里的“闪电战”。豫督赵倜感其相援之德，派乃弟宏威军司令赵杰莅站欢迎。吴以洛阳驻有西北防边军张亚威、宋一勤两旅，命第五旅长董政国率兵赴洛镇慑，其大部则渡河北上，本人于六月中旬抵保定部署前方军事。
