2日晨吴偕数十人乘火车离开信阳。这时又收到萧耀南的通电，拒绝吴率部入鄂，并劝吴下野。吴只好在新店下车。吴部寇英杰守彰德，为了表示对胡景翼让步，曾后撤50里。
  4日吴电段祺瑞，表示拟入鸡公山养病，不问世事。萧耀南电吴，愿意送路费，请吴出洋，吴阅电大怒，立予拒绝。
  憨玉琨率军东追，豫督张福来被迫离豫，把河南督理印信交给省议会。李济臣退守许州，寇英杰奉萧耀南令退保武胜关，阻溃军入鄂，郑州情势混乱，第二十四师毁黄河铁桥阻胡景翼南下。
  吴军南撤，憨玉琨率军尾追，12月5日憨军占开封、郑州，胡景翼部渡河南下，被憨军拒阻。6日，吴佩孚上鸡公山。
  鸡公山是很著名的，它位于河南湖北两省接壤之地，蜿蜒数十里，峰峦相接，形状奇特。山的顶端有如报晓的雄鸡，故名鸡公山。豫鄂人争传鸡公山可呼风唤雨，实则鸡公山屹立中原，介于南北之间，登山可穷千里之目。山上夏天很凉快，冬天很暖和，可以避暑，外国传教士在山上盖了教堂，而有些人则修筑别墅。有钱的人多来自武汉，山上还有一条小街，也有医院、学校、运动场、邮政局、警察局等等。
  12月的天气，山上一片冬景，霜满山径，雪盖远峰。吴登山后借寓河南第十四师师长靳云鹗的别墅。
  吴佩孚上鸡公山后，鸡公山又变成全国注目的一个地方，而他不只是生了病，同时头发也白了。形势影响于人之大，于此可见。在吴佩孚来说，他过于自傲，对左右不假词色，崖岸自高，不同流俗，这些都可以说是他的长处，但也是他的短处。无论如何，在当时北洋军人中，吴不愧是个奇男子，曹锟贿选他不赞成，曹家在北京胡作非为，他也不同意，然而直系悲剧的苦果，却是要他一个人吞下。
  吴当时气不能平的，是他如果在战场上战败，还想得过，可是他这次失败，是因为冯玉祥倒戈，同时曹家兄弟不争气也是基本原因。第一次直奉战争，奉系战败后还可以退到关外，闭关自守，发愤图强；这次直系失败，几乎和皖系一样，一败就不可收拾。而直系的大将都自顾自己，宁愿让人各个击破。吴佩孚在这样情况下怎不痛心疾首呢。
  段祺瑞对吴佩孚也有深恶痛绝之感。因为段前此垮台，几乎完全垮在吴的手中，吴从驻防衡阳时代，以一个小小的师长，竟向段挑战，从此声望一天比一天高，力量一天比一天大，最后发动直皖战争，一举击溃皖系，段只好在天津息隐。
  如果不是这次直系垮台，段怎么能重上北京的政坛。
  然而政治上没有绝对的恩怨，政治形势可以把昨天的敌人变为今天的友人。段这次是在奉系和新起的国民军两大势力支持下出山，自己无拳无勇，也就无足轻重，处于两大势力之间，段的临时执政日子并不安逸，段总想建立自己的力量，可是皖系军队已烟消云散，安福系又是臭名扬溢，既无可用之将，又无可用之兵。
  有人向段建议重用吴佩孚，在吴穷无所归时，拉吴一把，使吴为段所用，只有吴还可以对付张作霖，尤其对冯玉祥有抵消作用。段也为之动心，不过对吴不敢相信。在吴佩孚来说，他自况关羽，义不帝曹，所以他可能演出过五关斩六将挂印封金，千里送嫂的故事，以标榜自己。在这种情形下，段、吴合作的可能性就太小了。
  12月19日下午7时，湖北军第一师长寇英杰上鸡公山谒见吴，吴本打算以寇英杰率军警备鸡公山四周，并以信阳为中立区，缓和胡景翼军南下，让自己能在鸡公山喘息。
  然而胡景翼认为河南已是自己的辖区，怎肯在卧榻之旁容一只老虎，他于12月11日在郑州正式就豫督之职，逐走了憨玉琨，占领了信阳，把吴佩孚的残部4万多人缴械，同时通知吴佩孚请他离开鸡公山。
  12月28日吴佩孚带病下鸡公山，向湖北进发，可是湖北人也拒吴入境，破坏了路轨，阻吴的火车，吴被迫在广水下车。
  吴佩孚入洛阳，上鸡公山下鸡公山，走遍了半个中国，茫茫大地竟无容身之所，昔日他被人歌颂，被人拥护，如今则被人驱逐，被人挡驾。
  在患难中才看得到知己。当他穷无所归时，湖南赵恒惕伸出了友谊之手，敦请他前往湖南。而四川的杨森也派人来迎迓他。
  吴佩孚和赵恒惕，因对敌而惺惺相惜，由此订交。吴咤叱风云时代，赵在湖南和吴并不步调一致，吴一心要用武力统一中国，赵在湖南则主张联省自治，赵的联省自治是吴所反对的，然而吴、赵的交情却毫不受影响。现在赵邀请吴假道湖北前往湖南。
  湖北的萧耀南是吴所提拔的，现在萧却有礼貌地拒吴，甚至吴想假道湖北去湖南都很困难。当吴在广水因铁轨遭破坏，被阻前进时，川督杨森的军务代表刘泗英来谒，自告奋勇愿意先到武汉去游说萧“缓段全吴”，吴欣然同意。刘泗英到了武昌，径赴督署，萧对来客表示自己不会做冯玉祥第二，不过为了保全武汉，请吴不要留在湖北。同时决定三个要点：一、请吴不要驻岳州，改驻黄州。二、吴的卫队以两营为限。三、所乘兵舰决川号和浚蜀号的武装解除，仅供作为交通工具和自卫。
  14年1月1日，吴佩孚率领卫队抵达汉口大智门车站，宣言不入租界，留住火车中。这时候湖北公团向萧提出请愿，要萧劝吴离开湖北。2日萧耀南撤回驻防岳州的湖北第二十五师部队，以岳州还湖南，赵恒惕即派邹序彬为岳阳镇守使，率部前往接防。4日晨吴佩孚至湛家矶，改乘决川、浚蜀两舰，东下黄冈，泊赤壁下，不登岸。川、湘、黔各省代表均在船上，大家合拍了一张照片，密订川湘联防条约。5日，抵黄州，即在黄州住了下来。立春日吴偕僚属游灵泉寺、陶侃读书处及其他名胜，均有吟叶，好整以暇。现在抄吴当时的几首诗——
  （初至黄州，走笔云史）为谋统一十余秋，叹息时人不转头；赢得扁舟堪泛宅，飘然击楫下黄州。
  （赤壁春望书示云史）戎马生涯付水流，却将恩义反为仇；与君钓雪黄州岸，不管人间且自由。
  （黄州早春登城）两字功名百战哀，江山无改此登台；举杯独酌看周易，樊口江鱼下酒来。
  黄州距离武汉只有120里，当时变成了冠盖云集之地。段祺瑞也奈何吴不得。萧耀南看到吴的潜力不可侮，段的势力不觉畏，对吴的态度也和缓多了。然而吴已饱尝世态炎凉的滋味，湖北各团体对吴的称呼就变了三次，开始是“大帅”，后来是“玉帅”，最后则直呼子玉。更且发起“拒吴保鄂”。
  萧耀南有他的苦衷。第一怕胡景翼军以捕吴为借口而开入湖北。第二段祺瑞派了代表坐守督署，天天逼着萧要把吴押解入京。同时萧也怕吴的部属在湖北活动，所以曾贴出一张皇皇的布告：“吴上将军表示下野，倘有假上将军名义号召党徒者，惟有执法以绳。”他也发出通电：“倘有野心家侵犯鄂境，定即率我师旅，相与周旋。”这是对付胡景翼的。
  吴到黄州后，萧也有微电通告各方：“吴前使来鄂，奉执政电喻，勿任或往他处，以靖人心等因。吴使鉴于各界环请之诚，即于江日乘轮离汉，不问世事。我执政保全将才及吴前使遵守和平之旨，俱可昭示于天下，垂美无穷。耀南奉命周旋，公谊私交幸获俱尽。”这篇文章真算“好手笔”。
  吴佩孚在段祺瑞和张作霖眼中，是一个仇人，可是形势变了，冯玉祥的崛起和倒戈，让段和张同具戒心，他们都有用吴制冯的动机。所以张作霖曾对报界谈话说：“过去悬赏缉吴，纯为军事行动，现在军事行动终了，对待敌人的行动当然也中止，对吴如何处置，作霖概不过问。”
  段很想把吴请回北京，如用他不让他离得太远；如不用他，在北京更可放心。王揖唐讨了这个差使，王觉得段的手下能和吴打交道的，除了自己没有别人，过去王任南北议和北方总代表时，吴反对最烈，可是现在王已荣任了皖督，自己觉得身份不同了。
  14年2月25日，王揖唐到了黄州为段做说客，劝吴自动入京，有话当面谈，前罪一笔勾消。吴待王以贵宾，从黄鹤楼谈到赤壁，天一句地一句，始终不正面谈政治问题，一连几天，越谈离题越远，王揖唐看看无可再谈了，乘兴而来，败兴而去。
  王揖唐之行没有结果，段祺瑞认为既然软来不行，就只好硬来了。密令海军司令许建廷率领长江舰队八艘前往黄州，希望能一举擒吴，同时对萧耀南也有兴师问罪之意。段派在湖北监视萧的，是曾任第三师第五旅旅长张学颜，张的现职是萧的参谋长，他和吴有过一段不愉快，脱离了直系而投奔皖系。
  湖南的赵恒惕继续向吴劝驾，正当吴有离黄州之意时，赵来了一个电报，情意殷切，内称“湘为旧游之地，盍兴乎来，愿扫榻以待。”
  吴在穷无所归时，得到赵的电报，深为感动，喟然叹曰：
  “炎午真够朋友。”
  吴和湖南之间，是敌是友，论主张是敌人，因为湖南是独立省份，直系称霸时代，湖南是不听命令的；可是吴和赵之间，从吴在衡阳驻军起，两人订交，深相契结。最妙的，是湘人坚拒北军驻境，现在自动把吴从湖北接来，假使当年吴在湖南逼湘人太甚，今天就不会有这个结果了。
  吴决定赴岳阳，在吴心中，岳阳是他的发祥地。第一次入湘时，他脱颖而出，成为北洋军中一颗彗星。第二次入湘时，他扶摇直上，成北洋军中一枝独秀。第三次入湘时，则逼赵军签定城下之盟，他那时兵力本可完全占领湖南，可是因为他敬重赵恒惕，所以只签盟退军。