张勋解散国会，将黎元洪赶入使馆区。黎后的总统是冯国璋，段平时称其为“四哥”可是面对权利，这两兄弟争得更厉害，段与黎是水火相斗。他们却是真刀真枪！段的霸道与跋扈逼得冯国璋走投无路，自带了一旅精兵，22箱子弹，以巡视南方战场为名，那么津浦线南下，直奔南京老巢去了。段却派心腹段芝贵截住了大总统，冯大总统不可能看不到围在火车周围的荷枪士兵，只好眼望近在咫尺的南京恨在心头不敢言声，乖乖的回到北京，从此彻底放权给段祺瑞。7月1日，他公然拥废帝溥仪复辟，自封议政大臣兼直隶总督、北洋大臣，并改民国六年（1917年）为宣统九年。全国舆论大哗，“讨逆”呼声鹊起。

在黎段之争中已退居天津的段祺瑞对张勋进京自然是求之不得，但对其拥溥仪复辟亦有所闻。“张勋复辟”给段祺瑞诉诸武力以东山再起制造了一个绝好借口。段祺瑞旋即在天津组织“讨逆军”总司令部，自任总司令，以段芝贵、曹锟分任东、西路总司令，吴佩孚为前敌总司令，并于马厂誓师“讨逆”，还通电复任国务总理，重新组阁。在“讨逆军”的强大攻势下，“辫子军”很快失败，张勋于12日被迫避入荷兰使馆。这场“复辟”闹剧不过上演了12天。7月14日，段祺瑞凯旋还京，重新执掌中央政权。1918年8月10日，段祺瑞改革币制。1919年，五四运动中，段祺瑞控制的北京亲日政府，成为众矢之的。对学生运动的镇压，更激起举国上下愤怒声讨。直、奉两系适时地利用全国人民反对北京政府的情绪，开始从军事上掀起倒皖运动，意在打击急剧发展的皖系军事力量，抵制段祺瑞武力统一中国的政策。1920年初，7月14日，直皖战争爆发。

直皖战争以皖系失败告终，段祺瑞被逐出北京。他避居天津日本租界寿街，开始吃素念佛，表面上静心养性，实际上仍密切注视着政坛风云，以待复出。当直奉失和，奉系在第一次直奉战争中获胜后，段祺瑞及时地派段芝贵到东北联络张作霖，又派徐树铮到南方交好于孙中山。在各方的利害关系暂趋于一致的情况下，段祺瑞、张作霖、孙中山结成“三角同盟”，共同反直。1924年9月，第二次直奉战争爆发，直系将领冯玉祥已暗中接受孙中山的国民革命主张和段祺瑞的游说，于战场上突然倒戈，进而挥师入京，发动政变，推翻并囚禁了贿选总统曹锟，直系战败。冯玉祥将其所部改称为国民军，通电拥戴段祺瑞为国民军大元帅，并电邀段祺瑞、孙中山入京共商国是。

11月中旬，冯玉祥、张作霖、段祺瑞在天津举行会议，决定组织中华民国临时执政府，以段祺瑞为临时执政。11月24日，段祺瑞就职典礼在北京铁狮子胡同陆军部旧址执政府办公处举行。鉴于以往迭次“府院之争”，此次《中华民国临时政府制》乃将总统、总理合一，规定临时执政兼有二者之权力。段祺瑞表面上大权总揽，不受任何约束，实际上由于自身已没有什么军事实力，而奉军羽毛正丰，国民军又驻扎京畿，他不得不按张作霖、冯玉祥的眼色行事。今非昔比，段祺瑞这个“执政”有其名而无其实，他的政务活动多受掣肘。1926年3月18日，北京学生、工人、市民等各界群众在天安门举行声势浩大的反对八国“最后通牒”的国民大会，会后游行示威。当队伍到铁狮子胡同执政府和国务院门前请愿时，执政府卫队在不加任何警告的情况下，向请愿队伍实弹平射，顿时血肉横飞，造成47人死亡，100余人受伤。这就是震惊中外的“三·一八”惨案。

“三·一八”惨案导致了段祺瑞执政府的垮台，皖系北洋军阀集团也不复存在。息影津门的段祺瑞曾表示只谈佛经不问政治，实际上在政坛活动了几十年的他岂甘寂寞，并且，“政治”不时地来过问他。日本特务土肥原等企图拉他出山，组织一个与南京国民政府相对立的完全效忠于日本人的傀儡政权。段祺瑞没有答应。段祺瑞亲日，原先是有目共睹的，但在日本人把侵略战火烧进国门后，他不愿被日本人牵着鼻子走。为不使段祺瑞落入日本人手中，南京政府方面不断派遣民间人士北上做段祺瑞工作，劝其南下。1933年1月19日，国民政府专使钱永铭持蒋介石欢迎段氏南下的亲笔信函到天津，请段“南下颐养”，“俾得随时就商国事”。段祺瑞顺水推舟，先抵南京拜会蒋介石，随即到上海定居。

段祺瑞到上海后，初寓世界学社，不久即搬至霞飞路国民政府军事委员会军事参议院院长陈调元公馆。他在这里专意念佛，坚持吃素。

1936年11月2日，段祺瑞因病不治离世，终年72岁。

12月9日，段祺瑞灵柩运抵北平，暂厝于西北卧佛寺。1937年7月抗日战争爆发后，段祺瑞家人匆匆将段埋葬于北平西郊。直到1963年，段祺瑞侄子段宠纲和章士钊方在北京万安公墓觅地安葬了段，章士钊题写了墓碑:“合肥段公芝泉之墓”。