1934年8月10日，段祺瑞在其子段宏业的陪同下到达牯岭，励志社按照蒋介石的意旨，请段祺瑞自挑一处别墅。据庐山老人回忆，段祺瑞住在当时特区230号，和黄郛紧邻。那一年，段祺瑞年满七十，春上在上海刚刚做完胃溃疡手术，身体虚弱，段祺瑞下野后常年吃斋，瘦削的身体看起来有点像皮影人一样。医生和友人很着急，劝他开荤增加营养，他摇摇头，说:“人可死，荤不可开。”医生没有办法，只好同意他上庐山调养调养。

遵照医嘱，段祺瑞在庐山以养生为主，养心为辅。每天两样功课，下一局围棋，读一段经文。段祺瑞的围棋下得与他人不同，庐山传说，他喜欢边下棋边叙旧，婆婆妈妈，与他执政时那种刚毅果断迥然不同。段祺瑞经常向对手唠叨他的军人生涯，陪他下棋的人几乎都能背下来:“我祖父段佩是淮军统领，父亲段从文是个农民。我十七岁一人由合肥步行二千多里去山东投军，族叔段从德收留了我，开始了我职业军人的生涯。”

“你并没有很显赫的背景，怎么被袁世凯看中的？”

“认真和抓住机会。1885年，李鸿章创办天津武备学堂，我以全优的成绩考入该学堂炮兵科。学业突出，四年后，由李鸿章派遣赴德国深造军事。回国后，用国外新式的军事学练兵，被袁世凯看中，1896年被调往天津小站，参加北洋新军的创建。以后在新军中一步步发达起来。”

“你一生中最成功的事是什么？”

段祺瑞捋了捋八字形短须，下了一手棋说:“湖北新军辛亥革命爆发，我以第二军军统署理湖广总督，不久，又以湖广总督兼第一军军统，节制湖北前线清朝所有的军队，率领北洋各军统兵大员四十多人两次在前线发电请清廷退位，并以率全军将士入京相威胁，迫使宣统小皇帝于1912年2月12日宣布结束中国两千多年的帝制。在南北方的共同拥戴下，袁世凯就任临时大总统，我被任命为陆军总长。”

“最得意的事呢？”

“当然是消极抵抗袁世凯称帝，并为他收拾了残局。”

袁世凯称帝前，段祺瑞以不愿积极配合，被明令解除陆军总长和其他官职。袁世凯做了八十三天皇帝梦，在全国的反对下被迫取消帝制，段祺瑞在袁世凯的请求下，重新出任参谋总长，国务卿兼陆军总长。黎元洪任大总统，由段祺瑞为国务总理兼陆军总长，实行责任内阁制。

“那蒋委员长是否也和当年的你一样呢？”

“不一样。介石是国民党推举的领袖，我是北方军人推出的代表。”

段祺瑞的这个回答既是对蒋介石的抬举，也点出了中国近现代社会由军人政治向宪政缓慢进步的历史轨迹。

段祺瑞对蒋介石的印象并不坏，他喜欢对来者讲蒋介石对日本人还是提防的。他讲了这样一件事: