据称，有一次段祺瑞和儿子段宏业下棋。棋到终盘，段祺瑞大负，气得他跳起脚来，把棋盘掀翻，并怒斥段宏业道：“你这小子，一无所能，就知道玩这个，你以后有什么出息？”段宏业被斥后，只得诺诺而退(想必儿子输给了他，段祺瑞又会笑骂：“你这小子，连个棋都下不好，你以后还能干什么？”)。段宏业是到段祺瑞的大儿子，平时最喜欢吃喝玩乐，素无大志，他在外面一向是花天酒地，唯独见了老段就像是老鼠见了猫，大气也不敢出一声，这不，赢了棋还被老段斥责一顿，他屁也不敢放一个。

唯独有个小棋手却不畏惧段祺瑞，这就是后来成为著名棋手的吴清源。吴清源做段府的棋手时年纪还小，也最受段祺瑞的喜爱。他在和老段下棋的时候到是毫不客气，俩人经常能下个旗鼓相当，但随着吴清源水平的不断提高，段祺瑞和他对弈往往输多赢少，后来也就不再和他下了。吴清源后来入了日本籍，成为日本围棋界的一流高手。

段祺瑞脾气大，治家严，手下的人都战战兢兢，不敢犯错，特别是不敢向来宾索取门包。按前清的规矩，一般大官的门房都有一个陋规，那就是收取门包，否则就进不了门。段祺瑞大概吃过这个“门包”的亏，因而最恨别人收门包，他要是听说谁收门包，还真能把人拉出去枪毙。按中国人的习惯，过年过节的，终究要礼尚往来，而地方上的官员来京办事，也一般会给重要的京官送点礼，这个规矩，唯独到了老段这里行不通。每逢有人将礼物送到段公馆，门房都是将之放在内客厅门口的条案上，等段祺瑞亲自过目后定夺。段祺瑞每次路过时，总是仔细地看了又看，最后挑一两件最不值钱的留下，其余的全部让人送回。

有一次，江苏督军齐燮元给段祺瑞送了一个精美绝伦的围屏，围屏上镶有各种宝石，五颜六色，非常漂亮。段家的人喜欢得不得了，晚上还偷偷起来观看。但第二天早上，段祺瑞便令人送回。张作霖有一次给段祺瑞送了一些东北的特产，如江鱼、黄羊等，在其副官的一再恳求下，段祺瑞才收下两条江鱼，这已经是非常大的面子了。唯独有一次冯玉祥给他送了一个大南瓜，老段倒是很中意，没有送回。

另外，段祺瑞还不准家里人说私情。譬如有个老妈子托段祺瑞的一位姨太太替他的一个亲戚找个小差使，这刚一张口，段祺瑞的鼻子就气歪了。他大骂道：“好啊，你们想卖官还怎么着？你拿了人家多少钱！快说！”因此，在段祺瑞的面前，谁也不敢乱托人的。

段祺瑞不但对自己严苛，对别人也是非常严格。他手下有个姓苏的军需官，他买了个小丫头，而他的老婆经常虐待这个小女孩，三天两头把人家打得鬼哭狼嚎。不知怎么的，这事传到了段祺瑞的耳中，他得知后勃然大怒，立即派人将苏军需和小丫头带来，自己则怒气冲冲在大客厅等着问话。

当时的场面可谓是杀气腾腾，如同旧时衙门上堂一样。等苏军需到后，段祺瑞拍着桌子大骂，并令手下用军棍重责40大棍。这下把苏军需吓得浑身发抖，连连求饶。段祺瑞骂了半天后，气才消了下去，随后便吩咐手下将小丫头送到后院，让自己的家眷收养下来。

不过，段祺瑞只是表面上看起来严肃，其实内心也是真性情。段祺瑞少年的时候随祖父在宿迁军营，在当地私塾读书时认识了几个同年好友，后来段祺瑞做上了总理，发达了，其中的一个叫申孟达的好友便试着来北京找他。刚开始的时候，申孟达害怕段祺瑞已经认不得他了，于是先写了封信让人送到段府，不曾想段祺瑞在接信后便立即派人送上银元200元，三天后，段祺瑞亲自来接，一下子就开来了十几辆小汽车，并让人好生招待。

当年跟随段祺瑞祖父段佩的几个老人，后来也被段祺瑞接到府上。其中有一个叫刑宝斋的，他每次提到段祺瑞的时候，常说段祺瑞小时候一天到晚鼻涕邋遢，刑宝斋看不上他，那时骂他：“你这叫什么少爷啊，一点都不爱干净！”

刑宝斋常跟公馆里的人说这事，有的人听烦了，便反诘道：“你不是看不上他吗？可人家如今干出了一番惊天动地的大事业，你现在还在给他买笤帚！”刑宝斋被堵得没话说，只好结结巴巴地说：“我哪知道他有这一天啊，我要知道，当初也对他好点啊！”

《一士类稿》中有个这样的记载，说段祺瑞刚做上边防督办的时候，一日雪后，他偶至街头散步，忽然问随行的小僮：“边防处距此远不远？”小僮说不远，于是段祺瑞便让他带他去看一下。到了边防处，卫兵见一个衣冠朴旧的老头昂然入内，便厉声呵止。小僮赶上前斥道：“这是段督办，你怎敢如此无礼！”卫兵听后十分惊愕，慌忙请罪并报告处中重要职员，恭迎段祺瑞入内视察。众人平时都见不到段祺瑞，今天看到他突然莅临，以为有什么大事要宣布，于是一个个都肃侍静候训示。段祺瑞微笑道：“今日下雪，我乘兴闲游至此，你们不必管我了，各自回去办公吧。”说完，段祺瑞便让众人散去，自己则到督办室小坐了一会，随后仍旧缓步而归。

作为民国年间的大人物，段祺瑞一生不蓄私财，不徇私情，不拥兵自重，这在军阀中，无论如何也算是至为可贵了。