司马光居洛阳时，倒是有好邻居。大臣富弼，此时就结庐洛城。嘉祐四友之一的吕公著，一度客居洛城，后来卜居河阳，即今孟州，与洛阳毗邻，往还也很方便。二程之程颢、程颐兄弟，与邵雍结邻三十余年，而邵雍于皇祐元年（公元1049年）39岁时，因此前游洛而慕其山水风俗，遂举家从共城（今河南省辉县）迁到洛城。邵雍、程颢、程颐并周敦颐、张载，世称北宋五子。另加及时从新政抽身、又有清德之名的士大夫十多位，洛城当地布衣名士二十多位，俨然结成一个不错的社交圈子，品位相当高，据说“忠厚之风，闻于天下。”

富弼（1004—1083），字彦国﹐洛阳本地人，北宋著名词人晏殊的女婿。晏殊官做得大，学问也好，范仲淹、欧阳修等，皆出其门下。富弼历仕真、仁、英、神宗四朝，官居宰相，因与王安石政见不和，归洛闲养，筑大第与邵雍天津居相近，遂有“三朝为宰相，四水作闲人”之句。范仲淹“庆历新政”，富弼侧身焉，身任主管军事的枢密副使，支持变法。王安石变法，富弼退出来，显是各人的路数不对。

呂公著（公元1018－1089），字晦叔，卒封申国公，谥正献。司马光与其交谊非浅。早年相知，嘉祐四友很谈得来。吕公著嗜学，口才又好，别人要多费口舌才能讲清楚的事情，他聊聊几语便可直达本旨，司马光尝说：“每闻晦叔讲，便觉己语烦。”司马光因进言得罪，罢御史中丞，吕公著时知银台司，属门下省，掌管天下奏状案牍，有权将不合理诏退还给皇帝的权利，称“封驳”，而诏书如果不经门下省盖章，属无效文件，因此，唐朝才有“斜封官”的典故。吕公著于是退回诏书，不加理采。神宗也来劲，不经过门下省，直接将诏书发下去。吕公著一气之下辞职不干。王安石为相时，吕公著为御史中丞，本以为吕公著可以助己一把，没想到吕公著数列新法不便，王安石很是不高兴。及王安石举荐吕惠卿为御史，吕公著毫不给昔日的好友面子，极谏王安石的这个得意门生是奸邪小人，不可用，有才也不可用。王安石积怒，罗织了一个罪名，将他排挤出朝，由是交情不终。

吕公著居洛，与诸贤的交往经历，史无记载，甚是可惜。熙宁十年（1077），司马光与范镇一起到河阳去看吕公著，就住在他家的后花园。公著设宴款待二人，席间，吕公著口占一联以赠司马光，说：“玉堂金马，三朝侍从之臣；清洛洪河，千古图书之奥。”一指他的仕宦，一指他的学问。司马光辞别归洛，吕公著命其住处曰“礼贤馆”。程子曾亲口说，吕公著在洛城居住过，因二程兄弟都是洛阳人，在洛阳居住时间相当长，其所倡“洛学”或称“伊洛之学”，即以洛地命名，故其言可信。而洛城群贤作“耆英会”与“真率会”时，公著于元丰五年任职定州，后徙扬州，故皆不得参与。

元丰中，文彦博任洛阳地方官，一日来了雅兴，力邀年齿都在七十岁以上的离退休老干部，做起会社。洛中本有作会社的传统，其源头可追到唐朝的白居易。白居易晚年隐居洛阳香山，号“香山居士”，常与八位谈得来的老年朋友，一起聚会玩耍，后人作“九老图”以纪其事。白居易自己说“寿及七十五，俸占五十千”，退休金相当不错，所以在家中养得起一小班歌妓，其中一名“素”者善舞，一名“蛮”者能歌，都是相当漂亮的年轻女子。苏轼有诗说“我甚似乐天，但无素与蛮”，很羡慕白居易的二个女伶，问题是，苏轼的朝云不会比蛮、素逊色。文彦博出游便常携歌妓而行。宋初洛中士大夫喜其事，也仿习九老作会社，当年没有摄像，就找来画工将会社的盛况画在普明僧舍的墙壁。时事变迁，亦成洛中一景。普明僧舍即白居易故居。

文彦博作“耆英会”不以官阶为意，但有一条，年龄必须在七十岁以上，方可参加。司马光在元丰五年时才六十四岁，故在富弼家里招开的第一次聚会，司马光没有参加。这十一个老头，酒足饭饱，满面通红，又须发皆白，走路去普明僧舍看风景，不意洛城人争相看之，亦成一景。画工郑奂依故事将十一人画像绘于普明僧舍。中堂起屋三层的王宣徽，当时在外地做官，听说此事后，写信给文彦博说，只要让我参加，赞助费不是问题，年龄也不是问题，我都七十一了。文彦博磨不开面子，算他一个。文彦博素来推重司马光其人，力邀他参加。司马光自谦是晚辈，不敢入会。文彦博说，唐“九老会”狄兼谟的年纪也不到七十岁，依故事参加无防。这样十三人常聚到一起，轮流作东，喝酒听歌，游赏洛阳山水之胜，倒也享受了一段自在时光。

司马光与会，时在元丰五年正月，并作《洛阳耆英会序》以纪其事。元丰六年，八十岁的富弼病死，同年，司马光发起“真率会”，参与的七人中，除司马旦（司马光的哥哥）、宋叔达外，其余五人，如席汝言、王尚荣、楚建中、王谨言，包括司马光，都参加过“耆英会”。由此可证，富弼一死，“耆英会”即行解散。

司马光好客而家贫，便发起“真率会”，或也是经济的原因，才使得“耆英会”无法延续吧。比不得文彦博的家境，经常是带着歌妓游山玩水。王宣徽是“洛中宅第尤胜”，那更不用说了。“耆英会”也相约，菜肴应简单一点，鸡鸭鱼肉不得超过五碗，水果、蔬菜不得超过二十碗，但若兴未尽而菜已尽，则允许主人适当添菜。饮酒不作限，主人不必劝，客人也不必客气。说是简约，依我来看，五碗大菜、二十碗蔬菜，无疑也是办酒席。司马光的“真率会”也是轮流坐庄，但重玩而不重吃，果实限三品，肴馔限五品，酒倒是可以随意喝，“以为简则易供，简则易继。”楚建中违约，多添了些菜，被罚一会。司马光曾戏为诗说：“七人五百有余岁，同醉花前今古稀。走马斗鸡非我事，纻衣丝发且相晖。”后来范纯仁（范仲淹的儿子）也参加了进来，洛中人誇以为盛事。