吴晗告诉他，1959年4月毛主席在上海召开的中央会议上曾称赞海瑞刚正不阿、敢于直言、不畏权势的精神，号召大家要学习这种精神。后来钱俊瑞、胡乔木来找他，要他写些关于海瑞的文章，于是他就在《人民日报》发表了《海瑞骂皇帝》、《论海瑞》等文章。马连良对吴晗说：“我在富连成科班学戏时曾演出过《大红袍》，我对海瑞十分佩服，我看了您写的那几篇关于海瑞的文章，更有兴趣。您能不能给我写一出描写海瑞的新的京戏？”吴晗有点为难，说：“我是搞史学的，写书、写文章还行，戏可不会写啊！因为我不熟悉京剧，又没有写过剧本。”马连良说：“不要紧，您先拉一个初稿，剧团帮着一起搞，至于戏词好办，您先按古诗写就行！”于是吴晗答应试试看。

过了不久，吴晗果真写出了《海瑞》剧本初稿，给马连良送来了，并希望剧团加以修改。大家觉着内容很好，就是剧本有点像昆曲传奇，戏剧性也不够强，平了一些。马连良与大家共同研究，作了些修改，于1960年夏天进行了排练。彩排时特地请了一些专家、学者来提意见。根据大家的意见，吴晗又修改了一稿。原来海瑞被罢官后，百姓为他饯行，以此结束，这样海瑞什么问题也没有解决灰溜溜一走了之，马连良的表演技巧也难以施展，后改为罢官作为戏的结尾，剧名也改成《海瑞罢官》。

1960年底《海瑞罢官》在北京民族文化宫礼堂正式公演，由王雁担任导演，马连良饰演海瑞，裘盛戎饰徐阶，李多奎饰海瑞母亲，李毓芳饰海夫人，周和桐饰戴凤翔，郭元祥饰徐瑛。

这个戏主要写罢官，海瑞上任应天府巡抚，察访民情时得知：告老还乡的太师徐阶，霸占了洪阿兰家的民田，并纵子徐瑛行凶，强抢了洪阿兰的女儿赵小兰。海瑞秉公而断，判徐瑛死刑，徐阶退田。徐阶买通朝官，诬告海瑞鱼肉乡里，罢了海瑞的官职。海瑞毅然在交印之前处死徐瑛，为民除害。作者在历史真实的基础上虚构成戏剧，揭示了明代社会阶级对立的状况，生动地刻画了海瑞不畏强暴，为民伸冤的刚直不阿的精神。戏中的海瑞已经五十四岁，官至应天巡抚，马连良在表演中突出他的阅历已深，强项未改。采用安详的神情、稳健的动作，浑厚的声音表现他内涵热情而外表沉着镇静，并注意刻画海瑞复杂的思想活动。

最后“罢官”一场尤其精彩，在前几场稳练沉着中又加进了从容不迫、豪迈果敢的特征。他命令中军先斩囚犯，再交印信。马连良在此特别提高声调，加重语气，一字一句如斩钉截铁。海瑞杀了徐瑛、王明友，徐阶昏倒下去，新巡抚戴凤翔也呆若木鸡，此时海瑞举着巡抚大印，昂然屹立，岿然不动。幕在此处徐徐落下。

《海瑞罢官》演出非常成功，好评如潮，人们称它为马派艺术又一杰作。吴晗原是一位历史学家，又是副市长，他跑到京剧行当写剧本，因此廖沫沙称赞吴晗“破门而出”。