曾文惠带着儿子李宪文

李登辉与曾文惠膝下共有三个孩子:长子李宪文、长女李安娜、次女李安妮。对于孩子，夫妻俩管教甚严，主要由曾文惠承担。曾文惠曾说:“家太重要了，家庭主妇更是家庭的重心。”李登辉也说:“我忙于公务，很多亲友人情交往，都要由她代劳”。

长子李宪文在念小学时，考试没有得满分就不敢把成绩单带回家。后来考上中学，但在联考中落榜，直到当兵回来，才考上文化大学政治系。大学毕业后一度到日本留学，因与父母亲要求甚远，内心很苦闷，常以喝酒抽烟度日，最后又回到台湾，进入文化大学三民主义研究所攻读硕士学位。大学期间和同学张月云订婚，1979年结婚。婚后生下爱女巧巧，学名李坤仪。外孙女是曾文惠生活的又一重心，她的皮包里经常放着孙女的照片，一有空就陪李坤仪画画、弹琴。曾文惠常说:“巧巧生性聪明而且听话。”李登辉对孙女巧巧也特别好，回到家的第一件事就是找巧巧。

长女李安娜是李登辉赴美国爱荷华大学读书时出生的。据曾文惠说，李登辉回台的一段日子，李安娜因面生而不让他抱，一抱就哭。李安娜毕业于文化大学企管研究所，曾任教于文化大学，目前是东海大学副教授，女婿黄循武是“荣总”台中分院骨科医师。

次女李安妮在兄妹中是念书最好的一个，她毕业于东吴大学社会系、台湾大学社会研究所，曾任东吴、政大讲师，后任“中央研究院”三民主义研究所助理研究员。在曾文惠眼中，李安妮是个小淘气。但在谈到学习时，她说父亲管教太严，记得在念小学一、二年级时，家庭作业没写完，半夜会被父亲叫起来，一定陪着做完，才准睡觉。

在三个孩子中，曾文惠与李登辉寄希望最大的是李宪文，中国的传统文化亦然。然而正当幸福的家庭充满欢乐之际，灾难降临到曾文惠与李登辉的头上。

1983年，李宪文因患鼻癌过世。晚年丧子的剧痛使曾文惠差点被打倒，李登辉也一度想去当牧师传教。为了表达对儿子深深的爱意，曾文惠与李登辉决定在家里举行追思仪式。因为是家庭礼拜，李登辉没有邀请什么外人参加，只有李宪文生前工作单位的三个朋友，其中的一位这么形容:“我早半个小时抵达，李宪文的母亲曾文惠红着眼睛接待我，公馆里很哀伤，许多身穿西装的人显得很忙碌，电话也不停地响，可就是没看到李登辉。”

追思即将开始，李登辉方匆匆走进客厅，他仍穿着整齐的深色西装，表情十分严肃，身旁的秘书还在他耳边小声说着话。

“李登辉同我们握手道谢，便坐在曾文惠的身旁，他一直都很严肃地板着脸，像往常一样挺直腰坐着。”当礼拜快结束时，“忽然听到轻微的啜泣声，我看到李登辉已弯下身子，将眼镜摘下，把脸埋在手掌里。”后来，李登辉竟失声痛哭起来。对于爱子英年早逝，李登辉与曾文惠的确痛不欲生，每逢夜深人静，夫妻二人常相拥痛哭。一早起来李登辉又忙于政务，曾文惠独自承受着老年丧子的悲痛。