以后的20年斯大林一直单身。他后来将1929年春天两个人心情愉快时的照片放大，挂在克里姆林宫的住宅和孔策沃别墅里。直到1948年，他才第一次跟女儿谈起亡妻，斯维特兰娜说，母亲的死让父亲对周围的人更加不信任。

斯大林的儿子瓦西里生于1921年，斯维特兰娜生于1926年。斯大林与第一个妻子生的儿子雅可夫曾自杀未遂。1943年雅可夫被德军俘虏，1945年被枪决。其间斯大林拒绝了德军以雅可夫交换第六集团军司令保卢斯的条件，他说:“作交易，我不干！战争就是战争！”

瓦西里19岁成为空军飞行员，25岁荣升将军。卫国战争期间，他曾获5枚战斗勋章。在许多人的记忆里，他是个酗酒成性的人。1953年斯大林刚去世，32岁的瓦西里锒铛入狱，在单人牢房度过了8年。41岁时，他在流放地喀山死去。1999年，瓦西里被恢复名誉。

斯大林的个人生活是清教徒式的，称得上无产阶级领导人的楷模。他在贫困中长大，在教会学校学会节俭，爱好简单，除妻子外，不跟任何女人打交道。工作是他生活中最重要的事情。

他不注意形象，长时间穿着夏天那件亚麻布军装，服务人员要动些脑筋才能在换季时让他改穿毛料军装。他的一件呢大衣穿了15年，还有一件著名的图鲁汉斯克皮袄，面子是鹿皮，里子是松鼠皮，警卫员说“大概穿了一百年了”，一直穿到去世。

在人生最后25年里，他没有进过一次商店，没有花过一个卢布。他最后留下的一张存折里有900卢布，相当于当时一个熟练工人半个月的工资。

他周围满是阿谀奉承、唯唯诺诺、歌功颂德之人，他们加深了他在人群中的孤立。他早就丧失了处理真正的人与人的关系和真正感情的能力。他很少想到子女，也不愿意看到孙子们，其中有一半他完全不认识。

他在寂静的办公室里抽烟斗、思考，在各种文件上签字。通常他向办公室的一方走20步，再朝另一方向走20步，一个决定便作出了。在他70岁时，女儿意识到“他是如此与世隔绝，如此高高在上，好像生活在真空里一样，没有能跟他谈点儿什么的人”。

他所爱的、能部分填补他的空虚的人，是他的女儿。他对女儿的初恋、志业、第一次婚姻都表示反对。斯维特兰娜1967年去美国后，出版了两本重要的书:《给友人的二十封信》和《仅仅一年》，后者被看成是对父亲的背叛。出版商慷慨地付给她150万美金。