1949年，柏杨跟随国民党败退的路线一路南下到上海，机缘巧合，孑然一身的他最终跟着“老长官”吴文义一路到台湾。初到台湾的柏杨历经坎坷，人海茫茫，举目无亲；其后因收听北京电台的广播，被称“匪谍”而入狱。

也是在台湾，29岁的柏杨与第三位妻子齐永培结合，并喜获二子城城与恒恒，“我们曾经过了三四年的平静日子，永培朴实、勤劳、节俭”，柏杨回忆，但“两个人的性格发生严重冲突”，他总结，“这是一个错误的婚姻”。

其间，柏杨加入由蒋经国创建的“救国团”，“救国团”被外人称为“太子门下”，“从此，大家把我归类为蒋经国的人”，柏杨自述；但同时，他在“中国青年写作会”任总干事，除上班时候外，都在写他的反映当时台湾民生不易的小说。

1958年冬天，任“救国团”高级职员(副组长)的柏杨认识了静宜英语专科学校学生、中兴大学教授倪渭卿之女倪明华，这场爱情，使柏杨“跟永培仳离，和整个社会作对”。

柏、倪二人组建了一个平静的小家庭，婚后第二年，女儿佳佳出生，此前，所有的孩子早与柏杨疏远，佳佳成为当时的柏杨“唯一的亲情慰藉”。为维持家庭，他始以“柏杨”之笔名进行杂文创作，持续十年，其间结识了生死相交的美国匹兹堡大学物理学博士孙观汉先生与读者陈丽真。

但恶运从天而降。1967年夏天，柏杨接下《中华日报》家庭版翻译《大力水手》漫画，有一幅画的是波派和他的儿子流浪到一个岛上，父子竞选总统，发表演说，开场时，波派说，“Fellows……”，这个词，被柏杨信手拈来，译成“全国军民同胞们”，此为当时蒋介石发言中常见的对民众的称呼，留下联想空间。1967年1月2日，《中华日报》刊出这幅漫画，最终触怒台湾当局，以“侮辱元首”、“通匪”等罪名于当年3月4日，从家中“带走”柏杨。

因言获罪的柏杨当时对蒋经国仍心存幻想，他在给倪明华的信中一度提及，“蒋经国主任是非必明”。在被调查局调查时，柏杨的口供“无法使特务们满意”，最凄惨之时，他曾遭毒打、诱供；他并不清楚自己犯了何罪，看到起诉书后，终于明白，“蒋经国要杀我”。

入狱后，倪明华终与柏杨劳燕分飞，两人结束十年婚姻，柏杨为此曾绝食21天。他感悟，夫妻本是同林鸟，大难来时各自飞，“现在什么都没有了，过去四十年，只是一场漫长的梦”。

入狱是考验，亦是分水岭，至此柏杨对政治、世相、人情冷暖等均有了不同的领悟。

长达9年26天的身居囹圄，在简陋的牢房中，柏杨开始写史，他坚持完成《中国历代帝王皇后亲王公主世系》、《中国历史年表》及《中国人史纲》三部书稿，他在狭小的天地中构思，“我建立我自己最基本的史观，就是我为小民写史，而不是为帝王将相写家谱；我想突破两千年以来被视为正统的、以朝代为单元的体裁”。

出狱时，别的狱友“不希望把霉气带回家”，柏杨却是把每一样有监狱标志的东西，都当作珍贵的纪念品，“小心翼翼地装进行李袋”。