1980年，吴伯雄因“公卖局”“假酒案”提出辞职，尽管受到省主席林洋港与蒋经国的挽留，但还是坚决请辞，回到家乡，任新竹区中小企业银行董事长。

在政坛沉寂两年后，吴伯雄被上层重新请回政坛，于1982年接任国民党中央委员会秘书处主任。1984年6月被延揽入阁，担任“行政院”的“内政部长”，揭开了吴伯雄从政以来最辉煌的一页。在1986年3月召开的国民党十二届三中全会上，吴伯雄进入国民党决策核心，任中央常务委员。

正在他平步青云、扶摇直上之时，1988年7月，吴伯雄却从“内政部长”调任台北市市长，让外界大感不解。本想辞职的吴伯雄还是忍着心中的不满接受了市长这个位子。在市长任内，吴伯雄在政绩上有着杰出的表现，进一步奠定了自己在台北的政治人脉关系。

1990年，国民党非主流“大将”郝柏村出任“行政院院长”后，于同年6月，任命吴伯雄为“行政院政务委员”；次年6月又任命吴伯雄出任“内政部长”。这是吴伯雄从1984年第一次出任“内政部长”后第二次出任此职。在政坛打滚多年后又回到原点，让吴伯雄有太多的感触。当年李登辉给他许诺的省主席一职一直未能轮到他，成为吴伯雄心中永远的“痛”。

1993年初，李登辉利用民进党将非主流“大将”郝柏村赶下政治舞台后，由连战出任“行政院院长”。连战继续留任吴伯雄为“内政部长”。

同年8月，国民党第十四届中央全会举行中央委员的选举，吴伯雄以最高票当选中央委员，足见他在政坛声望之高。同时在多次民意测验中，吴伯雄也均受好评。

这时吴伯雄有意角逐在1994年举行的首届台湾省省长选举。选省长首先面临党内提名。在接受记者采访时，吴伯雄毫不掩饰地说:“到目前为止，民选省长绝对是我唯一的选择。”但这时，政坛另一红人、李登辉的亲信宋楚瑜也表示竞选省长。吴伯雄与宋楚瑜展开了竞争。李登辉在二者只能择其一的情况下，支持提名曾为他上台立下汗马功劳的宋楚瑜而舍吴伯雄，但吴伯雄仍表示参选到底。最后，李登辉以清查吴家经营的事业进行要挟，迫使吴伯雄老父出面向李登辉说情，劝退儿子，吴伯雄忍痛放弃参选。为安慰这位政坛“老将”，李登辉于同年底任命吴伯雄为“总统府秘书长”。1996年6月，吴伯雄又出任国民党中央秘书长。2000年出任国民党副主席，2005年国民党党主席直选，马英九当选，请任吴伯雄为副主席。2007年2月，前国民党主席马英九因“特别费”案遭起诉后，辞去党主席职务。吴伯雄接任代理主席一职，但后来又辞去代理主席职位，参加主席补选，并在4月7日举行的中国国民党主席补选中，当选中国国民党主席。