1879年，日本吞并琉球，驻日大臣何如璋给总理衙门和北洋大臣的重要文件共10余万字，分析了日本国情，陈述了我国应采取的对策， 指出：“琉球如亡，不出数年，闽海先受其祸。”这些预见都被后来的事实 所证明。而这些文件绝大部分都是由黄遵宪草拟的。但清政府却没有采纳黄遵宪在外交政策方面的意见，终使琉球成为日本侵略政策下的牺牲品。

不久，黄遵宪又被调任新加坡总领事。后来薛福成在《出使英法意比四国日记》中提到了调任黄遵宪一事的原委。那是因为当时北洋海军提督丁汝昌给朝廷的报告中，说他奉命巡洋时，抵达新加坡一带，目睹当地华侨因为中国政府没有设领事馆，受了洋人的欺凌剥削，有冤无处诉。他请求中国政府速派领事到新加坡附近各岛。薛福成考虑将新加坡领事改为总领事，就可以兼办其他各埠的侨务。经过考虑，他决定委派黄遵宪。因为此人 “历练有识，持己谨严，接物和平，允堪胜任”。从薛福成的这几句评价里，可以看出黄遵宪此时已是一个成熟老练的外交家了。

1891年秋，黄遵宪到新加坡上任。很早以前就不断有华人到南洋一带谋生，他们努力耕作，辛勤劳动，为当地开发做出了重要的贡献。新加坡是南洋华侨聚居的地区，黄遵宪到任后，经常到各处去访问华侨，并积极保护华侨的正当权益。经过黄遵宪的力争，清政府颁布了一些保护华侨的规定，以后，黄遵宪又创立了给华侨颁发 “护照”的制度。

那时英属马来西亚半岛锡矿业和橡胶业发展迅速，那里的华侨人数很多，虽然我国在新加坡设立了总领事，但英国政府却迟迟不答应我国在吉隆坡等地设副领事。为此黄遵宪据理力争，最后终于达到了目的。

1894年底，黄遵宪结束了十几年的外交生涯，回到国内。第二年春天即去江宁（今南京）拜见张之洞。黄遵宪怀着满腔忧国之情，准备施展自己的 才干，大干一场。然而张之洞是洋务派的首领，又是一位老官僚，他看惯了别人在他面前唯唯诺诺，可黄遵宪虽是他部下属员，却无半点奴颜婢膝之态，而且还本着“当仁不让”的精神来指教张之洞，使这位大帅很不舒服。所以黄遵宪自然没有受到重视，被 “置之闲散”， 黄遵宪在湖北办理教案期间，清政府与日本签订了 《马关条约》，听说台湾被割让，黄遵宪心情十分悲痛，然而黄遵宪并没有 “被发入空山”，而是以极大的热情，投身到康有为掀起的维新变法的运动中。

1897年夏，黄遵宪被任命湖南长宝盐法道，负责管理一省食盐的生产和运销，同时兼管一路的钱谷和刑名。黄遵宪到达湖南后，原湖南按察使李经义因事进京，由黄遵宪代理湖南按察使，掌管一省刑狱和官 吏的考核。当时湖南巡抚陈宝箴是支持变法的新派人物，黄遵宪上任后，积 极协助陈宝箴进行政治、经济、文化、教育各方面的改革。在黄遵宪的建议下，陈宝箴同意创办一所时务学堂，以培植变法人材。黄遵宪还提出邀请梁 启超来湖南担任时务学堂的总教习。 梁启超到湖南后，倡议创办南学会，以推动地方自治。南学会虽名为学 会，但实际上却具有地方议会的规模。它的组织大致是这样：先由巡抚选派本地绅士名流 10 人、分任总会长、副总会长。然后由总会长、副总会长吸收州县绅士为会员，组成分会。南学会总会每 7 天讲演一次。由梁启超、黄遵宪、谭嗣同等人主讲，阐述国际形势和国内大事，宣传维新变法思想，主张发展地方民族工业。南学会成立后，黄遵宪共作了 9 次讲演，其中南学会举 行的第一次讲演会就是由黄遵宪讲的。由于黄遵宪多年海外生活的经历和生动的语言，使听者大开眼界，黄遵宪也因此名声大震。

1898年6月11日，光绪帝颁布《定国是诏》。 “百日维新”正式开始。 然而后来，北京的形势发生了突变。维新派对政治、经济、文化、军事 的改革，触犯了以慈禧太后为首的顽固派的利益，遭到他们极力反对。 9月21日，慈禧太后发动政变，囚禁了光绪皇帝，并宣布“亲政”，下令逮捕维新派，百日维新失败了。顽固派自然不会放过黄遵宪。10月9日，上海道蔡钧奉命将黄遵宪扣留于洋务局，派 200 余人围守，候命押解北上。

然而黄遵宪并没有遭到杀害，成为维新派领导人中少数幸存者之一，这一方面是由于他平日交游广阔，此刻朝中有人帮他说情，更主要的则是英国、日本等国出面，对清政府施加压力。英国驻上海总领事向清政府声言：“如中国政府欲将黄遵宪不问其所得何罪，必治以死，则我国必出力救援，以免其不测之祸。”日本驻华公使也向清政府提出交涉，声言查办黄遵宪，“有伤两国交谊”。这就使顽固派不得不有所顾忌，只好释放了黄遵宪。