全球大宕机内幕曝光,对微软的依赖早该降低了

全球大宕机内幕曝光,对微软的依赖早该降低了

据彭博社等媒体报道,上周微软公司包括人工智能服务在内的软件发生系统故障,造成全球范围内的服务中断与业务停摆。据称,导致该故障的漏洞自7月以来一直潜伏在该公司数据中心中未被发现。

11月11日,在微软公司对用户流量进行例行重定向时,系统发生了故障。随后,随后,支持Outlook、Teams、Copilot AI助手和其他几项服务的关键服务器开始出现故障,最终导致全球用户服务中断。

根据微软公司在11月15日向客户发布的一份初步报告显示,在首次故障发生后的15个小时里,尽管仍有零星的服务器故障发生,但该公司几乎没有意识到一个更大的问题正在酝酿。在系统大规模故障发生后,微软又花了15个小时来定位问题并开始推送修复方案。考虑到当下互联网世界对该公司软件的高度依赖,这无疑造成了重大影响。

在职场匿名论坛Blind上,一名显示微软员工身份的用户发帖称,Microsoft 365核心基础设施团队近年经历多轮裁员和自愿离职,一些长期负责旧系统的工程师已经离开,留下的人员难以迅速定位复杂故障。按照这名用户的说法,过去约45分钟就能完成的系统回滚,如今可能需要5小时,在此次事故中,内部故障管理工具一度无法正常加载,工程师只能在深夜跨部门排查前人留下的代码和服务架构。

该次故障前后持续超过两天,或许是该公司历史上持续最长的故障事件之一。截至11月16日下午,微软股价下跌约1%。

这次故障的影响形式及范围再次提醒了全球经济活动对美国大型科技公司的依赖,并呼吁相关业务的替代服务及方案。

服务器系统漏洞引发故障

据彭博社11月17日报道,纽约时间11月11日晚8点刚过,Teams视频会议和聊天服务的流量被自动重新定向到同样处理Outlook流量的另一套独立服务器系统。这与本周早些时候一个无关问题导致的服务器容量损失叠加在一起,触发了该漏洞,致使服务器在流量意外激增后耗尽内存。

服务器开始出现故障。更糟糕的是,自动化系统会将电子邮件和用户流量重定向到微软系统认为的其他正常服务器上,导致该漏洞也出现在这些服务器上。直至11月12日上午11:30,正值美国企业流量达到高峰之际,微软才完全认识到该问题。

该公司又花了15个小时进行故障排除,才开始部署修复方案。与此同时,由于电子邮件收件箱无法加载、Teams邀请丢失,微软许多企业和政府客户的工作陷入停滞,员工们只能依靠电话和纸笔进行沟通。

一份更全面的时间线包含在面向使用微软365软件套件的技术人员的更新中,该时间线显示了该公司为确保软件运行而采取的自动化措施是如何引发连锁故障的。在周四的最低点,超过80%的Outlook服务器无响应。

微软Outlook和微软Copilot页面上的错误信息

微软Outlook和微软Copilot页面上的错误信息彭博社

此类故障通常最多只会持续几个小时。但这次故障持续时间更长,因为服务器恢复服务后,立即被大量等待的流量淹没,再次发生故障。而且由于该漏洞已持续数月未被发现,因此通过回滚最近的更新来稳定系统的尝试也毫无效果。

负责公司办公软件业务的微软执行副总裁查尔斯·拉曼纳(Charles Lamanna)周一早些时候在微软社交媒体平台X上发文,就此次系统故障致歉,并详细说明了故障原因。他表示,之所以没有发现这个漏洞,是因为公司实验室中模拟的流量模式和硬件配置并不能反映服务器后来遇到的真实环境。微软的测试通常侧重于较旧、性能较弱的系统,以评估更新是否会影响公司云服务中最薄弱的环节。而导致服务器崩溃的这个漏洞在新硬件上,由于其处理能力更强,破坏性更大。

系统性瘫痪

据彭博社11月13日报道,微软公司该次系统故障,已经造成全球范围内政府机构、贸易商和企业的系统性瘫痪。

包括瑞士奢侈品集团历峰集团和美国卡车及巴士制造商Workhorse集团在内的多家依赖微软系统的公司,本周不得不推迟发布财报。

拥有Calvin Klein和Tommy Hilfiger等品牌的服装集团PVH周四宣布,将裁减约4%的全球员工。据一位知情人士透露,原定于周五上午在亚洲举行的部分沟通因网络故障而未能进行,这令员工对自己在公司的未来感到迷茫。PVH尚未对此置评。

据知情人士透露,英国国家医疗服务体系(NHS)因网络中断导致通信中断,不得不重新安排部分手术。盖伊和圣托马斯医院已通知患者电子邮件服务中断,但这家伦敦医院的手术仍按计划进行。据《卫报》报道,一些地方警方也表示无法在线接收报案。

11月13日,新加坡的交易员、印度的券商以及东京的官员也报告了微软服务出现问题。泛欧交易所发出警告称,其电子邮件通信服务无法使用。

日本财务省在一份声明中表示,当天大部分时间都无法接收电子邮件。由于无法访问电子邮件,各政府部门只能张贴纸质通知,告知每日日程安排。

澳大利亚储备银行的员工也受到了影响,该行各部门的Outlook系统均出现故障,但关键业务仍正常运转。在新西兰,移民官员暂停了所有签证申请的处理。

对微软过度依赖

据路透社11月13日报道称,“从某种意义上说,微软是自己成功的受害者”。微软公司报告称,第二季度其Microsoft 365办公应用套件在全球范围内的使用率达到99.994%。全球市场范围内对微软业务的依赖及替代服务的缺失,加大了此次系统故障对全球经济及各类机构运行的重大影响。

相比云计算出现前企业自主运营的服务器,微软及谷歌一类云服务供应商能够通过集中化供应及捆绑销售,将这些成本和责任分摊到其庞大的客户群体中。然而,此次事故显示了这种集中化模式的弊端。

部分欧洲国家公司使用美国云计算服务占比

部分欧洲国家公司使用美国云计算服务占比路透社

据Downdetector统计,超过70个国家的用户报告称无法访问微软产品,该网站记录了数十万起投诉。网络安全软件、文件共享服务和管理工具也受到影响。微软将这些产品以及Word和Excel等办公必备软件捆绑销售,统称为M365。

此外,据牛津经济研究院和Splunk的一项研究显示,关键数字业务系统的计划外中断每分钟给全球2000强企业造成平均15000美元的损失。

在微软此次宕机之后,企业将面临寻找替代方案的压力。目前有几种选择。美国网络安全公司Mimecast等企业提供所谓的连续性服务,允许用户在主要电子邮件系统宕机时通过临时收件箱继续收发邮件。与此同时,以隐私为重点的科技集团Proton提供备用电子邮件账户,企业可在危机发生前设置好,并在主要系统故障时启用。

从历史上看,对连续性服务最感兴趣的公司集中在法律等有截止期限压力的行业。但因外部故障而损失数百万美元的可能性,必将使这一需求扩展到会计师事务所、医院和其他受监管企业。

政治因素也可能推动需求。在当前的特朗普政府执政下,对关键美国技术存在“致命开关”的担忧已成为欧洲常见的讨论话题。本周的Outlook崩溃表明,技术故障或许更为现实,且同样具有破坏性。