让人工智能“听懂”脑电波!榕企合作研究成果取得脑电AI新突破
近日,星网锐捷旗下福建星启灵知智能科技有限公司联合香港科技大学(广州)陈晋泰教授领衔的ML4H团队,在脑电人工智能与多模态智能分析领域取得新进展。双方共同研发的脑电多模态人工智能方法EEGBind,入选国际计算机学会(ACM)主办的计算机多媒体领域顶级会议ACM Multimedia 2026,并在NeuroMM 2026 Grand Challenge Track 3官方评测中取得0.8395 Weighted-F1,在该赛道所有参评方法中排名第一。
对普通人来说,脑电信号可能只是屏幕上起伏的“波浪线”。但对人工智能而言,这些连续变化的波形里,藏着丰富的时间、空间和信号形态信息。
传统人工智能方法可以帮助判断一段脑电中有没有异常活动。但这次研究想更进一步让AI从复杂波形变化中,判断这些信号更接近哪些脑电来源区域特征。研究将脑电信号按来源区域特征分类,包括全脑广泛型、额区、颞区、枕区以及中央-顶区。
团队负责人向记者打了个比方:这就像听一场交响乐,过去AI主要判断“有没有杂音”,现在还要进一步分辨,这个声音更像来自小提琴、鼓,还是钢琴。模型不仅需要“看见”脑电信号,还要从短时、复杂且具有个体差异的EEG数据中,提取能反映空间分布与信号形态差异的关键特征。
在传统采集过程中,脑电信号往往与同步视频一同采集。视频中记录的患者动作、姿态以及当时状态,可以为判断脑电异常活动的来源提供背景信息。
研究团队构建了EEG-centric multimodal binding框架,把EEG作为主要信息来源,同时引入同步视频信息作为辅助上下文。“EEG是主证据,视频是旁证。”项目团队负责人向记者解释,这就像破案,口供是核心,现场监控能帮忙,但不能因为监控模糊就改判。
当辅助信息不完整时,如果AI太依赖视频,就可能影响最终判断。为此,EEGBind加入了View-Consistent Repair(视图一致性修复)。研究过程中,团队会主动对部分视频信息进行丢弃或遮蔽,让模型学习在辅助信息发生变化时,仍然尽可能保持稳定的脑电表征和分类结果。(记者 梁凯鸿 通讯员 沈连芬)
