返回 文章 学习 CMS 文章

Brain2Qwerty v2:无需手术,AI 实时解码大脑活动为文本

Meta 的 Brain2Qwerty v2 证明,非侵入式脑机接口通过端到端深度学习和数据扩展,正逼近需要手术植入的准确率水平。

脑机接口非侵入式Brain2QwertyMeta AI
成长分 / 100 82 综合收获、行动、留存与影响

Brain2Qwerty v2:无需手术,AI 实时解码大脑活动为文本
为什么值得读了解非侵入式脑机接口在实时句子解码上的最新突破,词准确率从 8% 跃升至 61%。

理解端到端深度学习、LLM 微调和 AI 智能体如何协同优化神经解码流程。

关键洞察
  1. Brain2Qwerty v2 是性能最高的端到端流程,能从非侵入式大脑记录中实时解码句子,接近此前仅需脑外科手术才能达到的准确率。
  2. 在约 22,000 个句子、九名志愿者上训练,每名参与者佩戴 MEG 设备并主动打字 10 小时。
  3. 使用端到端深度学习直接从原始大脑信号解码,不再依赖手工设计的神经事件检测流程。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:2278

去年,我们推出了 Brain2Qwerty v1,这项研究利用 AI 将大脑活动解码为文本,无需任何外科植入。现在我们分享下一步进展:Brain2Qwerty v2,这是性能最高的端到端流程,能够从非侵入式大脑记录中实时解码句子,接近此前仅需脑外科手术的技术才能达到的准确率水平。

为帮助加速神经科学突破,我们发布了 Brain2Qwerty v1 和 v2 的完整训练代码,我们的合作伙伴巴斯克认知、大脑与语言中心(BCBL)正在发布 v1 数据集。我们相信这项研究有可能为

我们在约 22,000 个句子、九名志愿者参与者上训练了 Brain2Qwerty v2,每名参与者在佩戴脑磁图(MEG)设备并主动打字的情况下被记录了 10 小时。我们不再依赖手工设计的流程来检测神经事件,而是使用端到端深度学习直接从原始大脑信号中解码。

在神经数据上微调大型语言模型使系统能够利用语义上下文,弥合嘈杂的大脑记录与连贯语言之间的差距。我们还部署了 AI 智能体来探索解码流程的优化,最终训练配置由工程师手动选择。

结果:Brain2Qwerty v2 从嘈杂的神经输入中连贯地恢复句子,实现了 61% 的词准确率,显著优于 其他非侵入式方法 的 8% 词准确率。对于我们表现最好的参与者,我们实现了 78% 的词准确率,其中超过一半的句子解码错误不超过一个词。

我们还发现,解码准确率随数据量呈对数线性提升,这表明与外科手术方法之间的剩余性能差距可能仅通过数据扩展就能进一步缩小。这项工作有助于我们构建开放的大脑基础模型,包括我们的 Tribev2 模型 用于感知编码,