去年,我们推出了 Brain2Qwerty v1,这项研究利用 AI 将大脑活动解码为文本,无需任何外科植入。现在我们分享下一步进展:Brain2Qwerty v2,这是性能最高的端到端流程,能够从非侵入式大脑记录中实时解码句子,接近此前仅需脑外科手术的技术才能达到的准确率水平。
为帮助加速神经科学突破,我们发布了 Brain2Qwerty v1 和 v2 的完整训练代码,我们的合作伙伴巴斯克认知、大脑与语言中心(BCBL)正在发布 v1 数据集。我们相信这项研究有可能为
我们在约 22,000 个句子、九名志愿者参与者上训练了 Brain2Qwerty v2,每名参与者在佩戴脑磁图(MEG)设备并主动打字的情况下被记录了 10 小时。我们不再依赖手工设计的流程来检测神经事件,而是使用端到端深度学习直接从原始大脑信号中解码。
在神经数据上微调大型语言模型使系统能够利用语义上下文,弥合嘈杂的大脑记录与连贯语言之间的差距。我们还部署了 AI 智能体来探索解码流程的优化,最终训练配置由工程师手动选择。
结果:Brain2Qwerty v2 从嘈杂的神经输入中连贯地恢复句子,实现了 61% 的词准确率,显著优于 其他非侵入式方法 的 8% 词准确率。对于我们表现最好的参与者,我们实现了 78% 的词准确率,其中超过一半的句子解码错误不超过一个词。
我们还发现,解码准确率随数据量呈对数线性提升,这表明与外科手术方法之间的剩余性能差距可能仅通过数据扩展就能进一步缩小。这项工作有助于我们构建开放的大脑基础模型,包括我们的 Tribev2 模型 用于感知编码,
