随着脑机接口(BCI)技术的不断进步,Meta AI最新发布的Brain2Qwerty模型为该领域注入了新的活力。BCI技术旨在为言语或运动障碍人士提供沟通手段,然而,传统的侵入性手术方法,如电极植入,存在医疗风险,且维护成本高。因此,研究人员开始寻求非侵入性解决方案,尤其是基于脑电图(EEG)的方法。然而,EEG技术面临着信号分辨率低的问题,这影响了其准确性。
图源备注:图片由AI生成,图片授权服务商Midjourney
Brain2Qwerty模型的推出旨在解决这一难题。该深度学习模型能够从EEG或脑磁共振成像(MEG)捕捉到的脑活动中解码出参与者的输入句子。在研究中,参与者通过QWERTY键盘输入记忆中的句子,同时其脑活动被实时记录。Brain2Qwerty利用了自然的打字动作,提供了一种直观的脑电波解读方法,与以往需要集中注意力在外部刺激或想象运动的方法相比,更具优势。
Brain2Qwerty的架构主要由三个模块组成。首先是卷积模块,负责提取EEG或MEG信号中的时间和空间特征。其次是变换器模块,它处理输入的序列,优化理解和表达。最后是语言模型模块,它是一个预训练的字符级语言模型,用于修正和提升解码结果的准确性。
在评估Brain2Qwerty性能时,研究者采用字符错误率(CER)作为衡量标准。结果显示,基于EEG的解码CER为67%,相对较高;而使用MEG的解码效果则显著改善,CER降低至32%。在实验中,表现最好的参与者达到了19%的CER,显示了该模型在理想条件下的潜力。
尽管Brain2Qwerty在非侵入性BCI领域展现了积极的前景,但仍面临一些挑战。首先,当前模型需要处理完整句子,而不是逐个按键进行实时解码。其次,虽然MEG的性能优于EEG,但其设备尚不便携且普及性不足。最后,本研究主要在健康参与者中进行,未来需要进一步研究其对运动或言语障碍者的适用性。
论文链接:https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/
划重点:
🧠 Meta AI推出的Brain2Qwerty模型能通过EEG和MEG解码打字内容,为BCI技术带来新希望。
📊 研究结果显示,使用MEG解码的字符错误率显著低于EEG,最优参与者达19%的CER。
🔍 未来的挑战包括实时解码、MEG设备的可及性以及在有障碍人士中的应用效果。
暂无评论