Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.098 — 2026-10-10
NEWS 约 5 分钟

一个脑植入,同时读懂语言和手势

同一套脑机接口同时解码说话与手势,让文字之外的身体表达也能回来。

IMAGE — Fast Company · Co.Design

想象一次视频通话:你说“你好”,同时抬手挥了挥。对多数人,这是一个完整而自然的表达;对只能通过脑机接口逐字输出文字的瘫痪者,后半句话却常常消失——强调、指向和社交姿态都没有进入屏幕。

据 Fast Company 报道,UCSF 团队开发了一套由人工智能驱动的系统,用同一枚脑植入物同时识别使用者尝试说话和做手势时的神经信号,再把它们变成文字与数字化身的动作。报道援引发表于 Nature 的研究论文,并称这是首次用单个植入物同时读取这两类表达意图。不过,目前公开供稿只有这一篇二手报道;除下文注明来自 Nature Neuroscience 的补充材料外,效果与优先级判断都尚未得到多源交叉印证。

它读的不是“思想”

脑机接口(BCI)直接读取神经活动,把特定模式转换成电脑指令,从而绕过受损的肌肉或神经通路。它可以帮助使用者打字、移动光标或合成语音,但这不等于设备可以随意窥探脑中的念头。

这里被解码的是“尝试”:使用者按要求试图说出某个词,或试图完成某个动作;算法经过训练后,再把相应的神经模式映射到指定输出。它更像学习辨认一组事先约定的信号,而不是打开一段自由流动的内心独白。

编辑部补充材料显示,本研究使用的是硬膜下 ECoG 电极阵列——贴在大脑皮层表面记录电活动——而不是把微电极插进皮层组织的严格意义上的“皮层内植入”。两种方式都需要手术,也都绕不开植入安全和长期信号稳定性的问题。

难点不是同时开两个窗口

语言和动作看似是两条独立通道,实际并没有分得那么干净。Fast Company 转述称,与说话和手势相关的脑区存在部分重叠。于是,当两个解码器同时工作,一个通道的活动可能被另一个通道误认。

这很像一场线上会议:有人清嗓子,语音识别把它写进了会议纪要;有人说话,动作系统却误以为他正在发出控制指令。真正的问题不是能否分别识别两类信号,而是能否在自然交流中判断:现在该输出什么,哪个通道应该保持安静。

Nature Neuroscience 的补充材料给出了一个很直观的例子。系统早期只用“静止”样本训练时,手势解码器会把说话误判成动作,语音解码器也会犯相反的错误。在参与者 Bravo-1r 身上,跨模态误触发率一度达到 76%。团队随后把“正在说话”加入手势模型的反例,教它此时不要输出动作;同时对语音模型做相反训练。材料称,误触发率由此降到 0%。

换句话说,关键一步不是把两个模型并排接上电极,而是让它们学会分工,也学会在不属于自己的时刻闭嘴。

实验把仅说话、仅做手势和两者同时进行分开测试,并比较皮层表面信号的重叠情况

把不可见的动作还给对话

据 Nature Neuroscience 的材料,参与者 Bravo-1r 在 20 岁时因双侧脑桥卒中出现严重痉挛性四肢瘫痪和构音不能。构音不能指的是难以控制发声所需的肌肉,并不等于失去语言能力。他平时只能依靠残余头部动作,在电脑上逐字拼写。

实验中,他默默尝试说话,同时用很小、外界几乎看不见的幅度尝试其他动作。皮层表面的 ECoG 阵列仍捕捉到了相应信号。系统再通过个性化数字化身,把这些不可见的意图呈现为文字和身体动作。

这正是多模态交互的意义。“多模态”指系统同时处理语言、手势或表情等不同表达通道。文字可以传递一句话的字面内容,却很难完整替代挥手、指向或强调。数字化身若能同步恢复这些动作,提供的就不只是更快的输入工具,而是更接近面对面交谈的表达方式。

为什么这一步值得看

Fast Company 把这项工作称为首次由单个脑植入物同时解码语言与手势,并称现有 BCI 通常只能可靠处理其中一种。这个说法带有明显的优先级判断,而且供稿没有提供完整论文与同类研究对照,因此更稳妥的理解是:这项研究展示了同一套植入与算法联合处理两类意图的可能性。

它指向的产品方向也比“脑控打字”更宽。论文共同第一作者 Samantha Brosler 对 Fast Company 表示,团队的长期目标是建立“whole-body BCI”——一套能够恢复多种交流和运动能力的脑机接口。她还设想,解码出的语言与运动信号原则上可用于控制虚拟化身、其他辅助技术,甚至实体机器人替身。

这些仍是方向,不是已经完成的功能。但方向本身很重要:无障碍交互不必永远被压缩成一行文字或一个光标。它可以重新容纳语言与身体表达,让使用者不仅能够“说出内容”,也能选择怎样说、向哪里指,以及用什么动作回应另一个人。

局限与未知

  • 同时解码实验只有 2 名参与者,不能据此推断系统对更广泛人群同样有效。
  • Fast Company 明确提到系统目前只能处理较小词汇量,准确率也不完美;供稿未披露具体词汇规模、准确率、任务设置和对照数据。
  • 虚拟化身之外的辅助设备与机器人控制是研究者提出的潜在用途,并非材料已经证明的能力。长期植入的稳定性、安全性和实际使用体验,也没有在现有供稿中得到回答。

供稿材料 SOURCES — 1

← 返回 2026-10-10 · 设计板块