跳到正文
arXiv · 神经解码与侵入式接口· Xuan Wen; Yonghao Song; Yuhong Zhang; Guoliang Li; Tzyy-Ping Jung; Xiaorong Gao·· 6 天前精选AI 评分78

用语言教导神经解码器

Teaching neural decoders with language

AI 导读

基于摘要分析。该研究针对类别标签监督(CLS)未显式表达类别间关系的问题,提出 Language as Supervision(LaS):通过学习到的投影,将神经特征与自然语言类别描述对齐,并利用候选文本原型预测类别。其主要贡献是将语言描述用作神经解码的监督参照,同时支持对类别匹配结果的解释。 作者在头皮及颅内记录的视觉、运动和言语解码任务中,评估了七种编码器架构,并分别训练模型;这不等同于一个统一模型已实现跨任务或跨记录模态泛化。摘要未提供具体对齐损失、文本编码方式、投影结构及训练数据规模。 作者报告,相对于匹配的 CLS 基线,LaS 在言语解码中的 Accuracy 最高提高 17.15 个百分点;摘要未说明该最大增益对应的数据集、划分协议、编码器及基线绝对分数,因此不能视为所有任务的平均收益。作者还报告,其表征支持候选集复用,以及使用标签监督的被试与会话适应;这些结果不应解读为无监督或零样本适应。LaS 还支持 SSVEP 响应的有条件未见频率解码,但具体条件与未见频率划分尚未验证。 作者报告,正确的类别—描述对应关系有助于上述泛化,双侧归因可视化则展示神经信号与文本对同一类别匹配分数的贡献。复现时需重点核对文本描述的构造、候选集设置、适应阶段的标签使用及未见频率解码条件。数据集、被试数、实验协议、消融及统计信息尚未验证,归因可视化也不宜直接视为因果机制证据。

阅读价值

值得核对 LaS 相对匹配 CLS 基线的收益及其类别描述依赖性,尤其是候选集复用与有条件未见频率 SSVEP 解码的评估边界。

来源:arXiv · 神经解码与侵入式接口 · arxiv.org