跳到正文
10月6日周二
  1. arXiv · 其他神经模态69

    使用 CLIP 损失从 fNIRS 重建单个词的语义:初步探索

    基于摘要分析。该研究关注如何将 fNIRS 信号映射到词嵌入空间,以重建感知词的语义,而不只是从固定词表中分类选择。作者以基于 CLIP 的对比损失替代均方误差(MSE),考察训练目标是否能改善单词语义重建。 方法上,研究训练双向长短期记忆网络(Bi-LSTM),将 fNIRS 信号映射到 GloVe-50 或 T5 词嵌入,并比较两种损失。作者指出,常用平方误差目标独立拟合每个词,未充分考虑嵌入空间的几何关系;对比目标旨在利用这种关系。摘要未提供对比损失的具体公式、正负样本构造、温度设置或 T5 词嵌入提取方式,相关实现尚未验证。 评估使用三个 fNIRS 数据集,均采用将词图像与其口语名称配对的共同实验范式。指标包括配对匹配分数与开放词汇 top-k 检索。作者报告,使用 CLIP 损失训练的 Bi-LSTM 在各项实验中表现最一致;T5 获得更高的匹配分数,而所有达到统计显著性的检索结果均使用 GloVe-50。这提示配对匹配与开放词汇检索可能呈现不同的嵌入选择偏好,不能将二者视为同一能力或互换指标。 摘要未给出数据集名称、被试数、数据划分、被试内或跨被试评估协议、检索候选集合、具体分数及显著性检验细节;实验协议、消融及统计信息尚未验证。复现时需重点核对训练与测试词是否重叠、检索候选范围以及两种损失的训练条件是否一致。作者将对比目标定位为 fNIRS 语义解码的有前景方向,并提出在更大数据集上验证;当前材料不足以认定其已具备稳定的跨被试或开放词汇泛化能力。