跳到正文

算法、任务与模态

Tokenization 最新动态

Tokenization 研究索引;按可核对的标签归档,不以热度评价质量。

62 条精选近 30 天 23 条共收录 70 条

更新

精选归档 · 第 4 页

9月20日周三第 61–62 条
  1. OpenReview · EEG72

    BELT-2:面向多任务脑解码的 EEG—语言表征自举对齐

    BELT-2 研究如何将 EEG 表征与语言表征对齐,并连接大语言模型(LLMs)以支持多任务脑解码;核心方法结合 BPE 级对齐、多任务 EEG 编码器与 prefix-tuning。基于摘要分析,未取得论文全文。 技术机制方面,作者采用 byte pair encoding(BPE)级 EEG—语言对齐,并在 EEG 领域联合进行多任务训练与解码;随后利用 EEG 编码器的中间输出,通过 prefix-tuning 连接 LLMs。该设计将 EEG 表征学习与语言生成接口结合,但摘要未说明 EEG 与 BPE 单元的对应构造、对齐损失、多任务的具体组成、LLM 型号,以及训练时哪些模块冻结或更新,相关细节尚未验证。 结果方面,作者报告在 ZuCo 数据集上获得 BLEU-1 为 52.2% 的解码结果,但摘要未提供数据划分、被试内或跨被试协议及对照基线,因此不能据此判断跨被试泛化能力。作者还报告在其他翻译基准上提升 31%–162%,但未明确基准名称、指标、对照方法及提升的计算口径,不能将其解释为准确率或百分点提升。作者声称该方法能够从非侵入式脑信号解码连贯、可读的句子,并声称相关设计具有首次性;这些主张尚需正文与既有工作核对。 复现时需核对 EEG 预处理、EEG—文本配对方式、训练与测试划分、多任务监督来源,以及文本生成阶段是否使用额外文本条件。尤其应区分 EEG 提供的信息与 LLM 语言先验对生成质量的贡献;摘要不足以确定这一贡献分解。实验协议、消融及统计信息尚未验证。摘要称代码可通过匿名链接获取,但当前材料未给出该链接,代码可访问性与复现条件尚未验证。

    阅读价值:值得阅读的具体原因是 BELT-2 将 BPE 级 EEG—语言表征对齐、多任务训练与 LLM prefix-tuning 结合,可用于考察语言先验与 EEG 表征对文本解码的各自贡献,但其评估协议与提升幅度仍需全文核对。

1月1日周日
  1. OpenReview · Representation learning74

    CoBERT:通过代码表征学习进行自监督语音表征学习

    基于摘要分析。该研究面向语音表征学习,提出 Code BERT(CoBERT):将语音转为离散代码序列,再从原始语音的掩码视图预测代码表征,以构建自监督学习目标。其主要研究对象是语音,而非 EEG 或 BCI。 核心机制建立在语音可由有限语音单位及其离散代码表示的假设上。与教师和学生使用同一模态的既有自蒸馏方法不同,CoBERT 的预测目标来自另一种表征模态,即离散代码的表征,而输入仍是经过掩码处理的语音。摘要未明确代码生成方法、代码表征模型的训练方式、损失函数或掩码策略,这些技术细节尚未验证。 作者报告,CoBERT 在自动语音识别(ASR)任务上超过其所比较的近期最佳性能,并在 SUPERB speech translation(ST)任务上获得显著改善。摘要未提供 ASR 数据集、数据划分、对照模型、具体指标或数值,无法据此量化增益或判断不同协议下的可比性。作者声明已发布代码和模型;实现完整性、训练资源需求、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,以离散潜在代码表征代替原始波形重建目标,可能帮助 EEG 自监督学习减少对局部噪声的拟合。可复用的是“掩码连续信号输入—预测离散代码表征”的训练框架;需改造的是 EEG 分段、通道组织、代码生成及代码表征学习模块。关键风险在于 EEG 未必具有与语音单位对应的稳定有限代码结构,低信噪比、跨被试差异、通道变化和小数据规模可能使代码主要编码噪声或被试身份。 可检验的小实验是:在固定 EEG 数据划分、编码器和训练预算下,对比离散代码表征预测与连续信号重建的自监督目标,再用相同标注量进行 Cross-subject 运动想象分类评估,检验该目标是否改善跨被试表征。此建议不代表已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得关注其以离散代码表征作为语音掩码建模预测目标的跨模态自监督机制,但性能优势及向 EEG 表征学习迁移的可行性仍需核对全文与实验。