OpenReview · EEG·· 2025-02-14精选AI 评分72
重新审视脑到文本解码的跨被试数据划分
Rethinking Cross-Subject Data Splitting for Brain-to-Text Decoding
AI 导读
基于摘要分析。该研究关注利用非侵入式 fMRI 和 EEG 信号进行跨被试脑到文本解码时,数据划分是否导致解码能力被高估。作者提出新的跨被试数据划分准则,并据此重新评估部分已有先进模型,核心贡献在于评估协议,而非新的解码模型。 作者报告,其考察的现有划分方法存在验证集和测试集数据泄漏至训练集的问题,并认为这导致显著过拟合及性能高估。摘要使用了“所有现有划分方法”的表述,但未交代所覆盖的方法范围、泄漏的数据单位或具体证据,因此这一广泛结论尚需核对正文,不能据摘要直接认定所有跨被试研究均存在泄漏。 作者将所提准则描述为无数据泄漏,并应用于 fMRI 与 EEG 到文本解码的重新评估。摘要未说明该准则如何约束被试、文本刺激、试次或其他数据单元之间的重叠,也未列出数据集、被试数、模型名称、指标及性能变化,因而目前无法判断其具体适用范围,或区分不同划分协议下的性能差异。 复现时应重点核对原始划分与新准则的完整定义、训练与评估数据的独立性条件,以及重评估是否保持模型训练和指标计算条件一致。上述事项是待核查内容,并非已确认的实验缺陷;实验协议、消融及统计信息尚未验证。
阅读价值
该研究值得用于核查跨被试脑到文本解码的评估可信度:作者提出无数据泄漏的划分准则并重新评估已有模型,但泄漏判定依据、协议细节及性能变化仍需全文验证。
来源:OpenReview · EEG · openreview.net