跳到正文
OpenReview · Representation learning·· 21 天前精选AI 评分76

StimEM:用于眼动表征学习的刺激条件化掩码建模

StimEM: Stimulus-Conditioned Masked Modeling for Eye-Movement Representation Learning

AI 导读

基于摘要分析。StimEM 面向眼动数据的表征学习,针对手工指标和任务专用监督模型受训练数据与模型容量限制的问题,提出结合眼动离散化、外部刺激条件与自监督掩码建模的眼动基础模型。其主要研究对象是刺激驱动的眼动记录,而非 EEG 或 BCI 解码。 方法分为两个阶段:首先使用 finite scalar quantization 学习眼动 tokenizer,联合优化波形重建与信息性行为特征预测,以保留局部信号结构及与认知相关的试次级信息;随后预训练刺激条件化 transformer,预测被掩码的 token。结构化注意力用于建模眼动响应内部的依赖及其与外部刺激的关系,多尺度掩码则促进局部动态和较长时间范围结构的学习。摘要未说明刺激的表示方式、行为特征定义、损失权重或具体注意力结构。 作者报告,在涵盖多个认知任务、约 500 小时的刺激驱动眼动记录上预训练后,StimEM 在六项认知评估相关下游任务上达到 state-of-the-art。摘要未提供任务名称、指标数值、对照基线、被试内或跨被试划分,因此不能据此量化优势,也不能将其泛化结论直接等同于跨被试、跨会话或跨数据集有效。实验协议、消融及统计信息尚未验证,代码与模型权重的可得性亦尚未验证。 平台推测(待验证):其明确的潜在迁移路径是利用外部刺激条件帮助学习事件相关 EEG 表征,但这依赖刺激与信号的可靠时间对齐及适当的行为监督。刺激条件化与多尺度掩码机制可作为候选模块;tokenizer、重建目标及多通道表示需针对 EEG 改造。低信噪比、通道差异、跨被试变化和小数据训练均可能削弱收益。一个可检验的小实验是在固定数据划分和下游模型下,对照真实刺激条件、无刺激条件与打乱刺激条件的掩码预训练,检验收益是否确实来自刺激—响应关系。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 StimEM 如何通过行为特征辅助的眼动离散化与刺激条件化掩码预测学习认知相关表征;作者报告的下游优势及其向 EEG 的迁移价值仍需分别验证。

来源:OpenReview · Representation learning · openreview.net