跳到正文
只看表征与基础模型#Contrastive Learning
10月7日周三
  1. arXiv · EEG 与神经表征77

    跨模态对齐中的被试规模扩展：利用 EEG 基础模型进行视频解码

    基于摘要分析。研究考察自然视觉 EEG 解码是否受益于扩大训练被试规模，并通过 EEG–视频跨模态对比编码器比较基础模型初始化与随机初始化的扩展表现。核心贡献是提出被试规模收益可能存在起点：小规模队列中的有限增益，不一定能代表更大队列的扩展规律。 方法与对照：研究利用共享自然视觉刺激进行 EEG–视频对齐，训练队列规模比既有相关研究大一个数量级以上。摘要列出的评估包括需要拟合的刺激特征探针，以及无需拟合的电影时刻检索；初始化对照包括 EEG 基础模型与两个深度的随机初始化编码器。具体基础模型名称、对比损失、视频表征方式、网络结构与各规模阶梯尚未验证。 作者报告，在其被试规模阶梯中，S≈50 以下，各模型相对未训练编码器均无明显改善；超过这一范围后，两类评估的解码表现随被试数呈对数线性增长，在所测试的最高规模处未见饱和，且收益迁移到第二部未见电影。作者还报告，基础模型初始化编码器在队列每翻倍时的扩展速率约为随机初始化对照的 1.6 倍，是最高规模处唯一仍能通过增加被试提高检索 Accuracy 的模型，并以较少的对齐计算量收敛。摘要未给出绝对 Accuracy、最高被试数、计算量或统计不确定性，不能将该速率比解释为准确率提高 1.6 倍。 证据边界与复现重点：需核对训练和评估的被试划分、时间片段划分、电影间迁移设置，以及共享刺激条件下候选检索集合与未训练基线的定义。摘要不足以确定结果属于何种 Cross-subject 或 Cross-session 协议，也不能将未见电影迁移直接等同于 Cross-dataset 泛化。实验协议、消融及统计信息尚未验证。作者将共享自然刺激上的被试扩展视为尚未饱和的方向，但这一结论仅适用于已测试规模与任务，尚不能外推到任意 EEG 数据或其他 BCI 范式。

    阅读价值：值得核对其被试规模阶梯与评估划分，以检验共享自然视觉刺激下被试扩增的收益起点，以及 EEG 基础模型初始化相对随机初始化的扩展效率优势。

10月3日周六
  1. arXiv · 表征与预训练76

    通过表征多样性与多分支架构扩展无线基础模型

    基于摘要分析。该研究关注预训练数据有限时，扩大无线基础模型容量未必稳定改善下游表现的问题，提出将自监督目标多样性作为另一条扩展路径：通过组合重建、预测与对比学习所强调的不同信号属性，支持多种下游任务。 方法包含两个阶段：首先融合由不同目标独立训练的编码器所产生的冻结表征，以检验目标互补性的收益，但这需要维护多个编码器；随后设计联合训练的多分支架构，以共享主干和目标专属分支，在标准单目标编码器的参数预算内保留多目标收益。摘要未给出具体损失、融合方式、分支结构及训练配比。 作者在包含 spectrogram 与 channel state information 的异构语料上预训练，并评估覆盖通信、感知和定位的六项下游任务。作者报告，在输出嵌入维度相同的条件下，融合方法在全部六项任务上优于所评估的单目标编码器，参数量约为其三分之一；这一参数比例的统计口径需查阅全文核对。作者报告，多分支架构在单编码器参数预算内保留了大部分融合收益。表征分析显示不同目标具有互补贡献，新增收益中相当一部分保留于与重建表征子空间正交的成分。具体数据集、划分、指标、对照配置、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，重建、预测与对比目标可能分别保留 EEG 中不同的时频和判别信息，为有限数据下单一预训练目标的信息偏向提供补充。可复用的是共享主干、目标专属分支及表征互补性分析；需改造的是 EEG 输入表征、预测任务和对比样本构造，并确认所用无标签数据规模足以支撑联合训练。低信噪比可能使重建目标保留伪迹，跨被试及通道差异可能引入非任务信息，小数据下也可能出现目标冲突。可检验的小实验是在固定 EEG 数据划分、参数预算、嵌入维度及下游评估协议下，比较单目标编码器与多目标多分支模型，并检验增益是否伴随互补表征，而非仅来自训练投入变化。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过冻结表征融合与共享主干多分支架构两条路径检验自监督目标多样性的价值，值得核对其参数统计、任务评估与表征互补性分析，但迁移至 EEG 的收益尚未验证。

10月2日周五
  1. arXiv · 表征与预训练80

    利用非平稳性学习具有瞬时与滞后关系的因果表征

    基于摘要分析。研究针对时间序列中潜在状态及其因果关系的识别问题，同时考虑跨观测间隔的滞后关系与间隔内较快作用表现出的瞬时关系。作者提出相应的可识别性充分条件，并据此构建 iCReN，通过非平稳信息与对比学习学习潜在表征、估计两类因果结构。 核心机制是利用与转移噪声分布变化相关的可观测辅助变量，例如时间或条件标签。作者给出的理论识别范围为：潜在状态可识别至分量置换及逐分量可逆变换，瞬时与滞后因果结构可识别至同一分量置换。iCReN 支持离散或连续辅助变量；但充分条件的具体假设、对比目标、结构估计步骤及训练与推理流程尚未验证。这里的“瞬时”关系指观测间隔内较快作用的表征，不应直接理解为物理上零延迟的作用。 作者报告，在合成数据实验中能够准确恢复潜在状态及瞬时、滞后因果结构，并在真实数据的下游预测任务中展示所学表征的用途。摘要未提供数据集、样本规模、划分、对照方法或指标数值，实验协议、消融及统计信息尚未验证，因而不能据此量化优势或判断其在具体 BCI 任务中的效果。 平台推测（待验证）：假设 EEG 中存在与时间或实验条件相关、且满足理论要求的潜在转移噪声变化，该机制可能为非平稳 EEG 的潜在动力学建模提供参考。可考虑复用辅助变量驱动的对比表征学习与时序结构估计思路，但需适配 EEG 的观测混合、采样间隔和通道结构；跨被试差异、低信噪比及小数据可能妨碍识别，条件标签也不必然满足理论假设。一个可证伪的小实验是在具有已知潜在因果结构、可控噪声分布变化及 EEG 式观测混合的合成数据上，对照保留与打乱辅助变量的恢复结果，并逐步降低信噪比、减少通道，检验其适用边界。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是其将非平稳性作为识别潜在状态及瞬时、滞后因果结构的信息来源，并提出对应的 iCReN 学习框架；理论条件与 EEG 数据的适配性尚未验证。