跳到正文
只看学习与优化#撤回
9月23日周六
  1. OpenReview · Representation learning74

    方差–协方差正则化改善表征学习

    本研究针对监督预训练可能优先学习降低源任务损失的特征、从而限制特征迁移性的问题，将自监督方法 VICReg 中的正则化技术引入监督学习，提出 Variance-Covariance Regularization（VCReg）。基于摘要分析，未取得论文全文。 核心机制是鼓励网络学习高方差、低协方差的表征，以促进更丰富的特征学习。作者介绍了在不同网络架构中实施该正则化的实践建议，并提出针对中间表征的优化正则化策略；具体损失形式、约束作用位置、权重设置及训练流程尚未验证。 作者报告，VCReg 在所评估的多项任务和数据集上改善了迁移学习表现，也改善了长尾学习与层级分类表现。摘要未提供具体数据集、划分、对照基线、指标或数值，因此不能判断收益幅度及适用边界。作者的分析提示，其效果可能与缓解 gradient starvation 和 neural collapse 有关；这属于机制解释，不能据摘要视为已确立的因果结论。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 监督预训练也存在表征过度依赖源任务判别特征的问题，VCReg 的表征约束可能值得迁移评估。可复用部分是对中间表征的方差与协方差正则化；需改造部分包括 EEG 编码器中的作用位置、时间维与通道维的表征组织，以及适应小批量训练的统计估计。该机制依赖批内表征统计，低信噪比可能使高方差约束保留噪声，跨被试差异可能强化身份相关特征，小数据与通道差异也可能削弱约束稳定性。 一个可检验的小实验是在固定 EEG 编码器、训练数据和 Cross-subject 划分下，对比不加 VCReg 与加入 VCReg 的监督预训练，并在相同目标被试适配条件下评估迁移表现及表征统计，检查收益是否跨划分稳定。此方案仅为假设检验建议，已有 EEG 相关工作尚未检索确认。

9月19日周二
  1. OpenReview · Representation learning77

    基于拓扑的深度回归表征学习

    基于摘要分析。该研究关注信息瓶颈（IB）原则如何指导回归表征学习，强调回归所需的特征连续性及相对于目标的有序性不同于分类的类别分离。作者建立 IB 与特征空间拓扑的两项联系，并提出正则项 PH-Reg，旨在降低特征空间的内在维度，同时保持目标空间的拓扑。 第一项联系涉及表征复杂度：作者指出，较低的特征空间内在维度意味着较低的表征 Z 复杂度，并以给定目标 Y 时 Z 的条件熵量化这种复杂度；作者报告，该量可作为泛化误差的上界。第二项联系强调特征空间与目标空间的拓扑相似性，认为这种一致性有助于符合 IB 原则。具体的理论假设、上界形式、拓扑度量及 PH-Reg 的计算方式尚未验证，不能仅凭摘要确定其损失实现或计算成本。 作者报告，PH-Reg 在合成与真实世界回归任务中带来收益。摘要未提供任务名称、数据集、划分、对照基线或指标数值，因此无法判断收益大小及适用范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 连续变量回归的目标空间具有可利用的连续、有序结构，PH-Reg 可能为表征约束提供思路，而非直接用于 MI 等离散分类任务。该迁移假设依赖可靠的连续监督及目标拓扑；可尝试复用正则化思想，但需适配 EEG 编码器、目标尺度与跨被试差异。低信噪比、标签噪声、小数据或多维目标可能使拓扑估计不稳定，也可能令降维约束丢弃有效信息。一个可检验的小实验是在固定 EEG 回归模型与 Cross-subject 划分下，对比加入和不加入 PH-Reg 的回归误差与表征拓扑一致性。该实验是平台建议，并非论文已验证结果；已有 EEG 相关工作尚未检索确认。

  2. OpenReview · Representation learning68

    教师引导的图表征学习框架

    基于摘要分析。本文研究 GNNs 的无监督表征学习，提出 Teacher-guided Graph Contrastive Learning（TGCL），以教师—学生框架引入软标签，让学生通过蒸馏教师表征学习图表示，旨在改善传统图对比学习中硬标签判别的正则化。 机制与贡献：作者指出，部分 Contrastive Learning（CL）方法将图对视为同等的正样本或负样本，其目标可表述为使用硬标签的监督判别任务。研究受到监督学习中以 Bayesian 方式使用软标签可降低判别风险方差的观察启发：教师网络使用无标签图训练，学生蒸馏其产生的表征。摘要未说明软标签的具体构造、教师训练目标、蒸馏损失及图增强策略，不能据此认定 TGCL 已验证风险方差降低。 结果与证据边界：作者报告，该框架可适配现有 CL 方法，并在多种下游任务上改善性能。摘要未提供任务名称、数据集、划分、基线或指标数值，适配范围与改善幅度尚未验证；实验协议、消融及统计信息也尚未验证。 平台推测（待验证）：若 EEG 被表示为通道或功能连接图，软标签与教师表征蒸馏可能缓解二元图对关系过于粗糙的问题。可复用部分是教师—学生训练思路，需改造部分包括 EEG 图构建、时序编码及增强策略。该假设依赖足够的无标签图与可靠教师表征；低信噪比、跨被试差异、通道变化及小数据可能使教师偏差被蒸馏放大。一个可检验的小实验是在固定 EEG 图构建与 Cross-subject 划分下，对照同一图编码器的硬标签 CL 与 TGCL，保持训练数据和下游标签预算一致，比较预先指定的分类指标。已有 EEG 相关工作尚未检索确认。