Beyond I-Con：表示学习损失函数发现路线图

基于摘要分析。该研究探讨表示学习中以 KL 散度为基础的损失是否与任务目标匹配，并提出 Beyond I-Con，通过探索替代统计散度，系统发现新的损失函数。其核心贡献是将散度选择作为可独立考察的设计因素，并在聚类、监督对比学习和降维中展示其用途。 机制方面，摘要指出，Information Contrastive（I-Con）框架将超过 23 种表示学习方法解释为：隐式最小化编码数据点相似关系的数据分布与学习分布之间的 KL 散度。作者认为，KL 的非对称性与无界性可能带来优化挑战，且其目标未必与实际任务一致；Beyond I-Con 因而探索替代散度，而非默认沿用 KL。具体分布构造、损失表达式与优化实现尚未验证。 作者报告：在 DINO-ViT embeddings 的无监督聚类中，将 PMI 算法改为使用 total variation（TV）距离，取得其所称的最先进结果；在以 Euclidean distance 为特征空间度量的监督对比学习中，以 Jensen-Shannon divergence（JSD）替换标准损失后获得改善；在降维中，以有界 f-divergence 替换 KL，相比 SNE 获得更好的定性结果与下游任务表现。摘要未提供具体数据集、数值指标、划分及完整对照条件，以上结论不能据此量化或跨协议比较；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 表示学习同样通过样本间相似关系构造分布，则替代散度可能用于检验低信噪比条件下损失对异常相似关系的敏感性。可复用的是散度替换思路，需改造和验证的是 EEG 相似关系定义及其归一化；低信噪比、跨被试差异、通道变化与小数据条件都可能使这些关系不稳定。一个可证伪的小实验是在固定 EEG 编码器、样本配对规则、训练预算及 Cross-subject 划分下，仅替换散度，比较预先指定的下游指标与多次运行波动。该方案是假设，不代表已证实的 BCI 效果；已有 EEG 相关工作尚未检索确认。