跳到正文
OpenReview · Representation learning·· 2026-09-19精选AI 评分79

当等分约束损害关系学习:长尾分布下的容量–几何失配

When Equipartition Corrupts Relational Learning: Capacity–Geometry Mismatch under Long Tails

AI 导读

基于摘要分析。本文研究长尾数据下关系表征学习中的容量–几何失配:平衡最优传输通过要求潜在分量获得等量质量来防止塌缩,但这一约束可能不符合当前表征所支持的数据几何。作者提出 PACI,估计表征所支持的伪吸引域容量,并将其一致用于传输指派与关系构建。 核心机制是:不匹配的分量容量迫使样本跨越表征所支持的吸引域,改变传输指派,进而污染关系教师及蒸馏信号。作者给出理论刻画,并建立全样本库传输关系与优化时小批次教师之间的有限批量联系。摘要未提供容量估计公式、损失形式、更新流程及计算开销,具体实现尚未验证。 作者报告,PACI 在多个长尾基准上优于广泛的先进深度聚类方法,但摘要未列出数据集、划分、指标及数值。作者报告,受控容量扰动呈现了从容量失配到指派位移、再到教师污染的变化链条;干预实验进一步将指派位移识别为表征质量下降的主要路径,并与关系归一化效应区分。上述结论的具体训练条件、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 自监督聚类或关系蒸馏也使用等质量最优传输,且潜在状态呈长尾分布,容量匹配可能具有可复用价值;但原论文对象是通用长尾表征学习,并非 BCI。迁移需改造容量估计与关系构建,使其适应低信噪比、被试差异和通道变化;小数据下估计出的伪吸引域也可能主要反映伪迹或被试身份,而非任务结构。可在固定 EEG 数据划分、骨干与训练预算下,对照等容量和估计容量,并受控改变训练样本的不均衡程度,联合检查指派变化及下游任务指标。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将长尾容量失配、传输指派位移与关系教师污染串联起来的理论及干预证据,但 PACI 的具体实现和 EEG 迁移有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net