跳到正文
OpenReview · Representation learning·· 2026-09-14精选AI 评分78

何时值得启用第二种表示?面向序列学习的信息波粒二象性

WHEN IS A SECOND REPRESENTATION WORTH ACTIVATING? INFORMATION WAVE–PARTICLE DUALITY FOR SEQUENTIAL LEARNING

AI 导读

基于摘要分析。本文研究有限模型容量下,增加一种表示何时真正有益,提出 Information Wave–Particle Duality(IWPD),将分布式频谱 Wave 视图与局部化 Packet 视图视为同一已观测历史的两种有损表示。核心贡献是把额外表示的信息价值、模型逼近负担与表示成本联系起来,而非默认多视图融合总是更好。 理论上,在 Bayes 对数损失下,给定已有视图后加入另一视图的上下文相关价值,恰好对应具有方向性的条件互信息。对于受限预测器,作者推导有限容量分解,指出总体分布上的正信息增益仍可能被逼近负担抵消,并在加入表示成本后得到显式激活规则。实现上,Wave 分支采用受约束的最大熵频谱先验,选择器仅依据历史信息预测 Base、Wave、Packet、Dual 四种动作的任务风险;具体网络、风险估计训练方式及成本定义尚未验证。 作者报告,在五个数据集上的实验不支持 Dual 普遍占优。在相同输入、相同数据划分的四动作轨迹预测协议下,历史信息选择器在 highD/NGSIM 的全部 12 个预测时域条件中,五个随机种子的平均 ADE 均低于各条件下最佳固定动作。该结论限于上述协议,不能外推为所有任务上优于固定表示;作者也明确保留该设置之外的失败情形。数据划分细节、ADE 数值与单位、消融及统计信息尚未验证。 平台推测(待验证):若将频谱与局部时序视图用于 EEG,IWPD 的风险选择框架可能对应“何时融合频域与瞬态信息”的问题。可复用的是带成本的动作选择思路,需改造信号编码器与任务风险估计。假设其适用性依赖两类表示具有互补信息,且小数据足以训练可靠选择器;低信噪比、通道变化与跨被试分布偏移可能使风险估计失准。可在固定的 EEG 跨被试划分下,以相同输入和容量约束比较四种固定动作与历史信息选择器,检验选择器能否稳定超过验证集确定的最佳固定动作。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其有限容量下的表示激活判据,以及相同输入、相同划分的四动作对照协议;作者保留融合失效情形,但其对 EEG 多表示选择的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net