跳到正文
arXiv · 多模态与生成机制· Peilin Wang; Feng Shiyang; Hongfu Gao; Cencheng Zhao; Di Yuan; Hui Chen; Guiguang Ding·· 7 天前精选AI 评分78

递归计算中应保留什么:局部预测充分性原则

What to Preserve in Recursive Computation: A Local Predictive Sufficiency Principle

AI 导读

基于摘要分析。本文研究递归计算中间状态被反复压缩或复用时,如何保留后续预测所需的信息,提出局部预测充分性原则,并将其转化为约束优化器更新的训练程序。作者认为,重建或局部预测目标虽便于监督,却不保证保留的信息足以支持后续递归计算。 机制上,作者将局部预测充分性与递归预测闭包联系起来:控制各接口的局部预测不足,可控制递归根节点处的预测差异。训练方法从变分刻画出发,构造有限预测检验及经验预测不足度,用于衡量压缩后保留的预测价值;再利用预测敏感度,为参数更新建立带裕量松弛的半空间约束。仅当宿主优化器提出的更新会违反预测保留要求时,才将该更新投影到约束交集。具体检验构造、约束可行性、投影代价及理论成立条件尚未验证。 作者报告,在 temporal graphs、language memory、vision-language-action control 和 recursive self-improvement 四类设置中,在匹配压缩预算的条件下,该方法达到或改善相应宿主模型的表现;递归或记忆需求更高时收益更大,并更好地保留连续变换中的预测信息。作者强调,各设置保持终端任务、骨干与评估协议固定,并采用兼容宿主模型的干预。摘要未提供数据集、指标、具体数值或数据划分,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型存在递归状态压缩或长时记忆更新,该原则可能用于约束压缩过程中的任务相关信息损失。可复用的是预测检验与更新投影思路;需改造的是 EEG 接口定义、预测目标和敏感度估计,其适用性依赖可获得的监督与足够稳定的预测检验。低信噪比、小样本、跨被试差异及通道变化可能使检验偏向噪声或被试特征。一个可证伪的小实验是在固定 EEG 任务、骨干、压缩预算及数据划分下,对比原优化器与约束更新,分别核对任务指标、接口预测信息保留和计算开销。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何将局部预测充分性转化为递归接口上的更新约束,以及在固定任务、骨干和评估协议下区分预测信息保留与一般优化收益;其对 EEG 的适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org