跳到正文
OpenReview · State space models·· 28 天前精选AI 评分80

Update Tomography:通过监督空间构建可复用学习记录

Update Tomography: Reusable Learning Records via Supervision Space

AI 导读

基于摘要分析。本文研究异构架构的参数更新无法在共享参数空间中直接比较的问题,提出 Update Tomography(UT),将不同架构的更新表示为同一监督对比量(supervision contrast)的线性测量,从监督空间中提取并复用学习事件的信息,而非直接迁移模型特定的参数变化。 核心理论是区分“恢复完整监督信息”与“确定目标更新”:即使测量不足以唯一识别完整监督,只要尚未消除的监督歧义不会影响目标更新,该目标更新仍可被唯一确定。这为无需参数对齐的跨架构更新构造提供了可辨识性条件;但监督对比量的具体定义、线性表示的适用假设及记录构造方式尚需全文核对。 作者报告,视觉与语言模型实验符合理论预测:在完整监督无法恢复时,只要保留目标所需的信息,UT 仍可复现直接监督学习。作者还报告,在原始模型已不可用、之后引入异构模型的设置下,学习信息仍可复用,连续十次学习事件的相对轨迹误差保持在 10⁻⁵ 量级。摘要未提供该误差对应的模型、数据集、划分、参照轨迹定义及聚合方式,不能据此推断任务性能等价;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码训练中的更新也满足其线性测量条件,UT 或可用于跨架构复用历史监督信息。可考虑保留监督空间记录与目标更新求解机制,但需适配 EEG 任务标签、输出空间及通道差异;低信噪比、跨被试分布变化和小数据可能使目标所需信息不足或求解不稳定。一个可证伪的小实验是:在固定 EEG 数据划分、相同任务标签和学习事件下,用一种架构的学习记录构造另一架构的更新,与直接监督更新比较轨迹误差和任务指标,并检验记录信息受限时的失效边界。以上不是已验证的 EEG/BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其目标更新可辨识条件及学习记录的保存方式:作者提出无需参数对齐即可跨架构复用更新信息,但摘要中的精确性与误差结果仍需结合完整实验协议验证。

来源:OpenReview · State space models · openreview.net