跳到正文
OpenReview · State space models· Mona Schirmer; Dan Zhang; Eric Nalisnick·· 2024-06-17精选AI 评分75

基于状态空间模型的测试时自适应

Test-Time Adaptation with State-Space Models

AI 导读

基于摘要分析。该研究面向部署后训练数据与测试数据分布不一致导致的性能衰减,提出一种概率状态空间模型,在无需测试标签的条件下推断随时间变化的类别原型,以动态分类头实现测试时自适应。 核心机制是学习分布偏移在模型最后一组隐藏特征上诱发的动态变化,并据此更新类别原型。作者将方法描述为轻量方案,仅修改模型最后的线性层。摘要未说明状态转移模型、观测模型、原型初始化、参数学习及推断过程的具体形式,因此不能进一步判断其计算开销或适应稳定性。 作者报告,在真实世界分布偏移与合成扰动实验中,该方法与需要反向传播及访问模型骨干的方法具有竞争力,尤其在小测试批次条件下表现突出。摘要未提供数据集、划分、对照方法名称、评价指标或具体数值;实验协议、消融及统计信息尚未验证。阅读全文时需重点核对漂移序列的构造方式、测试数据的处理顺序,以及小批次条件下各方法的可比性。 平台推测(待验证):若 EEG 特征中的跨会话或在线漂移可以由时间演化的类别原型近似,该机制可能用于低延迟、无标签的分类头适应。可复用部分是状态空间推断与原型更新框架;需改造或核对 EEG 特征表示、类别原型初始化及状态转移假设。低信噪比、跨被试差异、通道变化和有限校准数据可能使类别结构不稳定,突发漂移或类别比例变化也可能被误判为原型移动。一个可检验的小实验是在具有时间顺序的 EEG Cross-session 分类任务中固定骨干,比较冻结分类头与该动态分类头在相同小批次协议下的表现,并核对性能下降和更新稳定性。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

该研究通过概率状态空间模型推断随时间变化的类别原型,仅调整最后的线性层,值得核对其小测试批次表现及对分布漂移的建模假设;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net