跳到正文
arXiv · 在线与高效推理· Syed Ibrahim Omer; Ginny Y. Wong; Xiangyu Zhao·· 3 天前精选AI 评分74

MaRK:用于状态空间模型动态算子条件化的马尔可夫适配循环核

MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models

AI 导读

基于摘要分析。本文研究如何让预训练 State Space Models(SSMs)适应迭代生成,而不只通过输入注入或激活调制提供条件信息。MaRK 将上下文向量直接映射为冻结 SSM 内部参数的有界调制,使条件信息能够改变模型的时序动力学与输入—输出记忆核。 机制上,MaRK 调制循环参数 A、读入参数 B、读出参数 C、跳连参数 D 和离散化参数 Δ。在 LPV-SSM 视角下,不同上下文对应不同的 Markov 参数序列,每个扩散时间步因而可形成不同的记忆核。作者在冻结的 111M 参数 Hydra SSM 骨干上实现 Hypernet、Chebyshev polynomial 与 Discrete Cosine Transform(DCT)三种适配器,通过低秩辅助映射改变算子,仅训练 6.3–11M 辅助参数,将双向目标适配至迭代扩散设置。有界循环参数化还给出针对调制后循环的解析 Affine Quadratic Stability 证书;该证书不应直接理解为生成质量保证。 作者报告,在假设匹配的合成 LPV 恢复实验中,MaRK 能恢复坐标不变的时序算子;Markov 算子诊断显示其形成了不同且稳定的时间步条件化记忆轮廓。在所述迭代扩散评估中,作者报告 Chebyshev、DCT 和 Hypernet 的平均验证损失分别为 2.55、2.59 和 3.77。摘要未明确该损失对应的任务、数据集、定义、划分及聚合方式,不能据此推断相对其他方法的优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 任务具有可利用的上下文条件,且存在合适的冻结 SSM 骨干,算子调制可能用于适配随被试或会话变化的时序动力学。可复用的是低秩适配与有界循环参数化,需改造的是 EEG 通道输入、上下文编码和任务输出。低信噪比、通道差异及小数据可能使上下文估计不稳,且生成任务收益不等于解码收益。可在固定 Cross-session 划分下,以同一冻结骨干比较算子调制与输入条件化,检验任务指标及调制后稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的具体原因是 MaRK 将条件信息直接作用于冻结 SSM 的时序算子,并提供有界循环参数化的稳定性证书;其验证损失优势及向 EEG 的迁移价值仍需结合全文协议核对。

来源:arXiv · 在线与高效推理 · arxiv.org