通过双 Transformer 相减进行序列解耦表征学习

基于摘要分析。本文研究如何将时序观测分解为时间不变的静态因素与随时间变化的动态因素，提出 DTS（Disentanglement by Dual-Transformer Subtraction），以双流 Transformer 差分构造静态—动态分离的架构归纳偏置，面向完全无监督的序列表征学习。 DTS 采用分层 U-Net 结构：每层包含不使用位置编码的静态流，以及使用位置编码的完整流，两者之差作为动态残差传入下一层。作者报告，各层静态编码在构造上满足置换不变性；在弱依赖假设下，其均值池化估计具有 O(1/√T) 的集中速率。需要区分置换不变性与语义解耦：前者约束对序列排列的响应，并不直接保证获得的因素就是目标语义上的静态属性。该理论结论的具体条件与适用范围尚需正文核对。 训练目标以重建为主，可选第二次处理过程，并至多加入一个协方差正则项；摘要未给出其具体计算形式。作者报告，在六个视频、语音及时序基准上，DTS 在完全无监督设置下取得了与强基线有竞争力的结果，并将框架描述为模态无关。具体数据集、指标、划分、基线配置、消融及统计信息尚未验证，不能据此推断其在 EEG 或 BCI 上有效。 平台推测（待验证）：若 EEG 序列同时含有相对稳定的被试或会话属性与变化的任务状态，双流差分可能提供一种分离思路。可复用双流与残差结构，但需改造通道表征和时间窗口；稳定因素未必是干扰，动态残差也可能主要包含噪声，低信噪比、跨被试通道差异及小数据均可能使解耦失效。一个可检验的小实验是在固定数据划分与相近模型容量下，对照 DTS 与普通重建式 Transformer，同时检查静态、动态编码中的被试身份和任务信息，并加入时间置乱检验其机制。已有 EEG 相关工作尚未检索确认。