通过模块化组合偏置进行解耦表征学习
Disentangled Representation Learning via Modular Compositional Bias
基于摘要分析。本文研究图像中属性、对象及其共存情形的解耦表征学习,提出模块化组合偏置(compositional bias):通过调整潜变量的重混合规则表达不同因素的组合结构,而不必随因素类型改变学习目标或模型架构。 核心机制是把因素在数据分布中的“重组规则”转化为混合策略。摘要将全局属性描述为具有互斥取值,将对象描述为允许不同子集共存;方法据此随机重混合潜变量,并结合两类目标学习表征:prior loss 要求重混合结果能解码为真实感图像;引用 Wiedemer 等人工作的 compositional consistency loss,使组合图像与对应的组合潜变量保持一致。其方法区别在于将因素相关的归纳偏置集中到混合策略中,而不是为属性和对象分别设计目标或架构。 作者报告,在摘要所述的属性与对象解耦实验中,该方法具有竞争力,并声称能够联合解耦全局风格与对象。摘要未提供数据集、划分、评价指标、基线及具体分数,实验协议、消融及统计信息尚未验证;不能据此判断不同因素设置下的优势幅度。摘要提供了代码地址,但实现与复现条件尚未核对。 平台推测(待验证):若 EEG 的被试风格与任务相关因素能够近似分离,潜变量重混合及组合一致性约束可能用于检验跨被试表征中的因素纠缠;可复用的是混合策略与一致性学习思路,图像解码器及真实感约束则需改造为适合 EEG 时序和生理结构的形式。该假设依赖因素可重组且重组后信号仍合理,低信噪比、被试与任务因素耦合、通道差异及小数据均可能使其失效。一个可证伪的小实验是在固定跨被试划分和相同架构下,对比有无因素特定混合策略时的任务表现与被试信息可预测性;若降低被试信息同时损害任务信息,则不支持预期迁移价值。相关 EEG 工作尚未检索确认。
值得关注其以潜变量重混合规则承载归纳偏置、而非针对每类因素重设目标或架构的机制,但联合解耦优势及其向 EEG 的适用性尚待验证。
来源:OpenReview · Representation learning · openreview.net