PEER pressure:用于单源域泛化的模型间正则化
PEER pressure: Model-to-Model Regularization for Single Source Domain Generalization
基于摘要分析。本文研究单源域泛化(sDG)中数据增强方法的目标域性能随训练波动、从而增加模型选择难度的问题,提出 Parameter-Space Ensemble with Entropy Regularization(PEER),通过代理模型学习增强数据,再以参数平均更新主模型,以期逐步积累不同增强带来的知识。 机制上,作者将性能波动归因于模型难以积累多样增强中的知识,并认为这一过程会加剧特征失真。PEER 将增强数据的学习交给代理模型,主模型通过与代理模型进行参数平均更新;同时最大化两个模型输出表征之间的互信息,引导代理模型学习并缓解特征失真。摘要未给出互信息估计、具体损失形式、参数平均规则及更新时序,尚不能据此还原实现。 作者报告,在 PACS、Digits、Office-Home 和 VLCS 的单源域泛化评估中,PEER 能降低分布外(OOD)性能波动并改善泛化;作者还称,使用简单随机增强即可超过采用复杂增强策略的既有 sDG 方法。摘要未提供具体指标、数值、源域与目标域配置或模型选择细节,因此这些结论仍需结合全文核对;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,参数空间的渐进积累可能缓解 EEG 单源训练中由增强引起的表征不稳定。原方法依赖增强样本以及可进行参数平均的主模型与代理模型;迁移至 EEG 时可复用双模型更新机制,但需重新验证增强是否保持任务标签语义,并调整输入编码与训练配置。低信噪比、跨被试差异、通道不一致和小数据可能使代理模型积累增强伪特征,参数平均也未必带来稳定收益。一个可证伪的小实验是在固定单源被试、未见目标被试且不使用目标标签选择模型的协议下,对比普通增强训练与 PEER,并消融参数平均和互信息约束,分别检查目标性能及训练波动。已有 EEG 相关工作尚未检索确认。
值得关注其以代理模型、参数空间平均和输出互信息约束缓解单源域泛化训练波动的机制,但模型选择协议、各模块贡献及 EEG 适用性仍需验证。
来源:OpenReview · State space models · openreview.net