跳到正文
OpenReview · State space models· Anvith Thudi; Chris J. Maddison·· 2025-01-23精选AI 评分79

MixMax:通过最优数据混合实现函数空间中的分布鲁棒性

MixMax: Distributional Robustness in Function Space via Optimal Data Mixtures

AI 导读

基于摘要分析。本文研究模型如何在多个预先定义的群组或场景中改善最差组表现,针对 group distributionally robust optimization(group DRO)在参数非凸损失或非参数模型下的求解困难,提出 MixMax:将优化从参数空间转移到函数空间,再通过最优数据混合求解鲁棒学习问题。 理论机制方面,作者指出,有界函数空间中的 group DRO 满足一个极小极大定理;对于交叉熵和均方误差,极小极大意义下的最优混合分布可由一个简单的凸优化问题得到。在模型类具备通用函数逼近能力这一前提下,求解可分为凸优化与随后进行的常规风险最小化。该前提是理论结论的重要适用条件,不能直接视为任意有限容量模型都具有相同保证。摘要未提供混合分布的具体估计方式、优化实现或有限样本误差分析。 作者报告,在其所用实验设置下,MixMax 与标准 group DRO 基线持平或更优;在 ACSIncome 和 CelebA annotations 数据集的若干变体上,MixMax 改善了 XGBoost 相对于该模型唯一对照方法 data balancing 的表现。摘要未给出具体指标、数值、群组构造和数据划分,因此尚不能量化收益或判断不同设置间的可比性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制依赖预先定义的群组及可估计的监督风险,可能对应 EEG 中被试或会话间性能不均衡的问题。可复用的是群组混合权重优化与加权风险训练流程,需改造群组定义、EEG 特征或解码器,以及仅基于训练数据的风险估计。低信噪比、每组样本偏少和通道差异可能使最差组估计不稳定,有限模型容量也可能削弱理论前提。一个可检验的小实验是在固定 EEG 解码器与相同数据划分下,将训练被试作为群组,对比常规训练、data balancing、group DRO 与 MixMax,在独立测试数据上同时报告平均及最差组 Accuracy;若采用 Cross-subject 协议,还需检验对未见被试是否有效,而非把已定义群组的鲁棒性直接等同于域泛化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将 group DRO 分解为最优数据混合与风险最小化的理论条件及实现,尤其是非参数模型上的适用性;其对跨被试 EEG 最差组性能的价值尚未验证。

来源:OpenReview · State space models · openreview.net