跳到正文
OpenReview · Representation learning· Anissa Alloula; Charles Jones; Zuzanna Wakefield-Skórniewska; Francesco Quinzan; Bartlomiej Papiez·· 2025-09-20精选AI 评分78

表征不变性与分配:子群平衡何时重要

Representation Invariance and Allocation: When Subgroup Balance Matters

AI 导读

基于摘要分析。本文研究人口统计子群在训练数据中的配比如何影响模型对不同人群的泛化,核心贡献是提出 latent separation hypothesis:部分微调模型对子群代表性的依赖,取决于预训练模型潜在空间中各子群表征的分离程度。 研究动机是,均衡子群样本并不总能带来最佳子群表现。摘要援引的既有实证现象包括:某些不均衡配比可能改善子群表现,另一些情形下,即使训练时完全缺少某个子群,其表现也可能不受影响;这些现象并非均为本文的新实验结论。本文通过改变训练数据组成,在四个视觉与语言模型上系统考察子群表现对配比的敏感性,并对上述假设进行形式化与理论分析。 作者报告,实证结果支持该假设,且在基础模型微调应用中,量化潜在子群分离程度能够为数据收集和平衡决策提供依据。摘要未给出模型名称、数据集、子群定义、分离度指标、部分微调的具体范围或效果数值;实验协议、消融及统计信息尚未验证,不能据此判断该依据相较均衡采样等策略的实际收益。 平台推测(待验证):该机制可能用于研究 EEG 预训练模型在不同被试或人口统计子群间的微调数据分配,但不同被试不能直接等同于本文的人口统计子群。可复用的是“先量化预训练表征分离,再检验配比敏感性”的分析思路;需适配 EEG 表征及子群定义,并区分任务信息与噪声、设备或通道差异造成的分离。低信噪比与小样本可能使分离度估计不稳定。一个可证伪的小实验是在固定训练样本总量、微调范围及独立测试划分的前提下改变子群配比,检验初始分离度能否预测各子群表现的变化。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究以预训练表征中的子群分离程度解释部分微调对训练数据配比的敏感性,为判断何时需要平衡子群数据提供了可检验的假设,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net