跳到正文
OpenReview · Representation learning·· 2025-11-04精选AI 评分77

表征不变性与分配:子群体平衡何时重要

Representation Invariance and Allocation: When Subgroup Balance Matters

AI 导读

基于摘要分析。本文研究人口统计子群体在训练数据中的占比如何影响模型的群体泛化表现,核心贡献是提出 latent separation hypothesis:部分微调模型对各子群体训练数据占比的依赖,取决于预训练模型潜在表征中这些子群体的分离程度。研究对象是视觉与语言模型,并非 EEG 或 BCI。 作者通过改变训练数据组成,在四个视觉与语言模型上系统考察子群体表现对数据配比的敏感性。其研究动机是:已有经验结果并不总支持“子群体均衡最优”,某些情况下不均衡配比反而有利,或训练时缺少某一子群体也不影响该群体表现。作者报告对所提假设进行了形式化、理论分析和实证验证,并展示了利用潜在子群体分离的定量分析辅助基础模型微调数据收集与平衡决策的应用;摘要未提供具体效应量或评估指标。 该工作的关键是把数据配比问题与预训练表征结构联系起来,而不是仅按群体样本数决定是否平衡。分离程度的计算方式、部分微调的参数范围、数据集与群体定义、样本总量控制、评估划分及对照设置均尚未验证;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若预训练 EEG 表征中的人口统计子群体结构也能预测微调对样本配比的敏感性,该思路可能辅助跨被试数据采集。可复用的是表征诊断与配比对照框架,需改造群体定义和 EEG 表征提取方式。低信噪比、设备或通道差异及小样本可能使分离度主要反映采集混杂。小规模可证伪实验可在固定训练总量和独立被试测试集的条件下改变子群体配比,检验预训练分离度能否预测各群体性能变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将预训练表征中的子群体分离程度与微调数据配比联系起来的可检验假设,但具体测量方法、适用边界及对 EEG 的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net