跳到正文
OpenReview · Representation learning· Shenyu Lu; Junyi Chai; Xiaoqian Wang·· 2024-01-01精选AI 评分76

受 Neural Collapse 启发的面向 Min-max 公平性的去偏表征学习

Neural Collapse Inspired Debiased Representation Learning for Min-max Fairness

AI 导读

基于摘要分析。本文研究通用机器学习中的 Min-max 群体公平性,即优先改善表现最差群体的性能,而非仅缩小群体间的性能差距。作者借助 Neural Collapse 框架分析 ERM 训练,提出通过冻结分类器并配合两种损失函数,改善少数群体的表征可分性;主要研究对象并非 EEG 或 BCI。 机制上,作者采用 layer-peeled model,将网络分为学习潜在表征的编码器与后续分类器,分别考察其训练行为。作者报告,在所分析的设置下,分类器已达到最大分离,但表征的可分性仍不足,尤其影响少数群体,因此将性能瓶颈归因于表征而非分类器。对应策略是冻结分类器,直接引导表征学习。摘要未披露分类器的构造与冻结时点、两种损失的具体形式,以及上述分析成立的假设条件。 作者报告,该方法在覆盖 Computer Vision、Natural Language Processing 和 Tabular data 的真实世界基准上,相比已有方法更有利于实现 Min-max 公平性。摘要未给出具体数据集、群体定义、划分协议、对照方法或数值,尚不能判断最差群体收益、总体性能变化及结果稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有明确的群体标识且存在群体样本不平衡,可假设固定分类器有助于检验性能瓶颈是否来自表征分离不足。可复用的是冻结分类器与表征优化的思路,群体定义、EEG 编码器及损失适配仍需核对;原方法对监督信息和数据规模的具体要求尚未验证。EEG 低信噪比、跨被试差异、通道配置差异和小样本可能使最差群体表现不稳定。一个可检验的小实验是在相同跨被试划分与编码器下,对照 ERM 与论文方法,同时记录最差群体和总体性能,以检验是否存在稳定收益。该实验须待全文明确损失与训练设置后实施;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将少数群体性能瓶颈定位于表征可分性而非分类器的分析,以及冻结分类器能否稳定改善最差群体表现;摘要未提供定量结果,具体收益尚未验证。

来源:OpenReview · Representation learning · openreview.net