跳到正文
OpenReview · Representation learning· Junyi Chai; Xiaoqian Wang·· 2022-01-01精选AI 评分76

无人口统计属性的自监督公平表征学习

Self-Supervised Fair Representation Learning without Demographics

AI 导读

基于摘要分析。本文研究在不观察性别、种族等敏感属性、且训练数据无标签的条件下,如何学习有助于公平分类的表征,提出基于样本重加权的对比学习方法。其训练数据完全无标签,但仍依赖一个小规模带标签验证集,因此不能理解为整个流程不使用任何标签。 核心机制是在每次迭代中,根据训练样本梯度相对于验证样本梯度的方向分配权重,以最小化验证损失最高的 k 个样本的平均损失。该机制将验证集上的高损失样本作为优化依据,而非直接依据敏感群体标签调整训练。具体权重计算、对比学习目标、k 的选择及验证集构建方式尚未验证;高损失样本是否对应受不公平影响的群体,也不能仅由摘要确定。 作者报告给出了模型收敛的严格理论证明,并在三个数据集上取得优于或可比于所比较先进方法的 Accuracy 与多项公平性指标表现。摘要未提供数据集名称、具体指标定义、数值、数据划分和基线细节,理论成立条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将这一机制用于 EEG 分类,其潜在对应问题是无标签训练数据中的个体差异与难例分布不均;可复用部分是梯度引导的样本重加权,需改造的是 EEG 编码器、对比增强及验证集构成。假设该机制能够减轻模型对易分类样本的偏好,但高损失也可能来自低信噪比、伪迹或标签噪声;小验证集与通道差异还可能使权重不稳定,改善难例表现也不等于改善人口群体公平性。可在固定 Cross-subject 划分和相同标签预算下,对比启用与不启用重加权的同一 EEG 对比学习模型,检查总体 Accuracy、各被试表现及噪声敏感性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其利用少量带标签验证样本引导无标签对比学习重加权的机制,尤其是无敏感属性条件下公平性收益与验证集构成之间的关系。

来源:OpenReview · Representation learning · openreview.net