使用潜空间组合测试对机器学习模型进行公平性测试
Fairness Testing of Machine Learning Models using Combinatorial Testing in Latent Space
基于摘要分析。本文研究黑盒机器学习模型的决策公平性测试,提出在 Variational AutoEncoder(VAE)的潜空间中生成组合测试用例,再将其重构为输入实例,以寻找模型中的公平性违规。 方法包含两个步骤:首先在 VAE 潜空间中生成 t-way 测试用例,以覆盖潜变量取值的 t 阶组合;随后利用解码重构的实例测试目标模型。其核心思路是将组合覆盖从原始输入空间转移到生成模型的潜空间,但潜变量的离散化、取值约束、生成模型训练方式及公平性判定规则在摘要中尚不明确。 作者报告,相较于直接在输入空间生成 t-way 实例的公平性测试方法,潜空间方法产生的测试用例更自然,发现首个公平性违规所需时间更短,且生成实例中的歧视性实例占比更高。摘要未提供数据集、目标模型、具体数值或“自然性”的评价方式;实验协议、消融及统计信息尚未验证,因此不能据此判断优势是否跨任务稳定。 平台推测(待验证):该机制可能用于探索 EEG 解码器在不同人群或采集条件下的差异,但原论文研究对象是通用机器学习公平性测试,并非 EEG 或 BCI。迁移假设依赖于能生成有效 EEG 的潜空间,以及明确的人群属性、标签保持条件和公平性判据;可复用的是组合测试与黑盒评估流程,需改造的是 EEG 生成器和有效性约束。低信噪比、通道差异及小样本可能使重构失真或改变任务标签,从而把生成伪影误判为公平性问题。可先在一个具有相关分组信息的 EEG 数据集上,以相同测试预算比较潜空间与输入空间组合测试,并人工或按预设信号标准核验候选实例有效性。已有 EEG 相关工作尚未检索确认。
值得核对的是潜空间组合测试能否在保持测试实例自然性的同时提高黑盒公平性缺陷的发现效率,但其公平性判据、对照协议及对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net