跳到正文
OpenReview · Representation learning· Simon C. Stanton; Julian R. Dermoudy; Robert Ollington·· 2022-01-01精选AI 评分74

表示诱导的算法偏差:14 种强化学习算法在 4 种同构博弈形式表示下的行为等价性实证评估

Representation-Induced Algorithmic Bias - An Empirical Assessment of Behavioural Equivalence over 14 Reinforcement Learning Algorithms Across 4 Isomorphic Gameform Representations

AI 导读

基于摘要分析。本文研究理论上同构的环境表示是否会使强化学习智能体产生等价行为,核心贡献是以囚徒困境中的行为分布而非仅以收益衡量表示变化的影响。研究对象是强化学习智能体的合作行为与表示敏感性,并非 EEG 或 BCI 解码。 作者在经典囚徒困境的 4 种同构博弈形式表示下,测试 14 种基础强化学习算法。实验采用对称自博弈的重复阶段博弈,沿主要学习率 α 与折扣因子 γ 两个参数轴扫描;每种算法、每种表示获得 100 个关于 CC、CD、DC、DD 四类博弈结果频率的观测。行为画像由各回合结果分布的均值汇总形成,以同一算法在不同表示下行为画像之间的低方差作为等价性的指征。 作者报告,在上述自博弈与参数扫描条件下,尽管这些表示在理论上等价,所测算法的行为画像在总体及单类结果层面仍呈显著差异。作者据此推断,同构表示未必为特定算法提供等价的可达空间,并认为施加于环境奖励信号的保结构操作可能成为算法偏差的来源。这里的偏差指表示诱导的行为差异,不能直接等同于人口群体公平性问题。 摘要未列出具体算法、四种表示的构造、差异效应量及显著性检验方法;训练时长、随机种子、实验协议、消融及统计信息尚未验证。因此,当前材料支持关注“理论同构不保证学习行为等价”这一评估问题,但不足以确定结论对其他环境或算法的适用范围,也不构成 BCI 有效性的证据。

阅读价值

值得阅读的是其以同构博弈表示检验强化学习行为等价性的评估思路,可用于审视奖励表示变化带来的行为差异,但显著性检验与具体表示变换仍需核对全文。

来源:OpenReview · Representation learning · openreview.net