针对行为偏差与激活空间偏差的权重级偏差缓解方法评估

基于摘要分析。本文研究 LLM 的权重级偏差缓解方法能否同时消除输出行为中的偏差与内部激活表征中的偏差，比较 ablation、低秩适应（LoRA）和正交微调（OFT）在不同 LLM 家族及模型规模上的表现。核心贡献是提出偏差信号识别技术，并通过两类偏差的联合评估检验干预效果，而非仅依据模型输出判断偏差是否得到缓解。 方法上，作者向模型注入行为偏差与激活空间偏差，提出 double-contrast、mean-of-differences 偏差识别技术，用于选择表征中偏差信号最强、且与所对比人口统计群体最一致的层。摘要未提供该技术的具体计算公式、偏差注入方式及训练目标，尚不能判断其对自然形成偏差的适用程度。 作者报告，在所测试模型中，注入偏差随层深增加而更集中，但这一相关性不能确定哪些层具有造成偏差的因果作用。作者报告，即使显式针对偏差方向构造 ablation，它仍未消除行为偏差，也未恢复模型的任务能力；LoRA 与 OFT 在全部已测试情形中消除了行为偏差，但对激活空间偏差的影响因模型而异。上述结论限于摘要所述的注入偏差实验，不能外推为对所有模型或现实偏差的保证。 复现时需要核对模型与规模、人口统计群体及任务设置、偏差指标、数据划分、干预训练配置，以及任务能力恢复的判定标准；实验协议、消融及统计信息尚未验证。本文主要对象是语言模型偏差评估，现有材料未提供其与 EEG/BCI 的具体机制对应关系，不据此生成 BCI 迁移结论。