TPO：面向分布外直接偏好优化的三层分布鲁棒学习

基于摘要分析。本文研究 LLM 的 Direct Preference Optimization（DPO）在训练与部署偏好分布不一致时的鲁棒对齐问题，提出 TPO，以群组级、prompt 级和偏好级三层结构联合建模分布外（OOD）偏移。其主要研究对象是语言模型偏好对齐，而非 EEG 解码或 BCI。 机制上，DPO 在观测到的偏好比较上最小化经验风险；本文针对其训练与部署分布匹配假设可能失效的问题，构造层次化的矩形不确定性集合。采用 Wasserstein 距离实例化后，目标包含闭式的偏好级间隔惩罚、prompt 级对抗嵌入扰动，以及最坏情形群组重加权，三者分别由独立半径控制。相较于将不确定性统一建模在联合偏好分布上、或仅处理单一偏移来源的思路，其方法重点是显式利用偏移的层次结构。 作者报告建立了有限样本收敛保证，并通过实验验证 TPO 相对现有鲁棒 DPO 方法的有效性。摘要未提供数据集、模型规模、群组定义、偏移构造、对照方法名称或具体指标，因而无法判断收益适用范围，也不能比较不同评估协议下的效果。实验协议、消融及统计信息尚未验证；理论保证所需假设、三层优化的计算开销及半径选择方式也需查阅全文。 材料未提供 EEG/BCI 实验，已有 EEG 相关工作尚未检索确认。三层偏好偏移不能直接等同于被试、会话或通道差异，本文在 LLM 偏好对齐中的有效性不构成其在 BCI 中有效的证据。