以偏好为基础的潜在控制：联合表征与策略学习

基于摘要分析。本文研究序列控制中的潜在状态如何保留用户偏好所需的信息，提出 Observation-Anchored Latent Soft-Advantage DPO，联合学习潜在决策状态与动作策略。主要研究对象是世界模型智能体、具身机器人和循环控制器，而非 EEG 解码或 BCI。 核心问题是：以环境预测或任务表现为目标学习的表征，可能混淆对用户偏好而言不同的情境。标准 Direct Preference Optimization（DPO）依赖共享的可观测上下文，其通常采用的似然比化简不能直接承担潜在序列控制中表征与策略的联合训练。本文将参考策略锚定在可观测历史空间，并以闭式的直接偏好框架处理轨迹偏好向内部状态过程的传递。 作者提出“偏好充分性”，刻画潜在状态是否保留偏好一致控制所需的全部区分，并定义潜在状态混淆造成的信息损失。作者报告证明了 soft-advantage 分数的规范性与 Bellman 一致性，推导出精确的策略—表征误差分解，且其中表征误差项当且仅当状态具备偏好充分性时消失。定理的具体假设与适用边界尚需核对全文。 作者报告在序列控制任务上验证了联合学习的有效性；摘要未提供任务名称、数据规模、基线、指标或数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若闭环 BCI 控制具有观测历史和用户对轨迹的成对偏好，该机制或可用于检验任务导向表征是否丢失用户相关信息。可复用的是偏好目标与参考策略锚定思路，需改造的是神经信号编码及动作接口；低信噪比、跨被试差异、小样本和偏好反馈不稳定可能使联合学习失效。一个可证伪的小实验是在同一模拟闭环任务和固定偏好数据划分下，比较冻结表征与联合学习的留出偏好预测表现及任务表现。该实验仅检验迁移假设，相关 EEG 工作尚未检索确认。