跳到正文
OpenReview · Representation learning·· 28 天前精选AI 评分83

快速混合并不足够:动作条件预测表征优化的计算困难性

Rapid Mixing Is Not Enough: Hardness of Action-Conditioned Predictive Representation Optimization

AI 导读

基于摘要分析。本文研究强化学习中动作条件自预测的共享状态表征学习,核心问题是:当不同动作对应的转移算子不再具有共同特征基时,相关表格型目标的全局优化是否仍然可行。作者报告了最坏情形下的近似计算困难性,并给出若干具有额外结构的可解情形。 研究对象是有限状态空间中经过中心化与白化的表征,分别用于去除常数分量并归一化特征协方差。作者报告,即使转移核严格为正、对称、快速混合,且中心化后保留固定信号强度,将最优目标值近似到逆多项式级加性精度仍具有最坏情形计算困难性。证明构造将困难图问题嵌入合法转移核,并通过进一步归约将困难性扩展到每个固定的表征维度。摘要未给出具体复杂性假设、归约细节及精度界,需结合正文核对。 在对称转移核条件下,作者报告:当转移核两两可交换时可获得精确解;对于单特征情形,若中心化算子张成的空间维度固定,则可进行高效加性近似。这些结果区分了快速混合这一动力学性质与可交换性、算子空间维度等优化结构,不能将最坏情形困难性理解为所有实际实例都难以求解。 作者还报告,困难实例可由有限转移数据集精确实现。对于标量经验交叉协方差目标,多项式数量的独立平稳样本能够以高概率保留困难性间隙,即使中心化、白化与表征选择使用同一份数据。该结论针对摘要所述采样与目标条件,不应外推到一般相关轨迹数据。具体目标形式、样本复杂度、算法实现及实验协议尚未验证。本文主要提供强化学习表征优化的理论边界,材料尚不支持具体 EEG/BCI 迁移方案。

阅读价值

该研究以复杂性结果界定动作条件自预测表征优化的可解边界,值得核对快速混合、共同特征基与全局优化难度之间的区别,但不直接构成 EEG 或 BCI 方法有效性的证据。

来源:OpenReview · Representation learning · openreview.net