基于模型与无模型强化学习的表示复杂度研究

基于摘要分析。本文研究 model-based 与 model-free 强化学习（RL）的表示复杂度差异，以电路复杂度为框架，分析为何环境的转移、奖励规则可能容易表示，而最优 Q-function 却难以表示。其贡献是将函数近似误差与复杂性理论联系起来，为两类 RL 方法的样本复杂度差异提供一种解释视角。 理论方面，作者报告证明：存在一大类 MDP，其转移函数与奖励函数可由多项式规模的常数深度电路表示，但最优 Q-function 在常数深度电路下具有指数级表示复杂度。这是特定函数类与计算约束下的分离结果，不等同于所有环境中 model-based RL 都优于 model-free RL，也不能直接等同于实际训练时间或样本需求的指数差异。具体 MDP 构造、电路类别及证明条件尚未验证。 实证方面，作者报告在多个 Mujoco 环境中比较转移核、奖励函数和最优 Q-function 的近似误差，前两者的近似误差一致低于后者。摘要未提供环境清单、近似器配置、数据采集与划分方式、Q-function 参照值来源或具体误差指标；实验协议、消融及统计信息尚未验证。复现时需核对函数近似容量、训练数据和误差度量的可比性。 本文的主要研究对象是通用 RL，而非 EEG 表征学习或 BCI 解码。平台推测（待验证）：对采用 RL 的闭环 BCI，若控制状态的转移与奖励比长期价值更易建模，该复杂度视角可用于评估显式环境模型的价值；但 EEG 的部分可观测性、低信噪比、跨被试差异及小数据条件可能使这一前提失效，需改造状态估计与转移建模模块。一个可证伪的小实验是在固定被试与会话划分、统一数据和近似器容量的条件下，分别估计转移、奖励与 Q-function 的留出误差，检查前两者是否确实更低。该实验仅检验可表示性假设，不代表已验证 BCI 控制收益；相关 EEG 工作尚未检索确认。