面向网络库存管理的连续状态空间 MDP 学习

基于摘要分析。本文研究网络库存管理中的在线决策问题：在无限时域、平均成本、多维连续状态空间的 Markov Decision Processes（MDPs）中，利用删失需求反馈学习近最优策略。主要贡献是建立并利用长期平均成本函数的 Lipschitz 性质，将策略学习问题转化为可借助 Lipschitz bandits 分析的框架。 原始应用包括车辆共享等网络库存管理场景。其难点在于状态转移复杂且相互关联，同时价值函数不具凸性，使常规 MDP 与库存控制分析技术难以直接适用。这里的“状态空间”指决策过程的状态空间，不是神经信号序列建模中的 State Space Model 架构。摘要未说明具体策略参数化、删失需求机制或算法实现细节。 作者报告，通过为具有状态依赖转移的 MDP 累积成本构造定制集中不等式，得到高概率遗憾上界 O(T^{n/(n+1)}(log T)^{1/(n+1)})，其中 n 为网络规模；摘要未明确 T 的定义及高概率保证的置信参数。作者还报告了匹配的学习下界，用以刻画维度带来的固有困难。这些是上述理论问题设定下的保证，不能直接解释为实际库存系统或 BCI 任务中的性能提升。 阅读全文时需核对 Lipschitz 性质成立的条件、策略搜索空间、状态转移及成本的假设，以及上下界所匹配的具体阶数。实验协议、消融及统计信息尚未验证。材料未涉及 EEG 或 BCI，也未提供可直接对应神经信号任务的机制，因此不据此提出迁移实验；已有 EEG 相关工作尚未检索确认。