跳到正文
OpenReview · State space models· Zemuy Tesfay Gebrekidan; Sebastian Stein; Timothy J. Norman·· 2024-01-01精选AI 评分72

采用联盟动作选择的深度强化学习:面向任意动作空间的在线组合资源分配

Deep Reinforcement Learning with Coalition Action Selection for Online Combinatorial Resource Allocation with Arbitrary Action Space

AI 导读

基于摘要分析。本文研究在线组合资源分配中候选动作数量及每个时间步任务到达数量可变的问题,提出 coalition action selection(联盟动作选择),使深度强化学习(DRL)在一个时间步同时选取多个动作,而非逐个选择并反复更新状态。主要贡献是改变动作选择方式,以减轻顺序决策带来的计算开销和状态空间扩张。 机制上,作者指出,逐个动作选择需要在每次选取后更新状态,增加决策深度、状态空间、不确定性及执行次数,并可能影响收敛与执行速度。所提方法允许从数量可变的候选动作中同时选择数量可变的动作集合。摘要未说明动作集合的表示、资源约束的处理、策略训练目标及具体网络结构,这些实现条件尚未验证。 作者在在线组合资源分配问题上比较联盟动作选择与逐个动作选择。作者报告,在多种在线流量需求到达率下,联盟动作选择的性能接近离线最优;随着问题规模扩大,逐个选择方案的性能下降。作者还报告,联盟动作选择的计算复杂度显著低于逐个选择。摘要未给出性能指标、差距数值、问题规模、复杂度表达式或运行时间,因而不能量化优势,也不能据此断言其适用于所有任意规模动作空间。实验协议、消融及统计信息尚未验证。 本文的主要研究对象是通用在线资源分配,而非 EEG 信号建模或 BCI 解码。所给材料未提供神经信号实验或明确的 BCI 应用对应关系,不能将资源分配结果视为 BCI 有效性证据;已有 EEG 相关工作尚未检索确认。复现时需核对任务到达过程、资源约束、离线最优的求解方式,以及两种动作选择方案的训练预算与计算成本口径。

阅读价值

值得关注的是将逐个动作选择改为同时选择动作集合,以处理规模可变的在线资源分配;作者报告其性能与计算复杂度优于逐个选择方案,但具体评估协议与实现条件尚未验证。

来源:OpenReview · State space models · openreview.net