ComAct:以 COM 作为专业软件智能体的统一动作空间
ComAct: COM as a Unified Action Space for Professional Software Agents
基于摘要分析。本文研究专业软件智能体的操作可靠性问题,提出 ComAct,以 Windows 原生的 Component Object Model(COM)作为跨应用统一动作空间,将冗长的 GUI 操作转换为紧凑、可执行的 COM 程序,并配套构建 CAD 评测与真实环境训练平台。 核心机制是利用商业专业软件支持的 COM 接口进行程序化调用,绕开 GUI 视觉定位脆弱、长操作序列误差累积等问题,同时减少对额外 MCP 或 API 接口的依赖。其适用范围仍取决于目标软件实际暴露的 COM 功能,摘要不足以验证不同应用的接口覆盖程度。 作者构建的 ComCADBench 包含三个主流 CAD 应用中的 1,000 个任务,覆盖独立设计任务及多阶段工程工作流。作者报告,前沿模型在 GUI 交互下几乎完全失败,切换至 ComAct 后获得非平凡的任务成功表现,并在 Office、Adobe 和 OS-shell 任务上取得一致的零样本改善;摘要未提供具体成功率、模型清单及对照设置,不能据此量化提升幅度。 针对“代码能够执行但输出不符合任务要求”的差距,作者构建并行真实计算机环境平台 ComForge,采用带连续几何奖励的三阶段渐进训练框架,训练具备自纠错能力的智能体。作者报告其在 ComCADBench 上达到最先进表现,尤其适用于长流程工作流,并能泛化至外部 CAD 基准;奖励定义、阶段划分、数据划分、消融及统计信息尚未验证。 作者表示将公开环境、代码与数据,当前材料不能确认已发布。本文主要贡献属于专业软件智能体的动作接口与训练评估体系,未提供 EEG 或 BCI 验证,不应据此推断脑机接口有效性。
值得核对的是将专业软件操作转为 COM 程序执行后,如何区分代码可执行性与任务正确性,并通过真实环境训练改善长流程任务;摘要尚不足以验证其相对基线的优势幅度。
来源:OpenReview · State space models · openreview.net