通过从在线行为与 BCI 证据中学习的 XR 智能体增强人类表现
Augmenting Human Performance with an XR Agent Learning from Online Behavior and BCI Evidence
基于摘要分析。该研究面向时间要求严格、动态且高风险的任务辅助,提出 OLIVE 框架,将在线行为证据与被动 EEG 融合,用于适应基础模型并提供实时引导。研究的具体验证场景是 XR 第一人称射击游戏,不能据此认定其已在真实高风险场景中得到验证。 OLIVE 使用用户击落的目标作为显式行为信号,使用注视锁定 EEG 作为隐式生理信号,通过联合估计各证据来源的可靠性,持续调整冻结的 vision-language model 对物品任务相关性的推断。摘要称该过程不需要人工标签或离线训练;冻结模型与在线适应并不矛盾,但其具体更新对象、可靠性估计方法及推理开销尚未验证。 作者报告开展了三项用户研究,其中两项为 OLIVE 驱动的辅助智能体在 XR 中的实时部署。在所比较的测试时自适应框架中,作者报告 OLIVE 在收敛速度相近时达到最高收敛率,并据此称其形成 Pareto 优势。作者还报告,联合行为与生理信号的智能体带来了最大且最可靠的会话内目标发现与交战能力改善,且改善在较大程度上不依赖个人技能;摘要未给出相应效应量及技能分层结果。 在任务目标无提示切换的条件下,作者报告联合信号智能体比仅行为信号智能体的重新收敛平均快 1.27 倍(p = .008)。该结果支持进一步核对 EEG 对动态任务适应的增量价值,但不能等同于跨被试、跨会话或跨数据集泛化效果。被试数量、EEG 采集与预处理、注视事件对齐、收敛判据、基线配置、实验划分、消融及统计信息尚未验证,复现条件也需全文确认。
值得关注其在实时 XR 辅助中联合估计行为与 EEG 证据可靠性的测试时适应机制,以及任务目标切换后的恢复能力,但具体比较协议和统计稳健性仍需核对全文。
来源:arXiv · EEG DA / DG / TTA · arxiv.org