用于 Sim2Real 交通安全 VQA 与描述生成的语义状态桥接
A Semantic State Bridge for Sim2Real Traffic-Safety VQA and Captioning
基于摘要分析。该研究针对仅用合成交通视频训练的视觉语言模型在真实场景中泛化不足的问题,提出语义状态桥接方法,将事件阶段级 VQA 预测转换为因子化语义状态,并在推理时用这些状态连接多项选择问答与自由文本描述生成。主要研究对象是合成到真实的交通安全理解,而非 EEG 或 BCI。 框架结合问题感知的视觉观测与轻量任务专用适配器,按问题类型路由预测,再将答案选项得分转换为规范化的状态概率。状态涵盖朝向、相对位置、动作、注意、速度及环境上下文。对于具有可靠时序结构的状态类型,方法利用合成标注估计转移先验,在五个事件阶段之间解码一致的状态轨迹;这并不意味着所有状态均采用相同的时序约束。 所得状态直接决定部分 VQA 答案,并通过置信度门控,为独立训练的描述模型提供事实约束,纠正描述中不一致的属性与动作。其机制特点是保留 VQA 与描述生成各自的优化目标,仅在推理阶段通过共同语义接口耦合,而非将二者改为统一训练目标。 作者报告,在任务训练仅使用合成数据、评估使用真实世界数据的条件下,VQA Accuracy 从 81.85% 提升至 84.77%,描述评分从 29.15 提升至 30.17,且无需额外训练描述模型。摘要未说明描述评分的具体指标名称,不能将其等同于其他常见生成指标。 数据集、划分、对照系统配置、状态置信度的校准与阈值、时序先验的适用条件,以及消融和统计信息尚未验证。现有材料支持将其视为交通视频任务中的显式语义接口方法,但不足以判断其对 EEG 或 BCI 的适用性;已有 EEG 相关工作尚未检索确认。
值得核对其如何以显式语义状态和时序先验连接独立训练的 VQA 与描述模型,尤其是不额外训练描述模型的推理期纠错效果及置信度门控条件。
来源:OpenReview · State space models · openreview.net