面向基于图表示学习的手术工作流预判
Towards Graph Representation Learning Based Surgical Workflow Anticipation
基于摘要分析。本文研究手术工作流预判,即预测接下来应执行的步骤或使用的器械,提出以图表示学习建模器械运动与交互,并通过多预测时间跨度学习改善不同提前量下的预判表现。研究对象是手术视频中的器械及工作流,而非 EEG 解码或 BCI。 核心机制是将连续帧中的器械边界框信息映射为图节点,构建跨帧及器械间的边,以表示器械随时间变化的轨迹与相互作用。该设计旨在增强模型对器械空间关系和时间模式的表达能力。作者另提出 multi-horizon learning 策略,以平衡不同预测时间跨度任务的学习;具体网络结构、边的构建规则、损失函数及任务权重尚未验证。 作者报告,在 Cholec80 数据集的器械预判评估中,所提方法相较采用更丰富骨干网络的对照方法取得更低误差:inMAE 为 1.27 对 1.48,eMAE 为 1.48 对 2.68。摘要未提供这两个指标的具体定义、单位、对应预测时间跨度、数据划分及基线名称,因此不能据此判断跨协议优势或实际部署收益。 实验协议、消融及统计信息尚未验证,复现还需核对器械边界框的获取方式、训练与推理所需输入,以及多时间跨度学习的实现细节。材料未提供其对 EEG 或 BCI 的直接验证,也不足以建立具体迁移对应关系,因此不将手术工作流预判结果解释为 BCI 有效性证据。
值得阅读之处在于将器械边界框序列组织为包含跨帧轨迹与器械间交互的图,并结合多预测时间跨度学习;其相对更丰富骨干网络基线的优势仍需结合全文评估协议核对。
来源:OpenReview · Representation learning · openreview.net