跳到正文
OpenReview · Representation learning· Xiatian Zhang; Noura Al Moubayed; Hubert P. H. Shum·· 2022-01-01精选AI 评分74

面向基于图表示学习的手术工作流预判

Towards Graph Representation Learning Based Surgical Workflow Anticipation

AI 导读

基于摘要分析。本文研究手术工作流预判,即预测接下来需要执行的步骤或使用的器械,而非 EEG 或 BCI 解码。作者提出图表示学习框架,以器械运动及交互关系建模手术过程,并通过多预测时距学习策略兼顾不同时间跨度的预判任务。 核心机制是将连续视频帧中的器械边界框信息映射为图节点,构建跨帧及器械间的边,以表示器械随时间变化的轨迹和相互作用。这一表示同时建模器械的空间关系与时间动态。摘要还提出多预测时距学习策略,但其具体损失、时距设置及平衡方式尚未验证。作者将引入时空图表示作为主要创新,并声称这是该表示首次用于手术工作流预判;这一优先性主张尚未独立核实。 在 Cholec80 数据集的器械预判评估中,作者报告:所提方法的 inMAE 为 1.27,对照方法为 1.48;eMAE 为 1.48,对照方法为 2.68。摘要称对照使用了更丰富的骨干网络,但未提供其名称。上述指标的完整定义、单位、预测时距、数据划分、统计信息及消融结果尚未验证,因此不能据此判断跨协议优势或临床实用性。复现需进一步核对器械边界框的获取方式、图构建细节及训练与推理流程。 平台推测(待验证):若将该机制迁移至 EEG,可假设以通道作为节点、通道间关系及跨时间连接作为边,复用时空关系建模与多预测时距学习思路,用于具有明确未来事件标签的预测任务。但器械轨迹与 EEG 通道信号的数据结构并不等价,节点特征、边构建及监督目标均需改造;低信噪比、跨被试差异、通道配置变化和小样本可能使关系建模失效。一个可证伪的小实验是,在固定跨被试划分、输入窗口与预测时距下,对比仅时间建模、加入空间图及再加入多时距学习,检验各模块是否带来稳定增益。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是以器械轨迹与器械间交互构建时空图、并联合学习多个预测时距的设计;作者报告了 Cholec80 上的器械预测误差改善,但具体评估协议与其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net