面向手术视频生成的分层课程学习:聚焦双侧腋窝乳房入路机器人甲状腺切除术数据集
Hierarchical Curriculum Learning for Surgical Video Generation: Focusing on Bilateral Axillo-Breast Approach Robotic Thyroidectomy Datasets
基于摘要分析。研究针对手术视频生成中解剖结构复杂、器械与组织交互精细、流程具有层级性且整理后的训练数据稀缺等问题,提出结合流程分层标注与课程迁移学习的框架,将预训练文本到视频扩散模型逐步适配到具体手术场景。研究对象是双侧腋窝乳房入路(Bilateral Axillo-Breast Approach)机器人甲状腺切除术视频,而非 EEG 或 BCI 信号生成。 核心机制是将手术流程划分为 phase、task、action 三个层级,从粗粒度到细粒度逐步训练,使模型依次适应不同精度的手术语境;同时采用动态采样策略,处理分辨率与时长不同的手术片段。摘要未提供基础扩散模型名称、条件输入组织方式、损失函数及动态采样的具体实现。作者称该术式目前尚无整理完善的基准,但数据规模、标注流程与公开状态尚未验证。 作者报告,相对于前一阶段的 task-level 模型,最终 action-level 模型的 FVD 降低 20.1%、FID 降低 15.7%;这是框架内部不同训练阶段的比较,不能据此推断相对其他视频生成方法的优势。作者报告,等训练预算消融表明改善来自课程设计,而非额外训练;具体预算匹配方式、数据划分、指标绝对值及统计信息尚未验证。 作者报告,由六名临床医生参与的用户研究对视觉真实感给出较高评价,但也指出解剖准确性与临床可靠性仍有不足。因此,生成质量指标和视觉评价尚不能证明其可用于可靠的临床训练或决策。复现需核对分层标注规范、训练与评估划分、各阶段数据和预算、动态采样实现,以及医生评价协议。摘要未提供与神经信号结构对应的具体机制,故不据此提出 EEG/BCI 迁移效果或复现实验建议。
值得阅读其利用手术流程分层标注与课程迁移学习适配视频扩散模型的机制,以及等训练预算消融对课程设计贡献的检验;摘要同时提示视觉真实感不能替代解剖准确性与临床可靠性。
来源:arXiv · 多模态与生成机制 · arxiv.org