跳到正文
只看在线与系统算法#Pretraining
10月8日周四
  1. arXiv · 在线与高效推理74

    通过 Cross-Step Attention 实现实时视频超分辨率的流式感知扩散

    基于摘要分析。该研究针对实时视频超分辨率（VSR）中扩散采样成本高、帧间协调不足的问题，将预训练单图像潜空间扩散模型适配为流式推理框架，通过复用相邻帧与扩散步的中间特征，在延迟约束下改善空间细节与时序一致性。 核心机制包括 Cross-Step Attention：复用相邻帧及扩散步的中间去噪特征，使时序信息在无需显式时序建模的情况下交换；以及 Trajectory-Coupled Diffusion Scheduling：对齐相邻扩散状态，为跨步条件化提供更干净的中间表示。流式管线逐帧增量传播潜状态。作者报告，对于 N 帧、S 个扩散步，有效计算复杂度由 O(N·S) 降至 O(N+S)；这一结论的计算口径、适用条件及冷启动成本尚未验证。 作者报告，在 REDS4 和 YouHQ40-Test 上改善了感知质量与时序真实感，同时维持逐帧稳定性；在 512×512 分辨率、冷启动之后达到超过 40 FPS。摘要未提供具体质量指标、对照基线、硬件、扩散步数及端到端延迟，因此不能仅凭吞吐判断实际部署条件下的实时性。实验协议、消融及统计信息尚未验证，复现还需核对特征缓存与潜状态传播的实现、显存开销及序列边界处理。 平台推测（待验证）：其跨步缓存机制可能启发采用迭代生成或去噪模型的流式 EEG 重建，但依赖相邻输入状态的连续性，不能直接等同于 BCI 解码收益。可复用的是中间特征缓存与状态调度思路，需改造的是 EEG 编码、通道表示及时间窗口接口；低信噪比、状态突变、跨被试差异和小数据训练可能导致误差持续传播。小规模可检验实验是在固定 EEG 去噪模型与连续窗口协议下，对比独立窗口推理和跨窗口缓存，联合测量重建误差、延迟与误差累积。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其跨帧、跨扩散步特征复用如何降低流式推理成本，尤其是冷启动后实时吞吐与时序稳定性的评估条件；摘要所述复杂度收益尚需全文验证。

10月5日周一
  1. arXiv · 学习目标与优化63

    生物医学领域神经机器翻译的模型压缩研究

    基于摘要分析。研究针对专业术语密集、平行语料有限的法语到英语生物医学翻译，联合考察知识蒸馏与量化，并比较多种微调策略，以提升压缩学生模型的领域适应能力与部署效率。 知识蒸馏通过大教师模型向较小学生模型传递知识，但领域平行数据稀缺可能限制迁移效果；量化通过降低权重与激活的数值精度降低计算开销，但精度下降可能损害翻译质量。摘要以32-bit到8-bit说明量化概念，不能据此确认本研究实际采用的位宽。研究的主要关注点是两种压缩技术与领域微调的组合，而非单独评估模型规模缩减。 作者报告，在法语到英语生物医学翻译实验中，相对于原始基线，联合蒸馏与量化的学生模型大小减少69%，推理速度提高98.21%，CO2排放减少98.46%，且未牺牲翻译质量。摘要未说明基线模型身份、数据集、训练与测试划分、翻译质量指标、硬件、推理负载及排放核算方式，因此这些结果仅能作为该实验条件下的作者报告，尚不能确认其可复现性或泛化范围。蒸馏目标、量化配置、微调策略差异、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若EEG任务已有可靠教师模型，可假设蒸馏与量化有助于压缩部署端解码器；但本研究依赖文本平行语料与翻译监督，不能直接证明BCI收益。可复用的是教师—学生压缩流程，需改造输入表示、任务目标和校准数据。EEG低信噪比、跨被试及通道差异、小样本条件可能使教师误差传递或量化损失加剧。一个可检验的小实验是在固定Cross-subject划分与相同部署硬件下，对比原模型、仅蒸馏、仅量化和联合压缩，测量同一任务指标、模型大小、延迟及能耗。已有EEG相关工作尚未检索确认。