跳到正文
只看模型架构#Efficient AI
10月8日周四
  1. arXiv · 在线与高效推理80

    SV-TAD：用于高效时序动作检测的原生稀疏卷积

    基于摘要分析。该研究针对长视频理解中轻量卷积适配器虽能降低可训练参数量、却未充分降低推理计算的问题，提出原生稀疏二维卷积，并将其集成到时序动作检测框架 SV-TAD，使适配器直接处理动态剪枝后的 token 集合。 核心机制是解决 token 选择与卷积适配器之间的结构冲突：剪枝可降低注意力计算，但会破坏卷积依赖的空间网格，若先重建稠密表示，可能抵消加速收益。作者提出的稀疏算子旨在绕过这一重建步骤。摘要未说明 token 选择策略、稀疏邻域构建、卷积实现、损失函数或训练配置，这些细节尚未验证。 作者报告，在 THUMOS-14 和 ActivityNet-1.3 的时序动作检测评估中，采用 VideoMAEv2-L 时计算量最多降低 64%，推理速度达到 2.2 倍，同时维持作者所称的当前最佳精度；摘要未提供具体精度指标、对应划分、基线配置、硬件及计时范围，无法判断两项效率数字是否对应同一设置。作者还报告，扩展到 InternVideoNext-L 后，以约一半计算成本超过此前最佳结果，但具体指标与对照条件尚未验证。稀疏表示亦支持辅助任务 token，作者报告其改善了 ATTACH 上的细粒度装配检测，未给出提升幅度。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 时频表示采用网格化 token 与卷积适配器，这种避免稠密重建的机制可能用于降低推理开销；该假设不代表已证实的 BCI 效果。可复用的是稀疏卷积处理路径，需改造 token 选择及邻域定义，以适应时间、频率与通道结构。低信噪比下剪枝可能删除弱判别信号，通道差异与小数据也可能使选择策略不稳定。一个可检验的小实验是在固定 EEG 任务、数据划分及骨干下，对比稠密适配器、剪枝后稠密重建、直接稀疏卷积三种路径，同时记录任务指标与同一硬件上的端到端延迟。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其原生稀疏卷积如何避免 token 剪枝后的稠密重建开销，以及计算量下降能否在不同骨干与实际推理环境中转化为稳定加速。

  2. arXiv · 在线与高效推理72

    Q-Capsule：用于缓解贫瘠高原的局部化胶囊式量子神经网络架构

    基于摘要分析。该研究针对变分量子算法随电路宽度和深度增加而出现梯度消失的贫瘠高原问题，提出 Q-Capsule，通过局部化量子表示及自适应电路深度，在保留胶囊间通信的同时维持可用于优化的梯度信号。 核心机制包括量子寄存器划分、局部读出、稀疏胶囊间耦合、可训练的数据重上传，以及 Quantum Fisher Information Matrix（QFIM）引导的自适应深度增长。其设计思路是将每个可观测量的主要作用范围限制在较小胶囊内，并控制胶囊间纠缠，避免全局耦合带来的梯度抑制。具体电路结构、胶囊规模、耦合方式、损失函数及深度增长判据尚未验证。 作者报告，在增大量子寄存器宽度的实验中，Q-Capsule 的梯度方差保持稳定，而全局纠缠基线的梯度方差呈指数衰减，对数量梯度方差随量子比特数变化的斜率接近 −ln 2。作者还报告更有结构的优化景观、更高的参数效率、对去极化噪声更好的鲁棒性及更低的测量需求，但摘要未给出这些比较的完整条件与量化结果。 在摘要所述分类实验中，作者报告自适应策略在二分类与四分类任务上的 Accuracy 分别为 98.1% 和 97.7%；在多分类任务上，相对固定深度模型，双量子比特门数量减少约 73%。数据集、样本规模、划分方式、基线配置、重复实验及统计信息尚未验证，因此这些数值不能直接与其他分类研究比较。 平台推测（待验证）：其潜在 EEG 关联主要在量子分类器的可训练性与资源开销，而非已证实的 BCI 解码收益。迁移假设依赖 EEG 特征的量子编码及局部划分能否保留任务信息；可复用局部读出和自适应深度机制，但需改造特征编码与胶囊划分。低信噪比、跨被试差异、小样本及跨通道依赖可能削弱收益。可在固定 EEG 特征与相同被试内划分下，对比局部化、全局纠缠及固定深度电路，检验梯度方差、Accuracy、门数与测量预算的权衡。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对局部可观测量与 QFIM 引导深度增长能否共同缓解梯度消失，并复现其相对全局纠缠及固定深度基线的梯度、门数与测量开销优势；摘要尚不足以确认比较协议。

  3. arXiv · 在线与高效推理77

    突破群体规模限制：基于 Chain-of-Dancers 的参数高效群舞生成

    基于摘要分析。该研究针对音乐驱动群舞生成中群体规模固定、舞者身份跨帧混杂及空间协调难以兼顾的问题，提出 ChainDance，将多人联合生成改写为 Chain-of-Dancers，即按舞者逐个建模条件分布。作者称，单一模型可在无需重训的情况下适配不同舞者数量，并在结构上保持各舞者身份。 机制上，ChainDance 以冻结的单舞者扩散模型为骨干，引入两个轻量模块：Role-Aware Text Encoder（RATE）提供舞者级语义条件；Group-Aware Motion Encoder（GAME）通过距离加权图卷积网络聚合此前已生成舞者的信息。推理阶段另采用无需训练的噪声优化过程，以增强全局空间一致性。相较摘要所述的端到端联合 Transformer，关键变化是将群体依赖转为逐舞者条件生成，并复用单舞者骨干；具体条件分布、损失及噪声优化目标尚未验证。 作者报告，在 AIOZ-GDance 上，相较既有方法，ChainDance 达到作者所称的 SOTA 动作质量与群体协调性，参数量少 3–4 倍、训练时间少 3–6 倍。摘要未提供指标数值、具体对照、数据划分、训练与测试群体规模、计时硬件及可训练参数口径，因此这些结果暂不能用于跨协议比较。实验协议、消融及统计信息尚未验证；还需核对身份保持的评估方式、生成顺序是否影响结果，以及逐舞者生成和噪声优化对推理耗时的影响。 平台推测（待验证）：其可变数量实体条件建模机制可能启发 EEG 可变通道建模，但这是迁移假设，而非已证实的 BCI 效果。可复用思路是条件分解与图聚合；需将舞者角色和空间距离改造为电极位置、通道属性及适合 EEG 的依赖关系，并重新设计训练目标。EEG 通道不等同于独立舞者，低信噪比、容积传导、跨被试差异与小数据可能使顺序误差累积。可在固定被试划分下比较联合通道建模与逐通道条件重建，测试未见通道数量、随机生成顺序和噪声扰动下的重建误差及下游解码表现。已有相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其按舞者条件分解、冻结扩散骨干与轻量群体编码的组合能否真正支持无需重训的可变群体规模，尤其需验证规模外推、生成顺序敏感性及推理成本。

  4. arXiv · 在线与高效推理70

    通过协同过滤路径实现多模态图检索增强的序列推荐

    基于摘要分析。该研究针对多模态序列推荐中仅依赖目标用户历史、忽略邻近用户协同信号，以及反复调用 Multimodal Large Language Models（MLLMs）处理长历史所带来的计算开销，提出 MGRASRec。其核心贡献是按候选物品检索用户—物品交互图中的结构化路径，将协同过滤信息与相关历史整合到提示中，再对 MLLM 进行参数高效微调。 机制上，MGRASRec 通过多模态相似性扩展交互图，扩大超出精确共同交互重叠的检索覆盖范围；候选物品条件化的路径检索同时找出与候选最相关的历史物品。作者称，这一过程无需额外成本即可筛选历史，免去反复摘要，并使每个候选物品的 MLLM 推理保持为一次前向传播。该描述不等于完整推荐流程仅需一次前向传播，图检索开销、候选数量及端到端延迟尚未验证。 作者报告，在三个公开数据集上的评估中，MGRASRec 在所有所评指标上取得最佳表现，排名质量提升尤其明显。摘要未提供数据集名称、指标数值、数据划分或对照基线，因此无法核对提升幅度及比较条件。图构建与路径选择规则、多模态相似性计算、提示格式、微调配置、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移价值主要在于“围绕待判断对象检索关系证据并压缩上下文”，而非已证实的 EEG/BCI 效果。假设 EEG 任务具备可信的试次—被试—任务关系及可比较的多模态表征，可尝试复用图路径检索与上下文筛选；交互图语义、候选定义和监督目标则需重构。低信噪比、跨被试差异、通道不一致及小数据可能导致相似性失真和无关证据引入。一个可检验的小实验是在固定跨被试划分下，对比无检索、相似性检索与关系路径检索，并限定图构建仅使用训练集，核对预测效果与总推理成本。相关 EEG 工作尚未检索确认。

    阅读价值：值得关注候选物品条件化的图路径检索如何同时补充协同信号并筛选相关历史，但排名收益与单候选推理成本仍需结合全文实验协议核验。

10月5日周一
  1. arXiv · 架构与算子74

    CIPHER-MoE：平衡万亿规模 MoE 训练的效率与路由保真度

    基于摘要分析。CIPHER-MoE 针对大规模 LLM 的 MoE 训练中非均匀 token 路由造成的专家及设备负载失衡，提出结合亲和度感知 Expert-to-Token 过滤与显式容量控制的方法，在保持路由器 token 侧 Top-K 选择不变的前提下削减热点专家负载。 核心机制是从专家侧过滤分配给专家的 token，而非改变 token 侧的 Top-K 选择。摘要将其与复杂并行策略、资源重分配等系统方案区分，强调不需要额外硬件资源或复杂运行时设计。但保持 Top-K 选择不变不等于所有被选中的专家都实际处理对应 token；过滤后的计算路径、亲和度定义、容量设定以及未获处理 token 的处置方式，均需核对全文。 作者报告，在包括 DeepSeek-V4-Pro 在内的大规模 MoE 模型评估中，Top-1 专家工作负载降幅最高达 64.9 个百分点，训练加速为 1.10×–1.94×，并保持训练质量。摘要未给出这些数值对应的具体模型配置、硬件、数据划分、对照基线及质量指标，因此不能据此推断各模型均达到最高收益，也不能直接比较不同设置。实验协议、消融及统计信息尚未验证。摘要称代码将于近期发布，当前材料未提供可用实现。 平台推测（待验证）：若 EEG 基础模型采用 MoE，专家侧容量控制可能缓解路由热点；这一假设依赖模型确实存在负载失衡及可用于过滤的亲和度信息。可复用的是专家侧过滤与容量约束，需改造的是 EEG token 定义及过滤策略。低信噪比、跨被试差异和小数据条件下，过滤可能丢弃稀有但有判别价值的信号。可在固定 EEG MoE、数据划分与硬件下，对比原始路由和加入过滤后的专家负载、吞吐及任务指标，检验效率收益是否伴随性能损失。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其在保持 token 侧 Top-K 选择不变时如何通过专家侧容量控制缓解负载热点，尤其是训练加速、路由保真度与训练质量之间的取舍。

10月4日周日
  1. arXiv · 时序与音频基础模型76

    LogSig-SSM：面向状态空间模型的多尺度 log-signature 压缩时序建模

    基于摘要分析。LogSig-SSM 针对高频、不规则采样且具有长程依赖的多变量时序，先以多尺度窗口化 log-signature 将长序列压缩为较短的 token 序列，再用选择性状态空间模型（SSM）建模长程依赖，旨在兼顾连续时间方法的输入表征能力与 SSM 的计算效率。 核心机制是由 log-signature token 表征高阶跨通道交互，再交由选择性 SSM 骨干处理。作者将其定位为对 NCDE、NRDE 长序列扩展成本，以及 Mamba 单个模块内隐维度间递归混合受限问题的回应。摘要还给出连续时间解释：模型可视为由 log-signature 输入驱动的 NCDE/NRDE 风格系统，选择性机制对应潜在动力学的输入依赖重缩放。窗口尺度、log-signature 截断阶数、损失、训练配置及具体骨干实现尚未验证。 作者报告，在 UEA 长序列分类、PPG-DaLiA 高频生理信号回归、多变量天气预测及 PhysioNet Sepsis 不规则采样临床预测四类基准上，LogSig-SSM 优于或匹配较强的 SSM 与连续时间基线；在最长序列上，相比 Mamba，训练速度最高提升至 30 倍，GPU 显存用量最高减少 37 倍。摘要未明确这些效率极值分别对应哪个基准、硬件与配置，也未提供各任务指标、数据划分或不确定性；实验协议、消融及统计信息尚未验证，不能据此认定所有任务均有同等收益。 平台推测（待验证）：迁移假设是，EEG 长序列中的跨通道交互可由窗口化 log-signature 保留，并在压缩后供 SSM 利用。可复用压缩与序列建模思路，但需适配 EEG 通道排列、时间编码及窗口尺度；低信噪比可能使高阶交互放大噪声，通道变化和跨被试差异可能削弱表征稳定性，小数据也可能限制学习。一个可证伪的小实验是在固定 Cross-subject 划分、预处理与训练预算下，对比原始 EEG 输入的 Mamba 与 LogSig-SSM，同时记录分类指标、训练耗时和峰值显存，并改变窗口尺度检验是否牺牲任务信息。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对多尺度 log-signature 压缩能否在保留跨通道交互的同时降低长序列建模成本；摘要中的效率优势有明确比较对象，但具体协议及向 EEG 的迁移效果尚未验证。

10月3日周六
  1. arXiv · 架构与算子75

    FTD-GNO：通过核的函数张量分解实现内存高效的图神经算子

    基于摘要分析。该研究针对 Graph Neural Operators（GNOs）在学习偏微分方程（PDEs）解算子时，高分辨率或大邻域下核计算与聚合开销较大的问题，提出 Functional Tensor Decomposition Graph Neural Operator（FTD-GNO），将高维连续积分核分解为低维、按模组织的函数，以降低内存需求。 核心机制是以 CP、Tensor-Train 和 Tucker 等经典张量分解形式参数化积分核，通过代数重构实现积分算子计算，避免显式构造完整的逐边核张量。与用整体神经网络参数化核的 GNO 相比，该方法改变了核的表示和计算方式，同时保留连续算子学习结构。作者报告，理论复杂度分析表明该机制可降低高维核构造涉及的参数与激活内存成本；实际收益仍需结合分解秩、维度与图邻域规模核对。 作者报告，在摘要所述实验中，相比对应的未分解图积分基线，FTD-GNO 的峰值内存更低，记录的训练时间更短；Fourier-graph 实验还显示，FTD 可提升混合算子中图积分层的效率并具有可扩展性。摘要未提供数据集、划分、硬件、具体数值或预测精度对照，不能据此判断效率收益是否伴随精度变化。实验协议、消融及统计信息尚未验证；复现还需核对分解秩选择、核重构实现、内存测量口径和代码可用性。 平台推测（待验证）：若 EEG 任务采用基于电极位置或时空坐标的连续图积分算子，因子化核可能缓解大邻域交互的内存瓶颈。可复用部分是核分解与聚合计算，需改造输入坐标、通道布局和任务监督；其原始验证问题是 PDE 解算子学习，数据结构与 EEG 不同。低信噪比、跨被试变化、通道缺失和小数据可能削弱低秩表示的有效性。一个可证伪的小实验是在固定 EEG 数据划分和图结构下，对比未分解核与不同分解秩的核，同时记录任务指标、峰值内存及训练时间，检验是否存在稳定的精度—内存折中。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其函数张量分解如何避免显式构造逐边核张量，以及内存和训练时间收益在何种分解秩、图规模与预测精度条件下成立；其 EEG/BCI 迁移价值尚未验证。