跳到正文
只看在线与系统算法#Efficient AI
10月9日周五
  1. arXiv · 泛化与分布偏移77

    SparseDecoding：面向准确高效 LLM 推理的解码感知剪枝

    基于摘要分析。该研究针对 LLM 解码阶段受内存带宽限制，以及固定自然文本剪枝校准与模型自生成序列之间的分布偏移，提出 SparseDecoding：用稠密模型自回归生成时的逐层激活校准剪枝，并结合面向解码的稀疏计算内核，提高剪枝后的生成质量与推理效率。 机制上，作者指出，常见基于 Hessian 的逐层免训练剪枝使用预先收集的自然文本计算校准信息，而实际解码输入包含模型自生成 token；两类序列对应的 Hessian 与激活分布存在差异，可能损害剪枝模型的生成表现。SparseDecoding 从稠密模型自回归生成过程收集逐层激活并构建校准矩阵，明确排除 prefill 阶段，使剪枝目标更贴近解码阶段的激活。具体剪枝目标、Hessian 计算方式、稀疏率与校准样本规模尚未验证。 系统上，该方法针对解码中占主导的稀疏矩阵–向量乘法（SpMV），而非主要优化稀疏矩阵–矩阵乘法（SpMM），设计采用位掩码索引与固定步长遍历的 N:M 稀疏内核。其实际收益需要结合稀疏模式、生成长度、批大小及内核调用开销核对，不能仅由非零参数减少推断。 作者报告，在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B 的长文本生成基准上，该方法持续优于标准固定文本校准，并在 A100 GPU 上获得最高 1.48 倍的端到端实际墙钟解码加速。摘要未给出基准名称、生成质量指标、加速峰值对应模型与配置，以及计时对照的具体设置；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是让压缩校准数据匹配部署时的输入与激活分布，但这依赖自回归生成这一数据结构，不等同于已验证的 EEG/BCI 域适应方案。摘要未提供直接的 EEG 迁移机制或验证，已有 EEG 相关工作尚未检索确认。复现需取得校准生成流程、剪枝配置、内核实现及硬件计时协议；代码是否公开尚未验证。

    阅读价值：值得核对其生成阶段校准能否缓解剪枝时的激活分布偏移，以及 N:M 稀疏矩阵–向量内核在何种配置下带来实际解码加速；摘要提供了明确机制，但效果边界尚未验证。

10月8日周四
  1. arXiv · 在线与高效推理80

    告诉机器人不要做什么：否定理解视角

    基于摘要分析。研究关注 vision-language-action models（VLAs）如何在完成机器人操作目标的同时，遵守自然语言指令中的明确排除约束。作者提出参数高效、即插即用的 NegaAlign，通过图像—语言监督扩展预训练 VLA 的否定指令理解能力，并提出用于评估此类操作的仿真基准 NegaBench。 机制方面，NegaAlign 在视觉—语言骨干的选定层插入 Negation Transformation Layers，以重塑中间指令表征；同时使用教师引导的对齐机制，对齐与指令相关的视觉 tokens，从满足否定约束的指令中迁移动作相关的 grounding。训练监督由现有示范构建，仅更新插入层，所有预训练参数均冻结，包括动作生成器。摘要未提供教师构建方式、具体损失、插入位置及监督样本生成细节，这些内容尚未验证。 作者报告，NegaBench 覆盖五个领域的 10 个仿真场景，在 GR00T、π_0 和 π_{0.5} 上均观察到否定指令执行改善。其中，具有 11.6M 可训练参数的 NegaAlign 将 π_{0.5} 在 NegaBench 上的否定指令成功率从 2.60% 提升至 88.45%，在真实世界任务中从 12.4% 提升至 88.8%，并保留肯定指令上的性能。两组成功率对应不同评估环境，不宜直接横向比较；数据划分、真实任务数量、成功判据、对照配置、消融及统计信息尚未验证。 平台推测（待验证）：该方法可为带自然语言约束的 BCI 辅助机器人控制提供参考，但其监督依赖图像、语言与机器人示范，并非直接面向 EEG 解码。若引入 BCI 系统，可考察冻结动作模型的约束适配模块，但需改造脑信号到指令或控制意图的接口；低信噪比、跨被试差异及小数据可能使意图误差传递为约束执行错误。一个可检验的小实验是在固定机器人任务中比较正确指令与含受控解码错误的指令，分别测量任务成功率和约束违反率。相关 EEG/BCI 工作尚未检索确认。

    阅读价值：值得阅读的是 NegaAlign 如何仅用图像—语言监督、冻结动作生成器来改善否定指令执行；作者报告的较大成功率提升仍需结合 NegaBench 的划分、对照与真实机器人评估协议核对。

  2. arXiv · 在线与高效推理62

    UltraLight Luma：面向农业机器人作物行分割的新型边缘可部署感知网络

    基于摘要分析。该研究针对低成本农业机器人在计算、内存、功耗和推理时间约束下的作物行感知问题，提出紧凑的编码器—解码器分割网络 UltraLight Luma，并结合渐进式学习策略及掩码后处理，实现作物行检测与导航线提取。 核心流程是先预测作物行掩码，再通过后处理估计行对齐信息，供下游视觉伺服使用。作者报告模型仅含 13.1k 个可训练参数，相较 U-Net、YOLOv8 和 YOLOv26 提升了参数效率，并保持可靠的作物行检测性能；摘要未提供分割指标、具体基线配置或数据划分，不能据此认定精度优于这些对照。作者报告单次推理能耗为 25.23 mJ，但测量硬件、输入尺寸、数值精度及是否包含后处理尚未验证，因此该数值不能直接外推到其他设备。 摘要未说明渐进式学习的阶段安排、监督信号、训练目标及后处理细节。数据集、实验协议、消融及统计信息尚未验证；复现时需核对这些信息，以及推理延迟、峰值内存和能耗测量边界，才能判断其边缘部署收益。 平台推测（待验证）：可迁移到 EEG 的候选机制是紧凑编码器—解码器与渐进式学习，而非作物行几何后处理。原任务依赖图像空间结构和分割目标，具体标注形式与数据规模尚未验证；迁移至 EEG 时需改造输入表示、输出任务和训练阶段，以应对端侧计算约束。低信噪比、通道变化、小数据及跨被试差异可能使压缩模型丢失有效特征。一个可证伪的小实验是在固定 EEG 数据划分下，对比紧凑模型有无渐进式学习，并与较大基线共同测量任务指标、延迟和能耗；若资源收益伴随明显性能下降，则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。

  3. arXiv · 在线与高效推理74

    通过 Cross-Step Attention 实现实时视频超分辨率的流式感知扩散

    基于摘要分析。该研究针对实时视频超分辨率（VSR）中扩散采样成本高、帧间协调不足的问题，将预训练单图像潜空间扩散模型适配为流式推理框架，通过复用相邻帧与扩散步的中间特征，在延迟约束下改善空间细节与时序一致性。 核心机制包括 Cross-Step Attention：复用相邻帧及扩散步的中间去噪特征，使时序信息在无需显式时序建模的情况下交换；以及 Trajectory-Coupled Diffusion Scheduling：对齐相邻扩散状态，为跨步条件化提供更干净的中间表示。流式管线逐帧增量传播潜状态。作者报告，对于 N 帧、S 个扩散步，有效计算复杂度由 O(N·S) 降至 O(N+S)；这一结论的计算口径、适用条件及冷启动成本尚未验证。 作者报告，在 REDS4 和 YouHQ40-Test 上改善了感知质量与时序真实感，同时维持逐帧稳定性；在 512×512 分辨率、冷启动之后达到超过 40 FPS。摘要未提供具体质量指标、对照基线、硬件、扩散步数及端到端延迟，因此不能仅凭吞吐判断实际部署条件下的实时性。实验协议、消融及统计信息尚未验证，复现还需核对特征缓存与潜状态传播的实现、显存开销及序列边界处理。 平台推测（待验证）：其跨步缓存机制可能启发采用迭代生成或去噪模型的流式 EEG 重建，但依赖相邻输入状态的连续性，不能直接等同于 BCI 解码收益。可复用的是中间特征缓存与状态调度思路，需改造的是 EEG 编码、通道表示及时间窗口接口；低信噪比、状态突变、跨被试差异和小数据训练可能导致误差持续传播。小规模可检验实验是在固定 EEG 去噪模型与连续窗口协议下，对比独立窗口推理和跨窗口缓存，联合测量重建误差、延迟与误差累积。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其跨帧、跨扩散步特征复用如何降低流式推理成本，尤其是冷启动后实时吞吐与时序稳定性的评估条件；摘要所述复杂度收益尚需全文验证。

  4. arXiv · 在线与高效推理74

    适应位置的重要性：面向能力保留的层选择性微调

    基于摘要分析。研究关注 LLM 的参数高效微调（PEFT）在适应专门任务时可能损害预训练通用能力的问题，提出 Layer-Selective LoRA（LS-LoRA）：以各 Transformer 层的输入—输出余弦相似度筛选适应位置，仅在低相似度层部署可训练 LoRA 适配器。 核心机制是将“在哪里适应”作为优化对象，而不是主要依赖数据回放或显式正则化约束。作者用逐层经验 Fisher 信息衡量目标任务敏感性，但其计算需要反向传播；因此提出仅需前向计算的输入—输出余弦相似度作为层敏感性排序的轻量代理。作者报告，在所评估的模型与任务中，较低的输入—输出相似度对应较高的经验 Fisher 分数。该观察支持选择低相似度层进行适应，但摘要未提供相似度聚合方式、层选择阈值及额外计算开销。 作者报告，在数学推理和代码生成实验中，相较标准全层 LoRA，LS-LoRA 提升了平均目标任务表现，并保留了更多常识推理能力。摘要未给出具体模型、数据集、指标数值、训练与评估划分，也未说明适配器参数预算是否匹配；实验协议、消融及统计信息尚未验证。需核对收益究竟来自层位置选择、可训练参数减少，还是两者共同作用，以及常识推理评估能代表多大范围的通用能力。 平台推测（待验证）：若 EEG Transformer 的层输入—输出相似度也能反映下游任务敏感性，这种选择性适应可能用于检验跨被试或跨数据集微调时的能力保留。可复用模块是逐层前向相似度计算与 LoRA 层选择；需改造相似度在 EEG 时间片段和通道维度上的聚合方式，并依赖已有预训练编码器与下游监督数据。低信噪比、通道差异及小样本可能使层排序不稳定，LLM 中的代理关系不能直接视为 EEG 结论。一个可证伪的小实验是固定 EEG 编码器、跨被试划分与训练预算，对比低相似度层、高相似度层、随机层及全层 LoRA，同时核对相似度与经验 Fisher 排序的一致性，并评估目标任务及原任务保留情况。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对输入—输出余弦相似度能否稳定替代逐层经验 Fisher 信息，以及选择性部署 LoRA 是否在可比训练条件下改善目标任务适应与通用能力保留的权衡。

  5. arXiv · 学习目标与优化75

    动力学即编码：通过动态系统进行模型压缩

    基于摘要分析。本文研究预训练神经网络在内存与计算约束下的模型压缩，将已有动态系统（DS）权重编码范式扩展为统一框架，并给出 irrational winding 的有限轨迹覆盖界。其核心是以动态系统轨迹中的状态索引表示高维权重向量，解压时由对应状态恢复权重，而非直接采用剪枝、量化、知识蒸馏或低秩分解。 理论方面，作者证明：在满足 Diophantine 条件时，irrational winding 中包含 M = O(ε^{-(d+ν)}) 个状态的有限轨迹可构成 d 维权重空间的 ε-net，从而联系状态分辨率、解压误差与压缩率。该界依赖明确条件，不能直接等同于任意模型权重的实用压缩保证；ν 的具体定义、适用权重域及常数尚需正文核对。 方法方面，框架统一了空间填充曲线（Hilbert、Peano、Morton/Z-order、Snake）、混沌系统（Lorenz）、同余与伪随机生成器（LCG、PCG）及低差异序列（Halton）。作者引入 KD-tree 与 coordinate-template 加速以扩展至大模型，并利用异常值识别控制误差。权重分组方式、状态索引存储成本、异常值处理细节及各系统的选择条件尚未验证。 作者报告，在 ResNet-18、Qwen2.5-1.5B 和 Qwen1.5-7B 实验中，该方法无需事后重训练即可取得有竞争力的压缩率，并具有可控解压误差和灵活的状态空间设计。摘要未提供具体压缩率、任务性能、数据集、对照基线或运行开销；实验协议、消融及统计信息尚未验证。复现时应同时核对编码搜索成本、解压延迟、额外元数据与任务性能，而不能仅依据权重重构误差判断部署价值。 平台推测（待验证）：若用于 EEG 模型部署，可复用轨迹索引编码与权重恢复模块，但需按模型权重尺度和分组方式调整状态空间，并评估低信噪比下任务输出对权重扰动的敏感性。小模型的索引和异常值存储开销可能抵消压缩收益。可在固定 Cross-subject 划分的已有 EEG 分类模型上，不重训练地比较压缩前后 Accuracy、存储量与推理延迟，检验该假设。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是动态系统轨迹索引如何在无需事后重训练的条件下实现权重压缩，以及其理论误差界能否转化为包含索引搜索、解压开销和任务性能的实际收益。

  6. arXiv · 在线与高效推理75

    通过奇异向量选择平衡 LLM 持续学习中的稳定性与可塑性

    基于摘要分析。研究针对 LLM 领域持续适应中的灾难性遗忘，提出参数高效持续学习方法 SVC，以奇异向量通道作为分配可塑性与保留稳定性的基本单元，选择性更新通道，以兼顾新领域能力与预训练能力。 核心机制：作者将每个奇异向量通道视为一种输入—输出变换，更新通道用于学习新知识，固定通道用于保留预训练能力。微调前，SVC 使用领域数据估计各通道的适应收益，并仅将固定的公开通用领域语料作为历史激活代理，用于估计遗忘成本；随后通过基于拐点的成本筛选、Pareto-front 过滤与 Otsu 阈值法，自适应选择可训练通道。相较于仅限制可训练参数数量的 PEFT 思路，其关注点是以何种结构单元、依据何种收益与成本信号决定更新位置。具体评分公式、参数化方式、损失与训练开销尚未验证。 结果与证据边界：在覆盖四个 LLM 家族、八项下游任务的实验中，作者报告 SVC 相较现有 PEFT 基线更好地保留预训练能力，同时获得较强的下游表现；作者还报告通道评分与选择分析支持该机制。摘要未提供模型名称、数据集、任务顺序、划分、指标数值或基线配置，实验协议、消融及统计信息尚未验证，因此不能据此量化优势或判断不同持续学习设置下的适用范围。 平台推测（待验证）：若 EEG 预训练模型的权重也能分解为具有可用适应信号的奇异向量通道，该机制可能用于缓解跨被试或跨会话持续适应中的遗忘。可借鉴通道评分与筛选流程，但需改造领域收益评估及历史激活代理，不能直接用文本通用语料替代 EEG 历史数据。低信噪比、小样本和通道配置变化可能使评分不稳定，或使保留的通道不能代表原有能力。一个可检验的小实验是在固定 EEG 模型与顺序跨会话协议下，匹配可训练参数量，对比 SVC 式选择、随机通道选择与 PEFT 基线，同时测量新会话表现和旧会话性能变化。该迁移假设尚无本材料中的 EEG 证据支持，已有相关工作尚未检索确认。

    阅读价值：值得核对 SVC 如何将领域适应收益与遗忘成本落实到奇异向量通道选择，以及固定通用语料作为历史激活代理的有效性；摘要中的优势尚需结合完整实验协议验证。

  7. arXiv · 在线与高效推理84

    Oracle 高效且无需预知参数的不可知平滑在线学习

    基于摘要分析。本文研究平滑在线学习中，如何在标签不必由固定假设完美预测、且未知数据基准分布的条件下，实现统计与计算上可行的在线学习。作者提出基于 Gaussian Follow-The-Perturbed-Leader 的算法，并报告其无需预知基准测度 μ、平滑参数 σ 或时间范围 T，即可获得次线性遗憾。 框架假设每轮协变量的条件分布相对于固定基准测度 μ 的密度不超过 1/σ，从而允许一定程度的数据依赖与对抗性，但并非完全不受约束的对抗环境。摘要指出，既有 oracle 高效算法需要从 μ 采样，或要求标签可由固定假设完美预测；本文旨在同时解除这两项要求。这里的“无需预知参数”指无需知道 μ、σ、T，不意味着模型没有参数，也不意味着无需平滑性假设。 作者报告：对于 VC 维为 d 的二元假设类，算法每轮调用一次经验风险最小化（ERM）oracle，遗憾上界为 Õ(d√(T/σ))，与最优界相差至多 √d 因子。该结果是理论遗憾保证，不是 Accuracy 或实际运行速度结果；oracle 调用次数也不能替代具体 ERM 求解的计算成本。扰动构造、oracle 接口、证明条件及实验协议、消融与统计信息尚未验证。 平台推测（待验证）：其机制可能为 EEG 在线二分类中应对分布漂移提供理论参考，但前提是特征分布满足相应平滑性条件，且所选假设类具有可用的 ERM 求解器。可复用的是扰动式在线决策与逐轮更新思路；需改造 EEG 特征、标签反馈与求解接口。低信噪比、被试或通道变化及小样本可能使平滑性或计算可行性难以成立。一个可检验的小实验是在固定被试、固定通道的带标签 EEG 数据流上，按时间顺序先预测后更新，与使用相同特征和假设类的在线基线比较累积错误及 ERM 耗时；这不能单独验证理论平滑性假设。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其 Gaussian Follow-The-Perturbed-Leader 如何在未知基准测度与平滑参数时，仅用每轮一次 ERM oracle 调用获得不可知情形下的次线性遗憾；这一保证依赖平滑性假设，尚不能直接视为 EEG 在线适应效果。

10月5日周一
  1. arXiv · 泛化与分布偏移73

    VLA-ZO：视觉-语言-动作模型的快速零阶适应

    基于摘要分析。VLA-ZO 针对视觉-语言-动作（VLA）模型部署时的分布偏移，提出仅适应动作侧、复用冻结视觉-语言前缀计算状态的零阶（ZO）优化框架，旨在降低适应耗时，并保持接近推理级别的内存需求。 核心机制是避免在每次参数扰动查询中重复运行昂贵的视觉-语言前缀：将其冻结后，跨扰动查询及优化器步骤复用条件状态，并通过感知调度的预取隐藏状态传输开销。其针对的瓶颈不同于常规一阶适应的梯度存储成本，而是零阶梯度估计所需大量前向查询带来的计算成本。摘要未提供具体损失、参数扰动方式、动作侧可更新模块或缓存生命周期，相关实现尚未验证。 作者报告，在 LIBERO 摄像机视角偏移评估中，相对基线 ZO，q=16 时端到端适应耗时缩短至对应 25.59 倍加速，q=64 时为 32.54 倍加速；平均任务成功率从不适应时的 48.27%，分别提高到 58.17% 和 63.58%。耗时比较对象是基线 ZO，成功率比较对象是不适应模型，两者不能混为同一对照。具体模型、任务划分、适应监督、硬件、内存实测、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 解码模型也具有昂贵的冻结特征前缀和较轻的可更新输出模块，这种复用思路可能降低资源受限部署中的零阶适应开销；这是计算结构层面的迁移假设，并非已验证的 BCI 效果。可复用部分是条件状态缓存与查询调度，需改造的是 EEG 输出模块、适应目标和流式缓存管理。低信噪比、小样本可能使零阶估计不稳定；跨被试或通道变化若主要影响前缀表征，仅更新输出侧可能不足。可在固定 Cross-session 划分、相同查询预算与适应目标下，对比普通 ZO 和缓存复用 ZO 的耗时、峰值内存及解码指标，检验计算收益是否保留且性能不受损。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其冻结计算前缀与缓存复用机制：作者报告在 LIBERO 摄像机视角偏移下显著缩短零阶适应耗时，但收益对模型计算结构与缓存有效性的依赖仍需全文验证。

  2. arXiv · 学习目标与优化63

    生物医学领域神经机器翻译的模型压缩研究

    基于摘要分析。研究针对专业术语密集、平行语料有限的法语到英语生物医学翻译，联合考察知识蒸馏与量化，并比较多种微调策略，以提升压缩学生模型的领域适应能力与部署效率。 知识蒸馏通过大教师模型向较小学生模型传递知识，但领域平行数据稀缺可能限制迁移效果；量化通过降低权重与激活的数值精度降低计算开销，但精度下降可能损害翻译质量。摘要以32-bit到8-bit说明量化概念，不能据此确认本研究实际采用的位宽。研究的主要关注点是两种压缩技术与领域微调的组合，而非单独评估模型规模缩减。 作者报告，在法语到英语生物医学翻译实验中，相对于原始基线，联合蒸馏与量化的学生模型大小减少69%，推理速度提高98.21%，CO2排放减少98.46%，且未牺牲翻译质量。摘要未说明基线模型身份、数据集、训练与测试划分、翻译质量指标、硬件、推理负载及排放核算方式，因此这些结果仅能作为该实验条件下的作者报告，尚不能确认其可复现性或泛化范围。蒸馏目标、量化配置、微调策略差异、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若EEG任务已有可靠教师模型，可假设蒸馏与量化有助于压缩部署端解码器；但本研究依赖文本平行语料与翻译监督，不能直接证明BCI收益。可复用的是教师—学生压缩流程，需改造输入表示、任务目标和校准数据。EEG低信噪比、跨被试及通道差异、小样本条件可能使教师误差传递或量化损失加剧。一个可检验的小实验是在固定Cross-subject划分与相同部署硬件下，对比原模型、仅蒸馏、仅量化和联合压缩，测量同一任务指标、模型大小、延迟及能耗。已有EEG相关工作尚未检索确认。

10月2日周五
  1. arXiv · 多模态与生成机制74

    检测与抑制：针对 VLA 模型对抗补丁的机制性防御

    基于摘要分析。研究针对对抗补丁通过操纵视觉观测导致 Vision-Language-Action（VLA）模型机器人控制失败的问题，利用 sparse autoencoder（SAE，稀疏自编码器）分析内部表征，并提出由攻击检测触发的特征抑制防御，无需微调 VLA 模型。 核心机制是先识别一个激活与对抗补丁存在高度相关的内部特征，再通过线性探针检测攻击，仅在检测到攻击时于推理阶段抑制该特征。摘要支持的是特征与补丁存在的相关性；该特征是否具有特定语义，以及它在控制失败中的因果作用范围，尚需正文核对。方法的关键不只是选择抑制目标，还包括控制干预时机，以减少对正常策略行为的扰动。 作者报告，在 LIBERO-10 的 VLA 对抗补丁攻击评估中，条件干预提高了间歇性攻击下的任务成功率，而持续施加同一干预会显著降低策略表现。摘要未提供具体成功率、攻击频率、补丁设置或基线数值，因此不能量化收益，也不能据此判断对其他攻击形式的泛化能力。VLA 型号、SAE 训练数据及配置、线性探针监督与阈值、评估划分、消融及统计信息尚未验证；复现需核对这些条件，以及误报和漏报如何影响正常任务与受攻击任务。 平台推测（待验证）：可迁移的机制假设是，若 EEG 模型内部存在与伪迹相关且可分离的特征，条件检测与选择性抑制可能比持续抑制更少损伤有效信号。可复用的是“检测后干预”的框架，需改造的是 EEG 表征提取、伪迹监督与干预位置；低信噪比、跨被试差异、通道变化和小数据可能使伪迹特征与任务信息混合。一个小规模可证伪实验是在固定 EEG 分类器与数据划分下，比较不干预、持续抑制和条件抑制，并分别评估干净及间歇性伪迹条件下的任务表现。此假设不构成已验证的 EEG/BCI 效果，相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的具体原因是，作者将 SAE 特征分析与线性探针触发的推理时抑制结合，并比较条件干预与持续干预，提供了核对防御收益及正常策略受损风险的机制性切入点。