跳到正文
只看在线与系统算法#LLM
10月9日周五
  1. arXiv · 泛化与分布偏移77

    SparseDecoding：面向准确高效 LLM 推理的解码感知剪枝

    基于摘要分析。该研究针对 LLM 解码阶段受内存带宽限制，以及固定自然文本剪枝校准与模型自生成序列之间的分布偏移，提出 SparseDecoding：用稠密模型自回归生成时的逐层激活校准剪枝，并结合面向解码的稀疏计算内核，提高剪枝后的生成质量与推理效率。 机制上，作者指出，常见基于 Hessian 的逐层免训练剪枝使用预先收集的自然文本计算校准信息，而实际解码输入包含模型自生成 token；两类序列对应的 Hessian 与激活分布存在差异，可能损害剪枝模型的生成表现。SparseDecoding 从稠密模型自回归生成过程收集逐层激活并构建校准矩阵，明确排除 prefill 阶段，使剪枝目标更贴近解码阶段的激活。具体剪枝目标、Hessian 计算方式、稀疏率与校准样本规模尚未验证。 系统上，该方法针对解码中占主导的稀疏矩阵–向量乘法（SpMV），而非主要优化稀疏矩阵–矩阵乘法（SpMM），设计采用位掩码索引与固定步长遍历的 N:M 稀疏内核。其实际收益需要结合稀疏模式、生成长度、批大小及内核调用开销核对，不能仅由非零参数减少推断。 作者报告，在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B 的长文本生成基准上，该方法持续优于标准固定文本校准，并在 A100 GPU 上获得最高 1.48 倍的端到端实际墙钟解码加速。摘要未给出基准名称、生成质量指标、加速峰值对应模型与配置，以及计时对照的具体设置；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是让压缩校准数据匹配部署时的输入与激活分布，但这依赖自回归生成这一数据结构，不等同于已验证的 EEG/BCI 域适应方案。摘要未提供直接的 EEG 迁移机制或验证，已有 EEG 相关工作尚未检索确认。复现需取得校准生成流程、剪枝配置、内核实现及硬件计时协议；代码是否公开尚未验证。

    阅读价值：值得核对其生成阶段校准能否缓解剪枝时的激活分布偏移，以及 N:M 稀疏矩阵–向量内核在何种配置下带来实际解码加速；摘要提供了明确机制，但效果边界尚未验证。

10月8日周四
  1. arXiv · 在线与高效推理74

    适应位置的重要性：面向能力保留的层选择性微调

    基于摘要分析。研究关注 LLM 的参数高效微调（PEFT）在适应专门任务时可能损害预训练通用能力的问题，提出 Layer-Selective LoRA（LS-LoRA）：以各 Transformer 层的输入—输出余弦相似度筛选适应位置，仅在低相似度层部署可训练 LoRA 适配器。 核心机制是将“在哪里适应”作为优化对象，而不是主要依赖数据回放或显式正则化约束。作者用逐层经验 Fisher 信息衡量目标任务敏感性，但其计算需要反向传播；因此提出仅需前向计算的输入—输出余弦相似度作为层敏感性排序的轻量代理。作者报告，在所评估的模型与任务中，较低的输入—输出相似度对应较高的经验 Fisher 分数。该观察支持选择低相似度层进行适应，但摘要未提供相似度聚合方式、层选择阈值及额外计算开销。 作者报告，在数学推理和代码生成实验中，相较标准全层 LoRA，LS-LoRA 提升了平均目标任务表现，并保留了更多常识推理能力。摘要未给出具体模型、数据集、指标数值、训练与评估划分，也未说明适配器参数预算是否匹配；实验协议、消融及统计信息尚未验证。需核对收益究竟来自层位置选择、可训练参数减少，还是两者共同作用，以及常识推理评估能代表多大范围的通用能力。 平台推测（待验证）：若 EEG Transformer 的层输入—输出相似度也能反映下游任务敏感性，这种选择性适应可能用于检验跨被试或跨数据集微调时的能力保留。可复用模块是逐层前向相似度计算与 LoRA 层选择；需改造相似度在 EEG 时间片段和通道维度上的聚合方式，并依赖已有预训练编码器与下游监督数据。低信噪比、通道差异及小样本可能使层排序不稳定，LLM 中的代理关系不能直接视为 EEG 结论。一个可证伪的小实验是固定 EEG 编码器、跨被试划分与训练预算，对比低相似度层、高相似度层、随机层及全层 LoRA，同时核对相似度与经验 Fisher 排序的一致性，并评估目标任务及原任务保留情况。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对输入—输出余弦相似度能否稳定替代逐层经验 Fisher 信息，以及选择性部署 LoRA 是否在可比训练条件下改善目标任务适应与通用能力保留的权衡。

  2. arXiv · 学习目标与优化75

    动力学即编码：通过动态系统进行模型压缩

    基于摘要分析。本文研究预训练神经网络在内存与计算约束下的模型压缩，将已有动态系统（DS）权重编码范式扩展为统一框架，并给出 irrational winding 的有限轨迹覆盖界。其核心是以动态系统轨迹中的状态索引表示高维权重向量，解压时由对应状态恢复权重，而非直接采用剪枝、量化、知识蒸馏或低秩分解。 理论方面，作者证明：在满足 Diophantine 条件时，irrational winding 中包含 M = O(ε^{-(d+ν)}) 个状态的有限轨迹可构成 d 维权重空间的 ε-net，从而联系状态分辨率、解压误差与压缩率。该界依赖明确条件，不能直接等同于任意模型权重的实用压缩保证；ν 的具体定义、适用权重域及常数尚需正文核对。 方法方面，框架统一了空间填充曲线（Hilbert、Peano、Morton/Z-order、Snake）、混沌系统（Lorenz）、同余与伪随机生成器（LCG、PCG）及低差异序列（Halton）。作者引入 KD-tree 与 coordinate-template 加速以扩展至大模型，并利用异常值识别控制误差。权重分组方式、状态索引存储成本、异常值处理细节及各系统的选择条件尚未验证。 作者报告，在 ResNet-18、Qwen2.5-1.5B 和 Qwen1.5-7B 实验中，该方法无需事后重训练即可取得有竞争力的压缩率，并具有可控解压误差和灵活的状态空间设计。摘要未提供具体压缩率、任务性能、数据集、对照基线或运行开销；实验协议、消融及统计信息尚未验证。复现时应同时核对编码搜索成本、解压延迟、额外元数据与任务性能，而不能仅依据权重重构误差判断部署价值。 平台推测（待验证）：若用于 EEG 模型部署，可复用轨迹索引编码与权重恢复模块，但需按模型权重尺度和分组方式调整状态空间，并评估低信噪比下任务输出对权重扰动的敏感性。小模型的索引和异常值存储开销可能抵消压缩收益。可在固定 Cross-subject 划分的已有 EEG 分类模型上，不重训练地比较压缩前后 Accuracy、存储量与推理延迟，检验该假设。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是动态系统轨迹索引如何在无需事后重训练的条件下实现权重压缩，以及其理论误差界能否转化为包含索引搜索、解压开销和任务性能的实际收益。

  3. arXiv · 在线与高效推理75

    通过奇异向量选择平衡 LLM 持续学习中的稳定性与可塑性

    基于摘要分析。研究针对 LLM 领域持续适应中的灾难性遗忘，提出参数高效持续学习方法 SVC，以奇异向量通道作为分配可塑性与保留稳定性的基本单元，选择性更新通道，以兼顾新领域能力与预训练能力。 核心机制：作者将每个奇异向量通道视为一种输入—输出变换，更新通道用于学习新知识，固定通道用于保留预训练能力。微调前，SVC 使用领域数据估计各通道的适应收益，并仅将固定的公开通用领域语料作为历史激活代理，用于估计遗忘成本；随后通过基于拐点的成本筛选、Pareto-front 过滤与 Otsu 阈值法，自适应选择可训练通道。相较于仅限制可训练参数数量的 PEFT 思路，其关注点是以何种结构单元、依据何种收益与成本信号决定更新位置。具体评分公式、参数化方式、损失与训练开销尚未验证。 结果与证据边界：在覆盖四个 LLM 家族、八项下游任务的实验中，作者报告 SVC 相较现有 PEFT 基线更好地保留预训练能力，同时获得较强的下游表现；作者还报告通道评分与选择分析支持该机制。摘要未提供模型名称、数据集、任务顺序、划分、指标数值或基线配置，实验协议、消融及统计信息尚未验证，因此不能据此量化优势或判断不同持续学习设置下的适用范围。 平台推测（待验证）：若 EEG 预训练模型的权重也能分解为具有可用适应信号的奇异向量通道，该机制可能用于缓解跨被试或跨会话持续适应中的遗忘。可借鉴通道评分与筛选流程，但需改造领域收益评估及历史激活代理，不能直接用文本通用语料替代 EEG 历史数据。低信噪比、小样本和通道配置变化可能使评分不稳定，或使保留的通道不能代表原有能力。一个可检验的小实验是在固定 EEG 模型与顺序跨会话协议下，匹配可训练参数量，对比 SVC 式选择、随机通道选择与 PEFT 基线，同时测量新会话表现和旧会话性能变化。该迁移假设尚无本材料中的 EEG 证据支持，已有相关工作尚未检索确认。

    阅读价值：值得核对 SVC 如何将领域适应收益与遗忘成本落实到奇异向量通道选择，以及固定通用语料作为历史激活代理的有效性；摘要中的优势尚需结合完整实验协议验证。

10月3日周六
  1. arXiv · 时序与音频基础模型75

    SEER：面向时间序列预测的自演进事件推理与检索

    基于摘要分析。该研究针对外生事件与结构变化驱动的时间序列预测，提出 SEER（Self-Evolving Event Reasoning and Retrieval）闭环框架，通过预测误差持续优化外部事件条件信息，试图弥补仅依赖历史数值观测及常规检索增强方法的不足。 核心机制是将预测误差转化为两种解耦反馈：一是反思式检索记忆，用于改进后续搜索查询并过滤无关噪声；二是持久化因果知识库，用于提炼可迁移的领域动态规律。摘要将高噪声、信号缺失及事件影响的因果推理能力不足列为常规检索增强方法的难点，但尚未给出 SEER 的具体知识表示、更新规则、训练目标或预测器接口。因果知识库的命名也不等同于已完成因果识别验证。 作者报告，在六个高波动时间序列基准上，SEER 持续优于所比较的先进时间序列基础模型及语言模型基线。摘要未提供基准名称、划分、预测跨度、指标、数值或基线配置，因此尚不能判断优势幅度及不同协议下的适用范围。作者称事件检索与反思均遵守严格时间边界，以防止前视偏差和数据泄漏；具体实施方式、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 预测任务具有带可靠时间戳的外部事件或上下文记录，可假设检索记忆与领域知识积累有助于应对状态变化；这不构成已验证的 EEG/BCI 效果。可复用的是反馈分离思路，需改造事件表示、检索源及反馈更新时机。低信噪比、被试差异、通道变化和小数据可能使误差反馈误归因并积累错误知识。一个可检验的小实验是在固定 EEG 预测任务与按时间划分的协议下，对比数值预测器、静态事件检索与闭环反馈，并分别关闭两类反馈，检查收益是否稳定。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是 SEER 如何将预测误差分别用于检索记忆更新与因果知识积累，以及检索和反思的时间边界如何落实；其性能优势目前仅有摘要中的作者报告。