跳到正文
#Compression
10月9日周五
  1. arXiv · 泛化与分布偏移77

    SparseDecoding：面向准确高效 LLM 推理的解码感知剪枝

    基于摘要分析。该研究针对 LLM 解码阶段受内存带宽限制，以及固定自然文本剪枝校准与模型自生成序列之间的分布偏移，提出 SparseDecoding：用稠密模型自回归生成时的逐层激活校准剪枝，并结合面向解码的稀疏计算内核，提高剪枝后的生成质量与推理效率。 机制上，作者指出，常见基于 Hessian 的逐层免训练剪枝使用预先收集的自然文本计算校准信息，而实际解码输入包含模型自生成 token；两类序列对应的 Hessian 与激活分布存在差异，可能损害剪枝模型的生成表现。SparseDecoding 从稠密模型自回归生成过程收集逐层激活并构建校准矩阵，明确排除 prefill 阶段，使剪枝目标更贴近解码阶段的激活。具体剪枝目标、Hessian 计算方式、稀疏率与校准样本规模尚未验证。 系统上，该方法针对解码中占主导的稀疏矩阵–向量乘法（SpMV），而非主要优化稀疏矩阵–矩阵乘法（SpMM），设计采用位掩码索引与固定步长遍历的 N:M 稀疏内核。其实际收益需要结合稀疏模式、生成长度、批大小及内核调用开销核对，不能仅由非零参数减少推断。 作者报告，在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B 的长文本生成基准上，该方法持续优于标准固定文本校准，并在 A100 GPU 上获得最高 1.48 倍的端到端实际墙钟解码加速。摘要未给出基准名称、生成质量指标、加速峰值对应模型与配置，以及计时对照的具体设置；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是让压缩校准数据匹配部署时的输入与激活分布，但这依赖自回归生成这一数据结构，不等同于已验证的 EEG/BCI 域适应方案。摘要未提供直接的 EEG 迁移机制或验证，已有 EEG 相关工作尚未检索确认。复现需取得校准生成流程、剪枝配置、内核实现及硬件计时协议；代码是否公开尚未验证。

    阅读价值：值得核对其生成阶段校准能否缓解剪枝时的激活分布偏移，以及 N:M 稀疏矩阵–向量内核在何种配置下带来实际解码加速；摘要提供了明确机制，但效果边界尚未验证。

10月8日周四
  1. arXiv · 泛化与分布偏移72

    室内空气质量监测中的低成本传感器校准：数据集、评估场景与轻量模型

    基于摘要分析。研究针对低成本室内空气质量传感器的非线性失真、噪声与时间漂移，提出包含参考传感器测量的数据集、四类评估场景及轻量时序校准模型，旨在缓解传统严格成对校准对各部署地点共址参考传感器的依赖，并评估空间与时间异质性。 数据集覆盖五个地点、六个月的多变量室内空气质量测量，包含低成本传感器、参考传感器及上下文元数据。四类场景分别为 reference-efficient、location-transfer、long-term drift 和 event-conditioned：前两类评估空间泛化，后两类评估对渐进及突发分布偏移的稳健性。具体参考数据用量、地点划分、时间切分与事件定义尚未验证，不能将这些场景视为统一难度的测试。 模型结合输入窗口压缩、残差时序融合与特征融合，设计目标是兼顾校准能力和边缘推理成本。作者报告，在上述四类场景中均取得较强校准表现且边缘推理成本较低；摘要未提供具体指标、数值、对照基线或设备条件，损失函数、训练流程、消融及统计信息尚未验证。 平台推测（待验证）：其空间迁移与时间漂移评估思路可能对应 EEG 的跨被试、跨会话分布偏移，但原任务依赖低成本与参考传感器测量，不能直接等同于 EEG 解码监督。可考虑复用窗口压缩与时序、特征融合思路，需改造通道表示、输出目标和监督方式；EEG 低信噪比、通道差异及小数据可能使压缩丢失判别信息。一个可检验的假设是：在固定训练数据量和相同跨会话划分下，比较加入与不加入窗口压缩的同一 EEG 模型，检验推理成本降低是否伴随解码性能损失。已有 EEG 相关工作尚未检索确认。

    阅读价值：该工作将低成本传感器校准拆分为空间泛化、长期漂移与事件条件下的评估场景，值得核对其划分协议及轻量时序模型如何应对不同分布偏移，但摘要中的性能与推理成本结论尚待全文验证。

  2. arXiv · 学习目标与优化75

    动力学即编码：通过动态系统进行模型压缩

    基于摘要分析。本文研究预训练神经网络在内存与计算约束下的模型压缩，将已有动态系统（DS）权重编码范式扩展为统一框架，并给出 irrational winding 的有限轨迹覆盖界。其核心是以动态系统轨迹中的状态索引表示高维权重向量，解压时由对应状态恢复权重，而非直接采用剪枝、量化、知识蒸馏或低秩分解。 理论方面，作者证明：在满足 Diophantine 条件时，irrational winding 中包含 M = O(ε^{-(d+ν)}) 个状态的有限轨迹可构成 d 维权重空间的 ε-net，从而联系状态分辨率、解压误差与压缩率。该界依赖明确条件，不能直接等同于任意模型权重的实用压缩保证；ν 的具体定义、适用权重域及常数尚需正文核对。 方法方面，框架统一了空间填充曲线（Hilbert、Peano、Morton/Z-order、Snake）、混沌系统（Lorenz）、同余与伪随机生成器（LCG、PCG）及低差异序列（Halton）。作者引入 KD-tree 与 coordinate-template 加速以扩展至大模型，并利用异常值识别控制误差。权重分组方式、状态索引存储成本、异常值处理细节及各系统的选择条件尚未验证。 作者报告，在 ResNet-18、Qwen2.5-1.5B 和 Qwen1.5-7B 实验中，该方法无需事后重训练即可取得有竞争力的压缩率，并具有可控解压误差和灵活的状态空间设计。摘要未提供具体压缩率、任务性能、数据集、对照基线或运行开销；实验协议、消融及统计信息尚未验证。复现时应同时核对编码搜索成本、解压延迟、额外元数据与任务性能，而不能仅依据权重重构误差判断部署价值。 平台推测（待验证）：若用于 EEG 模型部署，可复用轨迹索引编码与权重恢复模块，但需按模型权重尺度和分组方式调整状态空间，并评估低信噪比下任务输出对权重扰动的敏感性。小模型的索引和异常值存储开销可能抵消压缩收益。可在固定 Cross-subject 划分的已有 EEG 分类模型上，不重训练地比较压缩前后 Accuracy、存储量与推理延迟，检验该假设。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是动态系统轨迹索引如何在无需事后重训练的条件下实现权重压缩，以及其理论误差界能否转化为包含索引搜索、解压开销和任务性能的实际收益。

10月4日周日
  1. arXiv · 时序与音频基础模型76

    LogSig-SSM：面向状态空间模型的多尺度 log-signature 压缩时序建模

    基于摘要分析。LogSig-SSM 针对高频、不规则采样且具有长程依赖的多变量时序，先以多尺度窗口化 log-signature 将长序列压缩为较短的 token 序列，再用选择性状态空间模型（SSM）建模长程依赖，旨在兼顾连续时间方法的输入表征能力与 SSM 的计算效率。 核心机制是由 log-signature token 表征高阶跨通道交互，再交由选择性 SSM 骨干处理。作者将其定位为对 NCDE、NRDE 长序列扩展成本，以及 Mamba 单个模块内隐维度间递归混合受限问题的回应。摘要还给出连续时间解释：模型可视为由 log-signature 输入驱动的 NCDE/NRDE 风格系统，选择性机制对应潜在动力学的输入依赖重缩放。窗口尺度、log-signature 截断阶数、损失、训练配置及具体骨干实现尚未验证。 作者报告，在 UEA 长序列分类、PPG-DaLiA 高频生理信号回归、多变量天气预测及 PhysioNet Sepsis 不规则采样临床预测四类基准上，LogSig-SSM 优于或匹配较强的 SSM 与连续时间基线；在最长序列上，相比 Mamba，训练速度最高提升至 30 倍，GPU 显存用量最高减少 37 倍。摘要未明确这些效率极值分别对应哪个基准、硬件与配置，也未提供各任务指标、数据划分或不确定性；实验协议、消融及统计信息尚未验证，不能据此认定所有任务均有同等收益。 平台推测（待验证）：迁移假设是，EEG 长序列中的跨通道交互可由窗口化 log-signature 保留，并在压缩后供 SSM 利用。可复用压缩与序列建模思路，但需适配 EEG 通道排列、时间编码及窗口尺度；低信噪比可能使高阶交互放大噪声，通道变化和跨被试差异可能削弱表征稳定性，小数据也可能限制学习。一个可证伪的小实验是在固定 Cross-subject 划分、预处理与训练预算下，对比原始 EEG 输入的 Mamba 与 LogSig-SSM，同时记录分类指标、训练耗时和峰值显存，并改变窗口尺度检验是否牺牲任务信息。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对多尺度 log-signature 压缩能否在保留跨通道交互的同时降低长序列建模成本；摘要中的效率优势有明确比较对象，但具体协议及向 EEG 的迁移效果尚未验证。