跳到正文
只看在线与系统算法#潜在迁移
10月8日周四
  1. arXiv · 在线与高效推理74

    适应位置的重要性：面向能力保留的层选择性微调

    基于摘要分析。研究关注 LLM 的参数高效微调（PEFT）在适应专门任务时可能损害预训练通用能力的问题，提出 Layer-Selective LoRA（LS-LoRA）：以各 Transformer 层的输入—输出余弦相似度筛选适应位置，仅在低相似度层部署可训练 LoRA 适配器。 核心机制是将“在哪里适应”作为优化对象，而不是主要依赖数据回放或显式正则化约束。作者用逐层经验 Fisher 信息衡量目标任务敏感性，但其计算需要反向传播；因此提出仅需前向计算的输入—输出余弦相似度作为层敏感性排序的轻量代理。作者报告，在所评估的模型与任务中，较低的输入—输出相似度对应较高的经验 Fisher 分数。该观察支持选择低相似度层进行适应，但摘要未提供相似度聚合方式、层选择阈值及额外计算开销。 作者报告，在数学推理和代码生成实验中，相较标准全层 LoRA，LS-LoRA 提升了平均目标任务表现，并保留了更多常识推理能力。摘要未给出具体模型、数据集、指标数值、训练与评估划分，也未说明适配器参数预算是否匹配；实验协议、消融及统计信息尚未验证。需核对收益究竟来自层位置选择、可训练参数减少，还是两者共同作用，以及常识推理评估能代表多大范围的通用能力。 平台推测（待验证）：若 EEG Transformer 的层输入—输出相似度也能反映下游任务敏感性，这种选择性适应可能用于检验跨被试或跨数据集微调时的能力保留。可复用模块是逐层前向相似度计算与 LoRA 层选择；需改造相似度在 EEG 时间片段和通道维度上的聚合方式，并依赖已有预训练编码器与下游监督数据。低信噪比、通道差异及小样本可能使层排序不稳定，LLM 中的代理关系不能直接视为 EEG 结论。一个可证伪的小实验是固定 EEG 编码器、跨被试划分与训练预算，对比低相似度层、高相似度层、随机层及全层 LoRA，同时核对相似度与经验 Fisher 排序的一致性，并评估目标任务及原任务保留情况。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对输入—输出余弦相似度能否稳定替代逐层经验 Fisher 信息，以及选择性部署 LoRA 是否在可比训练条件下改善目标任务适应与通用能力保留的权衡。

  2. arXiv · 学习目标与优化75

    动力学即编码：通过动态系统进行模型压缩

    基于摘要分析。本文研究预训练神经网络在内存与计算约束下的模型压缩，将已有动态系统（DS）权重编码范式扩展为统一框架，并给出 irrational winding 的有限轨迹覆盖界。其核心是以动态系统轨迹中的状态索引表示高维权重向量，解压时由对应状态恢复权重，而非直接采用剪枝、量化、知识蒸馏或低秩分解。 理论方面，作者证明：在满足 Diophantine 条件时，irrational winding 中包含 M = O(ε^{-(d+ν)}) 个状态的有限轨迹可构成 d 维权重空间的 ε-net，从而联系状态分辨率、解压误差与压缩率。该界依赖明确条件，不能直接等同于任意模型权重的实用压缩保证；ν 的具体定义、适用权重域及常数尚需正文核对。 方法方面，框架统一了空间填充曲线（Hilbert、Peano、Morton/Z-order、Snake）、混沌系统（Lorenz）、同余与伪随机生成器（LCG、PCG）及低差异序列（Halton）。作者引入 KD-tree 与 coordinate-template 加速以扩展至大模型，并利用异常值识别控制误差。权重分组方式、状态索引存储成本、异常值处理细节及各系统的选择条件尚未验证。 作者报告，在 ResNet-18、Qwen2.5-1.5B 和 Qwen1.5-7B 实验中，该方法无需事后重训练即可取得有竞争力的压缩率，并具有可控解压误差和灵活的状态空间设计。摘要未提供具体压缩率、任务性能、数据集、对照基线或运行开销；实验协议、消融及统计信息尚未验证。复现时应同时核对编码搜索成本、解压延迟、额外元数据与任务性能，而不能仅依据权重重构误差判断部署价值。 平台推测（待验证）：若用于 EEG 模型部署，可复用轨迹索引编码与权重恢复模块，但需按模型权重尺度和分组方式调整状态空间，并评估低信噪比下任务输出对权重扰动的敏感性。小模型的索引和异常值存储开销可能抵消压缩收益。可在固定 Cross-subject 划分的已有 EEG 分类模型上，不重训练地比较压缩前后 Accuracy、存储量与推理延迟，检验该假设。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对的是动态系统轨迹索引如何在无需事后重训练的条件下实现权重压缩，以及其理论误差界能否转化为包含索引搜索、解压开销和任务性能的实际收益。

  3. arXiv · 在线与高效推理82

    非平稳学习中的数据复用

    基于摘要分析。本文研究非平稳在线学习：未知参数在有限个可重复出现的值之间突变，目标是持续跟踪参数，并在状态再次出现时利用历史观测。作者提出 Exposure-Capped Reuse（ECR）算法族，结合在线变化检测、兼容性检验与“污染”控制，刻画数据复用的统计收益及风险。 核心机制是判断历史观测能否与当前状态兼容，并控制不适当复用造成的污染。作者将相关权衡与经典偏差—方差困境联系起来，并报告：在其刻画的适用条件下，ECR 的遗憾随不同参数值的数量而非变化次数缩放；作者还推导了信息论下界，据此建立 ECR 的近极小极大最优性。摘要未给出这些条件、具体遗憾表达式、观测分布假设或检测与检验规则，相关证明与适用范围尚未验证。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若在线 EEG 中存在可重复出现、且可从观测中辨识的统计状态，该机制可能帮助缓解非平稳漂移下历史数据被弃用或错误复用的问题。可考虑复用变化检测、兼容性检验及复用限制框架，但需要将原问题中的参数状态对应到 EEG 特征分布或解码器参数，并核对监督信号的可获得性。低信噪比可能导致状态误判；跨被试、通道变化及小样本可能破坏兼容性判断；连续漂移也不一定满足有限状态突变假设。 一个可证伪的小实验是在固定被试与通道配置的 EEG 时间序列上，构造已知状态重复出现的受控切换，按时间顺序比较不复用、无条件复用与兼容性受控复用，考察重复状态下的预测损失及误检后恢复表现。这仅用于检验迁移假设，不代表真实 EEG 场景已满足理论条件；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其对历史数据复用收益与污染风险的理论刻画，尤其是 ECR 的遗憾界何时取决于不同参数值的数量而非变化次数；向 EEG 在线适应迁移的有效性尚未验证。

10月5日周一
  1. arXiv · 学习目标与优化63

    生物医学领域神经机器翻译的模型压缩研究

    基于摘要分析。研究针对专业术语密集、平行语料有限的法语到英语生物医学翻译，联合考察知识蒸馏与量化，并比较多种微调策略，以提升压缩学生模型的领域适应能力与部署效率。 知识蒸馏通过大教师模型向较小学生模型传递知识，但领域平行数据稀缺可能限制迁移效果；量化通过降低权重与激活的数值精度降低计算开销，但精度下降可能损害翻译质量。摘要以32-bit到8-bit说明量化概念，不能据此确认本研究实际采用的位宽。研究的主要关注点是两种压缩技术与领域微调的组合，而非单独评估模型规模缩减。 作者报告，在法语到英语生物医学翻译实验中，相对于原始基线，联合蒸馏与量化的学生模型大小减少69%，推理速度提高98.21%，CO2排放减少98.46%，且未牺牲翻译质量。摘要未说明基线模型身份、数据集、训练与测试划分、翻译质量指标、硬件、推理负载及排放核算方式，因此这些结果仅能作为该实验条件下的作者报告，尚不能确认其可复现性或泛化范围。蒸馏目标、量化配置、微调策略差异、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若EEG任务已有可靠教师模型，可假设蒸馏与量化有助于压缩部署端解码器；但本研究依赖文本平行语料与翻译监督，不能直接证明BCI收益。可复用的是教师—学生压缩流程，需改造输入表示、任务目标和校准数据。EEG低信噪比、跨被试及通道差异、小样本条件可能使教师误差传递或量化损失加剧。一个可检验的小实验是在固定Cross-subject划分与相同部署硬件下，对比原模型、仅蒸馏、仅量化和联合压缩，测量同一任务指标、模型大小、延迟及能耗。已有EEG相关工作尚未检索确认。