模拟硬件上的鲁棒参数高效 LLM 适配

基于摘要分析。研究针对模拟存内计算中硬件非理想性降低 LLM 精度、而全模型重训练成本较高的问题，提出基于 Low-Rank Adaptation（LoRA）的参数高效适配方法：固定存储在模拟阵列上的预训练权重，仅训练 LoRA 权重，以同时适应下游任务与硬件误差。 模拟存内计算通过在存储器中并行执行矩阵—向量乘法（MVM）减少数据搬移，但数字—模拟转换器精度、输入噪声及有限电导状态会影响计算与权重编程。该方法关注前向和反向 MVM 误差以及物理权重更新：使用输入整形（input reshaping）减小输入引起的 MVM 误差，使用更新累积（update accumulation）保留微小更新，再将其编程到有限状态的模拟器件。摘要将方法描述为不依赖特定优化器，但具体变换、累积规则与实现开销尚未验证。 作者报告，在 Llama-3.2-1B-Instruct 和 Llama-3-8B、使用 Muon 与 AdamW 的实验中，输入整形改善了含噪 MVM 条件下的模拟 LoRA 微调；更新累积则改善了有限分辨率编程条件下的适配，包括仅有 20 个电导状态的配置。作者还报告，在多种含噪模拟设置下，留出数据的负对数似然持续改善。摘要未提供具体改善幅度；任务、数据划分、噪声参数、对照配置、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 模型部署在具有类似 MVM 噪声和有限电导状态的模拟硬件上，这两类误差处理模块可能具有复用价值；该假设不等同于其能够解决 EEG 本身的低信噪比或跨被试差异。迁移需核对目标模型的 LoRA 适配位置、硬件误差模型及小数据训练稳定性，不能由 LLM 的负对数似然改善直接推断 BCI 任务性能。已有 EEG 相关工作尚未检索确认。