跳到正文
arXiv · 在线与高效推理· Mehmet Emre Akbulut; Johannes Geier; Ulf Schlichtmann·· 3 天前精选AI 评分76

MemFLoRA:面向边缘端 CNN 适应的内存下限 LoRA

MemFLoRA: Memory-Floor LoRA for CNN Adaptation at the Edge

AI 导读

基于摘要分析。MemFLoRA 面向部署后用户、传感器或环境变化引起的端侧 CNN 适应,核心贡献是将适配器设计目标从减少可训练参数转向减少反向传播所需保存的激活状态。 机制上,作者提出激活内存下限准则:可训练部分的反向计算不得依赖层的全宽输入。适配器冻结下投影、训练尺度匹配的上投影,并结合处于 eval 模式的骨干归一化与最小化激活保存的反向计算规则,将需要保存的状态压缩到低秩分支。其区别于直接套用面向 Transformer 的 LoRA,重点在于反向计算依赖与激活保存成本,而不只是参数量;具体尺度匹配方式、反向规则和适配位置尚未验证。 作者报告,在三个 Human Activity Recognition(HAR)数据集、两个 CNN 骨干上,针对被试、身体位置及传感器放置变化进行评估,相比全量微调,保存激活的内存减少 98.5–98.7%,峰值训练状态内存减少 94.9–97.3%,任务表现达到或超过 CNN PEFT 基线。摘要未给出数据集名称、划分细节、具体任务指标或基线名称,不能将这些结果直接解释为 EEG 效果,也不能等同于设备总内存降幅。实验协议、消融及统计信息尚未验证;复现还需核对低秩维度、训练配置、内存计量口径与实现细节。 平台推测(待验证):若 EEG CNN 的端侧适应同样受激活保存成本限制,该机制可能有助于跨被试或传感器变化下的低内存训练。可复用的是低秩分支及激活保存约束,需改造的是 EEG 卷积结构中的插入位置与通道映射。该假设依赖预训练骨干已保留可迁移特征;低信噪比、通道变化、小样本或归一化统计失配可能使冻结下投影限制适应能力。可先在固定 EEG CNN 的跨被试划分上,以相同适应数据和训练预算比较 MemFLoRA、常规 LoRA 与全量微调,同时记录任务指标、保存激活内存和峰值训练状态内存。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其“可训练反向计算不依赖全宽输入”的激活内存下限准则及实现,因为它直接针对端侧 CNN 适应中训练参数少但激活保存成本仍高的问题;对 EEG 端侧适应的价值尚未验证。

来源:arXiv · 在线与高效推理 · arxiv.org