跳到正文
OpenReview · Representation learning· Xu Han; Yuan Tang; Jinfeng Xu; Xianzhi Li·· 2025-01-01精选AI 评分77

MoST:用于 3D 表征学习的高效 Monarch 稀疏微调

MoST: Efficient Monarch Sparse Tuning for 3D Representation Learning

AI 导读

基于摘要分析。该研究针对 3D 点云表征学习的参数高效微调,提出 Monarch Sparse Tuning(MoST),通过结构化稀疏矩阵重参数化稠密权重更新,以减少可训练参数并保留局部几何特征表达能力。 核心机制是面向不规则点云设计的 Point Monarch 矩阵族。作者将稠密更新权重矩阵表示为稀疏 Point Monarch 矩阵,区别于依赖额外 adapter 或 prompt 的 3D PEFT 方法。作者称该方案兼容多种 3D 表征学习骨干网络,不引入额外推理开销,并可与 Low-rank、Kronecker 等矩阵分解结合以进一步减少参数。摘要未提供矩阵具体构造、稀疏模式、训练配置或参数节省比例,相关实现条件尚未验证。 作者报告,在 ScanObjectNN 的 PB_50_RS 设置下分类 Accuracy 为 97.5%,在 ModelNet40 分类任务上为 96.2%,并称在多个基准上达到当时最优结果。摘要未说明这些结果对应的具体骨干网络、数据划分、预训练来源和对照配置,两项不同基准的数值不能直接比较;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 Point Monarch 的结构化更新能够从点云几何邻域改造为 EEG 通道空间邻域,它可能成为预训练 EEG 模型参数高效适配的一种候选路径,但这是假设而非论文结果。可复用部分是稀疏更新重参数化思路,需改造的是通道拓扑与权重结构的对应关系;原方法依赖的点云局部几何结构不等同于 EEG 的时空依赖。低信噪比、跨被试差异、通道配置变化及小数据训练均可能使这种约束失效。一个可证伪的小实验是在固定 EEG 骨干和跨被试划分下,以匹配的可训练参数预算比较改造后的结构化更新与 Low-rank 微调,并核对通道扰动下的性能和推理开销。相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是 Point Monarch 将点云局部几何结构与稀疏权重更新结合的 PEFT 路径;作者报告其无需额外推理开销,但参数节省幅度、对照公平性及向 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net