跳到正文
OpenReview · Representation learning· Xu Han; Yuan Tang; Jinfeng Xu; Xianzhi Li·· 2025-03-24精选AI 评分77

MoST:用于 3D 表征学习的高效 Monarch 稀疏调优

MoST: Efficient Monarch Sparse Tuning for 3D Representation Learning

AI 导读

MoST 面向 3D 点云表征学习中的参数高效微调(PEFT),通过将稠密权重更新矩阵重参数化为稀疏 Point Monarch 矩阵,旨在减少可训练参数并保留局部几何表达能力。基于摘要分析,尚未取得论文全文。 核心机制是为不规则点云设计结构化矩阵族 Point Monarch,再以该结构表示微调中的权重更新。与 adapter 和 prompt-tuning 类 3D PEFT 方法相比,作者称 MoST 不引入额外推理开销、可兼容任意 3D 表征学习骨干,并可与 Low-rank、Kronecker 等矩阵分解结合以进一步减少参数。矩阵的具体结构、局部几何如何进入参数化过程,以及推理阶段如何实现这些性质,尚需正文核对。 作者报告,在多个骨干与基准上进行了实验,其中 ScanObjectNN(PB_50_RS)的分类 Accuracy 为 97.5%,ModelNet40 分类 Accuracy 为 96.2%,并称达到相应基准的最先进结果。摘要未交代这些数值对应的具体骨干、训练与测试划分、预训练条件、参数预算和对照配置,因此不能据此判断不同设置下的收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,将传感器空间邻近结构用于约束微调权重,可能为 EEG 小数据适配提供参数效率收益。原方法依赖点云局部几何及预训练骨干;迁移时可考虑复用结构化更新思路,但需按电极布局及 EEG 时空特征重构矩阵映射,不能直接把点云分类效果视为 BCI 证据。低信噪比、跨被试差异及通道缺失可能削弱空间邻近假设,小参数量也不保证小样本泛化。一个可证伪的小实验是在固定 EEG 骨干与严格隔离的跨被试划分下,以匹配可训练参数预算比较该结构化更新、Low-rank 更新和全量微调,同时检查分类指标与推理开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 Point Monarch 如何以结构化稀疏更新兼顾点云局部几何表达与参数效率,以及作者所述无额外推理开销的实现条件;其 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net