跳到正文
OpenReview · Representation learning· Xu Han; Yuan Tang; Jinfeng Xu; Xianzhi Li·· 2025-01-01精选AI 评分77

MoST:面向 3D 表征学习的高效 Monarch 稀疏微调

MoST: Efficient Monarch Sparse Tuning for 3D Representation Learning

AI 导读

基于摘要分析。该研究针对 3D 表征学习中的参数高效微调(PEFT),提出 Monarch Sparse Tuning(MoST),将稠密权重更新矩阵重参数化为结构化稀疏的 Point Monarch 矩阵,以减少微调参数并保留对不规则点云局部几何特征的表达能力。 核心机制是以 Point Monarch 结构约束权重更新,而非引入 adapter 或可学习提示。作者称,该方法兼容多种 3D 表征学习骨干,且不增加推理开销;摘要未提供矩阵构造、局部几何如何进入参数化以及推理实现细节,这些条件尚需正文核对。作者还称 MoST 可与 Low-rank、Kronecker 等矩阵分解结合,进一步减少参数。 作者报告,在多个骨干与基准上取得较强结果,其中 ScanObjectNN 的 PB_50_RS 设置下分类 Accuracy 为 97.5%,ModelNet40 分类 Accuracy 为 96.2%,并称达到当时最优水平。摘要未交代对应骨干、预训练数据、训练与测试划分、输入点数、微调参数量及对照配置,因此不能据此独立确认性能优势或参数效率的幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的候选机制是结构化稀疏权重更新,而非点云分类结果本身。假设 EEG 模型具有可利用的电极空间邻域,Point Monarch 的局部结构约束可能用于低参数微调;需改造点云邻域与权重索引的映射,使其适配电极布局及时间维度。低信噪比、跨被试差异、通道布局变化和小样本可能使局部几何约束失效。一个可证伪的小实验是固定同一预训练 EEG 骨干,在相同 Cross-subject 划分和可训练参数预算下,比较该结构化更新与 Low-rank 微调,并通过打乱电极邻域检验收益是否来自空间结构。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 Point Monarch 如何以结构化稀疏更新兼顾点云局部几何建模与参数效率,以及作者所称无额外推理开销的实现条件;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net