跳到正文
OpenReview · Representation learning· Zhuoqian Yang; Mathieu Salzmann; Sabine Süsstrunk·· 2026-05-25精选AI 评分75

通过 Neural Field 适应进行权重空间表征学习

Weight Space Representation Learning via Neural Field Adaptation

AI 导读

基于摘要分析。本文研究 neural field 的权重能否作为有效的数据表征,核心方法是借助预训练基础模型与乘性低秩适应(multiplicative low-rank adaptation,mLoRA)约束优化空间,从而在权重空间中诱导结构。主要研究对象是 2D 和 3D 数据的重建、生成与分析,而非 EEG 或 BCI。 机制上,作者将受约束的模型适应过程与权重表征质量联系起来:通过共享的预训练基础模型和 mLoRA,得到具有区分性与语义结构的适应权重。摘要未说明 neural field 的具体形式、mLoRA 的参数化与秩、训练目标、基础模型预训练方式,以及各数据实例如何对应适应权重,这些细节尚未验证。 作者报告,在所研究的 2D 和 3D 重建、生成与分析任务中,mLoRA 权重具有较高表征质量,并呈现区分性和语义结构;结合 latent diffusion models 时,其生成质量优于已有权重空间方法。摘要未提供数据集、划分、指标数值及具体对照方法,因此不能判断优势幅度或适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 片段可被表示为以时间及通道信息为输入的 neural field,则共享基础模型下的 mLoRA 权重可能成为片段级表征,用于探索波形拟合与下游任务表征之间的联系。这一假设依赖可比的坐标定义、足够的预训练数据及稳定的逐片段适应。可尝试复用受约束适应与权重编码机制,但需改造输入坐标、信号拟合目标和通道处理方式;低信噪比、跨被试差异、通道不一致及小数据可能使权重主要编码噪声或采集差异。 一个可检验的小实验是在固定通道、固定长度的 EEG 片段上,仅用训练划分建立共享基础模型,比较 mLoRA 权重、直接优化的 neural field 权重及原信号特征在同一划分下的下游表现,并同时检查重建误差,以检验拟合质量是否确实对应任务信息。该方案不是论文已验证结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对预训练基础模型与乘性低秩适应如何使 neural field 的权重成为可分析、可生成的表征,但摘要中的生成质量优势及其向 EEG 的适用性尚需验证。

来源:OpenReview · Representation learning · openreview.net