跳到正文
OpenReview · State space models· Zhuoqian Yang; Mathieu Salzmann; Sabine Süsstrunk·· 2026-09-17精选AI 评分74

通过神经场适配进行权重空间表征学习

Weight Space Representation Learning via Neural Field Adaptation

AI 导读

基于摘要分析。本文研究神经场的权重能否成为有效的数据表征,核心思路是通过预训练基座模型与低秩适配(LoRA)约束优化空间,使权重空间形成可用于下游任务的结构。主要研究对象是 2D 和 3D 数据的神经场表征,而非 EEG 或 BCI。 机制上,作者将表征学习与神经场的适配权重联系起来,重点考察乘法式 LoRA 权重。作者报告,在所考察的 2D、3D 数据重建、生成与分析任务中,这类权重具有较高的表征质量,并呈现可区分性与语义结构;与 latent diffusion models 结合时,生成质量优于所比较的现有权重空间方法。摘要未给出具体数据集、指标、数值、基线名称或划分,因此尚不能判断优势幅度及适用范围。 复现需核对预训练基座的来源与训练数据、神经场的输入输出形式、乘法式 LoRA 的参数化方式,以及适配权重如何接入生成和分析模型。实验协议、消融及统计信息尚未验证,代码可用性也尚未验证。 平台推测(待验证):若 EEG 能被稳定表示为时间—通道坐标上的神经场,可探索用共享基座及低秩适配权重压缩单段信号,以对应小数据条件下的表征学习问题;这依赖跨样本一致的坐标和参数化,原领域结果不等于 BCI 有效。可复用的是共享基座与受约束适配思路,需改造的是 EEG 坐标编码、通道缺失处理及信号重建目标。低信噪比、通道布局变化和被试差异可能使权重主要编码噪声或个体特征。一个可证伪的小实验是在固定通道布局下,仅用训练被试建立基座,比较适配权重表征与原始信号表征在同一跨被试划分中的分类效果,并检验噪声扰动后的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是作者以预训练基座和 LoRA 约束神经场权重空间,并检验其作为重建、生成与分析任务表征的可用性;乘法式 LoRA 的具体形式及比较协议仍需全文核对。

来源:OpenReview · State space models · openreview.net