跳到正文
OpenReview · Representation learning· Adam Kania; Marko Mihajlovic; Sergey Prokudin; Jacek Tabor; Przemysław Spurek·· 2025-01-23精选AI 评分77

FreSh:通过频率平移加速神经表示学习

FreSh: Frequency Shifting for Accelerated Neural Representation Learning

AI 导读

基于摘要分析。本文研究图像、视频和三维形状等信号的隐式神经表示(INRs),提出 frequency shifting(FreSh):依据未训练模型输出与目标信号的频谱匹配程度选择嵌入超参数,以改善表示学习效果并降低超参数搜索成本。 核心机制:用 MLP 连续表示信号时,低频偏置会限制高频细节的拟合。高频输入嵌入或特殊激活层可以缓解这一问题,但通用默认超参数未必适合具体目标信号。作者报告,模型初始输出的频谱与其在目标信号上的最终表现具有较强相关性;FreSh 利用这一观察进行信号特定的超参数选择。摘要未给出频谱匹配准则、候选参数范围及具体计算流程,尚不能据此还原实现。 结果与证据边界:作者报告,在多种神经表示方法和任务上,FreSh 改善了性能,效果可比广泛超参数搜索,而相较于使用默认超参数训练单个模型,仅增加较小计算开销。摘要未列出具体数据集、指标、搜索预算或耗时数值,实验协议、消融及统计信息尚未验证;这些结论也不构成 EEG 或 BCI 有效性的证据。 平台推测(待验证):若将 INR 用于 EEG 连续波形重建,可检验其频谱匹配机制能否缓解不同信号频率组成下的参数选择问题。可复用的是频谱驱动的参数选择思路,需改造的是时间与通道坐标表示、频谱估计及匹配准则。其依赖可获得的目标信号频谱;低信噪比下可能匹配到伪迹,小数据下频谱估计不稳定,跨被试及通道差异也可能削弱迁移。一个小规模可证伪实验是:在相同 EEG 重建模型、数据划分和训练预算下,对比默认参数、FreSh 与网格搜索,评估留出采样点的重建误差及总计算成本,并仅用训练部分选择参数。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是,FreSh 用未训练模型输出与目标信号的频谱匹配指导嵌入超参数选择,作者报告其可用较小额外计算成本接近广泛超参数搜索的效果,但其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net