跳到正文
OpenReview · State space models· Xinyi Yu; Haodong Zhao; Mingyang Zhang; Yan Wei; Libo Zhou; Linlin Ou·· 2024-01-01精选AI 评分72

DynamicAug:基于模型状态的动态数据增强策略提升迁移学习

DynamicAug: Enhancing Transfer Learning Through Dynamic Data Augmentation Strategies Based on Model State

AI 导读

基于摘要分析。该研究针对迁移学习中的过拟合问题,提出 DynamicAug,根据模型的收敛状态动态调整数据增强强度,避免训练前固定增强强度在训练后期可能不再适用的问题。原论文的研究对象是视觉迁移学习,而非 EEG 或 BCI。 机制上,DynamicAug 在每次前向传播时,通过基于高斯分布的采样器随机采样当前增强强度;采样器包含可学习的期望,并通过迭代更新使增强强度与模型收敛状态相匹配。作者提出 convergence loss,用于评估模型的收敛状态。摘要未给出该损失的公式、期望的具体更新规则、采样范围以及增强算子的定义,这些实现细节尚未验证。 作者报告,在 27 个视觉数据集上的实验中,DynamicAug 能显著提升现有迁移学习方法的表现。摘要未列出数据集名称、数据划分、基线、具体指标、提升幅度或统计检验,因此不能据此量化收益或比较不同协议;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 迁移学习中固定增强强度同样存在随训练阶段失配的问题,可假设动态强度采样有助于控制增强扰动。可复用的是强度采样与状态驱动更新机制,需改造的是适合 EEG 的增强算子及强度约束,并核对 convergence loss 所需监督信息。低信噪比、小样本和跨被试差异可能使收敛状态估计不稳定,过强增强也可能破坏任务相关时频特征。一个可证伪的小实验是在固定 Cross-subject 划分、同一骨干和同一增强算子下,对比固定强度与动态强度策略,保持训练预算及调参范围一致,检验动态策略是否稳定优于经验证集选择的固定强度。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何通过 convergence loss 更新增强强度采样器的可学习期望,以替代固定增强强度;作者报告了视觉迁移学习收益,但其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net