跳到正文
只看学习与优化#Transfer Learning
10月6日周二
  1. arXiv · EEG 与神经表征80

    CogAdapt：认知信息引导的代码 LLM 稀疏适应

    基于摘要分析。研究针对代码 LLM 微调成本较高的问题，提出 CogAdapt：利用人类阅读代码时的 EEG 与注意数据，学习程序级和 token 级认知先验，并据此选择性更新模型，以兼顾代码生成性能与适应参数规模。 核心机制是将可迁移的认知先验与冻结模型对各编码任务的响应相结合，决定适应规模及需要更新的 transformer blocks；微调期间仅更新选定模块，推理时不需要新增人类记录。与摘要所述通常更新较大部分模型的人类认知对齐方法相比，其重点不是仅用认知信号指导学习内容，而是进一步指导更新位置和规模。先验的具体学习目标、EEG 预处理、注意数据获取方式及模块选择规则尚未验证。 作者报告，在 Qwen 和 GLM 上，人类阅读行为与 Mixture-of-Experts（MoE）计算表现出一致对应关系。作者报告，CogAdapt 在 LiveCodeBench 和 BigCodeBench 的所比较设置中取得最佳 pass@1；其中在 LiveCodeBench 上，相较匹配的常规微调，提升分别为 10.86 和 6.29 个百分点，同时可参与梯度更新的适应参数减少 86.21–87.21%。摘要未明确各数值对应的模型配置，也未提供绝对 pass@1、数据划分或统计不确定性；参数减少不能直接等同于训练时间、显存或总计算成本同比下降。 该工作将 EEG 作为代码模型适应的认知指导信息，而非直接研究 BCI 解码。关键核对事项包括认知先验跨程序、任务及被试的可迁移性，认知信号相对纯模型响应选择策略的增益，以及匹配微调的参数预算和训练预算。被试数量、记录协议、训练与评估划分、消融、统计信息及代码可用性尚未验证，不能据此推断其适用于其他 EEG 任务。

    阅读价值：值得核对其如何将 EEG 与人类注意数据转化为代码模型的稀疏适应先验，以及性能提升和可参与梯度更新的参数减少能否在匹配微调协议下复现；这并非 EEG 解码性能的验证。

10月5日周一
  1. arXiv · 学习目标与优化74

    具有高效资源分配的多任务主动学习

    基于摘要分析。研究针对标注阶段可付费获取辅助信息、但部署预测时辅助变量系统性不可用的问题，提出 Active Learning with Cost-Adaptive Task Resource Allocations（ALCATRAs），在预算约束下选择辅助任务，并将已完成任务的信息转移至下游预测模型。这一设定属于设计性缺失问题，将数据采集、替代模型构建与预测联系起来。 框架包含两个主要组件：任务选择策略为未标注数据依次选择具有成本效益的任务；替代模型学习过程利用已完成任务的知识改善预测。摘要未给出任务效益与成本的具体计算方式、替代模型结构、损失函数或优化流程，相关实现细节尚未验证。 作者报告，理论分析说明替代模型与样本高效的任务策略能够改善预测误差界；在模拟研究及 UCI heart disease cohort 应用中，ALCATRAs 相较所考察基线提高了样本效率。摘要未提供具体提升数值、基线名称、预算设置、数据划分及误差界的适用假设，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能适用于 EEG/BCI 标注时可获取额外专家评估或辅助测量、部署时仅保留 EEG 的情境。迁移假设依赖辅助信息确有增益、采集成本可量化，以及训练与部署间的关联保持稳定。可复用的是预算约束任务选择与知识转移思路；需改造的是 EEG 表征、辅助任务定义及跨被试或跨会话评估。低信噪比、通道差异和小样本可能使任务效益估计不稳定，或使替代模型学习到被试特异关联。一个可证伪的小实验是在固定标注预算与相同跨被试划分下，对比 ALCATRAs、随机辅助任务选择和仅 EEG 训练，并确保部署预测不访问辅助变量，检验增益是否稳定。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其如何联合设计成本敏感的辅助任务采集与替代模型学习，以处理训练可获取、部署不可获取的辅助信息；其向 EEG/BCI 的迁移价值尚未验证。

10月4日周日
  1. arXiv · 时序与音频基础模型79

    通过分层稳定化实现语音基础模型的可迁移对抗鲁棒性

    基于摘要分析。该研究关注语音基础模型（SFM）的鲁棒性能否在未来下游任务尚未确定时预先学习，从而避免每个任务都进行完整的对抗微调。作者提出分层表征稳定化，并在下游干净数据适配之后仅优化分类器间隔，将骨干鲁棒化与任务适配分离。 核心机制：对冻结骨干与线性分类器，作者从表征稳定性和决策边界间隔的相互作用解释鲁棒性。方法在多个隐藏层稳定表征，而非仅处理最后一层，同时保留干净输入的表征；下游适配先学习层融合与轻量分类器，再固定所选层混合，仅扩大分类器间隔，此阶段不生成下游对抗样本。具体稳定化目标、干净表征保持约束、训练流程与间隔优化方式尚未验证。 作者报告，在 Wav2Vec2、HuBERT 和 WavLM Large 的四项任务上，使用自适应 30 dB 攻击评估，共覆盖 12 个骨干—任务组合；分层鲁棒化使 Robust Accuracy 提升 46.4 个百分点，间隔优化再增加 4.0 个百分点，代价为 Clean Accuracy 下降 1.1 个百分点。摘要未明确这些增益的对照基线与汇总方式，也未列出任务、数据集及划分；攻击约束、实验协议、消融及统计信息尚未验证。作者提供了代码与配置，但运行条件及复现结果尚未核对。 平台推测（待验证）：迁移假设是，若 EEG 基础模型也采用冻结骨干、可学习层融合和线性分类器，该方法可能用于分离表征扰动敏感性与分类间隔不足两类问题。可复用思路是多层稳定化与适配后间隔优化，但扰动模型需改为符合 EEG 振幅、频带及通道结构的约束；语音攻击下的有效性不等于 EEG/BCI 有效。低信噪比、跨被试差异、通道变化和小样本可能使稳定化压制任务相关信号，或使扩大训练间隔无法改善泛化。一个可检验的小实验是在固定跨被试划分下，对比原始冻结骨干、仅分层稳定化、仅间隔优化及二者组合，分别报告干净与受约束扰动下的 Accuracy。相关 EEG 工作尚未检索确认。

    阅读价值：值得核对其分层表征稳定化与分类器间隔优化如何分工，以评估在不为每个下游任务更新骨干或生成对抗样本的条件下，鲁棒性能否迁移至不同任务。