跳到正文

算法、任务与模态

Optimization 最新动态

Optimization 研究索引；按可核对的标签归档，不以热度评价质量。

147 条精选近 30 天 116 条共收录 162 条

更新

精选归档 · 第 8 页

9月23日周六第 141–147 条
  1. OpenReview · Representation learning79

    缓解多视图表征学习的样本低效问题

    基于摘要分析。本文研究计算机视觉中非对比自监督学习（NC-SSL）的样本与计算效率，围绕 BarlowTwins 和 VICReg 为何常依赖高维投影头及同一图像的两个增强视图提供理论解释，并据此提出低维投影头正则化与增加每样本增强视图的预训练建议。 机制方面，作者认为特征正交性比投影头维度更关键，并报告适当正则化可使低维投影头获得良好表征；具体正则化形式及理论成立条件尚未验证。另一项理论分析指出，多个数据增强视图更能体现自监督目标的要求。作者报告，增加每个样本的增强数量可改善表征质量、可训练性和优化收敛，使较好的特征更早出现。 结果方面，作者报告，仅增加数据增强即可在保持 Accuracy 并改善收敛的同时，将预训练数据集规模最多缩减至原来的四分之一；摘要未给出该结果对应的数据集、增强数量、基线设置和具体 Accuracy。作者另报告，结合上述建议，在使用 ResNet-50 backbone 的 CIFAR-10/STL-10 实验中取得性能提升及 2 倍实际运行时间效率改进，但具体耗时、性能指标和比较条件尚未验证。实验协议、消融及统计信息尚未验证，需全文核对增强带来的额外计算成本如何计入效率比较。 平台推测（待验证）：迁移假设是，特征正交性约束及多视图自监督目标可能帮助缓解 EEG 小数据预训练中的表征冗余与收敛问题。可复用的是损失分析思路、投影头及多视图训练框架；需改造的是图像增强，转为能保留任务相关信息的 EEG 增强。该假设依赖同一样本不同视图共享有效信息，低信噪比、通道差异及跨被试分布变化可能使增强破坏标签语义或强化噪声。一个可检验的小实验是在固定被试划分和计算预算下，对比两个与更多增强视图，并交叉比较高维投影头和带正则化的低维投影头，观察收敛速度及下游任务 Accuracy。已有 EEG 相关工作尚未检索确认，原图像实验不构成 BCI 有效性证据。

    阅读价值：该研究将 BarlowTwins 与 VICReg 的损失隐式偏置联系到投影头维度和增强视图数量，为核对非对比自监督预训练的样本与计算效率提供了具体理论及实验线索，但其 EEG 适用性尚未验证。

9月22日周五
  1. OpenReview · Representation learning72

    利用 Guided Stop-gradient 的隐式对比表征学习

    基于摘要分析。本文研究自监督 Siamese networks 在拉近正样本对表征时出现的表示坍塌问题，提出 guided stop-gradient，利用源编码器与目标编码器的非对称架构隐式引入对比学习思想，并将其应用于 SimSiam 和 BYOL。 机制与贡献：显式对比学习通过推远负样本对避免坍塌，但摘要指出，这类方法对负样本数量减少不够稳健。本文从仅使用正样本对的方法出发，通过 guided stop-gradient 调整非对称学习过程，而不是依赖显式负样本。摘要未说明梯度引导的具体规则、损失形式或编码器更新方式，因此尚不能判断其与原有 stop-gradient 机制的实质差异。 结果与证据边界：作者报告，在 SimSiam 和 BYOL 上加入该方法可稳定训练并提升性能；作者还报告，该方法在小批量条件下有效，且移除 predictor 后仍不发生坍塌。摘要未提供数据集、批量大小、评价指标、数值结果及对照配置，实验协议、消融及统计信息尚未验证。作者称代码位于补充材料，其可获取性与复现条件尚未核对。 平台推测（待验证）：假设该机制能够在较少样本下维持表征多样性，它可能适用于受批量规模限制的 EEG 自监督预训练。原方法依赖由变换构造的正样本对及源—目标非对称架构；可尝试复用梯度控制机制，但需改造 EEG 编码器与正样本构造，避免增强破坏任务相关信息。低信噪比、跨被试差异和通道变化可能使正样本关系失真，小数据下不坍塌也不等于学到有效表征。可检验的小实验是在固定 EEG 数据划分、增强方式及训练预算下，对比原始 SimSiam 与加入该机制的版本，改变批量大小，同时测量表征方差与冻结编码器后的下游性能。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 guided stop-gradient 如何在不显式使用负样本的非对称架构中缓解表示坍塌，尤其是作者报告的小批量训练及移除 predictor 条件下的稳定性，但其具体实现与实验协议尚未验证。

8月1日周二
  1. OpenReview · Representation learning74

    用于高维数据学习的高效稀疏表示

    基于摘要分析。本文针对高维数据稀疏表示求解中迭代成本较高、收敛前迭代次数未知，以及计算过程中的稀疏率（SR）变化常被忽略的问题，提出 approximated local linear representation（ALLR）及其带对称约束的版本 ALLRSC，旨在提高表示学习的计算效率。 核心机制是在概率单纯形约束下进行局部性约束线性表示学习。ALLR 从单个局部性约束稀疏表示中获得闭式解；ALLRSC 进一步施加对称约束，以有限计算获得对称稀疏表示。作者报告，理论分析可保证表示的稀疏性与收敛性，并强调迭代过程中 SR 的持续下降具有实际意义。摘要未给出 SR 的具体定义、闭式解形式、局部性构造方式或理论保证所需假设，需通过全文核对。 作者报告，在公共数据集上的高维数据学习实验中，所提算法优于若干先进算法；但摘要未列出数据集、任务、划分、基线名称、评价指标或具体数值，不能据此判断优势幅度与适用范围。实验协议、消融及统计信息尚未验证，复现所需实现与参数设置亦尚未验证。 平台推测（待验证）：其潜在 EEG 迁移路径，是将高维试次特征作为样本，用局部线性关系构建稀疏表示，再用于分类或相似性建模；这一假设依赖特征空间中的邻域确实反映任务相关结构，已有 EEG 相关工作尚未检索确认。可复用部分是表示求解与对称约束机制，需要改造特征提取、距离度量及邻域构建。低信噪比、跨被试分布差异、通道配置变化和小样本可能使邻域失真。一个可检验的小实验是在固定 EEG 特征和被试内划分下，比较 ALLR、ALLRSC 与同条件稀疏表示基线的下游 Accuracy、求解耗时和 SR 变化，并仅用训练集确定参数与参考样本，以检验效率收益是否伴随任务性能损失。

    阅读价值：值得核对 ALLR 的闭式解与 ALLRSC 的对称约束如何降低稀疏表示计算成本，以及稀疏性、收敛性保证的适用条件；其对 EEG 数据的价值尚未验证。

5月7日周日
  1. OpenReview · Representation learning80

    面向预测任务类的表征学习博弈

    基于摘要分析。本文研究如何在已知未来预测任务先验、但输入特征向量无标签的条件下，学习降维表征。核心贡献是将表征选择、对抗性任务选择与预测建模纳入三方博弈，并分别给出线性情形的理论结果和适用于更一般函数类的近似算法。 机制上，第一方选择表征，第二方随后对抗性地选择预测任务，第三方依据表征后的特征预测响应。优化目标为 regret，即使用表征所能达到的最小预测损失，相对于使用原始特征所能达到的最小预测损失的差异；第一方与第三方希望减小该差异，第二方希望增大它。因此，该框架关注的不是重建输入，而是面对预设任务类时，压缩造成的预测能力损失。 在均方误差损失，以及表征、待预测响应和预测器均为线性函数的条件下，作者报告推导了纯策略的最优表征与混合策略的最优 regret，分别说明任务先验和随机化表征的作用。作者进一步报告，最优随机化只需有限个表征，其所需数量有精确刻画，小于输入特征维度，并可能远小于该维度。对于一般损失及更一般的表征、响应函数和预测器类，作者提出基于梯度的迭代算法，以近似最优混合表征；摘要未给出具体参数化、收敛条件或实证指标，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 特征上的未来任务可被合理限定，该框架可能用于研究降维后多任务预测信息的保留。可复用部分是任务对抗与 regret 目标；需要改造的是 EEG 特征、任务类约束及表征的采样与使用方式。风险包括低信噪比、跨被试与通道变化使任务先验失配，以及小样本导致原始特征与压缩特征的最优损失难以可靠估计。一个可检验的小实验是在固定被试内划分和降维维度下，比较确定性表征与随机化表征在预先定义的线性预测任务类上的最坏任务 regret，并以原始特征预测器作为参照。该实验仅是假设性迁移验证方案，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以预测 regret 定义降维表征质量的三方博弈框架，尤其是任务先验与随机化表征的理论作用；其对 EEG 多任务表征的适用性尚未验证。

1月1日周日
  1. OpenReview · State space models76

    用于学习非线性动力系统的灵活状态空间模型

    基于摘要分析。该研究针对非线性动力系统的学习，将状态转移函数与观测函数表示为基函数展开，并从数据中学习展开系数。核心贡献是利用与 Gaussian processes 的联系构造系数先验，以调节模型灵活性、抑制过拟合，同时设计基于序贯 Monte Carlo 的参数学习算法。 机制上，基函数展开承担非线性函数表示，系数先验则可视为正则化，用于在表达能力与泛化之间取得平衡。作者将这一设计与 Gaussian process state-space model 联系起来，但摘要未给出基函数类型、先验具体形式或二者的精确对应。学习算法用于估计展开系数及其他未知参数；作者称其具有理论保证，保证的条件与范围尚未验证。 作者报告，该方法在一个经典基准及真实数据上获得了有前景的结果。摘要未提供基准名称、数据规模、划分协议、对照方法或量化指标，因此尚不能判断收益大小及适用范围；实验协议、消融及统计信息尚未验证。复现需进一步核对基函数选择、先验设置、隐状态推断流程、序贯 Monte Carlo 的计算配置及参数学习细节。 平台推测（待验证）：若 EEG 时序中的潜在动态可由该类非线性状态空间模型近似，基函数表示与系数正则化可能有助于限制小数据条件下的模型复杂度；这是迁移假设，而非已证实的 BCI 效果。原方法依赖时序观测及隐状态建模，具体监督需求与数据规模要求尚未验证。可考虑复用函数展开、先验与学习框架，但需适配 EEG 的多通道观测、噪声特性及跨被试差异。低信噪比、通道配置变化和有限训练数据可能使隐状态难以辨识，或导致先验约束不合适。一个可证伪的小实验是在固定通道、固定划分的被试内 EEG 数据上，以留出时段的预测误差比较该模型、线性状态空间模型与弱正则化版本，检验非线性表示及先验是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其如何通过与 Gaussian processes 相联系的系数先验约束非线性状态空间模型的灵活性，以及配套序贯 Monte Carlo 学习算法；其对 EEG 动态建模的适用性尚未验证。

1月1日周五
  1. OpenReview · State space models75

    用于学习非线性动力系统的灵活状态空间模型

    基于摘要分析。该研究面向非线性动力系统学习，将状态转移函数和观测函数表示为基函数展开，并从数据中学习展开系数。其核心贡献是利用与 Gaussian processes 的联系构建系数先验，以调节模型灵活性、抑制过拟合，并设计基于 sequential Monte Carlo 的参数学习算法。 机制上，基函数展开承担非线性函数的表示，系数先验则可理解为正则化：作者希望保留展开形式的表达能力，同时改善泛化。学习算法用于估计展开系数及其他未知参数；摘要称其具有学习方面的理论保证，但保证的具体对象、成立条件和收敛性质尚未验证。基函数类型、先验形式、隐状态设定、训练流程与推理成本也需查阅全文。 作者报告，该方法在一个经典 benchmark 和真实数据上取得有希望的结果，但摘要未给出数据名称、划分协议、对照方法或量化指标，因而不能判断收益大小，也不能与其他协议下的结果直接比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 的时序变化可由低维隐状态及非线性观测关系近似，该框架可能用于潜在动力学建模；这是假设，不是已证实的 EEG/BCI 效果。可复用部分是基函数表示、系数先验和序贯推断思路，需改造的是多通道观测关系、噪声假设及被试差异处理。低信噪比、通道变化和小数据可能使隐状态难以辨识，跨被试非平稳性也可能削弱泛化。一个可检验的小实验是在固定通道的单被试 EEG 上，采用互不重叠的训练与测试时间段，在匹配基函数规模和推断预算的条件下，对比带该先验与弱正则化版本的留出预测误差及稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其如何将基函数展开、Gaussian processes 关联先验与 sequential Monte Carlo 学习结合，以兼顾非线性动力学表达能力和正则化；具体理论保证及实验收益仍需全文核对。

1月1日周四
  1. OpenReview · State space models72

    用于声学回声削减与去混响的变分贝叶斯状态空间模型

    基于摘要分析。研究针对 A/D 与 D/A 转换器不同步时的语音去混响、声学回声削减和降噪问题，提出基于变分贝叶斯的联合优化方法，利用两个状态空间模型分别描述时变回声滤波器和无噪多通道语音信号。 核心机制是将转换器异步条件下的声学回声削减滤波器视为时变状态向量；第二个模型则将无噪多通道语音信号视为状态向量，使去混响滤波器能够在含噪环境中更新。作者通过变分贝叶斯框架优化这两类模型，交替执行两个基于 Kalman smoother 的参数优化阶段。具体状态转移、观测模型、概率分布与优化目标尚未验证。 作者报告，在真实远程会议室录制的数据上，即使 A/D 与 D/A 转换器异步，所提方法也比作者此前的传统方法更有效地削减声学回声、语音混响和背景噪声。摘要未提供数值指标、数据规模或划分方式，实验协议、消融及统计信息尚未验证；因此无法判断收益大小及不同噪声条件下的稳定性。 平台推测（待验证）：迁移假设是，时变干扰参数与潜在干净多通道信号的联合状态估计，可能用于 EEG 非平稳伪迹抑制。原方法依赖多通道时序观测及声学回声、混响的结构假设，具体参考信号和监督需求需查正文；可复用的是双状态建模与交替平滑优化思路，需改造的是 EEG 观测模型、伪迹动力学及通道耦合关系。低信噪比、跨被试差异、通道变化和小数据可能导致状态估计不稳定，或把任务相关脑活动误当作干扰。一个可证伪的小实验是在固定被试内划分的 EEG 上注入已知时变伪迹，对比单状态与双状态估计，并同时检查伪迹残留和原始 ERP 波形保真度。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是以两个状态空间模型及交替 Kalman 平滑优化联合处理时变回声与含噪多通道信号的机制，其对 EEG 伪迹建模的可迁移性尚未验证。