跳到正文

算法、任务与模态

Loss Design 最新动态

Loss Design 研究索引；按可核对的标签归档，不以热度评价质量。

149 条精选近 30 天 100 条共收录 180 条

更新

精选归档 · 第 8 页

9月23日周六第 141–149 条
  1. OpenReview · Representation learning74

    稀疏双曲表示学习

    基于摘要分析。该论文研究具有树结构的实体如何在双曲空间中获得更紧凑的表示，提出几何定义的稀疏性与稀疏正则化，以及基于 geometric shrinkage-thresholding 的优化算法，目标是为不同实体分别压缩表示维度，而非统一使用相同维度。 核心机制：双曲空间表示学习（HSBRL）可利用低维空间表达树状结构，但统一维度未必适合每个实体。作者指出，双曲空间不存在能完全反映其几何结构的典范坐标系，直接套用线性空间的坐标稀疏方法会产生几何上不均匀的稀疏性；同时，常规黎曼梯度下降在稀疏学习所需的非光滑目标上可能振荡。论文因此从几何角度定义稀疏性及正则化，并通过几何收缩阈值思路寻求稀疏解。作者声称这些定义与算法具有首次提出的性质，该优先性尚未独立核实。 证据边界：摘要未提供具体正则项、更新公式、数据集、比较基线、压缩率或信息保留指标，因此只能确认方法主张，不能确认其实际存储收益或表示质量。实验协议、消融及统计信息尚未验证；复现前需核对稀疏性的数学定义、有效维度与存储成本的关系，以及非光滑优化的适用条件。 平台推测（待验证）：若 EEG 任务中的实体或关系确有可验证的树状层级，稀疏双曲表示可能用于压缩这些结构的嵌入；这不等于原始 EEG 时序适合双曲建模。可复用部分是几何稀疏正则化与优化思路，需改造的是 EEG 特征到层级实体的映射及任务目标。低信噪比、跨被试差异和小数据可能使层级关系不稳定，过强稀疏化也可能删除判别信息。一个可检验的小实验是在固定跨被试划分与相同特征下，对比稀疏和非稀疏双曲嵌入的任务表现与实际存储成本，以检验压缩是否损害泛化。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其如何以几何方式定义双曲空间稀疏性，并用 geometric shrinkage-thresholding 处理非光滑优化；其压缩收益与 EEG 迁移价值尚未验证。

  2. OpenReview · Representation learning70

    用于无监督表征学习的因果排序先验

    基于摘要分析。研究针对变分推断式无监督表征学习对潜变量独立性假设的依赖，提出一种完全无监督的方法：在潜在数据生成过程中引入加性噪声模型（ANM），并通过基于潜在分布 Hessian 的损失鼓励潜在空间遵循因果排序。 机制与贡献：作者认为，数据中的变化因素可能存在因果关系，因此允许潜变量因因果关系而相关，比直接假定独立更符合其建模目标。该方法受功能因果模型中的因果发现启发，将因果排序作为表征学习的先验。摘要将其与依赖辅助信息、弱标签、干预或反事实数据的可证明可识别方法相对照，但未提供足以确认本方法可识别性的定理与条件；不能将“鼓励因果排序”等同于恢复真实因果结构。 证据边界：摘要未提供具体损失表达式、Hessian 的估计方式、模型结构、数据集或定量结果。实验协议、消融及统计信息尚未验证；复现时需核对 ANM 的适用假设、潜在分布估计与二阶导数计算方式，以及排序约束与表征质量之间的关系。 平台推测（待验证）：若 EEG 的潜在生成因素具有可由 ANM 近似的有向依赖，该排序先验可能为相关潜因素的建模提供思路，但原领域机制不等于已证实的 BCI 效果。可复用的是潜在空间约束，需改造的是 EEG 时序编码与分布估计；低信噪比、通道混合、跨被试差异及小样本可能使 Hessian 估计不稳定，或使假定的因果结构不适用。一个可证伪的小实验是先在具有已知潜在 ANM 和通道混合的合成 EEG 数据上，在相同编码器与训练划分下比较有无排序损失的结构恢复与噪声敏感性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体机制是以潜在分布的 Hessian 构造损失来鼓励因果排序，可用于考察无辅助监督的因果表征学习，但其可识别性条件与实验效果尚未验证。

  3. OpenReview · Representation learning79

    缓解多视图表征学习的样本低效问题

    基于摘要分析。本文研究计算机视觉中非对比自监督学习（NC-SSL）的样本与计算效率，围绕 BarlowTwins 和 VICReg 为何常依赖高维投影头及同一图像的两个增强视图提供理论解释，并据此提出低维投影头正则化与增加每样本增强视图的预训练建议。 机制方面，作者认为特征正交性比投影头维度更关键，并报告适当正则化可使低维投影头获得良好表征；具体正则化形式及理论成立条件尚未验证。另一项理论分析指出，多个数据增强视图更能体现自监督目标的要求。作者报告，增加每个样本的增强数量可改善表征质量、可训练性和优化收敛，使较好的特征更早出现。 结果方面，作者报告，仅增加数据增强即可在保持 Accuracy 并改善收敛的同时，将预训练数据集规模最多缩减至原来的四分之一；摘要未给出该结果对应的数据集、增强数量、基线设置和具体 Accuracy。作者另报告，结合上述建议，在使用 ResNet-50 backbone 的 CIFAR-10/STL-10 实验中取得性能提升及 2 倍实际运行时间效率改进，但具体耗时、性能指标和比较条件尚未验证。实验协议、消融及统计信息尚未验证，需全文核对增强带来的额外计算成本如何计入效率比较。 平台推测（待验证）：迁移假设是，特征正交性约束及多视图自监督目标可能帮助缓解 EEG 小数据预训练中的表征冗余与收敛问题。可复用的是损失分析思路、投影头及多视图训练框架；需改造的是图像增强，转为能保留任务相关信息的 EEG 增强。该假设依赖同一样本不同视图共享有效信息，低信噪比、通道差异及跨被试分布变化可能使增强破坏标签语义或强化噪声。一个可检验的小实验是在固定被试划分和计算预算下，对比两个与更多增强视图，并交叉比较高维投影头和带正则化的低维投影头，观察收敛速度及下游任务 Accuracy。已有 EEG 相关工作尚未检索确认，原图像实验不构成 BCI 有效性证据。

    阅读价值：该研究将 BarlowTwins 与 VICReg 的损失隐式偏置联系到投影头维度和增强视图数量，为核对非对比自监督预训练的样本与计算效率提供了具体理论及实验线索，但其 EEG 适用性尚未验证。

9月22日周五
  1. OpenReview · Representation learning74

    增强负样本表征以实现持续自监督学习

    基于摘要分析。本文研究持续自监督学习（CSSL）中的表征遗忘与新知识学习问题，提出通用损失 Augmented Negatives（AugNeg），通过联合利用当前与历史模型的负样本表征，尝试改善可塑性与稳定性的权衡；原研究对象是通用表征学习，并非 EEG 或 BCI。 核心机制：作者认为，传统“单一任务损失加稳定性正则项”的持续学习目标未必适合基于对比学习的 CSSL，因为任务损失可能面临负样本多样性下降，而正则项可能阻碍新辨别性表征的学习。AugNeg 包含两个对当前与历史模型负样本表征具有对称依赖关系的损失。作者主张，这种设计无需显式超参数调节即可形成较好的可塑性与稳定性权衡；该主张不能理解为整个训练流程无需调参。作者还提出，通过添加正则项，将增强负样本表征的思路用于非对比式 CSSL。 结果与证据边界：作者报告，在对比式和非对比式持续自监督算法的实验中，应用 AugNeg 优于其他先进 CSSL 方法。摘要未提供数据集、任务序列、对照方法名称、指标或数值，因此尚不能判断提升幅度及适用范围。具体损失公式、历史模型维护方式、训练与评估划分、实验协议、消融及统计信息尚未验证，复现需取得正文与实现细节。 平台推测（待验证）：假设 EEG 连续到达的跨会话数据存在表征漂移与遗忘，可考虑复用当前／历史模型表征之间的损失设计，但需改造 EEG 编码器、信号增强及负样本构造。其依赖当前与历史表征及持续数据流；低信噪比、通道变化、被试差异和小数据条件可能使负样本差异主要反映采集条件，而非任务相关信息。一个可证伪的小实验是在固定 EEG 数据和会话顺序下，对比同一编码器使用常规持续自监督目标与 AugNeg 时，对历史会话表征保持及新会话下游解码的影响，并保持标签使用和评估协议一致。已有 EEG 相关工作尚未检索确认。

    阅读价值：AugNeg 将当前与历史模型的负样本表征共同纳入持续自监督目标，为检验表征学习中的可塑性与稳定性权衡提供了具体机制，但其性能优势和 EEG 迁移价值仍需核对实验协议。

  2. OpenReview · Representation learning79

    通过随机分区上的视图一致性分配进行表征学习

    基于摘要分析。本文研究视觉特征的自监督表征学习，提出 Consistent Assignment of Views over Random Partitions（CARP），以原型随机分区构造预训练任务，并约束不同视图的分配一致性。其主要贡献是在端到端在线训练中学习聚类原型，无需额外的不可微模块求解聚类分配问题。 机制方面，CARP 使用梯度下降学习原型，通过对原型进行随机分区形成多个随机分类任务，以正则化模型并促进视图间的一致性。作者报告，该机制能够提高联合嵌入训练的稳定性并防止表征坍塌。摘要未给出具体损失形式、分区采样方式、视图增强策略及防坍塌条件，这些内容需结合全文核对。 评估方面，作者报告在 17 个数据集上采用线性评估、少样本分类、k-NN、k-means、图像检索和复制检测等协议，与 11 种现有自监督方法比较，并通过消融研究支持随机分区任务对表征质量的贡献。作者还报告，在迁移学习任务中，CARP 的平均表现优于多种训练时间更长的自监督方法；摘要未提供具体数据集、分数、平均方式或训练预算，因此不能据此判断各任务优势及计算效率。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 的不同增强视图能够保留同一任务相关信息，原型随机分区与分配一致性机制可能用于缓解无标签 EEG 表征学习中的坍塌和聚类不稳定。可复用的是原型学习与一致性约束，需改造的是 EEG 编码器及视图构造；其效果依赖无标签数据规模与增强的语义保真性。低信噪比、被试差异和通道变化可能使原型主要编码伪迹或被试身份，小数据条件下分区任务也可能不稳定。可检验的小实验是在固定 EEG 数据划分、编码器、增强和训练预算下，对比启用与禁用随机分区任务，分别检查表征坍塌及跨被试线性评估结果。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。

    阅读价值：值得核对 CARP 如何通过原型随机分区与视图分配一致性改善自监督聚类的训练稳定性，以及这一机制的消融证据；其对 EEG 表征学习的适用性尚未验证。

9月16日周六
  1. OpenReview · Representation learning75

    SCoRe：面向真实世界类别不平衡场景的子模组合表征学习

    基于摘要分析。该研究针对类别不平衡条件下稀有类别特征多样性不足、类别间偏差与类别内方差问题，提出 SCoRe（Submodular Combinatorial Representation Learning）框架，以一组子模组合损失改进对比表征学习。 核心机制是利用 Submodular Information Measures 等集合函数，同时建模特征簇的多样性与协作关系。作者提出包括 Facility Location、Graph-Cut 和 Log Determinant 在内的组合目标，并指出现有对比学习方法具有子模性，或可重新表述为相应的子模形式。摘要未提供损失公式、特征集合的构造方式、监督要求、批次采样及优化细节，尚不能判断这些目标与常用对比损失的具体差异或计算开销。 作者在高度不平衡的 CIFAR-10、MedMNIST 子集上进行图像分类实验，并在 India Driving Dataset（IDD）上进行道路物体检测实验。作者报告，相对其采用的先进度量学习基线，新目标在不平衡分类任务上的提升最高为 7.6%，在物体检测任务上的提升最高为 19.4%。摘要未明确指标、相对增幅与百分点含义、具体基线及数据划分，因此这些数字不能直接解释为 Accuracy 或检测指标的百分点提升；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 少数类别也存在表征覆盖不足，集合级多样性与协作建模可能用于缓解类别不平衡，但视觉任务收益不等于 BCI 收益。可复用部分是组合损失，需核对并改造 EEG 特征相似度、集合构造和采样策略；低信噪比、跨被试差异、通道变化及小数据可能使多样性目标优先保留噪声或被试特征。一个可证伪的小实验是固定 EEG 编码器与 Cross-subject 划分，在受控类别不平衡条件下，仅替换损失并与原对比损失及类别加权基线比较 Balanced Accuracy 和少数类别召回率，报告多随机种子的波动。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SCoRe 如何将子模集合函数转化为类别不平衡下的表征学习损失，以及其相对度量学习基线的收益是否依赖类别分布与批次构造；对 EEG 的适用性尚未验证。

1月1日周日
  1. OpenReview · Representation learning80

    正确的 Laplacian 表征学习

    基于摘要分析。本文研究强化学习中的状态表征问题，提出用于近似图 Laplacian 特征系统的优化目标及相应算法，旨在同时恢复目标特征向量与特征值，并消除既有近似方法中的特定超参数依赖。 Laplacian 表征利用状态图的谱结构构造状态编码，可用于探索、泛化、迁移，以及时间延展动作发现和奖励塑形中的内在奖励。摘要指出，既有深度学习兼容的近似目标存在超参数难以高效调节、收敛到目标特征向量的任意旋转，以及无法准确恢复对应特征值的问题。作者报告，新方法能够恢复真实特征向量和特征值，并提供理论保证；作者报告，多环境实验呈现稳健学习表现。具体目标函数、优化步骤、理论假设、环境名称、对照方法和量化指标未在摘要中给出，实验协议、消融及统计信息尚未验证。这里的“消除超参数依赖”针对既有近似方法所述问题，不应扩展理解为训练完全不需要超参数。 平台推测（待验证）：若 EEG 片段能够构成具有可信邻接关系的状态图，该谱表征机制可能用于学习保留局部结构的低维编码；原论文的研究对象仍是强化学习状态，并非 EEG 或 BCI。迁移假设依赖图结构是否反映任务相关关系，而不是被试差异、通道配置或噪声。可尝试复用谱目标与优化算法，但需改造 EEG 输入编码及图构建方式；低信噪比、跨被试分布偏移和小样本可能使图结构失真，从而限制迁移收益。 一个可检验的小实验是：在固定 EEG 预处理、图构建和被试内划分下，将该目标与既有 Laplacian 近似目标对照，先检查不同初始化下特征向量的一致性及特征值恢复误差，再评估固定下游分类器的 Accuracy；不将谱恢复改善直接等同于 BCI 性能改善。相关 EEG 工作尚未检索确认，复现所需实现与具体训练条件也尚未验证。

    阅读价值：值得核对其优化目标如何消除 Laplacian 表征的任意旋转并恢复特征值，以及理论保证的适用条件；其对 EEG 表征学习的价值尚未验证。

  2. OpenReview · EEG72

    脑信号能否揭示与人类语言的内在对齐？

    基于摘要分析。该研究探讨 EEG 与人类语言之间的关系及依赖，提出 MTAM（Multimodal Transformer Alignment Model），在表征层面对齐两种模态，并通过 sentiment analysis 和 relation detection 检验对齐表征的下游价值。 机制方面，作者将 Canonical Correlation Analysis 与 Wasserstein Distance 等关系对齐技术用作损失函数，以变换特征并学习 EEG 与语言的协调表征。摘要未说明这些目标的具体组合、权重、模态编码方式，以及训练和推理阶段各自需要哪些输入，因此尚不能确定其收益来自何种对齐机制，也不能将结果解释为仅凭 EEG 即可解码语言。 结果方面，作者报告在 ZuCo 与 K-EmoCon 两个数据集上取得新的 SOTA：sentiment analysis 的 F1-score 在 K-EmoCon 上提升 1.7%，在 ZuCo 上提升 9.3%；relation detection 的 F1-score 在 ZuCo 上提升 7.4%。这些数值沿用摘要表述，相对提升还是绝对百分点提升尚未验证；对应基线、F1 汇总方式及被试内、跨被试或其他数据划分协议也尚未验证，不能据此直接比较不同任务或数据集的效果。 作者还通过特征分布、对齐权重和脑地形图解释性能改善，分别讨论模态关系的编码、语言语义与 EEG 频率特征的影响，以及脑区连接的可视化。上述内容属于作者提供的解释；仅凭摘要无法确认其是否支持独立的神经机制结论，脑地形图也不能单独证明功能连接。 摘要提供了代码仓库，具备进一步核对实现的入口，但代码可用性、数据预处理、同步与配对方式、实验协议、消融及统计信息尚未验证。复现时应优先核对语言单模态、EEG 单模态与多模态对齐模型的对照，以及训练测试划分和推理输入条件，以判断对齐模块的独立贡献。现有证据支持 EEG—语言多模态任务研究，尚不能外推为通用 BCI 解码能力。

    阅读价值：值得核对 MTAM 如何以 Canonical Correlation Analysis 与 Wasserstein Distance 对齐 EEG 和语言表征，以及这种对齐在不同数据划分下是否稳定改善下游任务。

6月14日周二
  1. OpenReview · Representation learning77

    基于扩散的表征学习

    基于摘要分析。本文研究如何让扩散生成模型在不使用监督信号的情况下学习表征，核心贡献是扩展 denoising score matching（去噪得分匹配）框架，使表征编码去噪所需的信息，而非像 GANs 和 VAEs 那样直接将潜在编码映射为数据样本。原论文主要面向通用表征学习及图像下游任务，并非 EEG 或 BCI 研究。 机制方面，摘要将连续时间随机微分方程描述的扩散模型与多尺度去噪自编码器联系起来，并提出新的去噪得分匹配目标。作者指出，这一表征学习方式允许手动控制表征所编码的细节层级；但具体目标公式、控制变量、编码结构及训练与推理流程尚未验证。作者还提出学习无限维潜在编码，摘要未说明其具体参数化及计算实现，不能据此推断模型规模。 结果方面，作者报告，该方法在半监督图像分类中相较当时的先进模型取得改进，并通过下游任务表现比较扩散得分匹配、自编码器和对比学习系统的表征质量。摘要未提供数据集、标注比例、数据划分、对照模型、评价指标或数值，因此无法判断改进幅度及不同方法的可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若不同噪声尺度下的去噪信息能够形成可控粒度的表征，该机制可能为 EEG 自监督学习提供候选路径，但图像结果不构成 BCI 有效性的证据。可考虑复用去噪得分匹配思想，改造适配多通道时间序列的编码器与扰动过程；低信噪比可能使模型编码伪迹，被试差异、通道布局变化及小数据规模也可能削弱表征稳定性。一个可检验的小实验是在固定 EEG 数据划分与相同标注预算下，对比该目标、自编码器和对比学习表征的冻结编码器分类表现，并检验细节控制是否改变任务信息与伪迹信息的保留程度。该方案仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的具体原因是其通过改写 denoising score matching 目标学习去噪所需的表征，并讨论表征细节层级的可控性；其半监督图像分类收益及向 EEG 迁移的可行性尚需核对与验证。