跳到正文

算法、任务与模态

Low-rank 最新动态

Low-rank 研究索引；按可核对的标签归档，不以热度评价质量。

23 条精选近 30 天 21 条共收录 28 条

更新

精选归档 · 第 2 页

10月1日周四第 21–23 条
  1. Europe PMC · bioRxiv / medRxiv 预印本81

    数据约束循环神经网络中序列工作记忆的吸引子动力学基础

    基于摘要分析。本研究考察序列工作记忆中的持续表征究竟由稳定吸引子状态还是瞬态序列动力学支持，提出将低秩循环神经网络（RNN）拟合到多会话放电记录的框架，以分析数据约束模型中的记忆动力学。研究材料为预印本，未取得全文。 数据与机制：作者将框架应用于两只猕猴、30 个记录会话中的 2,488 个记录单元。作者报告，拟合网络生成的群体放电活动与神经记录相似，并恢复了跨会话的单单元调谐特性；不同序列位置的刺激项目由相互分离的低维活动子空间表征，同时存在占主导地位的时间成分。这并不意味着所有活动维度均保持静止，而是提示记忆内容与时间演化可能由不同维度承载。 动力学证据：作者通过分离时间与刺激子空间，发现记忆保持期出现不动点流形；定向扰动分析支持该流形内的活动具有吸引子样动力学。作者进一步预测，沿该吸引流形施加短暂光遗传扰动，可选择性地造成神经活动及解码行为的持续偏移。摘要提供的是模型分析与实验预测，尚不能据此视为已完成光遗传因果验证。拟合损失、跨会话单元对齐方式、训练与评估划分、拟合指标、消融及统计信息尚未验证。 平台推测（待验证）：该框架可能为 EEG 序列工作记忆提供区分稳定内容编码与时间演化的分析路径，但其原始输入是多会话单元放电，不能直接等同于 EEG 通道信号。可复用的是低秩动力学建模与子空间扰动分析；需改造的是放电到 EEG 的观测模型、噪声处理及跨被试／通道对齐。低信噪比、体积传导和小样本可能使不动点结构难以辨识。一个可检验的小实验是在 EEG 序列记忆任务中，以留出试次评估模型拟合，并比较吸引子与瞬态动力学解释对保持期表征的预测；相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读之处在于用多会话放电数据约束低秩 RNN，将序列工作记忆中的位置编码与吸引子动力学联系起来，并提出可通过定向扰动检验的预测；模型内证据尚不等同于生物系统中的因果验证。

1月1日周三
  1. OpenReview · State space models71

    SSMLoRA：利用状态空间模型增强低秩适应

    基于摘要分析。SSMLoRA 针对语言模型参数高效微调中 LoRA 表现随插入位置变化、部分插入可能造成参数冗余的问题，引入状态空间模型（SSM）连接低秩矩阵，使适配过程能够利用前一低秩空间的计算，并支持更稀疏的插入。 机制上，摘要描述了输入到低秩空间的映射，以及低秩空间之间的计算复用；其目标不仅是减少可训练参数，还包括减少不必要的适配模块插入。SSM 状态如何传递、低秩矩阵如何连接、插入位置如何选择，以及训练损失与推理开销，均需全文核对，不能仅凭摘要确定具体结构。 作者报告，在 General Language Understanding Evaluation（GLUE）benchmark 上，SSMLoRA 使用 LoRA 一半的适配参数即可取得相当表现；这一结论限于摘要所述 GLUE 对照，基础模型、各任务指标、数据划分、低秩维度及参数统计口径尚未验证。作者还认为其结构有望处理更长输入序列，但摘要未提供长序列实验结果，因此不能视为已验证优势。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库链接，代码完整性与可复现性仍待检查。 平台推测（待验证）：若 EEG 预训练模型采用多处 LoRA 适配，可假设低秩空间之间的状态传递有助于减少插入点。可复用的是低秩适配与状态连接思路，需改造的是 EEG 骨干接口、跨模块状态定义及通道布局适配。该假设依赖可适配的预训练骨干和足够的任务监督；低信噪比、跨被试差异、通道变化及小样本可能使共享状态传播噪声或产生过拟合。一个可证伪的小实验是在固定跨被试划分与同一 EEG 骨干上，对比常规 LoRA、稀疏 LoRA 和 SSMLoRA，同时控制可训练参数预算与训练条件，检验收益是否来自状态连接而非参数配置。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 SSM 连接低秩空间是否能降低 LoRA 对插入位置的敏感性：作者报告在 GLUE 上以一半适配参数取得相当表现，但具体参数口径、插入方案与评估协议尚未验证。

9月26日周四
  1. OpenReview · Representation learning76

    强化学习中的离线多任务表征学习

    基于摘要分析。本文研究如何从多个具有共同表征的任务的离线数据中学习共享表征，并提出用于离线多任务表征学习的算法 MORL。其贡献是在低秩强化学习（RL）框架下开展理论分析，并考察所学表征对新任务的作用。 核心设定是上游多个任务与下游新任务共享同一表征。作者进一步分析 reward-free、offline 和 online 三类下游 RL 场景。作者报告，理论结果表明，利用上游离线任务学得的表征，相比直接学习低秩模型的表征具有收益；摘要未给出具体收益界、适用条件或量化结果，因此不能将其解读为已验证的实际性能提升。MORL 的优化目标、算法步骤、离线数据覆盖要求及共享表征的具体形式尚未验证，实验协议、消融及统计信息亦尚未验证。 平台推测（待验证）：若某类 BCI 闭环控制问题可以表述为多个共享潜在动力学表征的 RL 任务，该框架或可为离线交互数据的跨任务复用提供理论参照。这里可借鉴的是共享表征学习与下游任务适配的分工，而非将低秩 RL 结论直接套用于 EEG 分类。应用于 EEG/BCI 时，观测编码、任务定义及状态—动作—奖励接口均需适配；低信噪比、跨被试差异、通道变化、小样本和离线数据覆盖不足，都可能使共享表征假设失效。现阶段应先核对理论假设是否匹配目标任务，再评估迁移可行性；相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其离线多任务低秩 RL 的共享表征学习框架及下游理论分析，但收益所依赖的任务共享假设与数据条件仍需全文核对，尚不能据此推断 EEG/BCI 效果。