跳到正文
OpenReview · State space models· Matvei Popov; Aymen Kallala; Anirudha Ramesh·· 2025-03-05精选AI 评分75

面向长程基因组学的状态空间模型零样本外推

Zero-Shot Extrapolation in State-Space Models for Long-Range Genomics

AI 导读

基于摘要分析。该研究针对基因组模型难以泛化到训练窗口之外的问题,探索 State-Space Models(SSMs)的零样本长度外推能力,并提出 hidden-state transfer 机制以高效处理超长基因组序列。主要研究对象是基因组结构、功能及与基因表达相关的远端调控作用,并非 EEG 或 BCI。 作者报告,SSMs 无需专门微调即可外推至原始上下文长度的两个数量级,并借助 hidden-state transfer 在单张 GPU 上处理 1Mbp 的基因组序列。摘要将其与使用复杂位置嵌入、仍难以超出训练窗口泛化的 transformer 基因组模型对照,但未提供具体基线、原始训练窗口、任务指标或资源测量条件。因此,长度可扩展性、远端调控建模效果和资源效率应分别核对,不能仅凭可处理的序列长度认定预测性能得到保持。 摘要未展开隐藏状态的传递方式、训练目标、序列处理流程或评估数据。数据集、划分、基线配置、实验协议、消融及统计信息尚未验证;复现还需确认状态初始化与重置规则、硬件条件及实现是否公开。 平台推测(待验证):若 hidden-state transfer 能在分段处理时保留有效的长程信息,它可能对应 EEG 长记录建模中的上下文与显存瓶颈。可考虑复用状态传递机制,但需改造多通道信号输入及任务监督;基因组序列上的有效性不等于 EEG 上有效,低信噪比、跨被试差异、通道变化及小数据训练均可能导致状态累积误差。一个可检验的小实验是在固定数据划分与任务指标下,用短窗口训练,在更长 EEG 记录上比较状态传递与状态重置,观察性能是否保持。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 hidden-state transfer 如何支持超出训练窗口的长序列推理,以及外推能力是否对应远端调控任务的有效表现;其对 EEG 长时序建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net