DenseMamba：具有稠密隐藏连接的状态空间模型，用于高效大语言模型

基于摘要分析。本文研究大语言模型中 Transformer 的计算与内存开销，以及状态空间模型（SSM）在性能上的差距，提出 DenseSSM，通过增强层间隐藏信息流改善 SSM 的表征能力。其主要研究对象是语言模型，而非 EEG 或 BCI。 核心机制是选择性地将浅层隐藏状态融合到深层，以保留对最终输出重要的细粒度信息。作者称，这种稠密连接仍能维持训练并行性与推理效率，并可用于 RetNet、Mamba 等架构。摘要未说明隐藏状态选择与融合的具体实现、训练目标或效率测量条件，相关机制细节尚未验证。 作者报告，在模型规模相近的条件下，DenseRetNet 相比原始 RetNet 在公共基准上的 Accuracy 提升最高达原文所述的“5%”。摘要未提供基准名称、数据划分、具体模型规模及分数，也未明确该数值指相对百分比还是百分点，因此不能进一步量化比较。实验协议、消融及统计信息尚未验证。材料提供了代码仓库，但实现完整性、训练配置与复现成本尚未核对。 平台推测（待验证）：其可迁移机制是跨层保留细粒度序列信息，假设这有助于缓解 EEG 深层时序编码中短暂事件信息被弱化的问题。可复用的是 SSM 编码器的跨层隐藏连接；需改造 EEG 输入映射、通道融合与任务输出，并明确 EEG 的监督方式与数据规模。低信噪比下浅层噪声可能被一并传递，跨被试差异、通道配置变化与小数据也可能削弱收益。一个可证伪的小实验是在固定 EEG 数据划分、预处理、训练预算及近似参数规模下，对比基础 Mamba 与加入 DenseSSM 连接的版本，分别检查被试内和跨被试表现及推理开销，不混合两类协议的结果。已有 EEG 相关工作尚未检索确认。