利用平衡截断压缩含对角状态空间层的 S4 模型

基于摘要分析。本文研究面向长序列处理、含 Diagonal State Space（DSS）层的 Structured State Space Sequence（S4）模型如何进行压缩，以支持边缘设备部署。核心贡献是将控制理论中的 balanced truncation（平衡截断）用于预训练 S4 模型的 DSS 层，并将降阶后的参数用于后续 S4 模型主训练过程的初始化。 方法包含两个用途：压缩预训练模型中的状态空间层，以及利用压缩所得参数初始化较小模型。摘要未给出平衡截断的具体实现、降阶维度选择、降阶后如何保持或转换 DSS 参数形式，以及后续训练设置，这些机制细节尚需全文核对。 作者报告，在摘要所述数值实验中，结合平衡截断训练的模型以更少参数取得了高于常规 Skew-HiPPO 初始化模型的准确率；作者还报告，原模型准确率越高，经该方法训练的模型准确率也越高，认为该方法能够利用原模型的优势。摘要未提供任务、数据集、划分协议、参数量及准确率数值，实验协议、消融及统计信息尚未验证。上述结果不直接证明实际边缘设备上的延迟、内存或能耗收益。 平台推测（待验证）：若 EEG 长序列模型采用 S4/DSS 层，该方法可能对应边缘端部署时的模型规模瓶颈。可复用部分是预训练状态空间层的降阶及参数初始化流程；需核对降阶参数与现有 DSS 实现的兼容性，并根据 EEG 任务调整输入、输出及训练配置。其依赖已训练模型和后续任务训练，但摘要未说明监督方式与数据规模。低信噪比、通道差异、小样本及跨被试变化可能使原模型优势难以保留，降阶也可能损失判别所需的时序信息。一个可证伪的小实验是在同一 EEG 数据划分和训练预算下，对比未压缩 S4、平衡截断初始化的小模型与参数量匹配的 Skew-HiPPO 初始化小模型，同时测量任务准确率及设备延迟。已有 EEG 相关工作尚未检索确认。