面向高效 LLM 推理的状态转移框架

基于摘要分析。本文研究长 Chain-of-Thought（CoT）推理带来的计算与内存开销，提出将 LLM 推理建模为状态转移过程，以维护历史推理状态代替对先前推理步骤全部 token 的显式注意力访问。其主要研究对象是 LLM 推理，而非 EEG 信号建模或 BCI 解码。 机制上，框架首先使用线性注意力估计并维护记录历史推理信息的状态，再结合查询提示与该状态执行当前推理步骤并更新状态。当前步骤中的 token 可从状态中检索相关历史信息。作者称，这使注意力计算复杂度由二次降至线性；这一表述针对注意力部分，不能据此推断端到端运行时间或总内存开销具有相同比例的改善。相较于压缩 CoT 序列的路线，作者试图保留延长推理过程的空间，同时降低历史信息访问成本。 此外，作者提出基于状态的推理策略，以缓解含噪推理步骤导致的过度思考，但摘要未说明其具体判据和执行方式。作者报告，在多个数据集与模型规模上的实验中，框架同时改善了推理效率与推理表现；摘要未提供数据集名称、模型规模、对照基线、量化指标或硬件条件。状态表示、训练与推理改造方式、复杂度计算边界，以及实验协议、消融及统计信息尚未验证。 该框架是否适用于连续神经信号中的历史信息保留，仍需独立机制与实验支持；当前材料不足以建立具体 EEG/BCI 迁移路径，不将 LLM 推理收益视为 BCI 有效性证据。相关 EEG 工作尚未检索确认。