LooPiT：面向 Parallel Loop Transformers 的输入空间特化

基于摘要分析。该研究面向语言建模中权重共享循环结构的容量约束：跨循环并行（CLP）可调整解码调度，却不直接增加共享骨干的表达容量。LooPiT 以 Parallel Loop Transformers（PLT）为基础，研究不恢复整套独立层的情况下，如何为不同循环提供专属容量，并比较输入空间特化与逐循环 adapters 的权重空间适配路线。 核心机制 S-PLE 使用按 token 索引、每层及每个循环私有的表，并配合共享投影。它将循环差异的一部分承载于输入侧，而非仅通过逐循环权重适配实现。摘要未提供表的具体构造、注入位置、训练目标及 CLP 调度细节，尚不能据此还原实现。 作者报告，在采用 135M 骨干、训练 100B tokens 的设置下，S-PLE 将几何平均困惑度从 27.50 降至 22.91，所测试 adapters 的对应结果为 26.09。作者报告，906M 规模研究与双随机种子检查也支持输入空间路线优于所测权重空间路线的排序，但摘要未给出这些设置的完整分数。研究还通过 rank、宽度扫描及通道消融考察新增容量与循环通道使用方式，具体结果尚未验证。 作者报告，相较于深度加倍的稠密模型，LooPiT 在两种规模下的骨干参数均约少 45%，较大规模下总参数约少 42%；在移动 NPU 上，仅采用输入空间特化的配置在两种规模下均保留计算图解码延迟优势。该结果不等同于端到端吞吐或 prefill 效率优势，作者仍将 prefill 效率列为优化目标。数据集、评估聚合方式、对照匹配条件、硬件测量边界、消融细节及统计信息尚未验证。 其原始机制依赖离散 token 索引，不能直接等同于连续 EEG 信号的通道或时间片特化；摘要未提供相应映射或神经信号实验。已有 EEG 相关工作尚未检索确认，当前不据此提出已具备证据支撑的 BCI 迁移结论。