Large Concept Models：句子表征空间中的语言建模

基于摘要分析。本文研究能否将语言建模的基本单位从 token 提升为显式的高层语义表征，提出 Large Concept Model，以句子对应“概念”作为可行性验证，在句子嵌入空间中进行自回归预测。主要研究对象是文本与语音支持下的语言生成，而非神经信号建模。 核心机制：作者将概念描述为不依赖语言和模态的高层思想或动作，并采用已有的 SONAR 句子嵌入空间；摘要称该空间支持文本与语音模态、最多 200 种语言。研究探索了 MSE 回归、基于 diffusion 的生成变体，以及在量化 SONAR 空间中运行的模型。相较逐 token 生成，其方法变化在于预测单位和表征空间，而不能仅凭摘要认定其采用 state space model 架构。 训练与评估：上述路线使用 1.6B 参数模型、约 1.3T tokens 规模的训练数据探索；随后将其中一种架构扩展到 7B 参数、约 2.7T tokens 的训练数据。评估任务包括 summarization 和新提出的 summary expansion。作者报告模型在多种语言上表现出零样本泛化能力，并优于相同参数规模的现有 LLMs；摘要未提供具体语言、数据集、指标、数值及基线名单，因此该优势只能按作者结论表述。作者称训练代码已公开，具体复现入口和条件尚未核对。 局限与核查：句子作为概念是本研究的操作性假设，并不等于已验证更一般的概念表征。嵌入预测如何恢复为输出、不同生成路线的成本与质量差异，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于语言相关 BCI，其潜在对应是将神经信号映射到句子级语义空间，再利用概念序列模型生成语言；这依赖配对的神经信号与语言监督，不能由原文跨语言结果直接推出。SONAR 表征可能复用，但神经信号编码与对齐模块需另行设计，低信噪比、跨被试差异和小数据可能导致语义对齐失败。已有 EEG 相关工作尚未检索确认；可先在已有配对数据上固定表征与数据划分，比较句子嵌入预测和直接文本解码，检验该机制是否具有迁移价值。