Large Concept Models：句子表示空间中的语言建模

该研究探索不同于 token 级生成的语言建模方式：将句子视为高层语义“概念”，在句子嵌入空间中进行自回归预测，构建 Large Concept Model（LCM）。基于摘要分析，未取得论文全文；研究主要对象是文本与语音的语义生成，而非 EEG 或 BCI。 核心机制是使用现有 SONAR 句子嵌入空间表示概念。摘要称 SONAR 支持文本与语音模态，语言覆盖最多达 200 种；这不等于 LCM 已在全部语言与模态上完成验证。作者探索了 MSE 回归、基于扩散的生成变体，以及在量化 SONAR 空间中运行的模型。其关键区别是预测句子级表示，而非直接逐 token 生成；“概念对应句子”是本研究的可行性验证设定，不应理解为已建立任意抽象概念的通用表示。 作者在 1.6B 参数、约 1.3T tokens 训练数据规模下开展上述方法探索，并将其中一种架构扩展至 7B 参数、约 2.7T tokens 的训练规模。评估任务包括 summarization 与新提出的 summary expansion。作者报告模型在多种语言上具有零样本泛化能力，并优于同等规模的现有 LLMs；摘要未给出具体语言、数据集、指标、分数与基线名称，因此无法判断优势幅度及不同协议下的可比性。作者称训练代码已公开，具体依赖、权重可用性、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可考察的跨领域假设是，以高层语义表示作为 EEG 到语言解码的中间目标，减少直接预测长 token 序列的负担。但原研究依赖句子语义空间与大规模语言数据，并未验证神经信号能否稳定映射到该空间。可能可复用 SONAR 表示及句子级生成模块，需另行建立 EEG 编码器、时间对齐与监督机制；低信噪比、跨被试差异、通道变化及小样本可能使语义对齐失败。一个可证伪的小实验是在已有 EEG—句子配对数据上，固定句子表示与生成模块，对比语义表示预测和直接文本解码，并采用一致的被试划分及评价指标。已有 EEG 相关工作尚未检索确认，此建议不是已证实的 BCI 效果。