跳到正文

算法、任务与模态

Scaling Laws 最新动态

Scaling Laws 研究索引;按可核对的标签归档,不以热度评价质量。

42 条精选近 30 天 7 条共收录 46 条

更新

精选归档 · 第 3 页

1月1日周一第 41–42 条
  1. OpenReview · State space models80

    Large Concept Models:句子表示空间中的语言建模

    该研究探索不同于 token 级生成的语言建模方式:将句子视为高层语义“概念”,在句子嵌入空间中进行自回归预测,构建 Large Concept Model(LCM)。基于摘要分析,未取得论文全文;研究主要对象是文本与语音的语义生成,而非 EEG 或 BCI。 核心机制是使用现有 SONAR 句子嵌入空间表示概念。摘要称 SONAR 支持文本与语音模态,语言覆盖最多达 200 种;这不等于 LCM 已在全部语言与模态上完成验证。作者探索了 MSE 回归、基于扩散的生成变体,以及在量化 SONAR 空间中运行的模型。其关键区别是预测句子级表示,而非直接逐 token 生成;“概念对应句子”是本研究的可行性验证设定,不应理解为已建立任意抽象概念的通用表示。 作者在 1.6B 参数、约 1.3T tokens 训练数据规模下开展上述方法探索,并将其中一种架构扩展至 7B 参数、约 2.7T tokens 的训练规模。评估任务包括 summarization 与新提出的 summary expansion。作者报告模型在多种语言上具有零样本泛化能力,并优于同等规模的现有 LLMs;摘要未给出具体语言、数据集、指标、分数与基线名称,因此无法判断优势幅度及不同协议下的可比性。作者称训练代码已公开,具体依赖、权重可用性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可考察的跨领域假设是,以高层语义表示作为 EEG 到语言解码的中间目标,减少直接预测长 token 序列的负担。但原研究依赖句子语义空间与大规模语言数据,并未验证神经信号能否稳定映射到该空间。可能可复用 SONAR 表示及句子级生成模块,需另行建立 EEG 编码器、时间对齐与监督机制;低信噪比、跨被试差异、通道变化及小样本可能使语义对齐失败。一个可证伪的小实验是在已有 EEG—句子配对数据上,固定句子表示与生成模块,对比语义表示预测和直接文本解码,并采用一致的被试划分及评价指标。已有 EEG 相关工作尚未检索确认,此建议不是已证实的 BCI 效果。

    阅读价值:值得阅读的是在 SONAR 句子表示空间中比较回归、扩散与量化生成的建模路径;作者报告的跨语言泛化结果及其对 EEG 的适用性仍需分别核对与验证。

10月28日周六
  1. OpenReview · Representation learning73

    自监督跨表表征学习的规模扩展实验

    基于摘要分析。该研究关注深度表格表征学习的规模扩展潜力,提出面向单表与跨表学习的 Transformer 架构,并通过自监督掩码单元格恢复进行预训练,考察模型规模与预训练设置对表征质量的影响。 核心机制是使用表特定 tokenizer 处理不同表格,并共享 Transformer 主干;训练以缺失值插补为任务,通过恢复被掩码的单元格学习表征。摘要未说明 tokenizer 如何编码列类型、表结构与单元格,也未给出掩码策略或具体损失形式。 作者报告,规模实验覆盖约 10^4 至 10^7 参数的模型,预训练数据由 76 个不同数据集组成,共包含 135 M 个训练 token。评估分别考察单表与跨表预训练设置,在整理的基准数据集上使用线性探测,并与常规基线比较。摘要未列出基准名称、划分方式、基线名称或性能指标,因此尚不能判断规模收益、跨表迁移效果及其统计可靠性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,将 EEG 的结构化试次特征视为表格,用数据集特定 tokenizer 接入共享主干,以应对不同特征布局下的表征复用问题。可复用部分是共享主干与掩码恢复目标;需改造特征编码、通道与频带对应关系,并明确跨被试、跨会话的划分。原方法依赖表格单元格结构与较大规模预训练数据,不能直接等同于原始 EEG 时序建模;低信噪比、通道差异及小数据可能使恢复目标偏向噪声或数据集特征。可检验的小实验是在固定 Cross-subject 划分及相同训练预算下,对比单数据集与跨数据集预训练后的冻结表征线性探测,且预训练排除测试被试。相关 EEG 工作尚未检索确认。

    阅读价值:该研究以表特定 tokenizer 与共享 Transformer 主干探索跨表自监督预训练及规模效应,值得核对其线性探测对照和跨表泛化协议,但摘要未提供性能结果。