跳到正文

算法、任务与模态

Tokenization 最新动态

Tokenization 研究索引；按可核对的标签归档，不以热度评价质量。

83 条精选近 30 天 25 条共收录 94 条

更新

精选归档 · 第 5 页

1月1日周日第 81–83 条
  1. OpenReview · State space models74

    面向端到端限价订单簿建模的生成式 AI：使用深度状态空间网络的 token 级自回归消息流生成模型

    基于摘要分析。该研究针对金融市场中逼真订单流的生成问题，提出端到端的 token 级自回归限价订单簿（LOB）消息生成模型，并由 Jax-LOB 模拟器解释生成消息、更新订单簿状态。核心贡献是将细粒度消息生成、订单簿状态与长序列建模连接起来，而非直接研究 EEG 或 BCI。 机制方面，模型使用简化的结构化状态空间层处理订单簿状态与 token 化消息序列，以提高长序列处理效率。作者为消息数据设计了定制 tokenizer，将连续数字分组转换为 token，方式类似大语言模型的数字序列表示。摘要未提供具体层结构、损失形式、训练规模或生成约束。作者将其称为首个此类端到端自回归生成模型，这一优先性声明尚未独立核对。 数据来自 NASDAQ 股票限价订单簿的 LOBSTER 数据。作者报告，在样本外评估中，较低的模型困惑度表明模型能够近似数据分布；生成订单流计算出的中间价收益率与真实数据显著相关，被作者解释为具有较好的条件预测表现。摘要未给出数值、股票覆盖范围、时间划分、预测范围或基线，实验协议、消融及统计信息尚未验证。作者还提出将模型用于高频金融强化学习的世界模型，并承诺开源代码；这不等于代码已经公开。 平台推测（待验证）：可迁移的假设主要是利用状态空间层高效建模长时序，并通过自回归生成学习序列分布。其原始机制依赖结构化金融消息、数字 token 与模拟器状态更新；EEG 则通常是连续、多通道、低信噪比信号，不能直接沿用消息 tokenizer 或 Jax-LOB。若探索迁移，需要改造信号编码与解码模块，并核对长序列建模能否保留神经信号特征；跨被试差异、通道变化、小数据及量化误差均可能使该假设失败。一个可检验的小实验是在固定 EEG 数据与被试隔离划分下，仅替换相同生成框架中的序列骨干为该类状态空间层，对照生成质量、下游任务表现及计算成本。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其将 token 级自回归消息生成、长序列状态空间建模与订单簿模拟器连接的机制；作者报告的金融样本外结果尚不能证明其对 EEG/BCI 有效。

  2. OpenReview · State space models74

    面向端到端限价订单簿建模的生成式 AI：使用深度状态空间网络的 token 级自回归消息流生成模型

    基于摘要分析。本文研究金融市场中真实订单流的生成问题，提出端到端的 token 级自回归限价订单簿（LOB）消息生成模型，并由 JAX-LOB 模拟器解释生成消息、更新订单簿状态。作者将其称为首个此类端到端模型；这一优先性声明尚未独立核实。 模型使用简化的结构化状态空间层，高效处理订单簿状态与 token 化消息组成的长序列。训练材料来自 LOBSTER 的 NASDAQ 股票订单簿数据；定制 tokenizer 将连续数字分组转为 token，借鉴语言模型的 token 化思路。核心机制是生成可被模拟器执行的事件消息，而非仅直接预测价格。具体网络结构、状态与消息的融合方式、训练目标及生成约束尚未验证。 作者报告，在样本外评估中，模型以较低 perplexity 表现出对数据分布的近似能力；生成订单流计算得到的中间价收益率与真实数据显著相关，作者据此认为模型具有较好的条件预测表现。摘要未给出 perplexity、相关系数、评估窗口、数据划分或对照基线，因而无法判断效果大小及不同协议下的可比性。作者还提出将其用于高频金融强化学习的世界模型，但摘要未提供该应用的验证结果。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 长时序建模参考的部分是高效状态空间序列处理，而非金融消息 tokenizer 或 JAX-LOB。原方法依赖结构化离散事件及明确的状态更新规则；连续、低信噪比且存在跨被试与通道差异的 EEG 不具备相同条件，迁移需重设信号表示和预测目标。一个可检验的假设是：在固定 EEG 数据划分、输入表示与训练预算下，该类状态空间模块能改善长窗口预测；可先与匹配预算的序列基线比较预测误差及计算开销，并检查小数据条件下的稳定性。该假设不等于 BCI 性能提升，相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读之处在于将 token 级自回归消息生成、长序列状态空间建模与可执行的订单簿模拟器相连接，但摘要中的金融数据结果不能作为 EEG/BCI 有效性的证据。

  3. OpenReview · Representation learning74

    CoBERT：通过代码表征学习进行自监督语音表征学习

    基于摘要分析。该研究面向语音表征学习，提出 Code BERT（CoBERT）：将语音转为离散代码序列，再从原始语音的掩码视图预测代码表征，以构建自监督学习目标。其主要研究对象是语音，而非 EEG 或 BCI。 核心机制建立在语音可由有限语音单位及其离散代码表示的假设上。与教师和学生使用同一模态的既有自蒸馏方法不同，CoBERT 的预测目标来自另一种表征模态，即离散代码的表征，而输入仍是经过掩码处理的语音。摘要未明确代码生成方法、代码表征模型的训练方式、损失函数或掩码策略，这些技术细节尚未验证。 作者报告，CoBERT 在自动语音识别（ASR）任务上超过其所比较的近期最佳性能，并在 SUPERB speech translation（ST）任务上获得显著改善。摘要未提供 ASR 数据集、数据划分、对照模型、具体指标或数值，无法据此量化增益或判断不同协议下的可比性。作者声明已发布代码和模型；实现完整性、训练资源需求、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是，以离散潜在代码表征代替原始波形重建目标，可能帮助 EEG 自监督学习减少对局部噪声的拟合。可复用的是“掩码连续信号输入—预测离散代码表征”的训练框架；需改造的是 EEG 分段、通道组织、代码生成及代码表征学习模块。关键风险在于 EEG 未必具有与语音单位对应的稳定有限代码结构，低信噪比、跨被试差异、通道变化和小数据规模可能使代码主要编码噪声或被试身份。 可检验的小实验是：在固定 EEG 数据划分、编码器和训练预算下，对比离散代码表征预测与连续信号重建的自监督目标，再用相同标注量进行 Cross-subject 运动想象分类评估，检验该目标是否改善跨被试表征。此建议不代表已验证的 BCI 效果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注其以离散代码表征作为语音掩码建模预测目标的跨模态自监督机制，但性能优势及向 EEG 表征学习迁移的可行性仍需核对全文与实验。