跳到正文
只看模型架构#Tokenization
10月4日周日
  1. arXiv · 架构与算子73

    METRO：度量增强的 token 路由算子

    基于摘要分析。该研究针对神经算子在复杂网格上进行潜在 token 切片时局部性不足的问题，提出 Metric-Enhanced Token Routing Operator（METRO）：以可学习的 Mahalanobis 度量替代线性兼容性评分，使不同潜在切片学习各自的各向异性局部几何。 机制上，作者指出，常见特征归一化条件下的线性评分等价于各向同性欧氏聚类；不归一化时则形成无界的线性决策区域，两者均难以表达切片专属的各向异性局部性。METRO 为每个潜在切片学习局部各向异性张量，将感受野塑造成具有指数局部化特性的定向椭球，以适配边界层、尾流等流动结构。摘要将其定位为可直接替换的路由模块，但度量的具体参数化、训练目标与计算开销尚未验证。 作者报告，在所评估的 Transformer 和 Mamba 骨干上均取得改进，并在标准 PDE 基准及复杂工业设计任务的不规则域上优于基线；作者还报告，在不同 Reynolds numbers 和几何配置的分布外条件下鲁棒性增强。摘要未提供具体数据集、划分、基线配置或指标数值，实验协议、消融及统计信息尚未验证，不能据此量化收益或判断其适用边界。 平台推测（待验证）：若 EEG 表征中存在可学习的局部几何，各向异性路由可能用于缓解通道或时空 token 聚合中的冗余与混杂。可复用的是切片专属度量与路由思想；需改造的是 EEG token 构造、位置表征及度量约束。原方法面向复杂网格与流动结构，其所需数据规模、监督方式及几何先验尚未明确，不能直接等同于 EEG 条件。低信噪比、跨被试漂移、通道差异和小数据可能使度量拟合噪声。一个可证伪的小实验是：在同一 EEG 任务、固定骨干与训练预算下，对比线性路由与 METRO，分别核对被试内和跨被试协议中的任务指标、切片冗余及计算开销。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 METRO 的切片专属 Mahalanobis 度量是否确实改善潜在切片的局部性与冗余，以及其跨骨干和分布外收益所依赖的评估条件；摘要尚不足以确认其 EEG 迁移价值。

  2. arXiv · 时序与音频基础模型76

    LogSig-SSM：面向状态空间模型的多尺度 log-signature 压缩时序建模

    基于摘要分析。LogSig-SSM 针对高频、不规则采样且具有长程依赖的多变量时序，先以多尺度窗口化 log-signature 将长序列压缩为较短的 token 序列，再用选择性状态空间模型（SSM）建模长程依赖，旨在兼顾连续时间方法的输入表征能力与 SSM 的计算效率。 核心机制是由 log-signature token 表征高阶跨通道交互，再交由选择性 SSM 骨干处理。作者将其定位为对 NCDE、NRDE 长序列扩展成本，以及 Mamba 单个模块内隐维度间递归混合受限问题的回应。摘要还给出连续时间解释：模型可视为由 log-signature 输入驱动的 NCDE/NRDE 风格系统，选择性机制对应潜在动力学的输入依赖重缩放。窗口尺度、log-signature 截断阶数、损失、训练配置及具体骨干实现尚未验证。 作者报告，在 UEA 长序列分类、PPG-DaLiA 高频生理信号回归、多变量天气预测及 PhysioNet Sepsis 不规则采样临床预测四类基准上，LogSig-SSM 优于或匹配较强的 SSM 与连续时间基线；在最长序列上，相比 Mamba，训练速度最高提升至 30 倍，GPU 显存用量最高减少 37 倍。摘要未明确这些效率极值分别对应哪个基准、硬件与配置，也未提供各任务指标、数据划分或不确定性；实验协议、消融及统计信息尚未验证，不能据此认定所有任务均有同等收益。 平台推测（待验证）：迁移假设是，EEG 长序列中的跨通道交互可由窗口化 log-signature 保留，并在压缩后供 SSM 利用。可复用压缩与序列建模思路，但需适配 EEG 通道排列、时间编码及窗口尺度；低信噪比可能使高阶交互放大噪声，通道变化和跨被试差异可能削弱表征稳定性，小数据也可能限制学习。一个可证伪的小实验是在固定 Cross-subject 划分、预处理与训练预算下，对比原始 EEG 输入的 Mamba 与 LogSig-SSM，同时记录分类指标、训练耗时和峰值显存，并改变窗口尺度检验是否牺牲任务信息。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对多尺度 log-signature 压缩能否在保留跨通道交互的同时降低长序列建模成本；摘要中的效率优势有明确比较对象，但具体协议及向 EEG 的迁移效果尚未验证。