OrionMoE-v1.0：用于表格上下文学习的混合专家基础模型

基于摘要分析。该研究面向表格分类中的上下文学习，提出 OrionMoE-Small：根据带标签支持表预测未见样本，无需针对下游任务更新参数。其核心贡献是结合分布感知表征与数据集条件化的稀疏混合专家计算，以适应不同表格任务的异质性。 机制上，模型采用双轴 Transformer 架构，在特征轴上选择性激活专家；路由同时参考单个特征的表征与整体数据集上下文，在保留跨任务共享计算路径的同时，自适应分配计算。模型完全使用由结构化因果先验生成的合成分类任务进行预训练，下游预测不进行基于梯度的适应。摘要未披露分布感知表征的具体实现、路由损失、专家数量或模型规模。 作者报告，在多个表格基准上，OrionMoE-Small 与规模显著更大的基础模型具有竞争力，尤其在小上下文和高维数据集上表现较强；进一步分析显示其在类别不平衡条件下具有较好的相对表现，并强调特征组成的重要性。摘要未列明基准名称、数据划分、具体指标与对照数值，实验协议、消融及统计信息尚未验证，不能据此判断优势幅度。 平台推测（待验证）：若将 EEG 试次表示为固定维度的统计或频谱特征表，利用带标签支持样本进行分类，数据集条件化路由可能有助于应对特征组合差异。可复用的是表格上下文推理与特征轴专家选择机制，需改造或验证的是 EEG 特征构建、通道缺失处理及合成预训练分布的适配；这并非原始时序解码方法。低信噪比、跨被试分布偏移及支持样本过少均可能使路由失效。可在固定 EEG 特征和相同支持样本预算下，采用严格按被试隔离的跨被试划分，比较该模型与稠密表格模型，并测试通道特征缺失时的性能变化。已有 EEG 相关工作尚未检索确认。