跳到正文
arXiv · 多模态与生成机制· Chenhe Yang; Yuhuan Lyu; Tianyang Hu·· 1 天前精选AI 评分75

OrderGPT:将生成顺序作为可学习的建模选择

OrderGPT: Generation Order as a Learnable Modeling Choice

AI 导读

基于摘要分析。本文研究离散数据生成中的顺序选择,提出 OrderGPT:在 Any-Order GPT 基础上,无需规范顺序监督,学习一个任务级生成顺序。主要研究对象是语言、人体姿态与表格数据,而非 EEG 或 BCI。 核心机制:模型在随机采样的揭示前缀条件下预测变量,利用主干网络中反复出现的注意力模式,提取依赖于当前模型的预测依赖信号;随后将信号聚合为相互依赖图,通过谱方法教师生成连续的生成优先级。集成于 GPT 主干的轻量 OrderMLP 从注意力中学习预测这些优先级,使顺序学习纳入一次训练过程。训练逐渐转向所学顺序,之后固定顺序,继续自回归训练并用于生成。这是在固定左到右顺序与任意顺序建模之间,学习一个适配任务的固定顺序,而非为每次生成动态搜索顺序。 作者报告,该机制在语言中恢复近似左到右的依赖结构,在人体姿态中形成具有解剖组织特征的分解顺序,在表格中使统计与语义相关字段的位置相近,并改善各领域的下游建模指标。摘要未提供数据集、划分、指标数值及基线细节,不能据此量化收益或判断其适用边界。实验协议、消融及统计信息尚未验证;尤其需核对注意力依赖信号的稳定性、谱教师的作用,以及顺序固定前后的训练成本。作者提供了代码链接,实际可复现条件尚未核验。 平台推测(待验证):若 EEG 已被表示为离散时空 token,且任务不存在唯一合理的遍历顺序,可假设用该机制比较时间优先、通道优先与学习顺序的建模效果;这不等于连续 EEG 可直接输入原方法。可复用部分是依赖图、优先级教师与 OrderMLP,需改造 token 化、时空位置编码和任务约束。低信噪比、小数据、跨被试差异及通道变化可能使注意力依赖不稳定。一个可证伪的小实验是在相同 token 化、数据划分与训练预算下,比较固定时间顺序、随机顺序与学习顺序的留出集负对数似然,并检查所学顺序的重复训练稳定性。相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是能否从随机揭示前缀下的注意力信号中学习稳定、任务适配的生成顺序,并通过对照实验区分顺序学习与其他训练变化的收益;其对 EEG 离散表示建模的价值尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org