LLM 评估是一个预测问题

基于摘要分析。本文研究 LLM 在时间变化的数据分布下如何评估与选择，提出把未来部署表现视为预测目标，而不是直接用历史测试表现代表未来效果。核心贡献是将时间序列预测引入模型评估与部署选择，强调时间应作为 LLM 评估的基本变量。 作者指出，随机划分训练集与测试集通常模拟来自同一分布的 IID 抽样，但实际部署是用过去数据训练、在未来数据上运行。作者报告，网页文本分布具有明显的时间非平稳性，模型在多个基准上的表现也随时间持续变化；使用较近期评测数据，比使用较早数据更能预测未来表现，而对历史表现序列应用时间序列预测器，预测效果优于直接依据历史表现。作者还报告，按预测 Accuracy 选择部署模型，可以改善未来部署阶段的模型选择与下游 Accuracy。摘要未提供具体基准、预测器、数值、时间窗口或对照配置，相关结论的适用范围尚未验证。 复现时应核对训练、评测与预测目标的时间边界，预测跨度，历史表现序列的构建方式，以及模型选择收益是否在独立未来数据上评估；这些属于待核对事项，不能据摘要判定存在泄漏或不公平比较。作者声明发布代码与数据，但具体内容及可用性尚未验证；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设这一评估机制可用于 EEG 跨会话部署，原问题中的时间漂移可对应信号随会话变化导致的解码表现变化。可复用的是按时间记录表现并预测未来表现的评估框架，需要改造的是以被试、会话和采集条件组织数据；其依赖足够密集且可比较的历史评测记录，而低信噪比、通道变化及小样本可能使表现序列难以预测。一个小规模可证伪实验是在具有多次纵向会话的数据上，按时间顺序比较最近一次评测与时间序列预测对下一会话表现及模型选择的预测能力。原文未提供 EEG/BCI 验证，已有 EEG 相关工作尚未检索确认。