INCONVENIENT：评估 LLM 从便利样本泛化能力的基准

INCONVENIENT 针对表格预测中训练样本因便利性、可获得性或成本而偏离部署总体的问题，提出可控制特征—目标关系偏移方向与程度的评估基准。基于摘要分析，其核心贡献是改变训练分布中的关系，同时保留原始总体分布作为部署环境，以考察模型从有偏样本向更广泛总体泛化的能力。 作者将该设置与按自然域划分观测数据的分布偏移基准区分开：自然域划分可能引起 P(Y | X) 变化，但相关变化未必受到显式控制或被单独隔离，评估分布也未必代表目标总体。INCONVENIENT 则直接扰动训练分布中的特征—目标关系。具体采样或扰动算法、偏移强度定义，以及如何保证部署分布的代表性，尚需全文核对。 作者报告，基准涵盖不同应用领域的 200 个表格分类与回归数据集，并生成约 15,500 个发生偏移的训练分布；在这些设置下，作者报告下游性能显著下降，但摘要未提供具体模型、指标、降幅或数据划分。论文强调，LLM 的预训练可能包含超出有偏训练样本关系的总体知识；这是研究动机，不能据此认定 LLM 已表现出更强稳健性。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 研究已有被试级表格特征及明确的目标人群定义，该基准的关系偏移控制思路或可用于检验便利招募导致的泛化风险，而非直接作为 EEG 解码方法。可复用偏移生成与总体评估框架，但需适配被试分组和特征结构；低信噪比、小样本及被试差异可能使人工偏移难以对应真实招募偏差。一个可证伪的小实验是在被试互斥的固定测试集上，对比原始训练样本与受控有偏训练样本下同一分类器的表现，检查偏移程度是否稳定关联泛化退化。已有 EEG 相关工作尚未检索确认。