通过最大化信息性子空间上的后验证据选择文本分类模型
Selecting text classification model through maximizing posterior evidence over informative sub-space
基于摘要分析。本文研究文本分类中如何避免逐一微调大量 Pre-trained Language Models(PLMs),而高效选择适合目标数据集的模型;提出 LogIPE,以信息性子空间上的后验证据评估模型的可迁移性,而非直接提出文本分类器或 EEG 算法。 核心机制是利用类别嵌入预测后验类别分配,以最大后验证据的对数作为 Transferability Estimation(TE)分数。相较于摘要所述依赖固定、硬类别分配的现有 TE 方法,作者引入软类别分配,旨在刻画样本之间及候选模型之间的差异。作者还认为,目标数据集的信息性子空间有助于更准确地计算软类别分配,并利用 large language model 的判断能力高效标注信息性样本。摘要未说明类别嵌入的构造方式、后验证据的具体计算公式、子空间定义及标注流程。 作者报告,在多种文本分类数据集和候选 PLMs 上开展的实验支持 LogIPE 改善模型选择准确性;摘要未提供数据集名称、候选模型规模、划分方式、对照基线或具体指标,因此无法量化收益。实验协议、消融及统计信息尚未验证。复现需进一步核对特征提取、标签与标注需求,以及模型排序相对实际微调表现的评估方法。 平台推测(待验证):若目标是为 EEG 分类任务选择预训练编码器,软类别分配与证据评分可能提供一种候选模型排序思路。可复用部分是特征到软类别后验再到评分的机制;类别嵌入和信息性样本筛选则需针对 EEG 改造,不能直接假定语言模型能够判断原始 EEG。其适用性依赖目标数据的监督信息、特征结构及样本规模,低信噪比、跨被试差异、通道不一致和小数据可能导致后验估计不稳定。一个可检验的小实验是,在固定 Cross-subject 划分和相同标注预算下,对少量 EEG 编码器计算候选评分,再与同一微调协议下的模型表现排序比较;该实验只是迁移假设,已有 EEG 相关工作尚未检索确认。
值得阅读的是 LogIPE 将软类别分配与信息性子空间结合用于预训练模型选择的机制,但其排序可靠性、标注成本及向 EEG 模型选择的可迁移性尚需验证。
来源:OpenReview · State space models · openreview.net