用于可解释少样本泛化的言语化表征学习
Verbalized Representation Learning for Interpretable Few-Shot Generalization
该研究面向少样本物体识别,提出 Verbalized Representation Learning(VRL),利用 Vision-Language Model(VLM)自动提取自然语言描述的判别特征,再将其转换为数值向量供下游分类器使用。基于摘要分析,未取得论文全文。 核心机制是同时描述不同类别之间的差异与同一类别内部的共同特征,使分类依据具有可读的语言形式。VLM 既参与特征发现,也负责将言语化特征映射为数值表示。摘要未说明具体提示方式、特征筛选过程、向量构造、训练损失及分类器配置,不能据此认定其为某种固定的端到端架构。 作者报告,在相同模型规模的比较中,VRL 相对既有方法取得“24% absolute improvement”,并使用少 95% 的数据;摘要还提及使用更小模型,但这些条件是否属于同一组比较尚未验证。作者另报告,相较人工标注属性,所学特征在下游分类中取得“20% absolute gain”。上述绝对增益的具体指标、数据集、少样本数量、划分与基线设置未提供,因此暂不将其改写为 Accuracy,也不能直接外推至其他任务。实验协议、消融及统计信息尚未验证。摘要提供了代码链接,但代码内容及可复现性尚未核对。 平台推测(待验证):其可借鉴之处是通过显式描述类间差异和类内共性,构建少样本分类的可解释特征,而非已证实的 EEG 算法。迁移假设依赖 EEG 是否能形成稳定、可由模型理解的表征及可靠的类别语义;可复用的是特征描述与下游分类流程,需要改造的是信号输入和语言特征的依据。低信噪比、跨被试差异、通道布局变化及小样本可能使描述捕捉伪相关。一个小规模检验是在固定 Cross-subject 划分下,仅用训练被试生成特征描述,与相同输入、相同分类器的非言语化特征比较,并检查描述跨被试的稳定性。已有 EEG 相关工作尚未检索确认。
值得核对的是 VRL 如何将类间差异与类内共性转化为可读、可供分类器使用的特征,以及这些特征在少样本条件下的收益;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net