跳到正文
arXiv · 多模态与生成机制· Fabian Gröger; Petar Damjanović; Maria Brbić·· 21 小时前精选AI 评分81

对齐还是不对齐:训练前先检查 COMPASS

To Align or Not To Align: Check Your COMPASS Before You Train

AI 导读

基于摘要分析。本文研究预训练模型在跨模态对齐或模型合并前的兼容性预测问题,提出 COMPASS(COMPatibility ASsessment Score),旨在减少必须完成对齐或合并后才能判断效果的昂贵试验。 核心机制是以表征的局部邻域一致性为依据,将兼容性拆分为两个计算成本较低的维度:模型对层面的 ease,以两个编码器的 k-NN 邻域重叠度定义;训练范式层面的 ceiling,描述相应训练范式所允许的最大重叠度。作者据此对候选模型对排序,并区分优先训练、追加计算、调整预训练范式及降低优先级等策略。摘要尚未说明 ceiling 的具体估计方法、邻域计算所用数据与距离度量。 作者报告,在 72 个跨模态对齐实验和 392 个 task-arithmetic 模型合并实验中,COMPASS 的兼容性估计与下游成功程度相关,平均 Pearson 相关系数分别为 0.91 和 0.70。这些结果反映对应实验集合中的相关性,不等同于模型性能提升,也不能直接视为未见模型或任务上的预测保证。具体模型、数据集、划分、对照、消融及统计信息尚未验证。 平台推测(待验证):若候选 EEG 编码器能在同一批样本上提取表征,局部邻域重叠度可能用于筛选待对齐或合并的模型对;跨模态应用还依赖可对应的样本。可复用部分是邻域一致性诊断,需改造并验证的是 EEG 训练范式的 ceiling 估计及其与目标任务表现的关系。低信噪比、被试差异、通道配置变化和小样本都可能使邻域结构不稳定。一个可证伪的小实验是:固定表征诊断数据及对齐预算,先对候选 EEG 模型对计算诊断量,再检验其排序能否预测独立评估集上的对齐表现,并分别检查被试内与跨被试条件。已有 EEG 相关工作尚未检索确认。

阅读价值

COMPASS 将训练前的模型兼容性诊断拆分为局部邻域一致性与训练范式上限,值得核对其对下游结果的预测能力及诊断成本,但其在 EEG 模型选择中的有效性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org