跳到正文
OpenReview · State space models· Jingbiao Mei; Jinghong Chen; Weizhe Lin; Bill Byrne; Marcus Tomalin·· 2023-01-01精选AI 评分73

通过检索引导的对比学习构建仇恨感知嵌入空间,改进仇恨模因检测

Improving hateful memes detection via learning hatefulness-aware embedding space through retrieval-guided contrastive learning

AI 导读

该研究面向需要联合理解图像与文本的仇恨模因检测,提出通过检索引导的对比训练构建仇恨感知嵌入空间,并用于基于检索的分类系统。基于摘要分析,未取得论文全文。 核心机制:作者认为,现有基于 CLIP 的系统所形成的嵌入空间,对决定模因是否具有仇恨性的细微差异不够敏感,因此通过检索引导的对比训练调整表征。摘要未说明检索样本的选择方式、正负样本构造、损失形式及图文融合细节,这些内容尚未验证。 结果与更新能力:作者报告,在 HatefulMemes 数据集上取得 AUROC 87.0,并声称达到当时的最先进性能、优于规模更大的经微调大型多模态模型。该数值仅对应摘要所述数据集;数据划分、具体对照模型、消融及统计信息尚未验证。作者还报告,基于检索的系统能够利用训练时未见的数据识别仇恨性,可通过加入新示例而不重新训练来更新系统;新示例如何进入检索库、相关评估协议及更新后的稳定性需查阅全文。 平台推测(待验证):可供 EEG 方法研究借鉴的假设,是以任务相关的近邻示例引导对比学习,改善细微类别差异的表征,并借助检索库更新适应新数据。但原任务依赖图文语义与检索示例,不能直接等同于 EEG 解码。可复用的是检索引导训练与示例库更新思路,需改造信号编码器、相似度计算和样本配对规则;EEG 的低信噪比、被试与通道差异及小数据条件可能使近邻关系主要反映噪声或个体特征。一个可检验的小实验是在固定 Cross-subject 划分下,对同一 EEG 编码器比较普通对比学习与检索引导对比学习,限定检索库不接触测试数据,检验性能及近邻类别一致性是否改善。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的具体机制是以检索引导对比训练增强嵌入对细微语义差异的敏感性,并通过增添检索示例更新检测系统;其效果与免重训练更新能力仍需结合全文协议核对,尚无 EEG/BCI 有效性证据。

来源:OpenReview · State space models · openreview.net