基于 EEG 众包的视频情感标注
Affective annotation of videos from EEG-based crowdsourcing
基于摘要分析。本文研究如何利用观看视频时记录的 EEG 情感反应,通过 brainsourcing(脑信号众包)为视频生成情感标注,以缓解人工标注的劳动成本,并减少仅依据内容推断情感时对反应同质性的依赖。核心贡献是使用 DEAP、SEED 两个数据集和三种众包模型,考察群体聚合能否支持视频情感标注,以及参与人数对分类表现的影响。 方法层面,研究将参与者观看视频时的脑信号作为情感反应来源,再通过众包模型形成视频层面的标注。摘要未说明 EEG 预处理、特征或分类器、三种众包模型的具体机制,也未明确如何处理参与者之间的情感分歧。因此,不能据此认定该方法保留了个体主观体验,或建立了视频唯一的客观情感标签。 作者报告,众包模型能够支持 SEED 中全部视频和 DEAP 中大多数视频的情感标注;但“支持标注”的判定标准尚未验证。作者报告,在两个数据集及所考察的众包模型中,标注表现和分类器置信度均随群体规模增大而提高。以 DEAP 的二分类效价任务为例,个体预测的平均 Accuracy 低于 60%,六人群体约为 70%,十四人群体约为 80%。这些数值仅对应摘要所述任务与群体规模;被试内或跨被试协议、训练测试划分、群体抽样方式及具体模型对应关系尚未验证,不能与其他协议下的结果直接比较。 研究价值主要在于 EEG 情感解码结果的群体利用,而非摘要已证实的新型解码网络。复现时需核对情感标签来源、个体预测与群体标注的评价对象、不同群体规模的抽样及重复评估方式,并检查分类置信度是否经过校准。实验协议、消融及统计信息尚未验证;现有摘要也不足以判断该结果能否推广到新视频、新参与者或实际在线 BCI 场景。
值得阅读的具体原因是作者在 DEAP 与 SEED 上考察了 EEG 情感预测的群体聚合及群体规模效应,为视频情感标注提供了可核对的研究路径,但其泛化能力与复现协议尚未验证。
来源:OpenReview · EEG · openreview.net