跳到正文
OpenReview · Representation learning· Pragya Singh; Ritvik Budhiraja; Ankush Gupta; Anshul Goswami; Mohan Kumar; Pushpendra Singh·· 2024-09-26精选AI 评分77

EEVR:用于联合情绪表征学习的生理信号与文本描述配对数据集

EEVR: A Dataset of Paired Physiological Signals and Textual Descriptions for Joint Emotion Representation Learning

AI 导读

基于摘要分析。该研究面向情绪识别中的语言监督预训练,提出 EEVR(Emotion Elicitation in Virtual Reality)数据集,将生理信号与参与者对自身情绪体验的文本描述配对,并提出 Contrastive Language Signal Pre-training(CLSP)方法学习联合表征。其主要研究对象是 EDA 和 PPG 等生理信号,而非 EEG 或 BCI。 数据集包含 37 名参与者的记录,通过 360 度 VR 视频诱发情绪,采集皮肤电活动(EDA)和光电容积描记(PPG)信号;文本来自定性访谈,描述各参与者在每个刺激期间的情绪体验。相较离散情绪标签,这类描述旨在补充个体化语境。作者称其为首个将原始文本与生理信号配对的数据集,此优先性尚未独立核实。 CLSP 利用生理信号—文本配对进行联合表征学习;摘要未披露编码器结构、具体对比损失、配对粒度和训练规模。作者报告,加入自述文本后,唤醒度与效价分类性能显著改善;在向已有数据集进行零样本迁移的评估中,预训练 CLSP 优于监督学习基线。但摘要未给出目标数据集、指标数值、被试划分、基线训练条件或统计检验细节,实验协议、消融及统计信息尚未验证。作者还说明资源包含唤醒度、效价和情绪分类基线,以及数据清洗和特征提取代码;实际获取条件与复现完整性仍需核对。 平台推测(待验证):其可迁移机制是以个体自述文本为情绪信号提供语义监督,可能帮助缓解 EEG 情绪识别中标签语义粗糙的问题。可复用跨模态配对学习思路,但需改造 EEG 编码器,并具备与 EEG 片段匹配的文本及可靠的时间对齐。低信噪比、通道配置差异、跨被试表达差异和小样本可能削弱收益。一个可检验的假设是:在严格跨被试划分、固定 EEG 编码器和训练预算下,真实配对文本相较打乱配对文本及仅标签监督能改善情绪分类;若无改善,则不支持该设置下的迁移价值。已有 EEG 相关工作尚未检索确认。

阅读价值

该材料提供生理信号与个体情绪文本配对的数据资源及 CLSP 方法,值得核对语言监督对情绪表征和零样本迁移的具体增益,但摘要尚不足以验证其评估协议及对 EEG 的适用性。

来源:OpenReview · Representation learning · openreview.net