跳到正文
OpenReview · Representation learning· Yuanbo Hou; Siyang Song; Chuang Yu; Wenwu Wang; Dick Botteldooren·· 2023-01-01精选AI 评分71

用于声学场景分类的音频事件关系图表示学习

Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification

AI 导读

基于摘要分析。本文研究声学场景分类(ASC)中混合音频事件的信息纠缠及分类依据难以解释的问题,提出 event-relational graph representation learning(ERGL)框架,以音频事件的语义嵌入及其关系识别场景,并呈现分类所依据的线索。 核心机制是将各音频事件的嵌入作为图节点,将每对节点之间的关系线索表示为多维边特征。相较于直接从混合音频特征判断场景,这一表示把建模对象显式转向事件及事件间关系。作者报告,在一个真实生活场景的 ASC 数据集上,仅学习有限数量的音频事件嵌入即可取得有竞争力的分类表现;摘要未提供数据集名称、划分、指标数值或对照方法,因此尚不能量化性能收益。事件嵌入的获取方式、边特征构造、训练目标、解释性评估、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,以有语义的局部状态作为节点、以状态间关系作为边,可能为 EEG 分类提供比整体特征更便于检查的判别依据。但原论文处理的是音频事件,不能直接将事件节点等同于 EEG 通道;迁移需先定义可重复提取的 EEG 状态或事件,并改造嵌入提取与边构造模块。该路径依赖稳定的节点语义及关系估计,低信噪比、跨被试差异、通道变化和小数据可能使节点及边不稳定。一个可检验的小实验是在固定 EEG 任务与划分下,比较相同节点嵌入的无边聚合、关系图与打乱边特征三种条件,检验关系信息是否具有独立贡献。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的具体原因是 ERGL 将声学事件语义嵌入及事件间关系显式组织为图,为检查场景分类所依赖的线索提供了机制入口,但解释有效性与性能对照仍需全文核验。

来源:OpenReview · Representation learning · openreview.net