跳到正文
OpenReview · Representation learning· Danushka Bollegala; Takanori Maehara; Ken-ichi Kawarabayashi·· 2015-01-01精选AI 评分75

无监督跨域词表示学习

Unsupervised Cross-Domain Word Representation Learning

AI 导读

基于摘要分析。该研究针对同一词语在不同领域具有不同语义的问题,提出无监督跨域词表示学习方法,学习源域与目标域各自的词表示,并将其用于域适应。主要研究对象是文本词义及情感分类,而非 EEG 或 BCI。 核心机制是先从两个领域共同出现的高频词中选择一组 pivots(枢轴词),再优化包含两项约束的目标:一是在各域文档中,由出现的枢轴词预测与其共现的非枢轴词;二是使同一枢轴词在两域学到的表示保持相似。这一设计通过共享词建立跨域联系,同时利用各域共现关系保留域特异语义。摘要还提出利用所学表示进行域适应,但未给出具体下游适配流程及目标函数形式。 作者报告,在一个情感分类基准数据集的所有领域配对上,该方法取得最佳 Accuracy,并显著优于包括当时先进的领域无关词表示在内的竞争基线。摘要未提供数据集名称、划分、基线配置、具体数值及显著性检验细节;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可借鉴之处是通过共享锚点约束实现跨域表示对齐。假设不同被试或会话的 EEG 中存在可稳定识别、语义一致的共享事件或特征,则可尝试保留“域内关系学习+锚点跨域一致性”机制,但需重新定义连续信号中的锚点、上下文与预测目标,不能直接套用高频词结构。低信噪比、通道差异及小样本可能使锚点不稳定,过强对齐也可能抹去任务相关差异。一个可证伪的小实验是在固定 Cross-subject 划分和目标域标签使用规则下,对比无对齐、候选锚点对齐及随机锚点对齐,检验候选锚点能否稳定改善目标被试分类 Accuracy。相关 EEG 工作尚未检索确认。

阅读价值

该研究以共享高频词为锚点,同时建模域内共现关系与跨域表示一致性,值得用于理解域适应中共享结构与域特异信息的取舍;其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net