跳到正文
OpenReview · Representation learning· Kaize Ding; Albert Jiongqian Liang; Bryan Perozzi; Ting Chen; Ruoxi Wang; Lichan Hong; Ed H. Chi; Huan Liu; Derek Zhiyuan Cheng·· 2023-01-01精选AI 评分70

HyperFormer:通过超图 Transformer 学习富有表达力的稀疏特征表示

HyperFormer: Learning Expressive Sparse Feature Representations via Hypergraph Transformer

AI 导读

基于摘要分析。该研究面向信息检索中高维稀疏特征的表示学习问题,尤其关注训练数据中出现频率较低的尾部特征值。作者提出 Hypergraph Transformer(HyperFormer),通过由特征构造的超图显式引入实例间关联,以学习同时包含实例关系与特征关系的表示。 核心机制是将每个数据实例设为节点,将每个不同的特征值设为一条超边,使共享特征值的实例能够在超图中建立联系,再通过 HyperFormer 进行消息传递。其方法特点在于从已有特征中构造关系结构,而非依赖外部提供的关系先验;摘要未披露具体注意力计算、损失函数、训练与推理流程。 作者报告,该方法在所开展实验中能够改善稀疏特征表示学习,但摘要未给出数据集、数据划分、对照方法、评价指标及具体数值,因而尚不能判断收益幅度及其在尾部特征上的稳定性。实验协议、消融及统计信息尚未验证。复现需核对超图构建范围、稀有特征的处理方式,以及新实例在推理时如何接入超图。 平台推测(待验证):若 EEG 任务包含可定义且具有重复共享关系的离散事件、元数据或离散化特征,可假设复用“实例—特征值”超图及消息传递机制,尝试缓解稀有特征表示不充分的问题;这并不意味着原方法已适用于连续 EEG。需要改造特征编码与超边定义,且低信噪比可能造成错误连接,跨被试或通道差异可能使共享特征值不再具有相同语义,小数据也可能不足以支撑可靠的关系估计。一个可检验的小实验是在固定 Cross-subject 划分下,仅用训练集定义特征编码与构图规则,对比相同输入的非图基线、HyperFormer 及打乱超边的对照,检验关系结构是否带来可重复收益。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其以共享特征值构造超边、同时建模实例间与特征间关联的机制,但稀有特征的具体收益及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net