跳到正文
OpenReview · Representation learning· Maixent Chenebaux; Tristan Cazenave·· 2024-01-01精选AI 评分73

SeqCondenser:通过特征函数采样进行序列归纳式表征学习

SeqCondenser: Inductive Representation Learning of Sequences by Sampling Characteristic Functions

AI 导读

基于摘要分析。本文研究如何将变长输入序列压缩为定长向量,提出神经网络层 SeqCondenser,并构建基于该层的架构 SCoMo,主要面向归纳式序列分类。摘要明确报告的实验结论来自文本分类,不能据此视为已验证的 EEG/BCI 方法。 核心机制是对输入各维度的经验特征函数及其导数进行采样,并通过注意力机制确定相应的概率分布。这里的特征函数指概率分布的 characteristic function,而非一般的特征提取函数。作者认为这些采样特征可以有效表征整个序列;其与时序顺序信息的关系、采样点如何选择以及注意力的具体实现,均需正文核对。 作者报告,在所考察的文本分类数据集中,SCoMo 在几乎所有数据集上优于当时最先进的归纳式方法,并在一个数据集上优于当时最佳的直推式方法。摘要未提供数据集名称、具体指标、划分方式、对照实现或数值,实验协议、消融及统计信息尚未验证;归纳式与直推式结果的可比条件也需核对。 平台推测(待验证):若输入为多通道 EEG 时间点或窗口级特征,变长到定长的压缩机制可能用于处理记录长度不一致的问题。可复用候选是特征函数采样与注意力加权模块,需改造或核对通道表示、时间顺序编码及频率尺度。低信噪比可能干扰分布估计,跨被试分布差异、通道不一致及小样本下注意力过拟合也可能导致失效。一个可检验的小实验是在固定编码器和分类器条件下,用 SeqCondenser 替换均值池化,在同一 EEG 数据划分中分别评估被试内与跨被试表现,并测试截短序列及打乱时间顺序后的变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是以经验特征函数及其导数采样实现变长序列压缩的机制,但摘要中的优势证据来自文本分类,时序及 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net