跳到正文
OpenReview · Representation learning· Taewon Park; Inchul Choi; Minho Lee·· 2024-01-16精选AI 评分74

面向张量积表示的基于注意力的迭代分解

Attention-based Iterative Decomposition for Tensor Product Representation

AI 导读

基于摘要分析。本文研究深度神经网络在系统泛化任务中如何从未见测试数据识别并表示组合式符号结构,提出 Attention-based Iterative Decomposition(AID)模块,改进序列输入经 Tensor Product Representation(TPR,张量积表示)编码后的结构化表示分解。 核心机制是通过输入特征与结构化表示之间的竞争性注意力,增强迭代分解。作者认为,既有 TPR 方法的结构分解不充分,限制了对未见组合结构的识别;AID 旨在改善这一环节,并称可适配 TPR-based 模型。摘要未说明迭代更新规则、训练目标、监督形式及计算开销,实际适配范围尚未验证。 作者报告,在一系列系统泛化任务中,加入 AID 后的 TPR-based 方法性能显著提升;定量与定性评估还显示,其结构化表示具有更好的组合性与绑定质量。摘要未提供任务及数据集名称、划分方式、具体指标、数值或显著性检验信息,因此无法判断收益幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务能够明确表达为若干因素及其关系的组合,AID 的结构分解机制可能用于检验模型能否泛化到未见因素组合,而非直接解决通用 EEG 解码。可复用部分是竞争性注意力与迭代分解思路,需改造的是 EEG 时序编码及 TPR 结构定义;其所需监督与数据规模尚不明确。低信噪比、跨被试差异、通道变化和小数据可能使分解偏向伪相关。一个可证伪的小实验是在固定 EEG 编码器与训练预算下,比较 TPR 基线和加入 AID 的模型,并按预先定义的因素组合留出测试集,检验未见组合上的收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 AID 以输入特征与结构化表示之间的竞争性注意力改进 TPR 分解,作者报告其有助于系统泛化;具体收益及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net