跳到正文
OpenReview · Representation learning·· 2026-09-18精选AI 评分75

用于联合跨模态表征动力学的 Hamiltonian 结构化交互场

Hamiltonian-Structured Interaction Fields for Joint Cross-Mode Representation Dynamics

AI 导读

基于摘要分析。该研究面向高阶张量数据的预测建模,提出 Hamiltonian-Structured Neural Tensor Factorization(HSNTF),以 Hamiltonian 结构化交互场组织不同张量模态之间的潜在表征更新,而不只是通过非线性融合生成预测。这里的“模态”指张量的不同维度,不必然对应不同传感器或数据类型。 机制上,HSNTF 为每个张量元素组合相应的模态嵌入,形成联合潜在表征,再由标量生成函数诱导 Hamiltonian 向量场,驱动联合表征演化。该向量场的 Jacobian 将包括混合导数在内的二阶曲率映射为局部跨模态影响算子,使这些算子的行为在更新过程中受到共同结构约束。短时域多步演化反复作用于更新后的潜在状态,得到依赖当前上下文的表征。该结构是潜在空间的建模约束,并不假定观测张量具有真实物理动力学。 作者报告,在五个真实世界张量数据集上取得一致的预测提升;结构消融、扰动分析及多步干预支持所学场能够捕捉局部跨模态响应,并通过多步积分实现间接的信息传递。作者还报告,受控实验中,共享方向结构在监督稀缺时尤其有用,但收益依赖结构兼容性、样本量和噪声。摘要未提供数据集名称、划分、基线、指标或提升幅度,具体实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务可表示为被试×通道×时间或频率等高阶张量,并有元素级预测监督,可假设这种耦合更新有助于利用各维度之间的依赖。可复用的是模态嵌入与结构化交互场,需改造的是 EEG 张量构造、缺失通道处理及任务读出。低信噪比、跨被试差异和小样本可能使共享方向结构失配。一个可证伪的小实验是在固定 EEG 张量补全划分、监督量与参数预算下,对比 HSNTF 和无 Hamiltonian 约束的交互模型,考察噪声及缺失率变化时的预测误差。该实验仅检验张量建模收益,不构成 BCI 解码有效性的证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 HSNTF 如何将混合导数组织为跨模态局部影响算子,以及作者报告的结构兼容性、监督规模与噪声依赖;其对 EEG 张量建模的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net