跳到正文

算法、任务与模态

Cross-modal Alignment 最新动态

Cross-modal Alignment 研究索引;按可核对的标签归档,不以热度评价质量。

142 条精选近 30 天 50 条共收录 188 条

更新

精选归档 · 第 8 页

1月1日周一第 141–142 条
  1. OpenReview · Representation learning73

    判别性跨视图二值表示学习

    基于摘要分析。本文针对大规模图像—文本多媒体数据的紧凑表示学习,提出 Discriminative Cross-View Hashing(DCVH),利用不同视图中的判别信息,端到端学习保留语义且具有判别性的二值表示,服务于跨视图检索、图像到图像检索及图像标注任务。原研究对象是多媒体检索与标注,而非 EEG 或 BCI。 机制上,DCVH 同时对图像和文本使用基于 CNN 的非线性哈希函数及多标签分类。作者提出通过 Direct Binary Embedding(DBE)层实现训练时的连续松弛,无需显式量化损失;跨视图对齐则通过最小化 Hamming 距离实现,并利用逐位 XOR 运算高效计算。相较于主要强调各视图内部相似性、再通过跨视图相似性连接的既有方法,其重点是联合利用不同视图的判别信息。具体损失形式、DBE 实现及训练细节尚未验证。 作者报告,在两个图像—文本基准数据集上,DCVH 优于所比较的先进跨视图哈希算法及单视图图像哈希算法,并在图像标注任务中取得有竞争力的表现。摘要未提供数据集名称、划分方式、指标或数值,实验协议、消融及统计信息尚未验证,无法据此判断收益幅度与适用边界。 平台推测(待验证):假设 EEG 片段与刺激图像或文本存在可靠配对及共享语义标签,可考察判别性二值表示是否有助于紧凑的跨模态检索。可复用的是多标签监督、二值嵌入与跨视图对齐思路;EEG 编码器及其时序输入处理需要改造。低信噪比、被试差异、通道变化和小样本可能使二值压缩丢失有效信息,语义配对也未必反映神经响应。一个可证伪的小实验是在固定数据划分与相同编码器条件下,比较连续表示与加入 DBE、Hamming 对齐的二值表示,检验跨模态检索效果及存储成本;若关注跨被试应用,应单独采用被试隔离划分。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的具体原因是 DCVH 将多标签判别学习、DBE 二值嵌入与基于 Hamming 距离的跨视图对齐结合,用于统一支持跨视图检索和图像标注;其对 EEG/BCI 的价值尚未验证。

1月1日周五
  1. OpenReview · Representation learning70

    用于跨模态分类的表征学习

    基于摘要分析。本文研究扫描参数或成像模态差异给监督式图像分类带来的困难,提出两种基于 autoencoders 的表征学习方法,通过约束不同域中对应图像块的表征相似性,学习用于跨模态分类的共同表征。主要研究对象是多模态脑 MRI 图像及合成数据,并非 EEG 或 BCI 解码。 核心机制是在数据表征目标之外加入相似性目标,最小化不同域中对应图像块的表征差异。该方法依赖可建立对应关系的跨域图像块;两种方法之间的结构差异、损失具体形式、对应关系来源及训练流程,摘要均未明确。实验将来自不同模态的训练与测试数据转换到所学共同表征,再针对模态对训练分类器。作者报告,相比标准目标,加入相似性项可以得到更相似的表征,并在这些跨模态分类实验中获得更高的 Accuracy;摘要未提供具体数值、数据集名称、样本规模或划分细节,因此不能判断提升幅度及统计稳健性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,在 EEG 域适应中,若跨会话或跨设备数据存在可靠的对应片段或事件条件,相似性约束可能帮助减小表征差异。可复用的是共同表征学习与对应样本约束,需改造的是适配 EEG 时序及通道结构的编码器和配对方式。低信噪比、跨被试生理差异、通道不一致及小数据条件可能使配对不可靠,或使相似性约束压缩任务判别信息。一个可检验的小实验是在固定 Cross-session 划分下,对比相同编码器仅使用数据表征目标与加入相似性目标的分类表现,严格区分训练配对数据与测试数据,并同时检查域间表征差异和任务 Accuracy。已有 EEG 相关工作尚未检索确认,原领域结果不能视为 BCI 有效性的证据。

    阅读价值:值得阅读的具体原因是其以对应图像块的表征相似性约束连接不同成像域,作者报告该约束可改善跨模态分类,但对应关系的构建方式与适用条件仍需核对全文。