跳到正文

算法、任务与模态

VLM 最新动态

VLM 研究索引；按可核对的标签归档，不以热度评价质量。

82 条精选近 30 天 40 条共收录 92 条

更新

精选归档 · 第 5 页

1月1日周一第 81–82 条
  1. OpenReview · State space models74

    GOI：利用可优化的开放词汇语义空间超平面寻找感兴趣的 3D 高斯

    基于摘要分析。GOI 面向由自然语言指令驱动的 3D 开放词汇场景理解，将 2D 视觉语言基础模型的语义特征嵌入 3D Gaussian Splatting（3DGS），并通过可优化的语义空间超平面定位感兴趣的 3D 高斯，服务于增强现实和机器人等场景。 方法包含两个关键环节：首先利用场景先验，将带噪的高维语义特征压缩为紧凑的低维向量，再嵌入 3DGS；其次将查询时的特征筛选转化为语义空间中的超平面划分，保留与查询高度相关的特征。相较于根据特征与查询文本嵌入之间的距离、使用人工设定固定经验阈值筛选区域的方法，GOI 利用现成的 2D Referring Expression Segmentation（RES）模型微调该超平面，以区分目标区域和其他区域。具体压缩算法、优化目标、监督来源及查询时计算流程尚未验证。 作者报告，广泛实验显示 GOI 优于此前的先进方法，但摘要未提供数据集名称、评估划分、对照方法、指标或具体数值，因此无法判断提升幅度及适用范围。实验协议、消融及统计信息尚未验证；尤其需核对场景先验、特征压缩与超平面优化各自的贡献，以及对 RES 模型能力的依赖。 作者声明已提供数据集、模型和代码，实际开放内容及复现条件尚未核验。该工作的主要对象是视觉语言驱动的 3D 场景定位，所给材料不包含 EEG 或 BCI 验证，不能据此认定其具有神经信号解码效果。

    阅读价值：值得核对其利用现成 2D RES 模型优化语义空间超平面、替代固定经验阈值的区域选择机制，但性能增益及优化成本仍需全文验证。

  2. OpenReview · State space models73

    基于混合状态空间模型的多模态指令微调

    基于摘要分析。本文研究多模态大语言模型（MLLMs）处理高分辨率图像和高帧率视频时的长上下文计算瓶颈，提出混合 transformer-MAMBA 模型，旨在避免仅通过减少图像块或视频帧来缩短上下文所造成的信息损失。 技术机制：图像分辨率或视频帧数增加会带来更多输入 token，而自注意力的计算复杂度随序列长度呈二次增长。作者采用 transformer 与 MAMBA 的混合架构来处理这一问题，但摘要未说明两者的组合方式、视觉 token 编码、指令微调数据、损失函数及训练流程，不能据此确定具体计算路径或整体复杂度。 结果与评估：作者报告模型能够处理超过 100k tokens 的输入，并在多个基准上优于现有模型，但未列出基准名称、任务指标或对照配置。针对高分辨率图像和高帧率视频推理，作者报告相较现有模型约有 4 倍效率提升，且收益随分辨率或帧数增加而扩大；具体硬件、精度、批量大小及效率度量尚未验证。作者还报告模型可在低分辨率图像或低帧率视频上训练，并在高分辨率图像或高帧率视频上推理；摘要未给出对应训练与测试范围。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在 EEG 对应点是长时序建模的计算成本，而非已经验证的 BCI 解码效果。假设混合架构能保留长程依赖，可考察状态空间序列模块与注意力模块的复用，但视觉编码与指令监督需改造成适合 EEG 通道、时间采样和任务标签的形式。低信噪比、跨被试差异、通道变化及小数据可能削弱收益。可在同一 EEG 数据集、固定跨被试划分下，对照混合模型与纯 transformer，比较不同序列长度下的任务指标、延迟和显存占用，以检验是否存在效率—性能收益；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对混合 transformer-MAMBA 架构能否在保留视觉信息的同时降低长上下文推理开销，尤其是作者报告的低分辨率训练到高分辨率推理能力；具体效率基线与泛化协议尚未验证。