跳到正文

算法、任务与模态

VLM 最新动态

VLM 研究索引；按可核对的标签归档，不以热度评价质量。

105 条精选近 30 天 44 条共收录 115 条

更新

精选归档 · 第 6 页

1月1日周一第 101–105 条
  1. OpenReview · State space models75

    S：用于提升视觉语言模型零样本泛化能力的同义语义空间

    基于摘要分析。该研究针对视觉语言模型 CLIP 在下游任务中的图像—文本语义对齐问题，重点考虑同一图像类别可由不同文本概念描述的词汇变异。作者提出 Synonymous Semantic Space（S³），以每个类别的同义语义空间替代单一文本概念，用于提升零样本预测的稳定性与泛化能力。 核心机制是先利用大语言模型，根据类别标签生成多个同义概念，再基于这些概念的 Vietoris-Rips complex 构建连续且紧凑的语义空间。推理时计算图像嵌入与各类别语义空间之间的相似度。作者探索了多种点到空间度量，并提出 point-to-local-center metric；相较于依赖单一概念的表示，这一机制旨在容纳类别描述中的词汇差异。摘要未交代同义概念筛选、拓扑构建参数、局部中心计算细节，以及是否更新 CLIP 参数，这些实现条件尚未验证。 作者报告在 17 个基准上开展实验，覆盖细粒度零样本分类、自然分布零样本分类和开放词汇分割，并称 S³ 优于现有最先进方法。摘要未提供基准名称、数据划分、具体指标与数值、对照方法及模型配置，因此不能据此判断提升幅度或不同任务间的可比性；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 解码系统已具备与文本对齐的信号嵌入，该方法可能用于检验类别措辞变化是否影响预测，以及多概念语义空间能否缓解这一问题。原方法依赖类别标签、同义概念生成及共享嵌入空间，并不直接解决 EEG 编码或跨被试域偏移。可复用部分是语义空间构建与点到空间评分，需改造的是 EEG—文本对齐接口及概念筛选；低信噪比、跨被试或通道变化、小数据对齐不稳和同义词偏离任务含义均可能使其失效。一个小规模可证伪实验是在固定 EEG 编码器与跨被试划分下，对比单一类别文本和 S³ 的预测性能及措辞扰动稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其如何用同义概念构成的局部语义空间替代单一文本概念，以及该机制能否稳定缓解 CLIP 对类别措辞变化的敏感性；摘要中的性能优势尚需结合完整评估协议验证。

  2. OpenReview · State space models74

    探索 VLM 架构替换：比较用于视觉与语言建模的 Transformer 与结构化状态空间模型

    基于摘要分析。研究考察在视觉语言模型（VLM）中以结构化状态空间模型 Mamba 替换 Transformer 的效果，主要贡献是比较两类架构在不同视觉语言任务上的表现，并分析视觉定位（visual grounding）差异可能来自何种机制。 作者报告，在受控条件下测试参数规模最高为 3B 的模型时，Mamba-based VLM 在图像描述、问答和阅读理解任务上优于 Transformer-based VLM；但在视觉定位任务中，Transformer 表现更好，且差距随模型规模增大而扩大。摘要未提供具体数据集、指标、分数或各规模对应的实验条件，因此这些结论仅能作为作者报告的定性比较，不能外推为所有 VLM 任务上的架构优劣。 作者检验了两种解释：任务无关的视觉编码对隐藏状态更新的影响，以及从上下文多模态检索角度理解视觉定位的难度。作者报告，任务感知编码对视觉定位仅带来有限收益，而 Transformer 在上下文多模态检索中显著优于 Mamba。作者据此认为，Mamba 更适合依赖图像整体概括的任务，在需要从上下文检索显式信息时仍有困难；具体编码实现、检索协议、训练配置、消融及统计信息尚未验证。 平台推测（待验证）：假设这一“概括与检索”的差异也出现在 EEG 序列中，Mamba 的状态更新机制可能适用于窗口级信息汇总，但对短暂事件或特定时间片段的读取未必占优。可复用的是序列建模骨干，需改造输入编码和任务输出；EEG 的低信噪比、通道差异、跨被试变化及小数据规模均可能使原领域结论失效。一个小规模可证伪实验是在固定 EEG 数据划分、输入编码及相近参数预算下，比较两类骨干在窗口级分类与短暂事件定位上的表现，检验是否出现同样的任务差异。该实验仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其受控架构比较及多模态上下文检索分析，可用于核对 Mamba 与 Transformer 在图像概括和显式信息检索任务中的能力边界，但不能据此认定其适用于 EEG 或 BCI。

  3. OpenReview · State space models74

    GOI：利用可优化的开放词汇语义空间超平面寻找感兴趣的 3D 高斯

    基于摘要分析。GOI 面向由自然语言指令驱动的 3D 开放词汇场景理解，将 2D 视觉语言基础模型的语义特征嵌入 3D Gaussian Splatting（3DGS），并通过可优化的语义空间超平面定位感兴趣的 3D 高斯，服务于增强现实和机器人等场景。 方法包含两个关键环节：首先利用场景先验，将带噪的高维语义特征压缩为紧凑的低维向量，再嵌入 3DGS；其次将查询时的特征筛选转化为语义空间中的超平面划分，保留与查询高度相关的特征。相较于根据特征与查询文本嵌入之间的距离、使用人工设定固定经验阈值筛选区域的方法，GOI 利用现成的 2D Referring Expression Segmentation（RES）模型微调该超平面，以区分目标区域和其他区域。具体压缩算法、优化目标、监督来源及查询时计算流程尚未验证。 作者报告，广泛实验显示 GOI 优于此前的先进方法，但摘要未提供数据集名称、评估划分、对照方法、指标或具体数值，因此无法判断提升幅度及适用范围。实验协议、消融及统计信息尚未验证；尤其需核对场景先验、特征压缩与超平面优化各自的贡献，以及对 RES 模型能力的依赖。 作者声明已提供数据集、模型和代码，实际开放内容及复现条件尚未核验。该工作的主要对象是视觉语言驱动的 3D 场景定位，所给材料不包含 EEG 或 BCI 验证，不能据此认定其具有神经信号解码效果。

    阅读价值：值得核对其利用现成 2D RES 模型优化语义空间超平面、替代固定经验阈值的区域选择机制，但性能增益及优化成本仍需全文验证。

  4. OpenReview · State space models73

    基于混合状态空间模型的多模态指令微调

    基于摘要分析。本文研究多模态大语言模型（MLLMs）处理高分辨率图像和高帧率视频时的长上下文计算瓶颈，提出混合 transformer-MAMBA 模型，旨在避免仅通过减少图像块或视频帧来缩短上下文所造成的信息损失。 技术机制：图像分辨率或视频帧数增加会带来更多输入 token，而自注意力的计算复杂度随序列长度呈二次增长。作者采用 transformer 与 MAMBA 的混合架构来处理这一问题，但摘要未说明两者的组合方式、视觉 token 编码、指令微调数据、损失函数及训练流程，不能据此确定具体计算路径或整体复杂度。 结果与评估：作者报告模型能够处理超过 100k tokens 的输入，并在多个基准上优于现有模型，但未列出基准名称、任务指标或对照配置。针对高分辨率图像和高帧率视频推理，作者报告相较现有模型约有 4 倍效率提升，且收益随分辨率或帧数增加而扩大；具体硬件、精度、批量大小及效率度量尚未验证。作者还报告模型可在低分辨率图像或低帧率视频上训练，并在高分辨率图像或高帧率视频上推理；摘要未给出对应训练与测试范围。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在 EEG 对应点是长时序建模的计算成本，而非已经验证的 BCI 解码效果。假设混合架构能保留长程依赖，可考察状态空间序列模块与注意力模块的复用，但视觉编码与指令监督需改造成适合 EEG 通道、时间采样和任务标签的形式。低信噪比、跨被试差异、通道变化及小数据可能削弱收益。可在同一 EEG 数据集、固定跨被试划分下，对照混合模型与纯 transformer，比较不同序列长度下的任务指标、延迟和显存占用，以检验是否存在效率—性能收益；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对混合 transformer-MAMBA 架构能否在保留视觉信息的同时降低长上下文推理开销，尤其是作者报告的低分辨率训练到高分辨率推理能力；具体效率基线与泛化协议尚未验证。

  5. OpenReview · State space models73

    GOI：利用可优化的开放词汇语义空间超平面查找感兴趣的 3D 高斯

    基于摘要分析。GOI 面向 3D 开放词汇场景理解，研究如何根据自然语言指令在三维场景中定位目标区域。其核心贡献是将 2D 视觉语言基础模型的语义特征融入 3D Gaussian Splatting（3DGS），再通过可优化的语义空间超平面筛选与查询相关的 3D 高斯。 技术上，框架先利用场景先验，将带噪声的高维语义特征压缩为紧凑的低维向量，并嵌入 3DGS。查询阶段不再仅依赖语义特征与文本嵌入之间的距离及人工设定的固定经验阈值，而是将特征选择表述为语义空间中的超平面划分。随后借助现成的 2D Referring Expression Segmentation（RES）模型微调该超平面，以改善目标区域与其他区域的区分。摘要未说明压缩方法的具体形式、超平面的优化目标，以及 RES 输出如何参与优化，这些机制细节尚需核对全文。 作者报告，广泛实验显示 GOI 优于此前的先进方法，但摘要未提供数据集、评估划分、对照方法、指标或数值，因此目前无法判断优势的幅度与适用范围。实验协议、消融及统计信息尚未验证；复现还需确认所用视觉语言模型与 RES 模型、场景先验的构建方式，以及训练和查询成本。摘要提供了项目页，但代码、权重与运行条件尚未验证。 该工作的直接研究对象是三维视觉语义定位，而非 EEG 解码或 BCI。其方法依赖二维视觉语义与三维场景表示，现有材料不足以建立具体的 EEG 迁移机制，不能将作者报告的视觉任务效果视为 BCI 有效性的证据；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是将开放词汇查询中的固定经验阈值替换为可优化的语义空间超平面，并借助现成 2D RES 模型校准目标区域选择；其性能优势及复现条件仍需全文核对。