跳到正文

算法、任务与模态

VLM 最新动态

VLM 研究索引；按可核对的标签归档，不以热度评价质量。

126 条精选近 30 天 55 条共收录 137 条

更新

精选归档 · 第 7 页

1月1日周一第 121–126 条
  1. OpenReview · State space models74

    探索 VLM 架构替换：比较用于视觉与语言建模的 Transformer 与结构化状态空间模型

    基于摘要分析。研究考察在视觉语言模型（VLM）中以结构化状态空间模型 Mamba 替换 Transformer 的效果，主要贡献是比较两类架构在不同视觉语言任务上的表现，并分析视觉定位（visual grounding）差异可能来自何种机制。 作者报告，在受控条件下测试参数规模最高为 3B 的模型时，Mamba-based VLM 在图像描述、问答和阅读理解任务上优于 Transformer-based VLM；但在视觉定位任务中，Transformer 表现更好，且差距随模型规模增大而扩大。摘要未提供具体数据集、指标、分数或各规模对应的实验条件，因此这些结论仅能作为作者报告的定性比较，不能外推为所有 VLM 任务上的架构优劣。 作者检验了两种解释：任务无关的视觉编码对隐藏状态更新的影响，以及从上下文多模态检索角度理解视觉定位的难度。作者报告，任务感知编码对视觉定位仅带来有限收益，而 Transformer 在上下文多模态检索中显著优于 Mamba。作者据此认为，Mamba 更适合依赖图像整体概括的任务，在需要从上下文检索显式信息时仍有困难；具体编码实现、检索协议、训练配置、消融及统计信息尚未验证。 平台推测（待验证）：假设这一“概括与检索”的差异也出现在 EEG 序列中，Mamba 的状态更新机制可能适用于窗口级信息汇总，但对短暂事件或特定时间片段的读取未必占优。可复用的是序列建模骨干，需改造输入编码和任务输出；EEG 的低信噪比、通道差异、跨被试变化及小数据规模均可能使原领域结论失效。一个小规模可证伪实验是在固定 EEG 数据划分、输入编码及相近参数预算下，比较两类骨干在窗口级分类与短暂事件定位上的表现，检验是否出现同样的任务差异。该实验仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其受控架构比较及多模态上下文检索分析，可用于核对 Mamba 与 Transformer 在图像概括和显式信息检索任务中的能力边界，但不能据此认定其适用于 EEG 或 BCI。

  2. OpenReview · State space models74

    GOI：利用可优化的开放词汇语义空间超平面寻找感兴趣的 3D 高斯

    基于摘要分析。GOI 面向由自然语言指令驱动的 3D 开放词汇场景理解，将 2D 视觉语言基础模型的语义特征嵌入 3D Gaussian Splatting（3DGS），并通过可优化的语义空间超平面定位感兴趣的 3D 高斯，服务于增强现实和机器人等场景。 方法包含两个关键环节：首先利用场景先验，将带噪的高维语义特征压缩为紧凑的低维向量，再嵌入 3DGS；其次将查询时的特征筛选转化为语义空间中的超平面划分，保留与查询高度相关的特征。相较于根据特征与查询文本嵌入之间的距离、使用人工设定固定经验阈值筛选区域的方法，GOI 利用现成的 2D Referring Expression Segmentation（RES）模型微调该超平面，以区分目标区域和其他区域。具体压缩算法、优化目标、监督来源及查询时计算流程尚未验证。 作者报告，广泛实验显示 GOI 优于此前的先进方法，但摘要未提供数据集名称、评估划分、对照方法、指标或具体数值，因此无法判断提升幅度及适用范围。实验协议、消融及统计信息尚未验证；尤其需核对场景先验、特征压缩与超平面优化各自的贡献，以及对 RES 模型能力的依赖。 作者声明已提供数据集、模型和代码，实际开放内容及复现条件尚未核验。该工作的主要对象是视觉语言驱动的 3D 场景定位，所给材料不包含 EEG 或 BCI 验证，不能据此认定其具有神经信号解码效果。

    阅读价值：值得核对其利用现成 2D RES 模型优化语义空间超平面、替代固定经验阈值的区域选择机制，但性能增益及优化成本仍需全文验证。

  3. OpenReview · State space models73

    基于混合状态空间模型的多模态指令微调

    基于摘要分析。本文研究多模态大语言模型（MLLMs）处理高分辨率图像和高帧率视频时的长上下文计算瓶颈，提出混合 transformer-MAMBA 模型，旨在避免仅通过减少图像块或视频帧来缩短上下文所造成的信息损失。 技术机制：图像分辨率或视频帧数增加会带来更多输入 token，而自注意力的计算复杂度随序列长度呈二次增长。作者采用 transformer 与 MAMBA 的混合架构来处理这一问题，但摘要未说明两者的组合方式、视觉 token 编码、指令微调数据、损失函数及训练流程，不能据此确定具体计算路径或整体复杂度。 结果与评估：作者报告模型能够处理超过 100k tokens 的输入，并在多个基准上优于现有模型，但未列出基准名称、任务指标或对照配置。针对高分辨率图像和高帧率视频推理，作者报告相较现有模型约有 4 倍效率提升，且收益随分辨率或帧数增加而扩大；具体硬件、精度、批量大小及效率度量尚未验证。作者还报告模型可在低分辨率图像或低帧率视频上训练，并在高分辨率图像或高帧率视频上推理；摘要未给出对应训练与测试范围。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在 EEG 对应点是长时序建模的计算成本，而非已经验证的 BCI 解码效果。假设混合架构能保留长程依赖，可考察状态空间序列模块与注意力模块的复用，但视觉编码与指令监督需改造成适合 EEG 通道、时间采样和任务标签的形式。低信噪比、跨被试差异、通道变化及小数据可能削弱收益。可在同一 EEG 数据集、固定跨被试划分下，对照混合模型与纯 transformer，比较不同序列长度下的任务指标、延迟和显存占用，以检验是否存在效率—性能收益；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对混合 transformer-MAMBA 架构能否在保留视觉信息的同时降低长上下文推理开销，尤其是作者报告的低分辨率训练到高分辨率推理能力；具体效率基线与泛化协议尚未验证。

  4. OpenReview · State space models73

    GOI：利用可优化的开放词汇语义空间超平面查找感兴趣的 3D 高斯

    基于摘要分析。GOI 面向 3D 开放词汇场景理解，研究如何根据自然语言指令在三维场景中定位目标区域。其核心贡献是将 2D 视觉语言基础模型的语义特征融入 3D Gaussian Splatting（3DGS），再通过可优化的语义空间超平面筛选与查询相关的 3D 高斯。 技术上，框架先利用场景先验，将带噪声的高维语义特征压缩为紧凑的低维向量，并嵌入 3DGS。查询阶段不再仅依赖语义特征与文本嵌入之间的距离及人工设定的固定经验阈值，而是将特征选择表述为语义空间中的超平面划分。随后借助现成的 2D Referring Expression Segmentation（RES）模型微调该超平面，以改善目标区域与其他区域的区分。摘要未说明压缩方法的具体形式、超平面的优化目标，以及 RES 输出如何参与优化，这些机制细节尚需核对全文。 作者报告，广泛实验显示 GOI 优于此前的先进方法，但摘要未提供数据集、评估划分、对照方法、指标或数值，因此目前无法判断优势的幅度与适用范围。实验协议、消融及统计信息尚未验证；复现还需确认所用视觉语言模型与 RES 模型、场景先验的构建方式，以及训练和查询成本。摘要提供了项目页，但代码、权重与运行条件尚未验证。 该工作的直接研究对象是三维视觉语义定位，而非 EEG 解码或 BCI。其方法依赖二维视觉语义与三维场景表示，现有材料不足以建立具体的 EEG 迁移机制，不能将作者报告的视觉任务效果视为 BCI 有效性的证据；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得关注的是将开放词汇查询中的固定经验阈值替换为可优化的语义空间超平面，并借助现成 2D RES 模型校准目标区域选择；其性能优势及复现条件仍需全文核对。

9月24日周日
  1. OpenReview · State space models70

    Video2Demo：将视频落地为状态—动作示范

    基于摘要分析。Video2Demo 研究如何将人类任务视频转化为机器人模仿学习可用的状态—动作示范，核心贡献是利用 GPT-4 交互查询生成式视觉语言模型（VLM），构建时间一致的状态—动作序列，再由语言模型生成机器人任务代码。 原问题在于，机器人有效模仿示范需要将视觉内容落地到可操作的状态与动作。摘要指出，既有任务专用预测模型往往依赖大量人工标注，且难以泛化到复杂场景；预训练、指令跟随 VLM 虽可生成细致描述，但描述本身未必具备持续追踪物体状态所需的结构与时间一致性。Video2Demo 因此引入交互查询环节，而非直接将独立视频描述作为最终示范。具体查询策略、状态与动作表示、时间一致性约束及代码生成细节尚未验证。 作者报告，在大规模人类活动数据集 EPIC-Kitchens 上，Video2Demo 优于纯 VLM 方法，并能生成准确的机器人任务代码。摘要未提供具体指标、分数、数据划分或对照模型配置，因而无法量化提升，也不能将任务代码准确性等同于真实机器人执行成功率。实验协议、消融及统计信息尚未验证；复现仍需核对所用 VLM、GPT-4 调用与提示配置、视频处理流程以及任务代码评估方式。 该研究的主要对象是视频理解与机器人示范生成，并非 EEG 解码或 BCI。其机制依赖视觉对象、动作及时间关系的语义识别，所给材料没有建立这些表示与神经信号之间的具体对应关系，因此不据此提出 BCI 有效性结论或迁移实验建议；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其通过 GPT-4 交互查询生成式 VLM，将视频描述组织为时间一致的状态—动作序列的机制；作者报告其在 EPIC-Kitchens 上优于纯 VLM 方法，但机器人执行效果与 BCI 适用性尚未验证。

1月1日周日
  1. OpenReview · State space models73

    通过检索引导的对比学习构建仇恨感知嵌入空间，改进仇恨模因检测

    该研究面向需要联合理解图像与文本的仇恨模因检测，提出通过检索引导的对比训练构建仇恨感知嵌入空间，并用于基于检索的分类系统。基于摘要分析，未取得论文全文。 核心机制：作者认为，现有基于 CLIP 的系统所形成的嵌入空间，对决定模因是否具有仇恨性的细微差异不够敏感，因此通过检索引导的对比训练调整表征。摘要未说明检索样本的选择方式、正负样本构造、损失形式及图文融合细节，这些内容尚未验证。 结果与更新能力：作者报告，在 HatefulMemes 数据集上取得 AUROC 87.0，并声称达到当时的最先进性能、优于规模更大的经微调大型多模态模型。该数值仅对应摘要所述数据集；数据划分、具体对照模型、消融及统计信息尚未验证。作者还报告，基于检索的系统能够利用训练时未见的数据识别仇恨性，可通过加入新示例而不重新训练来更新系统；新示例如何进入检索库、相关评估协议及更新后的稳定性需查阅全文。 平台推测（待验证）：可供 EEG 方法研究借鉴的假设，是以任务相关的近邻示例引导对比学习，改善细微类别差异的表征，并借助检索库更新适应新数据。但原任务依赖图文语义与检索示例，不能直接等同于 EEG 解码。可复用的是检索引导训练与示例库更新思路，需改造信号编码器、相似度计算和样本配对规则；EEG 的低信噪比、被试与通道差异及小数据条件可能使近邻关系主要反映噪声或个体特征。一个可检验的小实验是在固定 Cross-subject 划分下，对同一 EEG 编码器比较普通对比学习与检索引导对比学习，限定检索库不接触测试数据，检验性能及近邻类别一致性是否改善。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读的具体机制是以检索引导对比训练增强嵌入对细微语义差异的敏感性，并通过增添检索示例更新检测系统；其效果与免重训练更新能力仍需结合全文协议核对，尚无 EEG/BCI 有效性证据。