跳到正文
arXiv · 架构与算子· Yiding Sun; Zijie Xu; Hongqiang Lin; Jiajun Cao; Dongxu Zhang; Kai Tang; Jihua Zhu; Wenxuan Liu; Zhaofei Yu; Tiejun Huang·· 4 天前精选AI 评分73

SpikeOcc:通过脉冲专家实现更稳健的多模态三维占据感知

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

AI 导读

基于摘要分析。本文研究自动驾驶中的多模态三维占据预测,重点是传感器缺失时的感知稳健性,而非 EEG 解码或 BCI。作者提出 SpikeOcc,以 Spiking Mixture-of-Experts(SMoE)和 Sensor Availability Learning(SAL)应对多模态融合及脉冲神经网络(SNNs)的优化挑战。 机制上,SMoE 为 RGB、LiDAR 及二者联合融合设置专门路径,使单模态表示保留完整宽度,并通过有界残差保留原有多模态特征。SAL 不仅使用传感器随机丢弃,还引入分阶段课程与显式路由监督,逐步适应更严苛的传感条件。摘要未披露脉冲神经元模型、残差约束形式、路由目标、具体损失及课程安排。 作者报告,在其三维占据预测实验中,SpikeOcc 保持了有竞争力的全传感器准确性,并提高了传感器失效条件下的性能下限;作者还报告 SAL 对常规模型也有收益。摘要未提供数据集、划分、基线、指标或具体数值,实验协议、消融及统计信息尚未验证。能效在摘要中属于潜力判断,不能据此认定已有实测节能收益。 平台推测(待验证):若 BCI 系统具有同步采集的多模态数据,且存在整路模态缺失,专用路径与可用性监督可能值得迁移评估;这一假设不等于 SNN 已被证明适合 EEG。可考虑复用 SAL 思路,但需改造信号编码、时序对齐及路由目标,并区分整路模态缺失与局部 EEG 通道失效。低信噪比、跨被试差异和小数据可能使路由过拟合。一个可检验的小实验是在固定跨被试划分及相同缺失协议下,对比普通融合、仅模态丢弃训练与加入 SAL 思路的训练,分别评估完整输入及单模态失效表现。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将传感器专用路径、受限残差与显式路由监督结合的缺失模态应对机制,但其对 EEG/BCI 的适用性及能效收益尚未验证。

来源:arXiv · 架构与算子 · arxiv.org