跳到正文
OpenReview · Representation learning· Daxin Gu; Jia Li; Lin Zhu·· 2024-01-01精选AI 评分74

面向事件视频重建的自适应参数表征学习

Learning Adaptive Parameter Representation for Event-Based Video Reconstruction

AI 导读

基于摘要分析。本文研究从异步事件流重建图像的问题,针对事件相机像素间对比度阈值因制造偏差和环境干扰而变化、进而导致重建模糊与伪影的现象,提出学习自适应参数表征的两阶段框架。主要研究对象是事件相机数据,并非 EEG 或 BCI。 机制上,第一阶段利用 transformer 网络,从对应的异步事件中提取可学习的对比度阈值表征;第二阶段利用 UNet,将该表征与事件编码特征融合,在时空维度细化解码特征。其核心思路是把影响观测生成过程的阈值变化纳入表征学习,而不只对事件流进行直接解码。具体参数化方式、监督信号、损失函数及训练流程尚未验证。 作者报告,在四个公开数据集上的定量与定性实验中,该方法取得更好的重建表现。摘要未提供数据集名称、划分方式、对照方法、评价指标或数值,因此尚不能判断改善幅度及跨场景适应性的验证范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 重建任务存在可辨识的通道观测参数变化,可假设借鉴“估计观测参数表征,再条件化解码”的机制。但事件相机的对比度触发机制与连续 EEG 采样不同,不能直接复用阈值表征;可借鉴两阶段条件化结构,需改造输入编码和参数定义。低信噪比、跨被试生理差异、通道变化及小数据可能使参数表征混入任务信息或噪声。一个小规模可证伪实验是:在固定被试内划分下,对 EEG 重建输入施加已知通道增益扰动,比较相同解码器有无参数表征模块时的重建误差,并在未见扰动幅度上测试。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其从异步事件中学习对比度阈值表征、再用于重建解码的两阶段机制,但性能优势的具体指标、对照协议及对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net