跳到正文
OpenReview · Representation learning· Mai Hikita; Sawa Fuke; Masaki Ogino; Minoru Asada·· 2008-12-31精选AI 评分70

基于显著性视觉注意的跨模态身体表征

Cross-modal body representation based on visual attention by saliency

AI 导读

基于摘要分析。本文研究物理智能体如何从多种感觉输入中建立身体表征,提出将视觉、触觉与本体感觉关联的方法,重点解决哪些感觉信息应被相互关联的问题。研究对象是机器人身体表征的计算建模及其与神经生理现象的对应,而非 EEG 解码或 BCI 算法。 核心机制是以触觉激活作为构建过程的触发信号:机器人接触物体时,通过基于显著性图的视觉注意定位相关身体部位,构建其视觉感受野,并将该部位视为末端执行器;与此同时,将本体感觉信息与这一视觉感受野关联,形成跨模态身体表征。摘要以日本猕猴工具使用过程中身体表征可动态重构的神经生理证据作为研究背景,但未说明该方法是否直接模拟了工具使用后的表征扩展。 作者报告,计算机仿真结果与日本猕猴顶叶神经元的活动具有可比性,并考察了不同条件,以分析哪些信息对产生类似神经生理发现的结果重要。摘要未提供具体比较指标、仿真规模、条件设置或统计结果,因此尚不能判断这种对应是定性现象一致,还是经过定量拟合验证。 复现时需核对显著性图的计算方式、触觉触发与视觉输入的时间对应规则、本体感觉的编码及关联更新机制,以及神经生理对照的具体判据。实验协议、消融及统计信息尚未验证;现有材料不支持将仿真结果进一步解释为已验证的 EEG 或 BCI 效果。

阅读价值

值得阅读之处在于以触觉事件触发视觉感受野构建,并关联本体感觉,为研究跨模态身体表征的形成提供了具体机制;其与猕猴顶叶神经元活动的对应程度仍需核对全文。

来源:OpenReview · Representation learning · openreview.net