跳到正文
OpenReview · Representation learning· M Ganesh Kumar; Blake Bordelon; Jacob A Zavatone-Veth; Cengiz Pehlevan·· 2025-03-06精选AI 评分77

策略学习过程中的位置场表征学习

Place Field Representation Learning During Policy Learning

AI 导读

基于摘要分析。研究针对啮齿动物导航学习中位置场为何在奖励位置聚集、沿轨迹反向拉长,以及单个位置场空间选择性变化却保持稳定行为等现象,提出强化学习规范性框架,以 Temporal Difference(TD)误差调节位置场表征,使表征学习服务于导航策略学习。 机制上,作者用 Gaussian radial basis functions 表示空间信息,各位置场直接连接到 actor 和 critic。在每个时间步,模型在线更新位置场的幅度、中心、宽度及下游权重,以优化依赖奖励的目标。其关键思路是将空间表征的可塑性与策略优化耦合,而非仅将位置场作为固定输入;具体目标函数、更新公式及约束条件尚未验证。 作者报告,该框架能够统一再现上述三类导航实验中观察到的位置场现象,并在学习导航至单一目标及重新学习新目标的任务中改善策略收敛。摘要未提供环境设置、对照基线、收敛指标或效应大小,因此尚不能判断改善幅度及其适用范围;实验协议、消融及统计信息尚未验证。 本研究的主要对象是海马位置场学习动力学及其与导航行为的关系,而非 EEG 解码或 BCI 算法。摘要称该模型可为后续实验提供可检验预测,但未列出具体预测。复现需进一步核对空间状态输入、奖励与目标切换设置、位置场初始化及参数更新规则,以及三类现象的量化判据。现有材料不足以建立具体的 EEG/BCI 迁移路径,不据此提出迁移实验建议。

阅读价值

值得关注其如何以 TD 误差驱动的位置场表征学习统一解释多种海马位置场现象,并改善导航策略收敛;这些结论目前仅能依据摘要核对,尚不构成 EEG 或 BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net