视觉潜在表示的控制导向聚类

基于摘要分析。本文研究行为克隆学习的图像控制流程中，视觉编码器与动作解码器之间的表示空间几何，并提出利用 neural collapse（NC，神经坍塌）正则化进行视觉编码器预训练，以改善有限专家示范条件下的控制表现。主要研究对象是视觉控制，而非 EEG 或 BCI。 作者报告，在离散图像控制任务（如 Lunar Lander）中，视觉表示按离散动作标签聚类；在连续图像控制任务（如 Planar Pushing、Block Stacking）中，聚类对应于控制导向类别。这些类别依据输入中的物体—目标相对位姿，或专家动作在输出端诱导的物体相对位姿定义，每一类对应一个 relative pose orthant（REPO，相对位姿正交象限）。因此，连续动作情境中的聚类并非简单沿用离散动作标签，而是依赖具有控制意义的相对位姿结构。 方法上，作者先用 NC 正则化鼓励视觉特征形成控制导向聚类，再将预训练编码器与动作解码器端到端微调。作者报告，在有限专家示范的策略学习设置下，测试时性能提升 10%–35%，并通过真实世界视觉平面推动实验支持这一优势。摘要未说明该范围对应的具体指标、比较基线及相对提升或百分点口径，不能将其解释为准确率提升；各任务划分、示范规模、损失形式、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，在具有离散控制意图标签的 EEG 任务中，类内聚合与类间结构约束可能帮助小样本表示学习。可复用的是编码器预训练后联合微调的流程，需要改造的是 EEG 编码器和类别定义；视觉任务中的 REPO 不能直接套用。低信噪比、跨被试分布差异及通道变化可能使聚类捕捉伪迹或被试特征，而非控制意图。一个小规模检验是在固定训练样本量和相同跨被试划分下，仅比较加入与不加入 NC 正则化的同一 EEG 编码器，核对分类表现及表示是否按被试而非任务聚类。相关 EEG 工作尚未检索确认。