利用 Hessian Null Space Continuation 遍历神经网络解空间

基于摘要分析。本文研究同一任务中行为相近的神经网络解，如何在权重空间中连接，以及局部连通区域内是否存在不同的内部计算机制。作者提出 Hessian Null Space Continuation（HNC），利用局部曲率信息遍历保持网络功能的权重区域，并可引导搜索具有指定属性的解，将模式连通性与神经表征的退化性问题联系起来。 机制上，HNC 关注单个已训练解附近的解空间，而非仅比较独立训练所得模型。摘要说明其利用局部曲率，但未给出 Hessian 零空间的数值近似、路径更新规则、功能保持约束或计算开销，相关实现与可扩展性尚待全文核对。 作者报告：在记忆任务的 RNN 中，HNC 可在维持行为的同时产生显著不同的表征和动力学；在经 ImageNet 训练的 Vision Transformers 中，所得替代表征与原模型的差异，超过其所比较的不同架构、不同训练目标的独立训练模型。在强化学习导航任务中，作者报告发现回报相近但行为策略不同的解，并在 AI Safety Gridworld 环境中揭示奖励投机策略。作者还报告利用局部几何信息分析模型规模、任务复杂度与解分布维度及功能敏感性的关系。上述比较的具体指标、模型范围、实验协议、消融及统计信息尚未验证；不能将这些发现直接等同于模型合并、编辑或微调效果的提升。 平台推测（待验证）：若 EEG 解码模型中也存在保持预测功能、但内部表征不同的局部方向，HNC 或可用于检验神经信号解释对模型解选择的敏感性，而非直接提高解码性能。可复用的是曲率引导的权重搜索，需改造的是 EEG 任务的功能保持约束与表征评价；低信噪比、少量样本及被试或通道差异，可能使训练数据上的近似等价无法延续到独立测试数据。一个小规模可证伪实验是在固定被试内划分下，对同一 EEG 解码模型进行 HNC 与随机权重扰动对照，检验独立测试性能能否保持、表征变化是否超出随机扰动。已有 EEG 相关工作尚未检索确认。