OpenReview · State space models· Ayodeji Ijishakin; Ming Liang Ang; Levente Baljer; Daniel Chee Hian Tan; Hugo Laurence Fry; Ahmed Abdulaal; Aengus Lynch; James H. Cole·· 2024-10-13AI 评分69
H-Space 稀疏自编码器
H-Space Sparse Autoencoders
AI 导读
基于摘要分析。本文研究如何在扩散模型的潜在空间中自动识别可解释方向,提出使用 Sparse Autoencoders(SAEs,稀疏自编码器)的方法,将语言建模中的机制可解释性技术用于图像生成模型的输出控制。 核心机制是以 SAE 表示中的神经元作为干预对象。作者报告,在单个扩散时间步干预单个神经元,即可使模型输出产生有意义的特征变化。该结果指向潜在表示与生成特征之间的可干预联系,但摘要未说明特征语义如何判定、干预效应如何量化,以及这种对应关系是否稳定。作者将方法描述为计算高效;具体计算开销、对照方法与效率评估协议尚未验证。 摘要未提供 H-Space 的具体定义、SAE 结构、稀疏约束或损失形式,也未说明扩散模型、训练数据、样本规模和评估指标。实验协议、消融及统计信息尚未验证。作者将输出控制与生成安全联系起来,但可解释特征干预本身不等于已验证的安全性提升,仍需核对安全任务、指标及干预副作用。 平台推测(待验证):若 EEG 模型的潜在表示中存在稳定且可分离的特征,SAE 的表示分解与单元干预思路可能用于审查模型依赖的信号因素,而非直接作为已验证的 BCI 解码改进。可复用部分是表示分析和干预框架;需改造部分是 EEG 表示的提取位置、时间结构处理与特征验证方式。低信噪比、通道变化、跨被试差异和小数据可能使 SAE 学到伪迹或不稳定方向。一个可检验的小实验是在固定 EEG 解码器上训练 SAE,干预候选单元,并在独立测试数据上检查其是否稳定对应预先定义的信号特征及解码变化。已有 EEG 相关工作尚未检索确认。
来源:OpenReview · State space models · openreview.net