跳到正文
OpenReview · State space models· Lior Katz; Tomer Melamed·· 2024-09-27AI 评分69

通过深度核密度估计网络重塑模型输出空间

Reshaping Model Output Space Via Deep Kernel Density Estimation Networks

AI 导读

基于摘要分析。该研究针对传统分类模型只优化训练任务、较少约束输出空间概率分布的问题,提出 DeepKDE,将模型输出空间变换为更便于下游使用的目标分布,例如正态分布或 Gaussian Mixture Models,同时力求保持分类性能。主要研究对象是图像分类模型的输出空间,并非 EEG 或 BCI。 技术机制:摘要明确提出对输出空间进行分布变换,但未说明“输出”具体指 logits、概率还是其他表示,也未披露核密度估计的实现、目标分布匹配的损失形式,以及原模型与变换模块如何训练。需通过全文核对变换如何兼顾分布形状与类别判别信息,以及下游使用是否依赖标签、类别条件或特定样本规模。 评估与结果:作者报告,在 CIFAR-10 和 Fashion MNIST 上,对训练得到的 ResNet-18 与 vision transformers 应用 DeepKDE,成功变换了原模型的输出空间,并在 Accuracy 上优于原模型。摘要未提供具体数值、数据划分、分布匹配指标或不确定性信息;实验协议、消融及统计信息尚未验证,不能据此认定其达到 SOTA 或普遍改善下游任务。 平台推测(待验证):假设 DeepKDE 的输出分布变换能够保留类别信息,它可能为 EEG 分类模型的输出分布整形提供可复用模块,但摘要并未证明其改善校准或跨被试泛化。迁移时需核对目标分布与 EEG 类别结构的关系,并按训练、验证、测试划分拟合变换。低信噪比、被试差异、通道变化及小数据可能使密度估计不稳定,或使分布匹配掩盖判别信息。一个可检验的小实验是在固定的跨被试 EEG 分类协议下,对比原分类器与加入 DeepKDE 的版本,分别评估 Accuracy 和目标分布匹配程度,检验二者能否同时改善。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net