面向子空间聚类的甚深表征学习
Towards Very Deep Representation Learning for Subspace Clustering
基于摘要分析。本文研究深度子空间聚类中自表达层造成的全批量训练与内存瓶颈,提出通过能量网络以小批量方式学习自表达系数,并联合自监督表征学习得到的数据表示字典,以支持更深的网络和更大规模的数据处理。 核心机制:传统方案将全连接层权重作为自表达系数,需要将整个数据集装入同一批次。本文改为利用能量网络获得这些系数,并通过自监督表征学习构建用于表示数据的字典,最终联合学习系数与字典。摘要提及 ResNet 是传统内存约束限制使用的深层架构示例,不能据此确认本文实际采用了 ResNet。能量函数、系数生成方式、自监督目标、字典规模及联合优化细节尚未验证。 作者报告在三个公开数据集上的实验支持方法有效性,但摘要未给出数据集名称、评价指标、对照基线或具体数值。实际内存节省、训练与推理开销、更深网络带来的收益,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 片段的表征具有可利用的子空间结构,该机制可能用于缓解大规模无标签 EEG 聚类的全批量内存约束。可复用的是小批量系数学习与字典联合优化思路;需改造 EEG 编码器及自监督任务,并核对字典是否覆盖不同被试、会话与通道配置。低信噪比可能使聚类更受伪迹影响,跨被试差异可能形成被试而非任务子空间,小数据也可能不足以稳定学习字典。一个可检验的小实验是固定 EEG 编码器和数据划分,对比全批量自表达层与该机制的峰值内存、聚类质量及多次运行稳定性,再检查聚类与任务标签、被试身份的对应关系。已有 EEG 相关工作尚未检索确认。
值得核对其以能量网络和小批量训练替代全批量自表达层的实现,尤其是系数估计、字典学习与内存开销之间的权衡;其对 EEG 聚类的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net