从聚合监督中学习个体表征
Learning Individual Representations from Aggregate Supervision
研究针对仅能观察实例袋的聚合标签、无法获得实例标签的问题,提出似然层 FS-Conv,通过最大化观测总和的概率训练实例预测器。基于摘要分析,其主要贡献是在有限取值贡献的设定下,以离散卷积计算模型隐含的精确聚合概率,而非仅拟合聚合均值。 FS-Conv 将实例预测器、预测到贡献概率的映射以及卷积后端分离。在条件因子化假设下,离散卷积可精确计算聚合概率质量函数;Bernoulli 贡献对应已有计数似然,类别型贡献支持整数值求和,已知正负号则用于表示贡献抵消。这里的“精确”针对给定模型与因子化假设下的计算,并不意味着真实实例间依赖已被准确建模。 作者报告,在采用三个随机种子的 MNIST 数字求和实验,以及使用 ImageNet 预训练 ResNet-18 的 SVHN 数字求和实验中,FS-Conv 相比均值匹配和高斯近似似然,平均聚合误差与离散聚合负对数似然更低,隐藏数字标签的准确率更高。作者报告,随机符号 MNIST 实验的均值结果也支持 FS-Conv;在按特征构建实例袋的 Criteo 点击计数任务中,其表现与所评估的标签比例学习基线具有竞争力。摘要未提供具体分数,数据划分、消融、统计不确定性及计算开销尚未验证。作者同时强调,实例恢复仍依赖表征质量与因子化模型的适切性。 平台推测(待验证):若 EEG 任务确实只有窗口级事件计数,而实例对应事件是否出现的离散贡献,该机制可能用于弱监督事件识别。可复用聚合似然层,但需改造 EEG 编码器,并核对实例重叠及时间依赖是否违背因子化假设;低信噪比、跨被试差异和小数据可能使聚合拟合良好却无法恢复实例标签。一个可检验的小实验是,在具有事件标注的数据上隐藏训练实例标签、仅保留窗口计数,固定编码器与数据划分比较三种目标,同时评估计数误差和隐藏事件识别表现。已有 EEG 相关工作尚未检索确认。
FS-Conv 将有限离散贡献的精确聚合似然与实例预测器解耦,值得核对其相对均值匹配和高斯近似的收益,以及实例恢复对表征质量和条件因子化假设的依赖。
来源:OpenReview · Representation learning · openreview.net