使用显式函数学习连续人脸表示
Learning Continuous Face Representation with Explicit Functions
基于摘要分析。本文研究如何将以二维像素数组存储的人脸图像表示为连续函数,提出显式人脸表示模型 EmFace,并通过神经网络 EmNet 估计其参数;研究对象是人脸图像表示与处理,而非 EEG 或 BCI。 EmFace 将人脸表示为有限个数学项之和,每一项均为解析函数元素。EmNet 采用编码器—解码器结构:编码器是深度卷积神经网络,解码器是 EmFace 的显式数学表达式,整体使用反向传播训练。其可关注之处是让学习过程输出函数参数,以显式表达式承载图像表示,而不是仅保留离散像素。摘要未说明解析函数的具体形式、项数、损失函数及连续坐标的使用方式。 作者报告,在涉及不同表情、姿态等因素的人脸表示实验中,EmFace 的表示性能优于其他比较方法,并在人脸图像恢复、去噪和变换任务中取得合理表现。摘要未提供数据集、划分协议、对照方法名称或定量指标,因此不能核定优势幅度,也不能据此判断对未见身份或其他数据分布的泛化能力。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是“编码器估计参数、解析函数解码器重建信号”,可能用于研究 EEG 的连续时间表示与缺失采样重建。可复用参数预测框架,但需将图像函数改造为适配时间轴与通道结构的函数,并重新确定重建监督和模型容量;原研究的数据规模及监督细节尚未验证。EEG 的低信噪比、瞬态事件、跨被试差异和通道变化可能使平滑函数拟合丢失有效信息,小数据下参数估计也可能不稳定。一个可证伪的小实验是在固定被试内划分下遮蔽部分时间采样点,比较函数解码器与参数量相近的离散解码器的重建误差及 ERP 波形保真度。该建议不代表已证实的 BCI 效果,相关 EEG 工作尚未检索确认。
值得关注其将解析函数作为解码器、由神经网络估计函数参数的连续表示机制,但具体比较优势及其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net