基于 Transformer 的行为表征学习支持小数据集移动传感的迁移学习

基于摘要分析。本文面向移动传感中的行为建模与行为健康应用，研究数据规模小、数据类型异构及大量缺失条件下的表征学习问题。作者提出结合 CNN 与 Transformer 的神经网络架构，从原始分钟级传感器时间序列学习可泛化表征，并通过预训练与微调探索小数据集上的迁移学习。 技术机制与结果：该框架旨在减少对手工编码特征及专家任务特征的依赖。作者报告，在摘要所述移动传感预测任务中，相较所用对照，直接学习原始数据表征的 ROC AUC 提升最高为 0.33；但具体任务、对应基线、数据划分及该提升的统计信息尚未验证。作者另报告，在参与者少至约十二人的数据条件下，预训练方案优于较简单的神经网络模型与提升决策树。该参与者规模并不等同于独立样本量，预训练数据规模、迁移任务关系和微调设置仍需核对。摘要未说明异构输入与缺失值的具体处理方式，网络结构细节、训练目标、实验协议及消融信息尚未验证。 平台推测（待验证）：其原领域机制是利用预训练表征减少小规模行为预测任务对人工特征的依赖，与 EEG 小数据学习存在可检验的机制对应，但依赖源域与目标域共享可迁移时序结构。可考虑复用预训练—微调流程，输入编码、时间分辨率及通道处理则需针对 EEG 改造；低信噪比、跨被试差异、通道配置变化及小数据过拟合均可能使迁移失效。一个小规模可证伪实验是：在同一 EEG 任务、固定目标训练数据量及一致 Cross-subject 划分下，对比预训练后微调与同架构从头训练，检验收益是否稳定存在。上述仅为迁移假设，已有相关 EEG 工作尚未检索确认。