CCBERT：自监督代码变更表征学习

基于摘要分析。本文研究软件开发中的代码变更表征，提出基于 Transformer 的预训练模型 CCBERT（Code Change BERT），利用大规模无标签代码变更及四项自监督目标，学习面向下游代码变更分析任务的通用表征。 核心机制是联合利用变更前后的代码内容与编辑动作，在 token 层面感知细粒度变化。作者将其与 CC2Vec 对比，认为后者主要利用较粗粒度的变更信息，并依赖日志消息；CCBERT 则强调从代码变更自身内容构建学习信号。摘要未给出四项自监督目标的具体定义、损失形式或输入组织方式，尚不能据此还原训练实现。 作者报告，在所评估的不同下游任务和指标上，CCBERT 相对 CC2Vec 或相应任务的当时先进方法提升 7.7%–14.0%；摘要未列出具体任务、指标、数据划分及提升的计算方式，因此不能将该范围解释为 Accuracy 的百分点提升。作者还报告，相较 CodeBERT 等大型预训练代码模型，CCBERT 表现更好，训练时间、推理时间与 GPU 显存占用分别具有 6–10×、5–30× 和 7.9× 的降低幅度；对应模型配置、硬件、训练预算与测量口径尚未验证。 复现需核对预训练数据规模与构成、四项学习目标、下游数据划分、基线设置及资源测量条件；实验协议、消融及统计信息尚未验证。本文的主要对象是代码变更，并非 EEG 或 BCI；摘要未提供神经信号应用证据，相关 EEG 工作尚未检索确认，不据此提出迁移有效性结论。