具有压缩层级表示的基于 Transformer 的代码模型

基于摘要分析。本文研究源代码表示学习，针对序列模型难以充分利用代码层级结构的问题，提出 Hierarchy BPE 压缩算法与 Byte-Pair Encoded Hierarchy Transformer（BPE-HiT），将压缩后的层级嵌入融入 Transformer，并进一步构建层级感知预训练框架。研究对象是程序代码，而非 EEG 或 BCI。 核心机制是将完整层级结构对代码 token 的影响抽象为 hierarchical embedding，再由 Hierarchy BPE 提取频繁出现的层级组合，缩短层级嵌入的总长度。作者认为，这些频繁组合承载较强语义，有助于识别特定代码结构。摘要未说明层级结构的具体构建方式、压缩规则、嵌入融合方式与预训练目标，尚不能据此还原实现。 作者报告在 10 个数据集上评估代码分类、克隆检测、方法名预测和代码补全任务：在覆盖三种编程语言的代码分类实验中，未预训练 BPE-HiT 相对所比较基线的平均 Accuracy 提升至少为原文所述的 0.94%；摘要未明确这是相对百分比还是百分点。在两个真实世界数据集的方法名预测实验中，作者报告 F1-score 分别至少提高 2.04、1.34，但摘要未交代其计分尺度。在预训练模型比较中，作者报告 BPE-HiT 在相同参数量条件下的全部实验中优于所比较基线。作者还报告开展了压缩算法与训练效率相关消融；具体数据集、划分、基线、计算成本及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是对已有离散层级结构进行频繁组合压缩，而不是直接压缩原始 EEG。若 EEG 表示已有明确的通道—脑区或时间层级，可假设复用组合提取与压缩思路，但需重构层级编码及融合模块。低信噪比、跨被试结构差异和通道配置变化可能使高频组合不稳定，小数据也可能不足以估计组合频率。一个可证伪的小实验是在固定 EEG 数据划分、模型参数量与训练预算下，对比无层级、未压缩层级和压缩层级三种表示，同时记录任务指标与计算开销；这不构成已验证的迁移效果，相关 EEG 工作尚未检索确认。