跳到正文
OpenReview · Representation learning· Qiushi Sun; Nuo Chen; Jianing Wang; Ming Gao; Xiang Li·· 2024-01-01精选AI 评分70

TransCoder:受人类技能启发的统一可迁移代码表征学习

TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills

AI 导读

基于摘要分析。本文研究代码预训练模型(CodePTMs)逐任务微调成本较高、依赖充足训练数据的问题,提出统一的可迁移微调策略 TransCoder,以可调前缀编码器提取跨任务、跨编程语言的知识,再用于下游适应。主要研究对象是代码表征学习,而非神经信号或 BCI。 机制上,作者借鉴人类程序员的知识泛化能力,尝试使多个任务和编程语言之间的知识能够复用,而不是仅对每个任务单独适配。摘要未说明前缀注入位置、训练阶段、知识共享方式、损失函数,以及主干参数是否冻结,因而尚不能确认其具体实现与参数效率。 作者报告,在代表性数据集上的多种代码任务实验中,TransCoder 能改善表现并促进任务间相互增益,尤其适用于训练样本较少或语料规模较小的语言。摘要提及的代码任务包括 code clone detection、code translation 和 code summarization,但未逐项给出实验数据集、划分、基线、指标及数值。实验协议、消融及统计信息尚未验证。材料提供了代码仓库地址,但实现完整性与复现条件尚未核验。 平台推测(待验证):可调前缀承载共享知识的思路,可能用于研究 EEG 跨任务适应,但代码中的语言与任务结构不能直接等同于 EEG 的被试、通道或会话差异。若探索这一假设,需要替换输入表征并明确任务监督与共享前缀的训练方式;低信噪比、通道不一致及小样本可能使共享知识失效。一个可检验的小实验是在固定 EEG 主干、统一数据划分和目标任务样本量下,比较共享前缀与逐任务独立前缀的适应效果。该实验仅是迁移设想,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其可调前缀编码器如何提取跨任务、跨编程语言的可迁移知识,以及低资源适应收益的实验依据;这些结果尚不能作为 EEG/BCI 迁移有效性的证据。

来源:OpenReview · Representation learning · openreview.net