跳到正文
OpenReview · Representation learning· Vaibhav Kumar; Hana Koorehdavoudi; Masud Moshtaghi; Amita Misra; Ankit Chadha; Emilio Ferrara·· 2023-01-01精选AI 评分75

基于隐藏表示变换的可控文本生成

Controlled Text Generation with Hidden Representation Transformations

AI 导读

基于摘要分析。本文研究大型语言模型的可控文本生成,提出 CHRT(Control Hidden Representation Transformation),通过学习变换来修改基础模型的隐藏表示,使生成文本符合指定属性,并支持组合变换以实现多属性控制。 机制上,CHRT 使用对比学习框架学习隐藏表示变换,而不是仅通过提示指定生成属性。摘要未说明变换的具体形式、施加位置、对比样本构造、损失函数及基础模型是否冻结,这些实现与训练条件尚未验证。 作者报告,在涵盖三个属性、与七个基线比较的实验中,CHRT 在 detoxification、positive sentiment steering 和 text simplification 任务上均优于所比较基线,同时尽量减少语言质量损失。作者还报告,在其评估条件下,CHRT 的推理延迟仅比基础模型增加 0.01 秒,且在比较方法中最低;但摘要未提供硬件、生成长度、批量大小及延迟统计口径,因此不能将该开销直接外推至其他部署环境。作者表示已开源代码并发布两个新数据集,具体资源、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可组合的隐藏表示变换可能用于探索 EEG 表征中任务信息与被试或会话因素的解耦,但原论文研究的是文本生成,不构成 EEG/BCI 有效性的证据。迁移假设依赖可构造的属性监督或对比样本;可借鉴的是变换学习思路,需改造的是 EEG 编码器接口、样本配对和任务保持约束。低信噪比、小样本及通道差异可能使变换同时破坏任务判别信息。一个可检验的小实验是在固定 EEG 编码器上学习被试因素相关变换,在相同跨被试划分下比较未变换表征与变换后表征的任务性能及被试可辨识度,检验能否降低被试信息而保留任务信息。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过对比学习获得可组合的隐藏表示变换、兼顾多属性生成控制与推理开销的思路,但其在 EEG/BCI 表征中的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net