跳到正文
OpenReview · Representation learning· Vaibhav Kumar; Hana Koorehdavoudi; Masud Moshtaghi; Amita Misra; Ankit Chadha; Emilio Ferrara·· 2023-01-01精选AI 评分74

基于隐藏表示变换的可控文本生成

Controlled Text Generation with Hidden Representation Transformations

AI 导读

基于摘要分析。本文研究大语言模型的可控文本生成,提出 CHRT(Control HiddenRepresentation Transformation),通过学习得到的变换修改基础模型的隐藏表示,使生成文本符合毒性、情感等目标属性。核心贡献是以对比学习学习这些变换,并通过组合变换实现多属性控制。 技术机制上,控制作用于模型内部隐藏表示,而非仅依赖输入提示。摘要未说明变换的具体形式、作用层位置、对比样本构造、损失函数及基础模型是否冻结,因此尚不能判断其训练成本、属性解耦程度及多属性组合时的相互干扰。 作者报告,在覆盖三个属性、与七种基线比较的实验中,CHRT 在去毒化、正向情感引导与文本简化任务上均优于所比较基线,同时尽量减少语言质量损失。作者还报告,在其推理评估条件下,相对基础模型仅增加 0.01 秒延迟,且在比较方法中延迟最低;具体硬件、输入输出长度、批量大小及计时方式尚未验证,不能据此直接推断其他部署环境的性能。摘要称代码已开源,并发布两个新数据集,但数据内容、规模、划分及访问条件尚未验证;实验协议、消融及统计信息亦尚未验证。 本文主要研究对象是语言生成,并非神经信号解码。平台推测(待验证):若已有 EEG 到文本解码器与语言模型连接,隐藏表示变换或可用于控制输出风格,但不能据此认为其能提高神经解码准确性。可复用的是表示变换与属性组合思路,需改造的是属性监督、解码器接口及对神经证据忠实性的约束;低信噪比、跨被试差异和小数据可能使控制偏好覆盖原始意图。一个小规模检验是在固定 EEG 到文本解码器及相同测试划分下,对比启用与不启用变换时的属性达成率和语义保真度,检查是否出现控制增强但意图偏移。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其以对比学习训练隐藏表示变换、组合实现多属性文本控制的机制,以及控制效果、语言质量与推理开销之间的权衡,但摘要不足以判断其对 EEG/BCI 的适用性。

来源:OpenReview · Representation learning · openreview.net