情绪何在:理解与刻画大语言模型的情绪潜在空间
Emotions Where Art Thou: Understanding and Characterizing the Emotional Latent Space of Large Language Models
基于摘要分析。本文研究大语言模型(LLM)如何在内部隐状态中表征情绪,通过分析隐状态空间的几何结构提取低维情绪流形,并探索在保留语义的同时干预模型内部情绪感知的方法。研究对象是语言模型的情绪表征,而非人脑情绪机制或 BCI 解码。 方法上,作者使用经情绪化改写的句子构建合成数据集,以奇异值分解识别情绪相关子空间。作者报告,情绪表征具有方向性编码特征、分布于多个层,并与可解释维度对齐;这些结构在不同深度保持稳定。摘要未给出具体模型、改写流程、子空间维度及可解释性验证标准。 作者报告,该结构可泛化至覆盖五种语言的八个真实情绪数据集,跨域对齐呈现较低误差和较强线性探针表现,据此提出存在通用情绪子空间的解释。此外,作者报告,学习得到的干预模块可在保留语义的同时调节内部情绪感知,对跨语言基本情绪的控制尤其明显。摘要未提供数据集名称、划分协议、误差或探针指标数值;语义保持标准、对照基线、消融及统计信息尚未验证,因此上述结论的适用范围仍需全文核对。 平台推测(待验证):若具有配对文本、EEG 与情绪标签,可检验文本侧低维情绪方向能否作为 EEG 情绪解码的辅助表征,以探索低信噪比条件下的表征约束。可复用的是子空间提取与线性探针分析,需另行设计 EEG 编码及跨模态对齐模块;文本情绪不等于被试实际情绪,跨被试差异、小样本与通道差异均可能使该假设失效。小规模检验可在严格跨被试划分下,比较仅 EEG、加入文本情绪子空间及随机子空间对照的解码表现。该方案并非原论文结果,相关 EEG 工作尚未检索确认。
值得关注其通过奇异值分解、跨域对齐与干预模块分析 LLM 情绪表征的机制路径,但“通用情绪子空间”的适用边界及其与 EEG 情绪表征的对应关系尚未验证。
来源:OpenReview · State space models · openreview.net