Delta Activations：微调大语言模型的一种表示

该研究针对微调大语言模型元数据不一致、模型库缺乏结构而难以检索和理解的问题，提出 Delta Activations：通过测量微调模型相对基础模型的内部激活变化，将模型编码为向量表示。基于摘要分析，未取得论文全文。 核心机制是以基础模型为参照，利用内部激活的变化描述微调带来的差异，而非直接使用模型权重或输出表示。摘要未说明探测输入、激活提取位置、差异计算及聚合方式，这些是理解表示含义与复现方法时需核对的条件。 作者报告，在微调领域的聚类分析中，Delta Activations 的领域分离效果优于展平权重、显著参数掩码和输出嵌入等基线，且计算更轻量、高效；作者还报告其对不同微调设置具有稳健性，并在混合微调数据集时表现出加性性质。摘要未提供具体模型、数据集、指标、计算成本或加性性质的量化定义，实验协议、消融及统计信息尚未验证。 作者进一步探索了通过少样本微调表示任务以支持模型检索，以及根据模型相似性指导模型合并时的候选选择。研究还提出更广义的 Delta-X 框架，允许以其他表示提取方法替代激活；具体替代方法及适用边界尚未验证。 平台推测（待验证）：若 EEG 模型库包含由同一基础模型微调得到、架构与通道输入可对齐的多个模型，相对激活变化或可用于描述模型间差异，辅助跨被试或跨会话模型检索。可复用的是参照模型与差分表征思路，需改造的是 EEG 探测数据、通道对齐和时序特征聚合；低信噪比、被试差异及小样本可能使表示主要反映采集条件而非任务能力。一个可检验的小实验是：在固定探测集上提取同源 EEG 微调模型的差分表示，检验其相似度能否预测独立目标验证集上的模型排序，并与权重和输出表征对照。已有 EEG 相关工作尚未检索确认。