跳到正文
arXiv · 在线与高效推理· Yiheng Su; Junyi Jessy Li; Matthew Lease·· 2 天前精选AI 评分76

DUALVIEW:利用广泛证据与输出特定证据进行基于 LLM 的多输出文本回归

DUALVIEW: Leveraging Broad and Output-Specific Evidence for LLM-based Multi-Output Text Regression

AI 导读

基于摘要分析。该研究面向多输出文本回归,即从文本同时预测多个连续评分,而非仅预测单一标量。作者提出 DualView:从冻结的 LLM 提取广泛表征与输出特定表征,再通过双分支架构生成完整评分向量,以减少需要拟合的参数。 机制上,方法将面向整体输入的信息与针对各输出维度的信息结合,并使用轻量级共享预测器。作者报告,受控消融支持两类证据具有互补预测价值,共享预测器能够以较少可训练参数取得较强表现。具体表征提取方式、双分支交互、损失函数及共享预测器结构尚未验证。 评估涵盖五项异质回归任务和八个 LLM,最大模型规模为 122B。作者报告,DualView 优于七个监督回归基线,且相较其中最强的三个基线,需要拟合的参数少 82–1842 倍;该结论针对拟合参数量,不能直接等同于总模型规模、推理延迟或显存的同比下降。作者还报告,收益覆盖各输出维度,在训练数据有限时仍然存在;使用较小开放权重 LLM 的 DualView 可优于 Gemini 3.1 Pro 的无监督预测,但这不等同于相同监督条件下的模型比较。 摘要未提供任务与数据集名称、划分协议、具体指标、绝对结果及统计不确定性,实验协议、消融及统计信息尚未验证。阅读全文时应核对监督基线与无监督对照的条件差异,以及冻结 LLM 的特征提取成本。该研究的直接对象是文本回归,并非神经信号解码;现有材料不足以建立具体 EEG/BCI 迁移机制,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其冻结 LLM 后融合广泛证据与输出特定证据的参数高效设计,尤其是双类表征的互补性消融;摘要尚不足以判断其对 EEG/BCI 的适用性。

来源:arXiv · 在线与高效推理 · arxiv.org