面向印度语言优先的主权推理模型
A Sovereign, Indic-First, Reasoning Model
基于摘要分析。本文研究英语与八种印度语言中的推理、指令遵循和工具使用,提出 Gnani-Evon-v3.3-30B-A3B,并重点分析后训练奖励如何改变多语言能力与输出语言选择。其主要对象是多语言大语言模型,而非 EEG 或 BCI。 模型以 NVIDIA Nemotron-3-Nano-30B-A3B 为起点,保留其52层混合 Mamba-Transformer 混合专家骨干,调整词表、训练数据与后训练目标。词表由131,072扩展至163,072个 token,新增嵌入行依据上游分词分解初始化,并在更新骨干前预热。作者报告,印度语言平均 fertility(分词碎片化程度)降低38.6%。随后进行英语—印度语言持续预训练、高质量退火训练及131,072-token序列长度的直接训练。 作者报告,在四类可验证任务环境中进行强化学习后,数学、研究生水平科学及指令遵循能力提升,但印度语言抽取式问答退化;作者将其归因于奖励未要求使用指定语言作答。在该抽取任务中,以英语回答的比例由8.7%升至91.7%。按目标文字作答的条件准确率约翻倍,作者认为这与阅读能力保留相符,但该指标仅覆盖模型自行选择的作答子集,不能据此推出整体问答能力改善。 相较于架构相同的起始检查点,作者报告已发布模型的印度语言综合指标增加5.2点,英语保留指标下降1.7点。未发布的印度语言感知分支则分别增加14.6点、下降5.4点。两项未发布研究探索修复:限定适用范围的印度语言奖励恢复语言遵循;26B-A4B生成式评判模型在RM-Bench上超过一个235B参数模型,相关蒸馏恢复了针对该评判模型优化所损失能力的81%。这些指标的定义、基线身份及评估细节尚待全文核对。 摘要另报告,计划发布的FP8版本将模型文件缩至32GB,在32项配对基准上的平均变化接近零;这不等于各项任务均无退化。实验协议、消融及统计信息尚未验证,已发布模型、未发布分支与计划中的量化版本应分别看待。材料未提供与EEG信号建模的具体机制对应,不据此推断BCI有效性。
值得核对的是作者报告的强化学习奖励与目标语言要求错配:总体任务能力提升可能伴随语言遵循退化,而按目标文字作答的条件准确率受自选择子集影响,不能直接代表整体能力保留。
来源:arXiv · 架构与算子 · arxiv.org