ReRAM 上基于 Transformer 的语言模型的零空间成本容错

基于摘要分析。本文研究基于 Transformer 的语言模型在 ReRAM 上推理时，如何抵御卡死故障（stuck-at-fault）造成的预测误差，并避免通过额外交叉阵列实现容错所带来的存储开销。作者提出结合结构剪枝、权重复制与投票、最高有效位（MSBs）冗余嵌入的故障保护机制，主张实现零空间成本。 ReRAM 支持并行原位矩阵—向量乘法，但器件故障会影响计算结果。该方法包含三个环节：通过可微分的行列结构剪枝减少模型冗余；通过权重复制与投票提高输出稳健性；将复制的 MSBs 嵌入模型权重。摘要未说明三个环节的具体衔接、剪枝优化目标、位嵌入规则及投票实现，也不足以核实“零空间成本”是否涵盖控制逻辑、元数据及其他硬件资源，相关实现边界尚未验证。 作者报告，在 GLUE benchmark 的九项任务上使用 BERT 评估了该方法，并称实验结果支持其有效性；摘要未给出具体指标、故障率、故障分布或基线数值。因此，目前无法量化其容错收益，也不能判断剪枝后的无故障性能、故障下性能与能耗、延迟之间的权衡；实验协议、消融及统计信息尚未验证。 本文的主要对象是语言模型的 ReRAM 硬件容错，而非 EEG 解码或 BCI 算法。平台推测（待验证）：若 EEG 模型部署于存在同类故障的 ReRAM 阵列，可研究该冗余保护机制是否适用；这依赖权重映射、量化位宽及硬件故障模型的一致性，需改造模型剪枝与位嵌入模块。低信噪比、小数据及跨被试差异可能使剪枝损失与硬件误差叠加。一个可检验的小实验是在固定 EEG 数据划分和同一模型下，对比未保护映射与该机制在相同注入故障条件下的任务指标及实际存储占用，同时保留无故障对照。已有 EEG 相关工作尚未检索确认。