基于 Frequent Directions 的高效预条件优化方法

基于摘要分析。本文研究自适应优化中维护预条件矩阵带来的大规模计算开销，利用矩阵草图技术 Frequent Directions（FD）构造高效预条件器，并提出 FTSL、FTSL-Shampoo 及其低成本变体；主要贡献涉及在线优化的遗憾界分析，以及向离线随机凸优化的扩展。 核心机制方面，FTSL 在原始—对偶框架下将 FD 与自适应次梯度方法结合，并补回 FD 丢弃的累积信息。作者报告其遗憾界比已有最先进结果更紧；进一步使用 doubling trick，在维持相同遗憾保证的同时降低时间复杂度。摘要未给出补偿公式、草图大小、适用假设及复杂度表达式，具体保证尚待全文核对。 对于矩阵值决策变量，作者利用其结构构造草图预条件器，将 FD 引入 Shampoo，形成 FTSL-Shampoo，并在原始—对偶框架下提供分析。作者还在镜像下降与原始—对偶两种框架下设计单侧变体，报告相较 FTSL-Shampoo 降低计算成本并获得更紧的遗憾界。方法进一步扩展至离线随机凸优化，利用光滑性获得更快收敛率；这些理论结果不能直接等同于非凸神经网络训练保证。 实证方面，作者报告实用变体在多类任务上具有计算效率与有效性，但摘要未列出任务、数据集、对照基线、指标或具体数值。实验协议、消融及统计信息尚未验证，代码与复现条件亦尚未确认。 平台推测（待验证）：若 EEG 模型训练中的矩阵预条件开销确为瓶颈，可考虑复用 FD 草图与单侧预条件机制，并针对参数矩阵形状及梯度统计调整实现。其依赖的是优化梯度及矩阵结构，而非 EEG 特定监督；低信噪比、跨被试梯度差异和小数据可能使草图保留的信息不足，成本下降也未必带来泛化收益。一个可检验的小实验是在固定 EEG 任务、模型、被试划分和训练预算下，对比 Shampoo 与相应草图变体，记录峰值内存、每步耗时、收敛曲线及同一协议下的任务指标。已有 EEG 相关工作尚未检索确认。