跳到正文
OpenReview · Representation learning· Haoran Deng; Yang Yang; Jiahe Li; Cheng Chen; Weihao Jiang; Shiliang Pu·· 2024-01-16精选AI 评分78

面向稀疏矩阵表示学习的截断 SVD 快速更新

Fast Updating Truncated SVD for Representation Learning with Sparse Matrices

AI 导读

基于摘要分析。本文研究大规模稀疏矩阵随时间演化时,如何高效更新用于表示学习的截断 Singular Value Decomposition(SVD)。核心贡献是利用增广矩阵正交化过程中的稀疏性,并通过扩展分解独立存储奇异向量列空间中的投影,以降低动态更新的计算开销。 机制与对照:作者将近期截断 SVD 更新方法概括为 Rayleigh-Ritz 投影过程,其投影矩阵由原有奇异向量增广得到。摘要指出,这些方法在更新过程中使更新矩阵稠密化,并对全部奇异向量应用投影,造成效率瓶颈。本文针对这两处开销设计更新方法;具体分解公式、正交化算法、截断秩选择与复杂度边界尚未验证。 结果与证据边界:作者报告,在演化稀疏矩阵的截断 SVD 更新数值实验中,相较既有方法,在维持精度的同时实现约一个数量级的效率提升。摘要未提供矩阵来源、维度与稀疏度、更新方式、基线名称、硬件、计时范围或精度指标,因此该结论不能直接外推到任意矩阵更新任务;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 流程中已有随时间更新的稀疏关系矩阵或特征矩阵,该方法可能用于降低低秩表示的在线维护成本,对应的是计算开销而非已证实的解码性能瓶颈。可复用部分是稀疏正交化与投影存储机制,需改造部分是 EEG 的矩阵构造、更新粒度和秩选择。原始 EEG 通常不具备同等稀疏结构,低信噪比、跨被试差异及通道变化也可能削弱低秩表示的稳定性。一个可检验的小实验是在固定 EEG 稀疏矩阵构造与截断秩的条件下,对同一更新序列比较该方法、既有增量 SVD 与重新计算 SVD 的运行时间、内存及近似误差,并单独检验下游解码指标是否变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其利用稀疏性与独立存储投影降低截断 SVD 更新开销的机制;作者报告效率提升约一个数量级,但具体计时协议与精度指标尚未验证。

来源:OpenReview · Representation learning · openreview.net