跳到正文
OpenReview · Representation learning· Haoran Deng; Yang Yang; Jiahe Li; Cheng Chen; Weihao Jiang; Shiliang Pu·· 2024-01-01精选AI 评分77

面向稀疏矩阵表征学习的截断 SVD 快速更新

Fast Updating Truncated SVD for Representation Learning with Sparse Matrices

AI 导读

基于摘要分析。本文研究大规模稀疏矩阵随时间演变时,如何高效更新用于表征学习的截断奇异值分解(SVD),提出利用稀疏性的动态近似更新方法,以减少更新计算并维持近似精度。 机制方面,摘要指出,已有方法使用 Rayleigh–Ritz 投影,并基于原有奇异向量扩充投影矩阵,但更新矩阵的稠密化以及对全部奇异向量施加投影会带来计算开销。本文在扩充矩阵的正交化过程中利用稀疏性,并通过扩展分解,独立存储奇异向量列空间中的投影。摘要未给出具体分解公式、更新类型或复杂度界,尚不能判断其对不同矩阵形状与稀疏结构的适用范围。 结果方面,作者报告,在数值实验中,相较既有更新方法实现了一个数量级的效率提升,同时保持相近精度。摘要未列出矩阵规模、稀疏度、对照方法、运行环境及精度指标,因而该结果只能限定在作者所述实验条件内理解;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于以稀疏关系矩阵为输入、需要持续更新低秩表征的 EEG 分析流程,而不能直接等同于原始 EEG 的在线解码方法。可复用部分是增量低秩分解与投影存储,需改造部分是神经信号到稀疏矩阵的构造及更新规则;低信噪比、跨被试或通道变化可能破坏稀疏结构和低秩稳定性,小数据下计算收益也可能不足。一个可证伪的小实验是:在固定 EEG 数据划分与同一稀疏图构造下,对相同数据块增量更新,比较该方法、既有更新方法与重新计算截断 SVD 的耗时、内存、近似误差及下游性能,检验加速是否依赖精度损失。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过稀疏正交化与独立存储投影降低动态截断 SVD 更新开销的机制,但摘要所述数量级效率提升仍需结合矩阵稀疏度、更新方式和精度标准核对。

来源:OpenReview · Representation learning · openreview.net