跳到正文
arXiv · 泛化与分布偏移· Inseok Kong; Geunyoung Jung; Jiyoung Jung·· 1 天前精选AI 评分73

SATOR:通过样本自适应 token 路由实现无需反向传播的 3D 测试时自适应

SATOR: Backpropagation-Free 3D Test-Time Adaptation via Sample-Adaptive Token Routing

AI 导读

基于摘要分析。该研究针对 3D 点云在分布偏移下的测试时自适应,提出无需源数据、无需反向传播的 SATOR(Sample-Adaptive TOken Routing)。其主要贡献是直接根据单个测试样本确定 token 划分阈值与预测路由,替代既有 token 清除方法对预设裁剪规模候选的搜索。 机制上,SATOR 从互补的注意力关系图与几何关系图计算 token 异常分数,再依据 Otsu 可分性准则,将 token 自适应划分为保留组与裁剪组,无需逐一评估候选规模。预测路由使用保留比例进行校准:仅当裁剪后预测的熵经保留比例惩罚后低于原始预测熵时,才选用裁剪后预测。具体评分公式、惩罚形式及前向计算次数尚未验证,不能将无需反向传播等同于无需额外推理开销。 作者报告,在 ModelNet40-C、ScanObjectNN-C 和 ShapeNet-C 三个 3D 腐蚀基准上,SATOR 达到最先进的 Accuracy。摘要未提供具体分数、对照方法、腐蚀强度或聚合协议,因而尚不能量化优势与计算成本;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,若 EEG 模型中的 token 异常能由注意力关系与通道空间关系共同识别,样本自适应裁剪及预测路由可能缓解局部通道污染。但原方法依赖点云 token 与几何关系,迁移时需重新定义 EEG 的时间或通道 token、关系图及异常分数;低信噪比可能使有效神经活动被误删,跨被试差异、通道布局变化及小数据条件也可能破坏熵与可靠性的对应关系。可先在固定预训练 EEG 模型和预设通道污染测试集上,对照原始预测、固定比例裁剪与自适应裁剪路由,比较同一划分下的 Accuracy、推理成本及干净数据性能变化。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以样本自适应阈值替代候选裁剪规模搜索、并用保留比例校准预测路由的机制,但推理开销收益与向 EEG 的迁移有效性仍需验证。

来源:arXiv · 泛化与分布偏移 · arxiv.org