PhysioTRACE:面向生理信号基础模型的采集来源感知压力测试
PhysioTRACE: Provenance-Aware Stress Tests for Physiological Foundation Models
基于摘要分析。研究针对生理信号基础模型可能利用采集条件与诊断之间的关联形成捷径的问题,提出 PhysioTRACE:面向冻结编码器的四轴行为审计,区分表征中可解码的采集来源信息与固定任务头实际依赖的信息。研究对象覆盖 EEG 与 ECG,不能将其结果直接视为 BCI 任务有效性的证据。 四个审计轴分别是:Recover 量化采集来源的可解码程度;Stress 在同一批留出记录上仅反转采集来源与目标的关联;Intervene 去除利用训练数据定位的采集来源成分;Verify 仅在去除方案优于匹配随机投影、且满足预先声明的任务效用容限时认证该方案。最终结论分为不依赖采集来源、存在依赖且去除方案获认证、存在依赖但去除方案被拒绝。 作者报告,在涵盖 EEG、ECG、五种训练目标及五个冻结基础模型的评估中,Recover 的校准指标 Linear Provenance Information 与分布外任务效用的关系在不同数据集间发生符号反转,提示二者不能替代依赖性测试。在人为构造已知捷径的配对 EEG 视图实验中,作者报告:在该关联下拟合的任务头,在关联反转时 AUROC 下降约 0.2;未利用该关联拟合的对照任务头不受影响。去除定位得到的秩二成分后,受影响任务头恢复至对照水平,且常规任务效用未出现可测损失;所测试的两种编码器训练目标均通过去除方案认证。 在真实 ECG 设备元数据实验中,作者报告审计得到全部三类结论:某模型的去除方案消除了其额外脆弱性的 91%;设备与诊断关联很弱的情形未检出依赖;另一模型因定位方向同时承载任务信号,去除方案未获认证。 其方法价值在于对固定预测器实施行为检验,而非仅凭表征可解码性或分布偏移下的表现判断采集捷径。作者称公开协议、数据划分、探针及机器可读结果,但具体数据集、被试规模、划分方式、效用容限、消融及统计信息尚未验证,公开资源的可获取性亦未核验。
值得阅读的是其将“采集来源信息可被解码”与“任务预测实际依赖该信息”分开检验,并用匹配随机投影及效用容限约束去除方案的认证;具体实现与统计可靠性仍需全文核对。
来源:OpenReview · EEG · openreview.net