通过空间–频率交互卷积构建用于 Deepfake 检测的新骨干网络
Constructing New Backbone Networks via Space-Frequency Interactive Convolution for Deepfake Detection
基于摘要分析。本文研究 Deepfake 检测中的细微篡改痕迹提取,提出 Space-Frequency Interactive Convolution(SFIConv),通过改进卷积内部的特征表示构建检测骨干网络;主要研究对象是多媒体伪造检测,而非 EEG 或 BCI。 机制上,SFIConv 使用 Multichannel Constrained Separable Convolution(MCSConv)作为组件,旨在提取篡改痕迹中的高频特征,并通过生成、交互、融合三个阶段学习空间–频率特征。摘要未给出约束形式、各阶段运算、损失函数或训练细节。作者称,SFIConv 可替换骨干网络中的普通卷积,而不改变网络结构。 作者报告,在所开展的 Deepfake 检测实验中,将 SFIConv 嵌入骨干网络可提高 Accuracy;空间–频率交互机制也有助于捕获共性伪影,在 Cross-dataset 评估中取得更好结果。摘要未列出数据集、划分方式、对照骨干、具体分数及统计不确定性,因而无法判断收益幅度或比较不同协议。实验协议、消融及统计信息尚未验证。摘要表示代码将公开,实际可用性与复现条件尚未核实。 平台推测(待验证):迁移假设是,空间与频率信息交互可能用于 EEG 时频表示中的局部模式提取,但视觉篡改高频痕迹并不等同于神经活动特征。可考虑复用交互与融合思路,并按 EEG 的时间、频率及电极拓扑改造输入和卷积约束;原方法所依赖的数据规模、监督配置及空间结构仍需全文确认。低信噪比下,高频提取可能放大肌电或设备噪声,跨被试、通道布局变化及小数据也可能削弱收益。一个可证伪的小实验是在固定 Cross-subject 划分、相同 EEG 时频输入与训练设置下,对比普通卷积与改造后的 SFIConv,并检查增益是否随高频噪声扰动而消失。此建议不代表已证实的 BCI 效果;已有 EEG 相关工作尚未检索确认。
值得核对 SFIConv 的空间–频率交互机制及其 Cross-dataset 评估,因为作者报告该机制有助于提取共性伪影,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net