跳到正文

算法、任务与模态

Tokenization 最新动态

Tokenization 研究索引；按可核对的标签归档，不以热度评价质量。

183 条精选近 30 天 43 条共收录 209 条

更新

精选归档 · 第 10 页

10月1日周六第 181–183 条
  1. OpenReview · State space models77

    空间与时间上的稀疏性：利用可训练选择器实现音视频同步

    基于摘要分析。本文研究自然场景视频的音视频同步：可用于对齐的事件可能只占很小的画面区域，且在较长片段中偶发出现。作者提出带有可训练 selectors 的多模态 Transformer，将长音频流与视觉流提炼为较短序列，再预测两者的时间偏移。 与说话人正面视频中时空较密集的音画对应不同，本文面向同步线索在空间和时间上均稀疏的场景。其核心机制是先压缩长序列，再利用压缩后的跨模态表征估计偏移。摘要未说明 selectors 的具体结构、监督方式、损失函数及输入特征，不能据此判断其是否采用硬选择或如何保持时间定位精度。 作者还识别了音视频压缩编解码可能引入的伪影，指出模型可能利用这些线索人为解决同步任务；并整理了一个同步信号在时空上稀疏的数据集。作者报告在稠密与稀疏数据集上均进行了定量和定性验证，但摘要未提供数据集名称、规模、划分、对照方法或具体指标；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与外部音视频之间存在稀疏、可定位的事件对应，selectors 的长序列压缩机制可能用于筛选跨模态对齐线索；这是假设，并非本文已验证的 BCI 效果。可复用的是序列筛选与偏移预测思路，需改造 EEG 输入表征及时间对应建模。低信噪比、通道差异和小样本可能使选择器遗漏弱事件或依赖伪影。一个可证伪的小实验是在具有已知同步关系的 EEG—刺激记录上注入时间偏移，在相同划分与训练预算下比较 selectors 和等长均匀采样的偏移估计误差，并检查被选片段是否覆盖真实事件。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是以可训练 selectors 压缩长时音视频流、提取稀疏同步线索的机制，以及对编解码伪影造成任务捷径的识别；其对 EEG/BCI 的适用性尚未验证。

1月1日周六
  1. OpenReview · State space models75

    面向符号音乐建模的领域知识启发音乐嵌入空间与新型注意力机制

    基于摘要分析。该研究针对符号音乐建模中相对属性利用不足的问题，提出 Fundamental Music Embedding（FME）及 RIPO attention，使模型同时表示音高等绝对属性与音程等相对属性。主要研究对象是符号音乐，而非 EEG 或 BCI。 核心机制：FME 基于偏置调整的正弦编码，旨在高效表示绝对与相对属性，并显式保留平移不变性等音乐基本性质。RIPO attention 利用相对索引、音高与起音时刻嵌入，将音乐领域知识引入注意力计算；组合模型称为 RIPO transformer。摘要未提供编码公式、注意力计算细节、损失函数或训练配置。 结果：在旋律补全任务中，作者报告 RIPO transformer 优于 music transformer 与 linear transformer。在下游音乐生成任务中，作者报告未再观察到其所述的退化现象，且主观与客观评价均优于所比较的先进 transformer 模型。摘要未给出数据集、数据划分、指标数值、主观评价组织方式或退化现象的操作性定义，实验协议、消融及统计信息尚未验证；上述结论不能扩展为所有音乐生成场景中的保证。 平台推测（待验证）：可迁移的假设是，显式区分绝对位置与相对时间关系，可能帮助 EEG 模型表达时间结构。原方法依赖具有明确音高、起音时刻与音程语义的符号 token，EEG 连续波形并不具备同等属性，因此音乐嵌入不能直接照搬。可考虑复用相对关系编码思路，但需重定义 EEG 分段及时间关系，并单独论证不变性；低信噪比、跨被试时延差异与小数据可能削弱收益，错误的不变性还可能丢失任务相关信息。 一个可证伪的小实验是在固定 EEG 数据划分、模型容量和训练预算下，对比普通位置编码与仅引入相对时间编码的模型，检查原始样本和受控时间偏移后的任务表现是否一致改善。该实验仅检验迁移假设，不代表已有 EEG 效果；相关 EEG 工作尚未检索确认，代码与复现条件也尚未验证。

    阅读价值：值得阅读的具体原因是其将符号音乐的绝对属性与相对属性统一到具有明确不变性约束的嵌入空间，并据此构造注意力；作者报告的任务收益及该机制对 EEG 的适用性仍需分别核对。

1月1日周五
  1. OpenReview · EEG71

    一种用于癫痫发作预测的新型神经形态计算方法

    基于摘要分析。该研究针对 CNN 癫痫发作预测方法计算开销与功耗较高、难以部署于可穿戴设备的问题，提出将 EEG 样本编码为脉冲序列，再使用 Spiking-CNN 进行预测的神经形态计算方法。 核心机制是通过作者设计的 gaussian random discrete encoder（高斯随机离散编码器）将 EEG 样本转换为脉冲序列，再交由结合 CNN 与脉冲神经网络（SNN）特点的 Spiking-CNN 处理。摘要未提供编码规则、网络结构、神经元动力学、训练方法及推理时间窗，这些实现细节尚未验证。 作者报告，在摘要所述癫痫发作预测实验中，灵敏度为 95.1%、特异度为 99.2%、AUC 为 0.912，计算复杂度相较 CNN 降低 98.58%。但摘要未说明数据集、被试数量、被试内或跨被试划分、预测提前量、对照 CNN 配置，以及计算复杂度的计量方式，因此这些结果只能在该文尚待核对的实验协议下理解，不能直接与其他研究比较。 该工作的主要对象是 EEG 癫痫发作预测，而非通用 BCI 解码。作者据此认为方法具有硬件友好性与较高预测精度；计算复杂度降低并不直接等同于设备实测能耗降低。复现时需核对编码器参数、训练与推理流程、数据划分、发作前状态定义及硬件测量条件；实验协议、消融及统计信息尚未验证。

    阅读价值：值得阅读的具体原因是作者将 EEG 脉冲编码与 Spiking-CNN 用于癫痫发作预测，并报告相对 CNN 的计算复杂度下降，但其可穿戴部署价值仍需核对计算口径与实测功耗。