跳到正文
OpenReview · Representation learning· Xuejun Liao·· 2007-08-01精选AI 评分79

采用 Dirichlet process 先验的分类多任务学习

Multi-Task Learning for Classification with Dirichlet Process Priors

AI 导读

基于摘要分析。该研究针对训练数据分布不同的多个分类任务,利用 Dirichlet process(DP)先验学习任务间的相似关系,以确定哪些 logistic regression 分类器适合联合学习,避免将所有任务一概独立处理或直接合并数据。 方法分为两种形式:对称多任务学习(SMTL)使用变分贝叶斯(VB)算法联合学习多个任务的分类器;非对称多任务学习(AMTL)将此前 SMTL 模型参数的后验分布用作新任务的先验,并通过 Markov Chain Monte Carlo(MCMC)求解。后一形式不要求存储和使用全部历史任务数据,但其具体后验表示、更新方式与计算开销尚未验证。 作者报告,在两个真实多任务学习问题上,所提算法能够自动识别训练数据似乎来自相近分布的任务子群,且分类准确性优于单任务学习、合并全部任务数据以及 DP 的简化近似方法。摘要未提供数据集名称、任务数量、划分方式或具体指标数值;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将不同被试或会话定义为相关但分布不同的 EEG 分类任务,DP 任务分组可能用于缓解不加区分地共享参数所造成的负迁移。这一假设依赖各任务具有可比较的特征空间和标签语义;可复用的是任务分组与后验传递机制,需要改造的是 EEG 特征构建、通道对齐和任务定义。低信噪比、小样本或通道差异可能使分组反映噪声而非可迁移结构。可检验的小实验是在统一特征与标签的 EEG 分类数据上,将被试作为任务,在相同新被试标注预算与独立测试划分下,对比单任务、全任务合并和 DP 多任务学习的分类表现与分组稳定性。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

该研究以 Dirichlet process 先验学习任务间的分组关系,并用历史任务参数后验支持新任务学习,值得用于考察选择性任务共享与减少历史数据存储的机制,但其 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net