雷竞技-科学家找到提升元学习泛化性能新方法—新闻—科学网

近日，中国科学院软件研究所天基综合信息系统全国重点尝试室研究团队的一项研究功效，聚焦元进修的进修机制与使命采样，有助在模子泛化与迁徙机能的晋升，被被人工智能范畴顶级国际会议IJCAI领受。

元进修旨在从有限的数据中构建多样化的练习使命来进修一般常识，然后迁徙到新的使命中。传统不雅点认为，练习使命越多样，模子的泛化能力越好。但是，研究团队经由过程布局因果模子尝试发现，在元进修机制下的使命最好分类器不但是操纵因果因子进行决议计划，同时还会遭到非因果因子的干涉干与，即元进修中特定使命的因果因子和标签之间有子虚相干性，这些使命稠浊因子会引发使命负迁徙，从而影响泛化机能。

基在上述发现，研究团队提出了一种元进修因果暗示进修器MetaCRL，用来消弭使命稠浊因子。MetaCRL由两个模块构成：解耦模块和因果模块。解耦模块起首经由过程进修语义矩阵取得全部生成因子，然后利用分组函数获得与每一个使命相干的生成因子子集，旨在取得所有与使命相干的生成因子和与单个使命相干的特定使命生成因子；因果模块则负责确保生成因子的真实因果关系，即基在因果不变性定理和统一模子可以在分歧散布中进修雷竞技因果相干性，一方面是对表示出散布转变的多个练习数据集强迫履行不变性，另外一方面是经由过程简单的双层优化来包管解耦模块取得的语义矩阵和分组函数获得的生成因子具有真实因果关系。

MetaCRL能利用在各类元进修框架，经由过程瓜代优化MetaCRL与元进修模子，使元进修基在真实因果因子进修各类使命的通用常识，从而消弭使命稠浊因子。研究团队进一步在各类下流使命长进行了分类、回归、猜测等普遍尝试。成果注解，引入MetaCRL的各类元进修基线方式都取得了不变的机能晋升。另外，在多个基准数据集的常识迁徙尝试中进一步证实了MetaCRL消弭使命稠浊的有用性。

该论文配合第一作者为硕士生王婧瑶、副研究员任懿，通信作者为特殊研究助理强文文。

相干论文信息：https://arxiv.org/abs/2312.05771

代码地址：https://github.com/WangJingyao07/MetaCRL

版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请在正文上方注明来历和作者，且不得对内容作本色性改动；微信公家号、头条号等新媒体平台，转载请联系授权。邮箱：shouquan@stimes.cn。