Discuz! Board 股票 在线配资 查看内容

在线配资

订阅

预训练还需要监视炒股配资 吗?一文相识无监视训练的上风

2020-07-03| 来源:互联网| 查看: 317|益盟投顾 配资公司 : 0

摘要: 呆板之心报道呆板之心编辑部随着MoCo的提出,无监视学习在计算机视觉领域已经取得了不错的效果,其在七项检......

呆板之心报道

呆板之心编辑部

随着 MoCo 的提出,无监视学习在计算机视觉领域已经取得了不错的效果,其在七项检测支解使命上完胜有监视预训练。这也引起众多研究者的思索:为什么不消标签的学习可以逾越有标签的学习呢?近日,来自微软亚洲研究院和香港都会大学的一项研究对此作出相识答。

益盟投顾论文链接:https://arxiv.org/pdf/2006.06606.pdf

利用带有大量人工标注标签的数据集(ImageNet)举行预训练曾经是大多数视觉应用的尺度做法。然而,随着 MoCo 在多项检测支解使命上完胜有监视预训练,成本高昂的人工标注似乎不再像以往那么紧张。在微软亚洲研究院和香港都会大学的一项研究中,作者从 MoCo 预训练和目标检测的迁移出发,深入探讨了为什么无监视训练在迁移使命上更有上风?联合新的发明,是否有可能改进有监视的预训练?

益盟投顾MoCo 是一种通过区分差别实例 (instance discrimination)的 pretext task 举行无监视训练的要领。此类要领在训练时希望可以将当前实例的特性与其他实例拉开,同时拉近当前实例差别变换(好比裁剪和平移)的特性表示。

透过目标检测观察 MoCo

益盟投顾结论一:公平比力下,无监视的预训练逾越有监视

益盟投顾起首,为了确认是否无监视学习在目标检测上存在绝对的上风,作者在思量多种因素下举行了公平的比力(很遗憾的是,MoCo 原始论文并没有很公正的比力有监视预训练)。思量因素有:预训练时间、微调时间以及图像变换 / 增广要领。

如下表所示,(1)增长某些图像增广要领(color jittering and random grayscaling)对有监视预训练也是有用的,但照旧不如无监视预训练,尤其在 AP 和 AP75 上。(2)两种预训练要领都没有过拟合的征象,预训练时间越长,迁移后性能也越高。微调时,虽然有监视预训练收敛更迅速,但并没有得到最优解。可以肯定的是,在目标检测上,MoCo 确实是比有监视预训练有性能上的上风。

结论二:无监视的预训练模子主要迁移了低层和中层的特性,而非高层语义

益盟投顾无监视在线性分类使命上取得了不错的性能,似乎印证了无监视学习也学习到了高条理的语义炒股配资 ,但该文通过实验质疑了这个结论。当实验在差别数据集上举行预训练,纵然这些数据和 Pascal VOC 包罗的图像大相径庭 (好比人脸),也能取得不错的迁移性能。实验的数据集如下所示。

相反,当预训练数据集和下游数据集的底层炒股配资 差别时,好比利用游戏合成的驾驶场景数据集,性能有一定水平的降落。因此验证 MoCo 主要迁移了 low-level 和 mid-level 的特性表示。

结论三:预训练和下游使命的问题对齐决定了迁移效果

益盟投顾为了进一步解释为何无监视预训练在目标检测上效果更好,作者又做了如下实验:

益盟投顾(1)通过分析检测错误(false positive), 无监视预训练能得到更准确的位置炒股配资 。

(2)当利用 Deep image prior 从 layer4 举行图像重修时,无监视重修的图像更靠近于原图而且越发完备。虽然 MoCo 训练时也包罗了位置尺度稳定性,但却能在重修中保持正确的尺度和位置。相反,有监视的学习过分存眷物体的局部区域, 丢失了许多对于准确定位的紧张炒股配资 。该文认为 instance discrimination 要领为了包管当前实例区别与其他全部实例,尽可能的保留了更多的炒股配资 。

一种改进的有监视预训练措施

益盟投顾大量的标注数据包罗了富厚的语义炒股配资 ,应该对下游使命有所帮助。但传统的有监视预训练是通过减小 intra-class variation 举行学习的,模子会更多存眷对特定类有辨认力(discriminative)的区域,从而忽略了其他可能包罗有用炒股配资 的区域。一个更好的有监视预训练要领应该仅仅拉远差别类(true negative)的实例,而不对同类样本加以任何束缚。如许可以更好地保留每个实例的特性。参考 examplar SVM 的要领,作者在 instance discrimination 的丧失函数上举行了改进。对于一个属于种别 y_i 的实例 x_i, 它的特性表示为 q_i, 该函数在特性空间上拉远了当前实例与其他差别类的实例 (true negative)。

实验证实,这种方式(Exemplar)在图像分类和目标辨认两个下游使命上都相对于 MoCo 得到了提升。

扩展到其他迁移使命

益盟投顾出了目标检测,此文也在其他迁移使命上举行了实验:

益盟投顾(1)小样本学习(Mini-ImageNet dataset, Exemplar 明显在基础类和新的种别上都取得了更好地准确度。

(2) 人脸要害点检测(MAFL dataset),有监视预训练相对较差的结果表明身份辨认和要害点检测两个使命存在一定差异,一小我私人的身份不能决定他在照片中的姿态。此文提出的 Exemplar 预训练要领可以削弱这种差异,取得和 MoCo 一样的性能。

益盟投顾7月11日09:00-12:00,呆板之心联合百度在WAIC 2020云端峰会上组织「开发者日百度公然课」,为宽大开发者提供 3 小时极致学习时机,从 NLP、CV 到零门槛 AI 开发平台 EasyDL,助力开发者掌握人工智能开发技能。扫描图中二维码,加呆板之心小助手微信邀您入群。


 
分享至 : QQ空间

10 人股票网


鲜花

握手

雷人

路过

鸡蛋

股票网

邀请

上一篇:暂无
已有 0 人参与

会员配资公司

社区活动
引资金活水 科创板再融资措施实行

益盟投顾 网易体育7月5股票 道:在都灵德比战中,C罗打进了尤文生涯第一【....】

654人往期回顾
配资公司 本站/服务条款/在线配资 /法律咨询/配资软件 /公益事业/客服中心
Copyright ◎2015-2020 黎城股票论坛 网版权所有 ALL Rights Reserved.
Powered by 黎城股票论坛 网 X1.0