Friday, September 30, 2016

ILSVRC机器学习竞赛: ImageNet Large-Scale Visual Recognition Challenge

The 2014 ILSVRC 竞赛

ILSVRC-2014 训练集包含120,000幅 ImageNet 的图像,共有1000类。验证集和测试集分别包含50,000和150,000幅,也都是同样的1000类。

胜利的团队,基于 Google 之前给出的结果,使用了包含22层的深度卷积网络。他们称此为 GoogLeNet,向 LeNet-5 致敬。GoogLeNet 达到了93.33% 的准确率远超2013年的 88.3% Clarifai 和 2012 年的KSH 84.7%。

那么 GoogLeNet 93.33% 的准确率又是多好呢?在2014年,一个研究团队写了一篇关于
ILSVRC 竞赛的综述文章。其中有个问题是人类在这个竞赛中能表现得如何。为了做这件事,他们构建了一个系统让人类对 ILSVRC 图像进行分类。其作者之一 Andrej Karpathy 在一篇博文中解释道,让人类达到 GoogLeNet 的性能确实很困难.

换言之,一个专家级别的人类,非常艰难地检查图像,付出很大的精力才能够微弱胜过深度神经网络。实际上,Karpathy 指出第二个人类专家,用小点的图像样本训练后,只能达到12.0% 的 top-5 错误率,明显弱于 GoogLeNet。大概有一半的错误都是专家“难以发现和认定正确的类别究竟是什么”。

http://image-net.org/challenges/LSVRC/2016/results#team

No comments:

Post a Comment