演化头绪
下图所示CNN结构演化的前史，起点是神经认知机模型，现已呈现了卷积结构，可是第一个CNN模型诞生于1989年，1998年诞生了LeNet。跟着ReLU和dropout的提出，以及GPU和大数据带来的前史机会，CNN在12年迎来了前史打破。12年之后，CNN的演化途径能够总结为四条：1)更深的网络，2)增强卷积模的功用以及上诉两种思路的交融，3)从分类到检测，4)添加新的功用模块。
开端-LeNet
1998年，LeCun提出LeNet，并成功应用于美国手写数字辨认。但很快，CNN的矛头被SVM和手艺规划的部分特征盖过。
转折点-AlexNet
AlexNet 之所以能够成功，深度学习之所以能够重回前史舞台，原因在于：
非线性激活函数：ReLU
避免过拟合的办法：Dropout，Data augmentation
大数据练习：百万级ImageNet图画数据
其他：GPU完成，LRN归一化层的运用
第一条演化途径：网络变深
VGGNet 能够看成是加深版别的 AlexNet，拜见 Karen Simonyan 和 Andrew Zisserman 的论文《Very Deep Convolutional Networks for Large-Scale Visual Recognition》。
VGGNet 和下文中要说到的 GoogLeNet 是2014年 ImageNet 比赛的第二名和第一名，Top-5错误率分别为7.32%和6.66%。VGGNet 也是5个卷积组、2层全衔接图画特征、1层全衔接分类特征，能够看作和 AlexNet 相同一共8个部分。
第二条演化途径：增强卷积模块
首先要说起 NIN(Network in Network)的思维(详见 Min Lin 和 Qiang Chen 和 Shuicheng Yan 的论文《Network In Network》)，它对传统的卷积办法做了两点改善：将本来的线性卷积层(linear convolution layer)变为多层感知卷积层(multilayer perceptron);将全衔接层的改善为大局均匀池化。
MIN使得卷积神经网络向另一个演化分支—增强卷积模块的功用的方向演化，2014年诞生了 GoogLeNet(即 Inception V1)。谷歌公司提出的 GoogLeNet 是2014年 ILSVRC 挑战赛的冠军，它将 Top-5的错误率下降到了6.67%。GoogLeNet 的更多内容详见 Christian Szegedy 和 Wei Liu 等人的论文《Going Deeper with Convolutions》。
ResNet依然是：没有最深，只要更深(152层)。传闻现在层数已打破一千。ResNet首要的立异在残差网络，这也是现在炽热的AlphaGo Zero首要技能之一。如图11所示，其实这个网络的提出本质上仍是要处理层次比较深的时分无法练习的问题。这种学习了Highway Network思维的网络相当于周围专门开个通道使得输入能够直达输出，而优化的方针由本来的拟合输出H(x)变成输出和输入的差H(x)-x，其间H(X)是某一层原始的的希望映射输出，x是输入。
