提出布景
始于LeNet-5，一个有着规范的堆叠式卷积层冰带有一个或多个全衔接层的结构的卷积神经网络。一般运用dropout来针对过拟合问题。
为了提出一个更深的网络，GoogLeNet做到了22层，运用inception结构，这个结构很好地运用了网络中的核算资源，并且在不添加核算负载的情况下，添加网络的宽度和深度。一起，为了优化网络质量，选用了Hebbian原理和多标准处理。GoogLeNet在分类和检测上都取得了不错的作用。
最近深度学习的开展，大多来源于新的主意，算法以及网络结构的改善，而不是依赖于硬件，新的数据集，更深的网络，并且深度学习的研讨不应该彻底专心于精确度的问题上，而更应该重视与网络结构的改善方面的作业。
相关作业
GoogLeNet参阅Robust object recognition with cortex-like mechanisms.中运用固定的多个Gabor滤波器来进行多标准处理的办法，对inception结构中的一切滤波器都进行学习，并运用至整个22层网络。
GoogLeNet参阅Network in network.中对1×1卷积的运用来添加网络深度的做法，GoogLeNet也运用了1×1卷积来进行降维和约束网络标准的作用。
GoogLeNet参阅Rich feature hierarchies for accurate object detection and semantic segmentation.即R-CNN将整个检测使命分为两个子问题的做法，即首要运用底层特征如色彩，文本等来进行提取与类别无关的proposals，然后将这些proposals放入CNN中进行练习来确认类别信息的做法。GoogLeNet也学习这种办法，并对两个阶段都进行了改善，第一个阶段运用多边框猜测，第二个阶段则是运用更好的CNN网络结构。
根本思维及进程
GoogLeNet提出最直接提高深度神经网络的办法便是添加网络的标准，包含宽度和深度。深度也便是网络中的层数，宽度指每层中所用到的神经元的个数。可是这种简略直接的处理办法存在的两个严重的缺陷。
(1) 网络标准的添加也意味着参数的添加，也就使得网络愈加简单过拟合。
(2) 核算资源的添加。
因而想到将全衔接的办法改为稀少衔接来处理这两个问题。由Provable bounds for learning some deep representations.说到数据集的概率散布由大又稀少的深度神经网络表达时，网络拓扑结构可由逐层剖析与输出高度相关的上一层的激活值和聚类神经元的相关核算信息来优化。可是这有非常多的约束条件。因而提出运用Hebbian原理，它能够使得上述主意在少数约束条件下就变得实践可行。
一般全衔接是为了更好的优化并行核算，而稀少衔接是为了打破对称来改善学习，传统常常运用卷积来运用空间域上的稀少性，但卷积在网络的前期层中的与patches的衔接也是稠密衔接，因而考虑到能不能在滤波器层面上运用稀少性，而不是神经元上。可是在非均匀稀少数据结构进步行数值核算功率很低，并且查找和缓存未定义的开支很大，并且对核算的基础设施要求过高，因而考虑到将稀少矩阵聚类成相对稠密子空间来倾向于对稀少矩阵的核算优化。因而提出了inception结构。
inception结构的首要思维在于卷积视觉网络中一个优化的部分稀少结构怎么样能由一系列易取得的稠密子结构来近似和掩盖。上面说到网络拓扑结构是由逐层剖析上一层的相关核算信息并集合到一个高度相关的单元组中，这些簇(单元组)表达下一层的单元(神经元)并与之前的单元相衔接，而接近输入图画的底层相关的单元在一块部分区域集合，这就意味着咱们能够在一块单一区域上集合簇来结束，并且他们能在下一层由一层1×1的卷积层掩盖，也即运用更少的数量在更大空间分散的簇可由更大patches上的卷积来掩盖，也将削减越来越大的区域上patches的数量。
为了防止patch对齐问题，因而约束了inception结构中滤波器的巨细为1×1，3×3，5×5。由于inception结构中都是相互堆叠的，因而输出相关核算信息必定不同：为了在高层能提取更笼统的特征，就要削减其空间集合性，因而经过添加高层inception结构中的3×3，5×5卷积数量，捕获更大面积的特征。
在上述inception结构中，由于滤波器数量的添加，加上池化操作使得5×5巨细的滤波器的核算开支非常大，池化层输出与卷积层输出的兼并添加了输出值的数量，并且或许掩盖优化稀少结构，处理非常低效，引起核算爆破。因而引出下面这个inception结构。
inception结构中有许多嵌套，低维嵌套包含了很多的图片patch信息，且这种嵌套表达了一个稠密且紧缩的信息的方式，但咱们想要表达的愈加稀少，并且只在很多集合的时分才对信号进行紧缩，因而考虑运用在3×3和5×5卷积操作前进行1×1卷积来进行降维处理，1×1不只降维，并且还引入了ReLU非线性激活。实践发现，只在高层中运用inception结构对整个网络愈加有利。
inception结构的优点在于在没有核算复杂度不受操控的核算爆破时，能够添加每个阶段的单元个数，也便是网络的宽度，当然还有深度;一起这种结构也相似于图画中多标准处理之后将处理成果集合在一起以便于下一个阶段能一起提取不同标准下的特征。
由于稀少结构的核算量大的问题，所以选用1×1的卷积来削减参数的核算，其间1×1 卷积解释为：
在3×3和5×5层前，各自添加一个1×1的卷积操作。1×1的卷积(或许网络层中的网络)，供给了一个削减维度的办法。比方，咱们假定你具有一个输入层，体积是100x100x60(这并不定是图画的三个维度，仅仅网络中每一层的输入)。添加20个1×1的卷积滤波器，会让你把输入的体积减小到100x100x20。这意味着，3×3层和5×5层不需求处理输入层那么大的体积。这能够被认为是“池特征”(pooling of feature)，由于咱们正在削减体积的高度，这和运用常用的最大池化层(maxpooling layers)削减宽度和长度相似。另一个需求留意的是，这些1×1的卷积层后边跟着的是ReLU 单元，这必定不会有害。
有了上面的这种结构方式，叫inception：这个inception模型由一个网络层中的网络、一个中等巨细的过滤卷积、一个大型的过滤卷积、一个操作池(pooling operation)组成。网络卷积层中的网络能够提取输入体积中的每一个细节中的信息，一起5×5的滤波器也能够掩盖大部分承受层的的输入，进而能提起其间的信息。你也能够进行一个池操作，以削减空间巨细，下降过度拟合。在这些层之上，你在每一个卷积层后都有一个ReLU，这能改善网络的非线性特征。根本上，网络在履行这些根本的功用时，还能一起考虑核算的才能。这篇论文还供给了更高等级的推理，包含的主题有稀少和严密联合。
上图为GoogLeNet的网络框图细节，其间“#3×3 reduce”，“#5×5 reduce”代表在3×3，5×5卷积操作之前运用1×1卷积的数量。输入图画为224x224x3，且都进行了零均值化的预处理操作，一切降维层也都是用了ReLU非线性激活函数。
如上图用到了辅佐分类器，Inception Net有22层深，除了终究一层的输出，其间间节点的分类作用也很好。因而在Inception Net中，还运用到了辅佐分类节点(auxiliary classifiers)，行将中心某一层的输出用作分类，并按一个较小的权重(0.3)加到终究分类成果中。这样相当于做了模型交融，一起给网络添加了反向传达的梯度信号，也供给了额定的正则化，关于整个Inception Net的练习很有裨益。
