深度学习是核算机范畴中现在十分火的论题，不只在学术界有许多论文，在业界也有许多实践运用。本篇博客首要介绍了三种根本的深度学习的架构，并对深度学习的原理作了简略的描绘。
简介
机器学习技能在今世社会现已发挥了很大的效果：从网络查找到交际网络中的内容过滤到电子商务网站的个性化引荐，它正在快速的出现在用户的消费品中，如摄像机和智能手机。机器学习体系能够用来辨认图画中的物体，将语音转变成文字，匹配用户感兴趣的新闻、音讯和产品等，也能够挑选相关的查找效果。这些运用越来越多的运用一种叫做“深度学习(Deep Learning)”的技能。
深度学习(Deep Learning)(也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或许是深度机器学习【Deep Machine Learning】)是一类算法调集，是机器学习的一个分支。它测验为数据的高层次摘要进行建模。以一个简略的比如来说，假定你有两组神经元，一个是承受输入的信号，一个是发送输出的信号。当输入层接收到输入信号的时分，它将输入层做一个简略的修正并传递给下一层。在一个深度网络中，输入层与输出层之间能够有许多的层(这些层并不是由神经元组成的，可是它能够以神经元的方法了解)，答应算法运用多个处理层，并能够对这些层的效果进行线性和非线性的转化。
译者弥补：深度学习的思维与人工神经网络思维是共同的。总的来说，神经网络是一种机器学习架构，一切的个别单元以权重的方法衔接在一起，且这些权重是经过网络来练习的，那么它就能够称之为神经网络算法。人工神经网络算法的思维来源于仿照人类大脑考虑的方法。人类大脑是经过神经体系得到输入信号再作出相应反映的，而承受外部影响的方法是用神经元承受神经末梢转化的电信号。那么，咱们期望经过人工神经元的方法仿照大脑的考虑，这就发生了人工神经网络了。人工神经元组成了人工神经网络的核算单元，而人工神经网络结构描绘了这些神经元的衔接方法。咱们能够选用层的方法安排神经元，层与层之间能够彼此衔接。曾经受制于许多要素，咱们无法添加许多层，而现在跟着算法的更新、数据量的添加以及GPU的开展，咱们能够用许多的层来开发神经网络，这就发生了深度神经网络。而深度学习其实便是深度神经网络的一个代名词。
近些年来，深度学习经过在某些使命中极佳的体现正在变革机器学习。深度学习方法在会话辨认、图画辨认、方针侦测以及如药物发现和基因组学等范畴体现出了惊人的准确性。可是，“深度学习”这个词语很陈旧，它在1986年由Dechter在机器学习范畴提出，然后在2000年有Aizenberg等人引进到人工神经网络中。而现在，因为Alex Krizhevsky在2012年运用卷积网络结构赢得了ImageNet竞赛之后遭到咱们的注目。
深度学习架构
1. 生成式深度架构(Generative deep architectures)，首要是用来描绘具有高阶相关性的可观测数据或许是可见的方针的特征，首要用于方法剖析或许是总和的意图，或许是描绘这些数据与他们的类别之间的联合散布。(其实便是相似与生成模型)
2. 判别式深度架构(Discriminative deep architectures)，首要用于供给方法分类的判别才能，常常用来描绘在可见数据条件下物体的后验类别的概率。(相似于判别模型)
3. 混合深度架构(Hybrid deep architectures)，方针是分类，可是和生成结构混合在一起了。比如以正在或许优化的方法引进生成模型的效果，或许运用判别标示来学习生成模型的参数。
虽然上述深度学习架构的分类比较杂乱，其实实践中对应的模型的比如便是深度前馈网络，卷积网络和递归神经网络(Deep feed-forward networks, Convolution networks and Recurrent Networks)。
深度前馈网络(Deep feed-forward networks)
深度前馈网络也叫做前馈神经网络，或许是多层感知机(Multilayer Perceptrons，MLPs)，是深度学习模型中的精粹。
前馈网络的方针是近似某些函数。例如，关于一个分类器，y=f(x)来说，它将一个输入值x变成对应的类别y。前馈网络便是界说一个映射y=f(x;θ)，并学习出参数θ使得发生最好的函数近似。
简而言之，神经网络能够界说成输入层，隐含层和输出层。其间，输入层承受数据，隐含层处理数据，输出层则输出终究效果。这个信息流便是承受x，经过处理函数f，在到达输出y。这个模型并没有任何的反应衔接，因而被称为前馈网络。模型如下图所示:
卷积神经网络(Convolution Neural Networks)
在机器学习中，卷积神经网络(简称CNN或许ConvNet)是一种前馈神经网络，它的神经元的衔接是启示于动物视觉皮层。单个皮质神经元能够对某个有限空间区域的影响作出反应。这个有限空间能够称为承受域。不同的神经元的承受域能够堆叠，从组成了一切的可见区域。那么，一个神经元对某个承受域内的影响作出反应，在数学上能够运用卷积操作来近似。也便是说，卷积神经网络是遭到生物处理的启示，规划运用最少的预处理的多层感知机的变体。
卷积神经网络在图画和视频辨认、引荐体系以及自然言语处理中都有广泛的运用。
LeNet是前期推进深度学习开展的卷积神经网络之一。这是Yann LeCun从1988年以来进行的许多词的成功迭代后得到的开创性作业，称之为LeNet5。在其时，LeNet架构首要用来进行字符辨认的作业，如读取邮编，数字等。卷积神经网络首要包括四块：
卷积层(Convolutional Layer)
激活函数(Activation Function)
池化层(Pooling Layer)
全衔接层(Fully Connected Layer)
卷积层(Convolutional Layer)
卷积层是依据单词“卷积(Convolution)”而来，这是一种数学上的操作，它是对两个变量f*g进行操作发生第三个变量。它和彼此关(cross-correlation)很像。卷积层的输入是一个m×m×r图画，其间m是图画的高度和宽度，r是通道的数量，例如，一个RGB图画的通道是3，即r=3。卷积层有k个滤波器【filters】(或许称之为核【kernel】)，其巨细是n×n×q，这儿的n是比图画维度小的一个数值，q既能够等于通道数量，也能够小于通道数量，详细依据不同的滤波器来定。滤波器的巨细导致了
激活函数(Activation Function)
为了完成杂乱的映射函数，咱们需求运用激活函数。它能够带来非线性的效果，而非线性能够使得咱们很好的拟合各种函数。一起，激活函数关于紧缩来自神经元的无界线性加权和也是重要的。
激活函数很重要，它能够防止咱们把大的数值在高层次处理中进行累加。激活函数有许多，常用的有sigmoid，tanh和ReLU。
池化层(Pooling Layer)
池化是一个依据样本的离散化进程。其意图上下降输入表明的采样(这儿的输入能够是图画，隐层的输出等)，削减它们的维度，并答应咱们假定特征现已被包括在了子区域中。
这部分的效果是经过供给一种笼统的方法表明来协助过拟合表明。相同的，它也经过削减了参数的数量下降了核算的杂乱度并为内部的表明供给一个根本的不变性的转化。
现在最常用的池化技能有Max-Pooling、Min-Pooling和Average-Pooling。下图是2*2滤波器的Ma-Pooling操作示意图。
全衔接层(Fully Connected Layer)
“全衔接”的意思是指从前的层里边的一切的神经元都与后一个层里边的一切的神经元相连。全衔接层是一种传统的多层感知机，在输出层，它运用softmax激活函数或许其他激活函数。
递归神经网络(Recurrent Neural Networks)
在传统的神经网络中，咱们假定一切的输入之间彼此独立。可是关于许多使命来说，这并不是一个好的主见。假如你想知道一个语句中下一个单词是什么，你最好知道之前的单词是什么。RNN之所以叫RNN便是它对一个序列中一切的元素都履行相同的使命，一切的输出都依靠于从前的核算。另一种考虑RNN的方法是它会记住一切之前的核算的信息。
一个RNN里边有许多循环，它能够带着从输入中带来的信息。如下图所示，x_t是一种输入，A是RNN里边的一部分，h_t是输出。本质上，您能够从语句中输入文字，乃至还能够从字符串中输入x_t格局的字符，经过RNN能够供给一个h_t。 RNN的一些类型是LSTM，双向RNN，GRU等。
因为任何输入和输出都能够在RNN中变成1对1或许多对多的方法，RNN能够用在自然言语处理、机器翻译、言语模型、图画辨认、视频剖析、图画生成、验证码辨认等范畴。下图展现了RNN或许的结构以及对模型的解说。
运用
深度学习有许多运用，许多特别的问题也能够经过深度学习处理。一些深度学习的运用举例如下：
是非图画的上色
深度学习能够用来依据方针及其情形来为图片上色，并且效果很像人类的上色效果。这中处理方案运用了很大的卷积神经网络和有监督的层来从头发明色彩。
机器翻译
深度学习能够对未经处理的言语序列进行翻译，它使得算法能够学习单词之间的依靠联系，并将其映射到一种新的言语中。大规模的LSTM的RNN网络能够用来做这种处理。
图画中的方针分类与检测
这种使命需求将图画分红之前咱们所知道的某一种类别中。现在这类使命最好的效果是运用超大规模的卷积神经网络完成的。打破性的发展是Alex Krizhevsky等人在ImageNet竞赛中运用的AlexNet模型。
主动发生手写体
这种使命是先给定一些手写的文字，然后测验生成新的相似的手写的效果。首先是人用笔在纸上手写一些文字，然后依据写字的笔迹作为语料来练习模型，并终究学习发生新的内容。
主动玩游戏
这项使命是依据电脑屏幕的图画，来决议怎么玩游戏。这种很难的使命是深度强化模型的研讨范畴，首要的打破是DeepMind团队的效果。
谈天机器人
一种依据sequence to sequence的模型来发明一个谈天机器人，用以答复某些问题。它是依据许多的实践的会话数据集发生的。
定论
从本篇博客来看，因为仿照了人类大脑，深度学习能够运用在许多范畴中。现在有许多范畴都在研讨运用深度学习处理问题。虽然现在信赖是个问题，可是它终将被处理。
