今日看到一些感兴趣的东西，现在总结了给咱们共享一下，假如有错，期望咱们纠正批判，谢谢!那就开端进入正题。
先从简略的说起来吧!
一、根本改换：层
一般的神经网络是由一层一层堆叠而成的，可是每层终究在做啥呢?
我从三个方面讲述一下：
数学公式
Y=a*(W*X+b)11
其间Y是输出量，X是输入量，a()是一个激活函数，W是权重矩阵，b是偏置向量。每一层都是经过该公式简略的得到输出Y。
数学了解
经过如下5种对输入空间(输入向量的调集)的操作，完结输入空间—>输出空间的改换(矩阵的行空间到列空间)。
注：用“空间”二字是指被分类的并不是单个事物，而是一类事物。空间是指这类事物一切个别的调集。
升维/降维
扩大/缩小
旋转
平移
“曲折”
这5种操作中，1,2,3的操作由 W*X完结的，4的操作是由+b完结的，5的操作则是由 a()来完结。
每层的数学了解：
用线性改换跟随着非线性改动，将输入空间投向另一个空间。11
物理了解
对 W*X的了解便是经过组合构成新物质，a()又契合了咱们所在的国际都是非线性的特色。
设想情形： X是二维向量，维度是碳原子和氧原子的数量 [C;O]，数值且定为 [1;1]。若确认 Y是三维向量，就会构成如下网络的形状 (神经网络的每个节点表明一个维度)。经过改动权重的值，能够取得若干个不同物质。右侧的节点数决议了想要取得多少种不同的新物质(矩阵的行数)。
若权重 W 的数值如(1)，那么网络的输出Y就会是三个新物质，[二氧化碳，臭氧，一氧化碳]。
若削减右侧的一个节点，并改动权重 W 至(2)，那输出Y就会是两个新物质， [ O_{0.3} ;CO_{1.5}]。
若再加一层，便是再次经过组合 [CO2;O3;CO] 这三种根底物质，构成若干个更高层的物质。
若期望经过层网络能够从[C, O]空间改变到 [CO2;O3;CO]空间的话，那么网络的学习进程便是将 W 的数值变成尽或许挨近(1)的进程 。
重要的是这种组合思维，组合成的东西在神经网络中并不需求有物理含义,可所以笼统概念。
每层神经网络的物理了解：
经过现有的不同物质的组合构成新物质。11
二、了解视点
现在咱们知道了每一层的行为，但这种行为又是怎么完结辨认使命的呢?
数学视角：“线性可分”
一维情形
以分类为例，当要分类正数、负数、零，三类的时分，一维空间的直线能够找到两个超平面(比当时空间低一维的子空间。当时空间是平面的话，超平面便是点)切割这三类。但面对像分类奇数和偶数无法找到能够区别它们的点的时分，咱们凭借 x % 2(除2取余)的改变，把x改换到另一个空间下来比较0和非0，然后切割奇偶数。
二维情形
平面的四个象限也是线性可分。但下图的红蓝两条线就无法找到一超平面去切割。
神经网络的解决方法依旧是转化到别的一个空间下，用的是所说的5种空间改换操作。比方下图便是经过扩大、平移、旋转、歪曲原二维空间后，在三维空间下就能够成功找到一个超平面切割红蓝两线 (同SVM的思路相同)。
上面是一层神经网络能够做到的空间改动。若把Y作为新的输入再次用这5种操作进行第二遍空间改换的话，网络也就变为了二层。终究输出是：
Y=a2(W2*(a1*(W1*X +b1))+b2)11
设想当网络具有许多层时，对原始输入空间的“歪曲力”会大幅添加，如下图，终究咱们能够轻松找到一个超平面切割空间。
该Gif图太大，无法上传，请读者自行幻想空间改换
当然也有如下图失利的时分，关键在于“怎么歪曲空间”。所谓监督学习便是给予神经网络网络许多的练习比方，让网络从练习比方中学会怎么改换空间。每一层的权重 W 就操控着怎么改换空间，咱们终究需求的也便是练习好的神经网络的一切层的权重矩阵。这儿有十分棒的可视化空间改换Demo，一定要翻开测验并感触这种歪曲进程。 更多内容请看Neural Networks, Manifolds, and Topology.
线性可分视角：神经网络的学习便是学习怎么使用矩阵的线性改换加激活函数的非线性改换，将原始输入空间投向线性可分/稀少的空间去分类/回归。
添加节点数：添加维度，即添加线性转化才能。
添加层数：添加激活函数的次数，即添加非线性转化次数。
物理视角：“物质组成”
类比：
回想上文由碳氧原子经过不同组合构成若干分子的比方。若从分子层面持续迭代这种组合思维，能够构成DNA，细胞，安排，器官，终究能够构成一个完好的人。持续迭代还会有家庭，公司，国家等。这种现象在身边随处可见。并且原子的内部结构与太阳系又惊人的相似。不同层级之间都是以相似的几种规矩再不断构成新物质。你也或许听过火形学这三个字。可经过观看从1米到150亿光年来感触自然界这种层级现象的普遍性。
人脸辨认情形：
咱们能够模仿这种思维并应用在画面辨认上。由像素组成菱角，再组成五官，最后到不同的人脸。每一层代表不同的物质层面 (如分子层)。每层的 W存储着怎么组合上一层的物质然后构成若干新物质。 假如咱们彻底把握一架飞机是怎么从分子开端一层一层构成的，拿到一堆分子后，咱们就能够判别他们是否能够以此构成方法，构成一架飞机。 附：Tensorflow playground展现了数据是怎么“活动”的。
物质组成视角：神经网络的学习进程便是学习物质组成方法的进程。
添加节点数：添加同一层物质的品种，比方118个元素的原子层就有118个节点。
添加层数：添加更多层级，比方分子层，原子层，器官层，并经过判别更笼统的概念来辨认物体。
三、“深层”的考虑：真的只要这些原因吗?
依照上文在了解视角中所述的观念，能够想出下面两条理由关于为什么更深的网络会愈加简单辨认，添加包容变异体(variation)(红苹果、绿苹果)的才能、鲁棒性(robust)。
数学视角：变异体(variation)许多的分类的使命需求高度非线性的切割曲线。不断的使用那5种空间改换操作将原始输入空间像“捏橡皮泥相同”在高维空间下捏成更为线性可分/稀少的形状：可视化空间改换。
物理视角：经过对“笼统概念”的判别来辨认物体，而非细节。比方对“飞机”的判别，即使人类自己也无法用言语或许若干条规矩来解说自己怎么判别一个飞机。因为人脑中真实判别的不是是否“有机翼”、“能飞翔”等细节现象，而是一个笼统概念。层数越深，这种概念就越笼统，所能包括的变异体就越多，就能够包容战斗机，客机等许多种不同品种的飞机。
但是深层神经网络的惊人体现真的只要这些原因吗? 为什么神经网络过深后，猜测的体现又变差? 并且这时变差的原因是因为“过深”吗?(何凯明教师已经有给出具体解说，有空我把深度残差网络总结给贴出来>=·=<)
