在之前的格物汇文章中，咱们介绍了特征抽取的经典算法——主成分剖析(PCA)，了解了PCA算法实质上是进行了一次坐标轴旋转，尽可能让数据映射在新坐标轴方向上的方差尽可能大，而且让原数据与新映射的数据在间隔的改变上尽可能小。方差较大的方向代表数据含有的信息量较大，主张保存。方差较小的方向代表数据含有的信息量较少，主张放弃。今日咱们就来看一下PCA的详细运用事例和特征映射的另一种办法：线性判别剖析(LDA)。
PCA事例
在机器学习中，所运用的数据往往维数很大，咱们需求运用降维的办法来突显信息含量较大的数据，PCA便是一个很好的降维办法。下面咱们来看一个详细的运用事例，为了简略起见，咱们运用一个较小的数据集来展现：
清楚明了，咱们数据有6维，维数尽管不是许多但不必定代表数据不行以降维。咱们运用sklearn中的PCA算法拟合数据集得到如下的成果：
咱们能够看到通过PCA降维后仍然生成了新的6个维度，可是数据映射在每一个维度上的方差巨细不相同。咱们会对每一个维度上的方差进行归一化，每一个维度上的方差量咱们称为可解说的方差量(Explained
Variance)。由图可知，每一个维度上可解说方差占比为：0.4430，0.2638，0.1231，0.1012，0.0485，0.0204。依据经历来说咱们期望可解说的方差量累计值在80%以上较好，因而咱们能够挑选降维降到3维(82.99%)或许4维(93.11%)，括号中的数字为累计可解说的方差量，终究两维方差解说只要7%不到，主张舍去。图中的柱状图表明原维度在新坐标轴上的映射向量巨细。在前两维度上体现如下图所示：
PCA尽管能完成很好的降维作用，可是它却是一种无监督的办法。实际上咱们愈加期望关于有类别标签的数据(有监督)，也能完成降维，而且降维后能更好的区别每一个类。此刻，特征抽取的另一种经典算法——线性判别剖析(LDA)就闪亮上台了。
LDA简介
LDA是一种监督学习的降维技能，也便是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技能。LDA的思维能够用一句话归纳，便是“投影后类内方差最小，类间方差最大”。什么意思呢?
咱们要将数据在低维度上进行投影，投影后期望每一种类别数据的投影点尽可能的挨近，而不同类别的数据的类别中心之间的间隔尽可能的大。
上图中供给了两种投影办法，哪一种能更好的满意咱们的规范呢?从直观上能够看出，右图要比左图的投影作用好，由于右图的黑色数据和蓝色数据各个较为会集，且类别之间的间隔显着。左图则在鸿沟处数据稠浊。LDA的降维作用更像右图，它能在新坐标轴上优先区别出两个类别，它是怎么完成的呢?
LDA的原理
LDA的首要思维是“投影后类内方差最小，类间方差最大”。实质上便是很好的区别出两个类的散布。咱们知道衡量数据散布的两个重要目标是均值和方差，关于每一个类，他们的界说如下：
与PCA相同，LDA也是对数据的坐标轴进行一次旋转，假定旋转的搬运矩阵是w，那么新的旋转数据能够表明为：
同理，两个类别的中心点也转化成了:
咱们求解这个最优化问题，即可求出搬运改换矩阵w,即LDA的终究成果。
PCA vs LDA
LDA用于降维，和PCA有许多相同，也有许多不同的当地，因而值得好好的比较一下两者的降维异同点。首要咱们看看相同点：
1、两者均能够对数据进行降维
2、两者在降维时均运用了矩阵特征分化的思维
3、两者都假定数据契合高斯散布
咱们接着看看不同点：
1、LDA是有监督的降维办法，而PCA是无监督的降维办法
2、LDA降维最多降到类别数k-1的维数，而PCA没有这个约束
3、LDA除了能够用于降维，还能够用于分类
4、LDA挑选分类功能最好的投影方向，而PCA挑选样本点投影具有最大方差的方向
在某些数据散布下LDA比PCA降维较优(左图)，在某些数据散布下，PCA比LDA降维较优。
好了，以上便是本期格物汇的内容，咱们下期见。
