大数据浅析
究竟什么是大数据(Big data)呢?大数据通常是用来描绘许多的非结构化或半结构化的数据，这样的数据要想将他们转化为联系型数据用作日后剖析运用所需的前期处理需求花费昂扬的价值。而大数据技能，便是从各品种型的数据中快速取得有价值信息的技能。
一般来说大数据有这样 4 个特色：容量(Volume)、品种(Variety)、价值(Value)和速度(Velocity)。前面咱们只谈到的大容量，这个是咱们最好了解 的，但大数据并不只要大容量，其包含的数据类型也是多种多样的，在许多的数据中往往有用有价值的数据很少也即价值密度很低，最终当然要求处理速度够快，比 如你用 Google 查找引擎去查找相关感兴趣的内容，其能够很快的检索到你需求的内容，谁也不想为此等上数分钟。
“按图索骥”背面的机器学习技能：自动学习和半监督
下面的讨论咱们将大数据限制到图画上。在《探寻“找图”的最佳办法》有谈到，
依据你输入的文字，然后找到与之相关的图片，仍然是查找引擎寻觅图片的底子办法：依据文字词义的了解。
关于经过文本标签做图画检索 Google 早早将该技能融入到其查找引擎中，包含后来的 Bing 。要完成这样的查找是需求建立在数以万计乃至数以亿计的许多图画数据根底之上的，不但要首要取得这样的数据并且还需求对这些数据进行类别标示，这其中就包 括增加文本标签。但这样的作业明显太费人力，本钱价值极端昂扬。
为了处理这样的问题，有两种机器学习范畴的技能发挥重要作用：自动学习技能和半监督学习技能。
自动学习技能，以图画分类为例，便是运用少数已符号的图画去学习一个分类模型，然后依据这个模型对未符号图画进行剖析。依据各种原则，剖析这些未标 记图画中最不能判定是哪个类别的图画，再交由人来分类符号。跟着这个进程不断进行，练习集不断增大，当要求的精度满意时中止迭代，剩下的未符号样本就能够 经过之前学习到的分类模型悉数自动分类，经过理论和许多试验可知这样需求人来参加分类符号的图画是很少的，这也就大大降低了本钱。
半监督学习技能，与自动学习比较，其又运用了未符号图画的结构信息—可能是图画的流形信息，使得最终的判别愈加牢靠。但研究所运用的数据集都不大， 假如将这些算法搬到大数据上所花费的时刻本钱也是巨大的。假如单靠一种分类器无法满意功用要求时，咱们就需求测验选用集成办法将多个分类器或多种不同分类 器进行结合来处理大规模数据，假如再结合并行的思维将使集成办法更如虎添翼。
依据图片内容查找的技能
尽管 Google 于 2008 年提出图片直接查找服务，但那时其技能与其他竞赛对手比较可真是差强人意。图画直接查找的老牌服务供给者是 TinEye , 自从 2008 年呈现就要比 Google 的算法愈加准确，能够十分准确的在整个互联网上匹配到你需求的方针图画并且查找速度十分快。像这种依据内容的图画查找有许多优点，比方有时你底子不知道你想要查找的方针叫什么，当然也就无法经过文本去查找。
而这种依据内容的图画检索一般分为三步：
·将方针图片进行特征提取，首要便是经过各种特征提取算法比方现在最好的便是 SIFT 描绘子(Descriptor )，这样就不用对图片进行像素级的处理削减运算量。
·将图画特征进行编码，并将海量图画编码做成库或表。(假如方针图画分辨率很高，也能够进行下采样削减运算量后再进行特征提取和编码)。
·相似度匹配核算，运用方针图画的编码值在图画查找引擎中的图画库进行大局或部分相似度核算，相似度高的预保存下来，然后能够进行进一步的挑选。得到的这些图画也能够作为其他机器学习办法的练习数据集。
跟着这几年图画查找技能的日趋老练，Google 也全面改进了图画查找技能，现在也能够完成依据内容的图画查找，同 Tineye 相似也能够将图片直接拖进查找框中或许把图画的 URL 地址直接仿制进查找框中，便能够得到相关图画。
依据 Neal Krawetz 博士的解说，Google 选用了”感知哈希算法”(Perceptual hash algorithm)，给每张图片生成“指纹”，经过比较“指纹”的近似值，以找出相似的图片。在这一进程中，Google 所做的工作包含：
缩小图片尺度：将图片的尺度缩小到 8 x 8，去除图片细节，保存底子结构、明暗等信息;
·转化色彩：将色彩转化为 64 级灰度;
·核算平均值：核算一切像素的灰度平均值;
·比较像素的灰度：比较每个像素的灰度与灰度平均值之间的差异;
·核算哈希值：将比较成果组合在一起，便得到图片的“指纹”信息。
【弥补】Google 的这种办法也不能说完美无瑕——假如图片中有搅扰噪声比方增加了文字或其他遮挡物，那查找成果将很不相同，由于哈希值会变得十分离谱，那个办法只能用来从 低像素的图片搜高像素的图片(要求哈希值简直相同)，而不能搜到相关强的图片(可能有适度的遮挡或文字等信息，哈希值大不相同)，使用规模较为狭隘。
实例：用 Google 来按图索骥
这儿咱们做了一个测验，将 Anne Hathaway 的这幅图片作为方针图片，将其拖到 TinEye 和 Google 图片查找引擎中去查找，留意如图 1 所示，咱们成心更改了图片称号(文字标示)。图 2 和图 3 分别为 TinEye 与 Google 图片查找的成果。
图 1 咱们成心将图片的称号取作 Google Chrome.png
TinEye 的查找成果
查找的成果
能够看出，检索成果都适当准确，包含给出了图片出自的网址，Google 图片查找乃至给出了图片上人物名字的猜想，尽管不是完全正确但也是适当了不得了。 TinEye 的数据库与 Google 的比较相对来说小些，信任不就的将来也会得到扩大。供给具有相似功用的还有比如 Incogna 以及 百度识图 等。
核算机看到的图片不仅仅是成百上千的像素，其需求从中剖析色彩，亮度，然后进行图片的特征提取，以现在最具实力的 Google 为例，Google 选用了超大规模的实时并行核算。自 2010 年以来 Google 查找引擎发生了严重革新，将其查找搬迁到了新的软件渠道 Caffeine 使得查找愈加高效，其能够对来自互联网的几百亿张图片进行实时的图画特征匹配，然后愈加快速的反使用户相关的查找成果。这些都需求大数据布景下机器学习等 技能作为坚实的后台。而数据发掘技能又是大数据布景下机器学习使用的另一个重要范畴。谁能尽早的向数据“掘金”，谁就能在往后的剧烈竞赛中先拔头筹。
