大数据是对海量数据进行存储、核算、核算、剖析处理的一系列处理手法，处理的数据量通常是TB级，乃至是PB或EB级的数据，这是传统数据处理手法所无法完结的，其触及的技能有分布式核算、高并发处理、高可用处理、集群、实时性核算等，聚集了当时IT范畴抢手盛行的IT技能。
想要学好大数据需把握以下技能：
1. Java编程技能
Java编程技能是大数据学习的根底，Java是一种强类型言语，具有极高的跨渠道才能，能够编写桌面运用程序、Web运用程序、分布式体系和嵌入式体系运用程序等，是大数据工程师最喜欢的编程东西，因而，想学好大数据，把握Java根底是必不可少的!
2.Linux指令
关于大数据开发通常是在Linux环境下进行的，比较Linux操作体系，Windows操作体系是关闭的操作体系，开源的大数据软件很受约束，因而，想从事大数据开发相关作业，还需把握Linux根底操作指令。真实的大数据工程师，linux指令是横着写很长，不是一句一句履行的，尤其是大数据工程师需求检测cpu，内存，网络IO等各种开支，就需求把握各种指令，指令首要分为这几种，一是检查各种进程的相关信息，其间包含cpu或许内存等从高究竟，或许是前十等等。二是排查毛病，结合linux和java的各种指令快速定位到问题呈现的要害当地。三是扫除体系长期运用过慢原因等。
3.Hadoop
Hadoop是大数据开发的重要结构，Hadoop分HDFS和Map/reduce，HDFS是Hadoop的首要分布式存储。一个HDFS集群首要由一个NameNode(办理文件体系的元数据)和存储实践数据的DataNode组成。HDFS为海量的数据供给了存储，完成了存取优化。Hadoop的MapReduce是一个软件结构，为海量的数据供给了核算，可便当地编写运用程序处理很多的数据(多是TB数据集)，因而，需求要点把握，除此之外，还需求把握Hadoop集群、Hadoop集群办理、YARN以及Hadoop高档办理等相关技能与操作!
4.HBase
HBase是Hadoop的数据库，HBase是一个分布式的、面向列的开源数据库，它供给了随机，实时读/写访问大数据，并进行了优化承载非常大的数据表 – 数十亿行乘以百万列 -，完成服务器硬件之上集群。不同于一般的联系数据库，更合适于非结构化数据存储的数据库，是一个高牢靠性、高性能、面向列、可弹性的分布式存储体系，在其中心Apache HBase是一个分布式的面向列的数据库，归于谷歌的Bigtable：Apache HBase在Hadoop和HDFS之上供给了类似于Bigtable的才能。大数据开发需把握HBase根底知识、运用、架构以及高档用法等。
5.Hive
Hive是根据Hadoop的一个数据仓库东西，便当简略的数据汇总东西，能够将结构化的数据文件映射为一张数据库表，并供给简略的sql查询功用，能够将sql句子转换为MapReduce使命进行运转，非常合适数据仓库的核算剖析。一起，这言语也能够让传统的map / reduce程序员嵌入他们的自定义maperhe reducer.关于Hive需把握其装置、运用及高档操作等。
6.ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式运用供给一致性服务的软件，一种集中式的服务(负载平衡器)，供给的功用包含：装备保护、域名服务、分布式同步、组件服务等，并供给集体服务。Apache ZooKeeper和谐运转在Hadoop集群上的分布式运用程序。在大数据开发中要把握ZooKeeper的常用指令及功用的完成办法。
7.phoenix
phoenix是用Java编写的根据JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追寻、业务、用户自定义函数、二级索引、命名空间映射、数据搜集、行时刻戳列、分页查询、跳动查询、视图以及多租户的特性，大数据开发需把握其原理和运用办法。
8.Avro与Protobuf
Avro与Protobuf均是数据序列化体系，能够供给丰厚的数据结构类型，非常合适做数据存储，还可进行不同言语之间彼此通讯的数据交换格局，学习大数据，需把握其详细用法。
9.Cassandra
Apache Cassandra是一个高性能，可扩展性和高线性可用的数据库，能够运转在服务器或云根底设施上，为要害使命数据供给完美的渠道，。 Cassandra支撑多个数据中心之间仿制是同类产品中最好，为用户供给更低的推迟，乃至不惧怕停电。 Cassandra的数据模型供给了便当的列索引，高性能企图和强壮的内置缓存。
10.Kafka
Kafka是一种高吞吐量的分布式发布订阅音讯体系，其在大数据开发运用上的意图是经过Hadoop的并行加载机制来一致线上和离线的音讯处理，也是为了经过集群来供给实时的音讯。大数据开发需把握Kafka架构原理及各组件的效果和运用办法及相关功用的完成!
11.Chukwa
是一个开源大型分布式体系的数据搜集监督体系。它是建立在Hadoop分布式文件体系(HDFS)和Map/ Reduce结构之上，并承继了Hadoop的可弹性性和健壮性。 Chukwa还包含一个灵敏而强壮的东西包，用于显现，监测和剖析成果，以便做出最佳地运用所搜集的数据。
12.Flume
Flume是一款高可用、高牢靠、分布式的海量日志搜集、聚合和传输的体系，Flume支撑在日志体系中定制各类数据发送方，用于搜集数据;一起，Flume供给对数据进行简略处理，并写到各种数据接受方(可定制)的才能。大数据开发需把握其装置、装备以及相关运用办法。
