大數據零基礎學習hadoop入門教程

1、Hadoop生態概況

Hadoop是一個由Apache基金會所開發的分布式系統集成架構，用戶可以在不了解分布式底層細節情況下，開發分布式程序，充分利用集群的威力來進行高速運算與存儲，具有可靠、高效、可伸縮的特點

Hadoop的核心是YARN,HDFS,Mapreduce,常用模塊架構如下

?

2、HDFS

源自谷歌的GFS論文，發表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop體系中數據存儲管理的基礎，它是一個高度容錯的系統，能檢測和應對硬件故障

HDFS簡化了文件一致性模型，通過流式數據訪問，提供高吞吐量應用程序數據訪問功能，適合帶有大型數據集的應用程序，它提供了一次寫入多次讀取的機制，數據以塊的形式，同時分布在集群不同物理機器

3、Mapreduce

源自于谷歌的MapReduce論文，用以進行大數據量的計算，它屏蔽了分布式計算框架細節，將計算抽象成map和reduce兩部分

4、HBASE(分布式列存數據庫)

源自谷歌的Bigtable論文，是一個建立在HDFS之上，面向列的針對結構化的數據可伸縮，高可靠，高性能分布式和面向列的動態模式數據庫

5、zookeeper

解決分布式環境下數據管理問題，統一命名，狀態同步，集群管理，配置同步等

6、HIVE

由Facebook開源，定義了一種類似sql查詢語言，將SQL轉化為mapreduce任務在Hadoop上面執行

7、flume

日志收集工具

8、yarn分布式資源管理器

是下一代mapreduce，主要解決原始的Hadoop擴展性較差，不支持多種計算框架而提出的，架構如下

?
對大數據以及人工智能概念都是模糊不清的，該按照什么線路去學習，學完往哪方面發展，想深入了解，想學習的同學歡迎加入大數據學習裙：606859705，有大量干貨（零基礎以及進階的經典實戰）分享給大家，讓大家了解到目前國內最完整的大數據高端實戰實用學習流程體系 。從java和linux入手，其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相關知識一一分享！

?

9、spark

spark提供了一個更快更通用的數據處理平臺，和Hadoop相比，spark可以讓你的程序在內存中運行

10、kafka

分布式消息隊列，主要用于處理活躍的流式數據

11、Hadoop偽分布式部署

目前而言，不收費的Hadoop版本主要有三個，都是國外廠商，分別是

1、Apache原始版本

2、CDH版本，對于國內用戶而言，絕大多數選擇該版本

3、HDP版本

這里我們選擇CDH版本hadoop-2.6.0-cdh6.8.2.tar.gz，環境是CentOS7.1，jdk需要1.7.0_55以上

[root@hadoop1 ~]# useradd hadoop

我的系統默認自帶的java環境如下

?

?

增加如下環境變量

?

?

做好如下授權

?

?

這里以Hadoop用戶來進行管理和啟動Hadoop的各種服務

?

?

查看服務啟動情況

?