準備工作
創建 ambari-server 的數據庫以及連接用戶，且授權 # mysql -u root -p CREATE DATABASE ambari DEFAULT CHARSET=utf8; CREATE USER '<AMBARIUSER>'@'%' IDENTIFIED BY '<AMBARIPASSWORD>'; GRANT ALL PRIVILEGES ON ambari.* TO '<AMBARIUSER>'@'%'; # 刪除MySQL默認的匿名賬戶，此處省略。 FLUSH PRIVILEGES;
# mysql -u ambari -p SHOW DATABASES; SHOW GRANTS; # 導入結構表 SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
mysql-jdbc 連接器wget http://java.com/****/mysql-connector-java-5.1.40.tar.gz tar xf mysql-connector-java-5.1.40.tar.gz cd mysql-connector-java-5.1.40 mkdir /usr/share/java cp mysql-connector-java-5.1.40-bin.jar /usr/share/java/ cd /usr/share/java ln -s mysql-connector-java-5.1.40-bin.jar mysql-connector-java.jar
或者直接 yum 安裝 mysql-connector-java 即可。
#VERSION_NUMBER=2.4.2.0-136 [Updates-ambari-2.4.2.0] name=ambari-2.4.2.0 - Updates baseurl=http://172.17.20.21/ambari/ gpgcheck=1 gpgkey=http://172.17.20.21/ambari/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
[HDP-2.5.3.0] name=HDP Version - HDP-2.5.3.0 baseurl=http://172.17.20.21/HDP/centos6/ gpgcheck=1 gpgkey=http://172.17.20.21/HDP/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [HDP-UTILS-2.5.3.0] name=HDP-UTILS Version - HDP-UTILS-2.5.3.0 baseurl=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/ gpgcheck=1 gpgkey=http://172.17.20.21/HDP-UTILS-1.1.0.21/repos/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
yum install ambari-server
yum安裝ambari-server 需要依賴安裝 postgresql，ambari-server 是需要數據庫支持的，默認為PostgreSQL，也可以選擇 MySQL （這里因為依賴關系，先安裝PostgreSQL，后續不用，改用安裝MySQL即可）。
yum install ambari-agent
在集群內所有的成員主機上手動安裝 ambari-agent
使用命令：
ambari-server setup Using python /usr/bin/python Setup ambari-server Checking SELinux... SELinux status is 'disabled' Customize user account for ambari-server daemon [y/n] (n)? # ambari-server以root身份運行 Adjusting ambari-server permissions and ownership... Checking firewall status... Checking JDK... [1] oracle jdk 1.8 + java cryptography extension (jce) policy files 8 [2] oracle jdk 1.7 + java cryptography extension (jce) policy files 7 [3] custom jdk # 如果本地已經安裝有jdk，那么選擇這一項，否則ambari初始化的時候會通過yum源安裝jdk ============================================================================== Enter choice (1): 3 WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts. WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please makesure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts. Path to JAVA_HOME: /opt/java/jdk # 指定本地已經安裝好的jdk路徑，也就是環境變量 JAVA_HOME 的值。 Validating JDK on Ambari Server...done. Completing setup... Configuring database... Enter advanced database configuration [y/n] (n)? y # 是否需要自定義數據庫配置 Configuring database... ============================================================================== Choose one of the following options: [1] - PostgreSQL (Embedded) # 默認使用PostgreSQL [2] - Oracle [3] - MySQL / MariaDB # 我們這里選擇本地安裝的MySQL [4] - PostgreSQL [5] - Microsoft SQL Server (Tech Preview) [6] - SQL Anywhere [7] - BDB ============================================================================== Enter choice (1): 3 Hostname (localhost): Port (3306): # 是否需要指定數據庫端口，默認3306 Database name (ambari): # 是否需要指定ambari 的數據庫，默認ambari庫 Username (ambari): # 是否需要指定ambari-server的數據庫用戶，默認ambari Enter Database Password (bigdata): # 是否需要使用默認的數據庫連接密碼，默認為bigdata Re-enter password: Configuring ambari database... Copying JDBC drivers to server resources... Configuring remote database connection properties... WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema:/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql Proceed with configuring remote database connection properties [y/n] (y)? y # 初始化數據庫連接數據 Extracting system views... ............. Adjusting ambari-server permissions and ownership... Ambari Server 'setup' completed successfully. # successfully 配置完成
啟動ambari-server服務：
service ambari-server start Using python /usr/bin/python Starting ambari-server Ambari Server running with administrator privileges. Organizing resource files at /var/lib/ambari-server/resources... Ambari database consistency check started... No errors were found. Ambari database consistency check finished Server PID at: /var/run/ambari-server/ambari-server.pid Server out at: /var/log/ambari-server/ambari-server.out Server log at: /var/log/ambari-server/ambari-server.log Waiting for server start.................... Ambari Server 'start' completed successfully.
配置完成后web頁面打開 http://HOST_IP:8080 即可，安裝完成后默認登錄密碼為 admin 
點擊 Launch install Wizard 開始安裝和配置集群。
-1. 集群命名
-2. 選擇 HDP 版本 
我這里由于本地源的版本是2.5，就選擇默認的2.5版本
選擇 Use Local Repository （各集群主機均要從yum源安裝角色包，默認為官方源）。
刪除其余無關的系統類別
填入HDP源 以及 HDP-UTILS 的 Base URL
-3. 填入集群所有主機的 FQDN 名稱。 上傳或粘貼私鑰（集群內所有主機均信任的 ssh 私鑰）。 
點擊注冊和確認按鈕過后，ambari-server 會通過上一步指定的本地源地址，使用該ssh私鑰 連接到所有的集群內主機安裝必要的 ambari-agent 等包，以及創建各服務運行的系統用戶。
-4. 提交集群初始化配置 
這一步就是檢測集群內各成員主機是否安裝有 ambari-agent ,如果沒有安裝，那么程序會自動通過yum安裝，前提是得事先配置好yum源。
需要配置好集群內各成員主機的ntpd服務，并啟動服務。
推薦關閉內核的 Transparent Huge Pages (THP) 功能，方法是在 grub.conf 的 kenel 啟動參數中追加配置 transparent_hugepage=never 重啟即可。
-5. 選擇需要安裝的服務 
-6. 分配集群內各主機的master角色 
-7. 分配集群內各主機的Slave角色 
-8. 自定義配置各服務的參數 
可以配置DataNode DataNode的存儲目錄，存儲空間大小，內存分配大小等。
-9. 之前的配置匯總預覽 
-10. 開始部署 
如遇錯誤提示，可以點擊 Message 查看報錯詳情。
yum -y install lzo lzo-devel hadooplzo hadooplzo-native
Web端的配置： 
找到 Advanced core-site 項，在 io.compression.codecs 的原有value值中添加 com.hadoop.compression.lzo.LzoCodec
找到 Custom core-site 項，添加key為 io.compression.codec.lzo.class 且值為 com.hadoop.compression.lzo.LzoCodec 。
保存配置。 重啟集群服務即可。
測試lzo：執行
hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/test_lzo lzo
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
