這篇文章給大家分享的是有關Hadoop怎樣配置的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
1. 設置SSH免密碼登錄
注意兩點:
自己跟自己的ssh免登也要設置;
需要在/etc/hosts中把localhost設置為自己的IP.
如果設置之后依然需要輸入密碼,可能是.ssh的權限問題,嘗試以下命令
chown root /root/.ssh chown root /root/.ssh/* chmod 700 /root/.ssh chmod 600 /root/.ssh/*
2. 修改etc/hadoop目錄和sbin目錄下的配置文件
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://backup01:8020</value> <description>For namenode listening</description> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>backup01:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>backup01:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>backup01:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>backup01:8033</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>backup01:9001</value> </property> </configuration>
hadoop-env.sh
在文件開頭增加Java路徑
export JAVA_HOME=/usr/local/jdk export HADOOP_PID_DIR=/usr/local/hadoop/tmp
yarn-env.sh
在文件開頭增加Java路徑
export JAVA_HOME=/usr/local/jdk
master (注意3.x.x不需要配置master這個文件)
將backup01作為secondary namenode
backup01
slaves (注意3.x.x對應為workers文件)
backup02
sbin/yarn-daemon.sh
在開頭增加一下代碼
export YARN_PID_DIR=/usr/local/hadoop/tmp
3.x.x版本Hadoop所需的額外操作
需要在sbin路徑下修改start-dfs.sh、stop-dfs.sh、start-yarn.sh和stop-yarn.sh 4個文件,否則運行hadoop時會拋出以下錯誤:
Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
將start-dfs.sh,stop-dfs.sh兩個文件頂部下一行添加以下參數
#!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=root HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh、stop-yarn.sh頂部也需添加以下參數:
#!/usr/bin/env bash YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=root YARN_NODEMANAGER_USER=root
3. 輸入以下命令以格式化HDFS
hdfs namenode -format
4. 啟動Hadoop
$./bin/start-dfs.sh $./bin/start-yarn.sh
5. 輸入以下命令驗證Hadoop是否啟動成功
hadoop fs -mkdir /in hadoop fs -ls /
感謝各位的閱讀!關于“Hadoop怎樣配置”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。