主頁 > 知識庫 > Hadoop3.2.0集群搭建常見注意事項(xiàng)

Hadoop3.2.0集群搭建常見注意事項(xiàng)

熱門標(biāo)簽:智能電銷機(jī)器人真的有用么 企業(yè)辦理400電話收費(fèi)標(biāo)準(zhǔn) 電銷智能機(jī)器人試用 高德地圖標(biāo)注足跡怎么打標(biāo) 中國地圖標(biāo)注上各個(gè)省 撫州市城區(qū)地圖標(biāo)注 激光標(biāo)記地圖標(biāo)注 百度地圖底圖標(biāo)注 新鄉(xiāng)牧野400電話申請

一 端口變化

3.2.0版本中namenode頁面端口是9870,datanode管理端口是8088,所以需要開放這兩個(gè)端口還給web頁面訪問

二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation

hadoop-env.sh中不光需要配置java-home,還需要聲明下面這些用戶變量,不然無法啟動(dòng):

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath屬性

<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>

四 salave文件編程workers文件了,內(nèi)容配置是一樣的

五 啟動(dòng)成功不報(bào)錯(cuò),但最蛋疼的Live Nodes為0問題

解決步驟:

一 先查看datanode 日志:

如果出現(xiàn)這個(gè)說明連接配置有問題,查看core-site.xml配置,這個(gè)是配置datanode和namnode通信的:

一看

這里配置的連接地址有問題

hdfs應(yīng)該配置成namnode的地址,不能配置成datanode的地址,所有節(jié)點(diǎn)都一樣,這個(gè)地址,配置完成重啟成功

網(wǎng)上還有說/etc/hots解析不成功的,這個(gè)也是一個(gè)原因,配置好域名映射就可以了,重要的是先看日志分析是什么問題

最后成功頁面

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

標(biāo)簽:南通 延安 海西 西安 忻州 臨汾 邯鄲 辛集

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Hadoop3.2.0集群搭建常見注意事項(xiàng)》,本文關(guān)鍵詞  Hadoop3.2.0,集群,搭建,常見,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Hadoop3.2.0集群搭建常見注意事項(xiàng)》相關(guān)的同類信息!
  • 本頁收集關(guān)于Hadoop3.2.0集群搭建常見注意事項(xiàng)的相關(guān)信息資訊供網(wǎng)民參考!
  • 企业400电话

    智能AI客服机器人
    15000

    在线订购

    合计11份范本:公司章程+合伙协议+出资协议+合作协议+股权转让协议+增资扩股协议+股权激励+股东会决议+董事会决议

    推薦文章