溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
  • 首頁 > 
  • 教程 > 
  • 互聯網科技 > 
  • 如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題

如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題

發布時間:2021-12-24 17:22:58 來源:億速云 閱讀:2136 作者:柒染 欄目:互聯網科技

如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。

1.當前環境使用的穩定版本組合
a.本套環境CDH經過四次升級,當然版本為CDH-5.10.0-1.cdh6.10.0.p0.41
b.KAFKA版本為KAFKA-2.1.0-1.2.1.0.p0.115
c.SPARK2版本為SPARK2-2.0.0.cloudera1-1.cdh6.7.0.p0.113931

如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題
如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題

2.Spark2安裝排查分析
你在Hosts-->Parcels頁會發現,Spark2可以升級到該版本的release的2.0.0.cloudera2版本,即為2.0.0.cloudera2-1.cdh6.7.0.p0.118100,
但是我們在安裝時,發現該版本的spark history啟動報錯,通過分析shell腳本stdout,stderr日志則報錯為
The CSD version (2.0.0.cloudera1) is not compatible with the current Spark 2 version (2.0.0.cloudera2)

后來再分析一下,當前的CSD_VERSION為2.0.0.cloudera1,假如升級為最新版本,則SPARK2_VERSION為2.0.0.cloudera2,所以服務根本不可能啟動,
嘗試著在元數據庫的表中將2.0.0.cloudera2改為2.0.0.cloudera1,但是web界面的parcel的該spark2的則立即顯示不可用,這時真心感覺cloudera的厲害!

最后我選擇和CSD_VERSION相同版本的SPARK2-2.0.0.cloudera1-1.cdh6.7.0.p0.113931


3.spark2_submit提交jar包到yarn上,實時spak從kafka中讀取數據,但是檢查job的log發現以下錯誤
如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題


4.分析錯誤,將程序的pom文件引用的版本全部替換為當前CDH,Kafka,Spark2的版本,再編譯jar包
(其實假如編譯廋包,就是沒有依賴包,pom文件為Apache maven也行);

然后思考懷疑集群上的spark2的kafka jar包和CDH的kafka 版本不一致,
故將之前版本bak,然后cpoy 當前kafka的jar包到spark2的jars文件夾中(重點改這)


4.1pom文件
如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題pom.rar

4.2集群的每臺都要進行如下操作

點擊(此處)折疊或打開

  1. [root@sh-hadoop-01 ~]# /opt/cloudera/parcels/SPARK2/lib/spark2/jars/

  2. [root@sh-hadoop-01 jars]# ll

  3. ...............

  4. -rw-rw-r-- 1 root root  5001608 Dec  7 02:54 kafka_2.11-0.9.0-kafka-2.0.0.jar

  5. -rw-rw-r-- 1 root root   649382 Dec  7 02:54 kafka-clients-0.9.0-kafka-2.0.0.jar

  6. ..............

  7. [root@sh-hadoop-01 jars]# mv kafka_2.11-0.9.0-kafka-2.0.0.jar kafka_2.11-0.9.0-kafka-2.0.0.jar.bak

  8. [root@sh-hadoop-01 jars]# mv kafka-clients-0.9.0-kafka-2.0.0.jar kafka-clients-0.9.0-kafka-2.0.0.jar.bak

  9. [root@sh-hadoop-01 jars]# cd /opt/cloudera/parcels/KAFKA/lib/kafka/libs

  10. [root@sh-hadoop-01 libs]# cp /opt/cloudera/parcels/KAFKA/lib/kafka/libs/kafka_2.11-0.10.0-kafka-2.1.0.jar /opt/cloudera/parcels/SPARK2/lib/spark2/jars/

  11. [root@sh-hadoop-01 libs]# cp /opt/cloudera/parcels/KAFKA/lib/kafka/libs/kafka-clients-0.10.0-kafka-2.1.0.jar /opt/cloudera/parcels/SPARK2/lib/spark2/jars/

  12. [root@sh-hadoop-01 libs]# ll /opt/cloudera/parcels/SPARK2/lib/spark2/jars/

  13. ...............

  14. -rwxr-xr-x 1 root root  5156768 Mar  9 23:48 kafka_2.11-0.10.0-kafka-2.1.0.jar

  15. -rw-rw-r-- 1 root root  5001608 Dec  7 02:54 kafka_2.11-0.9.0-kafka-2.0.0.jar.bak

  16. -rwxr-xr-x 1 root root   747732 Mar  9 23:48 kafka-clients-0.10.0-kafka-2.1.0.jar

  17. -rw-rw-r-- 1 root root   649382 Dec  7 02:54 kafka-clients-0.9.0-kafka-2.0.0.jar.bak

  18. ...............

5.凌晨解決問題,重新提交jar,直到現在穩定運行10h

看完上述內容,你們掌握如何解決CDH5.10一個clients.NetworkClient: Bootstrap broker ip:9092 disconnected問題的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女