溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

SparkSQL訪問Hive遇到的問題及解決方法是什么

發布時間:2021-12-07 11:36:37 來源:億速云 閱讀:394 作者:柒染 欄目:大數據

這篇文章給大家介紹SparkSQL訪問Hive遇到的問題及解決方法是什么,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。

需要先將hadoop的core-site.xml,hive的hive-site.xml拷貝到project中

測試代碼

SparkSQL訪問Hive遇到的問題及解決方法是什么

報錯

SparkSQL訪問Hive遇到的問題及解決方法是什么

查看源碼

SparkSQL訪問Hive遇到的問題及解決方法是什么

解決方法

將$HIVE_HOME/lib下的spark-hive_2.11-2.4.2.jar與spark-hive-thriftserver_2.11-2.4.2.jar添加到project中

繼續報錯

SparkSQL訪問Hive遇到的問題及解決方法是什么

查看源碼

SparkSQL訪問Hive遇到的問題及解決方法是什么

進入ConfVars

SparkSQL訪問Hive遇到的問題及解決方法是什么

發現ConfVars中定義的變量并沒有METASTORE_CLIENT_SOCKET_LIFETIME,而HiveConf.java來自于hive-exec-1.1.0-cdh6.7.0.jar,即證明hive1.1.0中并沒有假如該參數。

解決方法

將hive依賴換為1.2.1

SparkSQL訪問Hive遇到的問題及解決方法是什么

繼續報錯

SparkSQL訪問Hive遇到的問題及解決方法是什么

解決方法

這是因為遠端沒有啟動hive造成的,啟動hive時需要配置metastore。

關于SparkSQL訪問Hive遇到的問題及解決方法是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女