這篇文章給大家介紹SparkSQL訪問Hive遇到的問題及解決方法是什么,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
需要先將hadoop的core-site.xml,hive的hive-site.xml拷貝到project中
測試代碼
報錯
查看源碼
解決方法
將$HIVE_HOME/lib下的spark-hive_2.11-2.4.2.jar與spark-hive-thriftserver_2.11-2.4.2.jar添加到project中
繼續報錯
查看源碼
進入ConfVars
發現ConfVars中定義的變量并沒有METASTORE_CLIENT_SOCKET_LIFETIME,而HiveConf.java來自于hive-exec-1.1.0-cdh6.7.0.jar,即證明hive1.1.0中并沒有假如該參數。
解決方法
將hive依賴換為1.2.1
繼續報錯
解決方法
這是因為遠端沒有啟動hive造成的,啟動hive時需要配置metastore。
關于SparkSQL訪問Hive遇到的問題及解決方法是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。