溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題

發布時間:2021-12-06 14:21:45 來源:億速云 閱讀:189 作者:柒染 欄目:云計算

本篇文章為大家展示了怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。

在hadoop測試集群運行job的過程中發現部分運行失敗,有Cannot obtain block length for LocatedBlock,使用hdfs dfs -cat ${文件}的時候也報這個錯,看過代碼后發現是文件未被正常關閉(flume傳到hdfs上的,可能由于Namenode長時間gc或者切換或者重啟會留下很多.tmp結尾的文件),為此,使用hadoop命令顯示處于打開狀態的文件,然后刪除這些文件:

hadoop fsck / -openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e "s/:$//" | xargs -i hadoop fs -rmr {};

然后重傳這些文件到hdfs。

上述內容就是怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女