本篇內容主要講解“RDD操作文件數據讀寫的方法是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“RDD操作文件數據讀寫的方法是什么”吧!
要加載本地文件,必須采用“file:///”開頭的這種格式。執行上上面這條命令以后,并不會馬上顯示結果,因為,Spark采用惰性機制,只有遇到“行動”類型的操作,才會從頭到尾執行所有操作。
scala> val textFile = sc.textFile("file:///root/app/spark/input/word.txt")textFile: org.apache.spark.rdd.RDD[String] = file:///root/app/spark/input/word.txt MapPartitionsRDD[87] at textFile at <console>:24scala> textFile.firstres52: String = hello world
first()是一個“行動”(Action)類型的操作,會啟動真正的計算過程,從文件中加載數據到變量textFile中,并取出第一行文本。屏幕上會顯示很多反饋信息。
####saveAsTextFile
saveAsTextFile()是一個“行動”(Action)類型的操作,所以,馬上會執行真正的計算過程,從word.txt中加載數據到變量textFile中
到此,相信大家對“RDD操作文件數據讀寫的方法是什么”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。