溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

RDD操作文件數據讀寫的方法是什么

發布時間:2021-12-20 14:18:35 來源:億速云 閱讀:282 作者:iii 欄目:大數據

本篇內容主要講解“RDD操作文件數據讀寫的方法是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“RDD操作文件數據讀寫的方法是什么”吧!

要加載本地文件,必須采用“file:///”開頭的這種格式。執行上上面這條命令以后,并不會馬上顯示結果,因為,Spark采用惰性機制,只有遇到“行動”類型的操作,才會從頭到尾執行所有操作。

scala> val textFile = sc.textFile("file:///root/app/spark/input/word.txt")textFile: org.apache.spark.rdd.RDD[String] = file:///root/app/spark/input/word.txt MapPartitionsRDD[87] at textFile at <console>:24scala> textFile.firstres52: String = hello world

first()是一個“行動”(Action)類型的操作,會啟動真正的計算過程,從文件中加載數據到變量textFile中,并取出第一行文本。屏幕上會顯示很多反饋信息。
####saveAsTextFile
saveAsTextFile()是一個“行動”(Action)類型的操作,所以,馬上會執行真正的計算過程,從word.txt中加載數據到變量textFile中

到此,相信大家對“RDD操作文件數據讀寫的方法是什么”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

rdd
AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女