溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

HDFS如何實現讀寫操作

發布時間:2021-12-13 10:53:18 來源:億速云 閱讀:147 作者:小新 欄目:大數據

這篇文章主要介紹了HDFS如何實現讀寫操作,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

  1. import java.io.OutputStream;

  2. import java.net.URI;

  3. import java.net.URL;


  4. import org.apache.commons.io.IOUtils;

  5. import org.apache.hadoop.conf.Configuration;

  6. import org.apache.hadoop.fs.FSDataInputStream;

  7. import org.apache.hadoop.fs.FileSystem;

  8. import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

  9. import org.apache.hadoop.fs.Path;


  10. public class HdfsTest {


  11.     public static void main(String[] args) throws Exception {

  12.         write();

  13.     }


  14.     public static void read1(String url) throws Exception {

  15.         URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

  16.         System.out.println(IOUtils.toString(new URL(url).openStream()));

  17.     }

  18.     

  19.     public static void read2(String url) throws Exception {

  20.         Configuration conf = new Configuration();

  21.         FileSystem fs = FileSystem.get(URI.create(url), conf);

  22.         FSDataInputStream is = fs.open(new Path(url));

  23.         System.out.println(IOUtils.toString(is));

  24.         is.close();

  25.         fs.close();

  26.     }


  27.     public static void write() throws Exception {

  28.         String hdfsFile = "hdfs://192.168.202.134:9000/test/text2.txt";

  29.         Configuration conf = new Configuration();

  30.         FileSystem fs = FileSystem.get(URI.create(hdfsFile), conf, "andy");

  31.         OutputStream out = fs.create(new Path(hdfsFile), true);

  32.         out.write("new file text2.txt".getBytes());

  33.         out.close();

  34.         fs.close();

  35.         read1(hdfsFile);

  36.         read2(hdfsFile);

  37.     }

  38. }

感謝你能夠認真閱讀完這篇文章,希望小編分享的“HDFS如何實現讀寫操作”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女