HDFS產生背景是什么

小編給大家分享一下HDFS產生背景是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

HDFS產生背景

隨著數據量越來越大，在一個操作系統存不下所有的數據，那么就分配到更多的操作系統管理的磁盤中，但是不方便管理和維護，迫切需要一種系統來管理多臺機器上的文件，這就是分布式文件管理系統。HDFS只是分布式文件管理系統中的一種。

HDFS定義

HDFS（ Hadoop Distributed File System），它是一個文件系統，用于存儲文件，通過目錄樹來定位文件；其次，它是分布式的，由很多服務器聯合起來實現其功能，集群中的服務器有各自的角色

關鍵詞：文件系統，分布式

使用場景

適合一次寫入，多次讀出的場景，且不支持文件的修改。適合用來做數據分析，并不適合用來做網盤應用

優點

• 高容錯性（1）數據自動保存多個副本。它通過增加副本的形式，提高容錯性。 （2）某一個副本丟失以后，它可以自動恢復

• 適合處理大數據（1）數據規模：能夠處理數據規模達到GB、TB、甚至PB級別的數據： （2）文件規模：能夠處理百萬規模以上的文件數量，數量相當之大 （3）可構建在廉價機器上，通過多副本機制，提高可靠性

缺點

• 不適合低延時數據訪問，比如毫秒級的存儲數據，是做不到的

• 無法高效的對大量小文件進行存儲

（1）存儲大量小文件的話，它會占用 Namenode大量的內存來存儲文件目錄和塊信息。這樣是不可取的，因為 Namenode的內存總是有限的：
（2）小文件存儲的尋址時間會超過讀取時間，它違反了HDFS的設計目標。

• 不支持并發寫入、文件隨機修改HDFS

（1）一個文件只能有一個寫，不允許多個線程同時寫：
（2）僅支持數據 
append（追加），不支持文件的隨機修改

HDFS組成架構圖

HDFS文件塊大小

思考：快為什么不能設置太小，也不能設置太大呢？

（1）HDFS的塊設置太小，會增加尋址時間，程序一直在找塊的開始位置：（2）HDFS的塊比磁盤的塊大，其目的是為了最小化尋址開銷：（3）如果塊設置的太大，從磁盤傳輸數據的時間會明顯大于定位這個塊開始位置所需的時間。導致程序在處理這塊數據時，會非常慢。

以上是“HDFS產生背景是什么”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！