HBase的元數據(Metadata)主要包含以下幾個部分的信息:
- Cluster ID:標識HBase集群的唯一ID。
- Zookeeper Quorum:HBase使用ZooKeeper來管理元數據,這個字符串就是ZooKeeper集群的地址。
- Cluster Time:集群的時間戳,用于標識集群中各個節點的狀態一致性。
- Global MemStore Size:全局MemStore的大小,即所有RegionServer上MemStore的總大小。
- Total Region Count:當前集群中的Region總數。
- Total Store Count:當前集群中的Store(即RegionServer)總數。
- Total BlockCache Size:BlockCache的總大小。
- Total HFile Count:當前集群中所有的HFile文件數量。
- ** Compaction State**:當前HBase的Compaction狀態,包括大小、開始時間、完成時間等。
- Bloom Filter Type:HBase使用的布隆過濾器類型。
- Block Cache Hit Ratio:BlockCache的命中率。
- Region Server Load Average:RegionServer的平均負載。
- DataNodes Count:集群中DataNode(HDFS上的數據節點)的數量。
- WAL (Write Ahead Log) Count:WAL文件的數量。
- Table Descriptors:表描述信息,包括表名、列族、版本號等。
- Region Descriptors:Region描述信息,包括起始和結束Key、所在RegionServer等。
- Store File Descriptors:每個Store(RegionServer上的存儲單元)中的StoreFile描述信息。
- HFile Descriptors:每個HFile文件的描述信息。
- User Metadata:用戶自定義的元數據。
- Replication Metadata:關于HBase表數據復制的信息。
- Security Metadata:關于HBase表訪問權限的信息。
- Timestamps:與時間戳相關的元數據,例如表的創建時間、修改時間等。
- Block Mismatch Count:Block不匹配的數量,用于檢測數據不一致。
- Online Region Servers:在線RegionServer的狀態信息。
- Offline Region Servers:離線RegionServer的狀態信息。
- Pending Compactions:待執行的Compaction任務信息。
- Compacted Regions:已經執行Compaction操作的Region信息。
- Small Compactions:小文件Compaction的信息。
- Large Compactions:大文件Compaction的信息。
- Split/Merge Region Events:Region分裂和合并的事件信息。
- Region Server Metrics:RegionServer的性能指標。
- WAL Metrics:WAL的性能指標。
- Block Cache Metrics:BlockCache的性能指標。
- Region Metrics:Region的性能指標。
- Store Metrics:Store的性能指標。
- Cluster Metrics:整個集群的性能指標。
- GC Metrics:垃圾回收(GC)的性能指標。
- JVM Heap Metrics:Java虛擬機(JVM)堆內存的性能指標。
- File System Metrics:文件系統的性能指標。
- Network Metrics:網絡性能指標。
- Disk Metrics:磁盤性能指標。
- CPU Metrics:CPU性能指標。
- Memory Metrics:內存性能指標。
- Load Balancer Metrics:負載均衡器的性能指標。
- Region Load Balancer Metrics:Region負載均衡器的性能指標。
- Block Cache Eviction Metrics:BlockCache驅逐的性能指標。
- WAL Rolling Metrics:WAL滾動(例如由于文件大小限制)的性能指標。
- HBase Version:HBase的版本信息。
- Hadoop Version:運行HBase的Hadoop版本信息。
- Configuration Information:HBase的配置信息,包括hbase-site.xml等配置文件的值。
這些元數據信息存儲在HBase的HDFS上,并且會被HBase Master和RegionServer進程使用,以確保集群的狀態同步、故障恢復、負載均衡等功能。