以下是在Ubuntu上進行HDFS數據備份的方法:
hdfs dfsadmin -allowSnapshot /path
允許在目標目錄創建快照,再用hdfs dfs -createSnapshot /path snapshot_name
創建快照,可通過hdfs dfs -ls -r /path/.snapshot
查看快照。hadoop distcp hdfs://source-cluster/path hdfs://target-cluster/path
命令在不同HDFS集群間復制數據,可實現全量或增量備份。#!/bin/bash
,定義源目錄和目標目錄,用tar
命令打包源目錄并上傳到HDFS,再通過crontab -e
設置定時任務定期執行腳本。