在Hive中，可以使用DISTINCT關鍵字來實現去重。以下是一個簡單的示例：
假設我們有一個名為my_table的表，其中包含以下列：id, name, age。我們希望查詢不重復的name和age組合。
SELECT DISTINCT name, age
FROM my_table;
這將返回一個結果集，其中包含my_table表中所有不重復的name和age組合。
如果你需要在數據驗證過程中實現去重，可以在將數據加載到Hive表之前，先使用DISTINCT關鍵字對數據進行去重。例如，假設你有一個名為input_data的CSV文件，其中包含以下列：id, name, age。你可以使用以下命令將去重后的數據加載到Hive表中：
CREATE TABLE my_table (
id INT,
name STRING,
age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
INSERT INTO TABLE my_table
SELECT DISTINCT name, age
FROM input_data;
這樣，你就可以確保my_table表中的數據是不重復的。
