在Hive中,可以使用DISTINCT關鍵字進行數據去重。以下是一個簡單的示例:
假設我們有一個名為my_table的表,其中包含以下列:id, name, age。
my_table的表:CREATE TABLE my_table (
id INT,
name STRING,
age INT
);
INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 30);
INSERT INTO my_table (id, name, age) VALUES (2, 'Bob', 25);
INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 30); -- 重復數據
INSERT INTO my_table (id, name, age) VALUES (3, 'Charlie', 22);
DISTINCT關鍵字查詢去重后的數據:SELECT DISTINCT id, name, age
FROM my_table;
這將返回以下結果:
id name age
1 Alice 30
2 Bob 25
3 Charlie 22
請注意,DISTINCT關鍵字將應用于所有列。如果你只想針對某些列進行去重,可以在DISTINCT后面列出這些列,例如:
SELECT DISTINCT id, name
FROM my_table;
這將僅根據id和name列進行去重。