溫馨提示×

hive加載數據如何進行數據去重

小樊
113
2024-12-22 07:33:54
欄目: 大數據

在Hive中,可以使用DISTINCT關鍵字進行數據去重。以下是一個簡單的示例:

假設我們有一個名為my_table的表,其中包含以下列:id, name, age。

  1. 首先,創建一個名為my_table的表:
CREATE TABLE my_table (
  id INT,
  name STRING,
  age INT
);
  1. 向表中插入一些重復的數據:
INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 30);
INSERT INTO my_table (id, name, age) VALUES (2, 'Bob', 25);
INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 30); -- 重復數據
INSERT INTO my_table (id, name, age) VALUES (3, 'Charlie', 22);
  1. 使用DISTINCT關鍵字查詢去重后的數據:
SELECT DISTINCT id, name, age
FROM my_table;

這將返回以下結果:

id  name    age
1   Alice   30
2   Bob     25
3   Charlie 22

請注意,DISTINCT關鍵字將應用于所有列。如果你只想針對某些列進行去重,可以在DISTINCT后面列出這些列,例如:

SELECT DISTINCT id, name
FROM my_table;

這將僅根據idname列進行去重。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女