Presto分布式安裝查詢Hive的步驟

# Presto分布式安裝查詢Hive的步驟

## 目錄
1. [Presto與Hive集成概述](#presto與hive集成概述)
2. [環境準備](#環境準備)
3. [Presto集群安裝](#presto集群安裝)
4. [Hive連接器配置](#hive連接器配置)
5. [跨集群網絡配置](#跨集群網絡配置)
6. [權限與安全配置](#權限與安全配置)
7. [性能調優建議](#性能調優建議)
8. [常見問題排查](#常見問題排查)

<a id="presto與hive集成概述"></a>
## 1. Presto與Hive集成概述

Presto作為開源的分布式SQL查詢引擎，通過連接器(Connector)架構實現對Hive數據倉庫的查詢能力。其核心優勢在于：
- **聯邦查詢**：同時查詢Hive與其他數據源（如MySQL、Kafka等）
- **低延遲**：內存計算模型比MapReduce更快
- **ANSI SQL支持**：完整支持標準SQL語法

![Presto-Hive架構](https://prestodb.io/assets/images/presto-architecture.png)

<a id="環境準備"></a>
## 2. 環境準備

### 2.1 硬件要求
| 節點類型       | 建議配置                      |
|----------------|-----------------------------|
| Coordinator    | 16核CPU/32GB內存/500GB SSD   |
| Worker         | 32核CPU/64GB內存/1TB SSD     |
| Hive Metastore | 8核CPU/16GB內存/500GB HDD    |

### 2.2 軟件依賴
- Java 8/11 (推薦Zulu JDK)
- Hadoop 3.x (HDFS)
- Hive 3.1.2+
- Presto 0.280+

### 2.3 網絡要求
```mermaid
graph LR
    A[Presto Coordinator] -->|9083| B[Hive Metastore]
    A -->|8020| C[HDFS NameNode]
    D[Presto Worker] -->|9083| B
    D -->|8020| C

3. Presto集群安裝

3.1 下載與解壓

wget https://repo1.maven.org/maven2/io/prestosql/presto-server/350/presto-server-350.tar.gz
tar -xzf presto-server-350.tar.gz -C /opt
ln -s /opt/presto-server-350 /opt/presto

3.2 節點配置

coordinator節點配置etc/config.properties:

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
discovery.uri=http://coordinator-ip:8080

worker節點配置etc/config.properties:

coordinator=false
http-server.http.port=8080
discovery.uri=http://coordinator-ip:8080

3.3 基礎配置

etc/node.properties:

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/presto/data

4. Hive連接器配置

4.1 創建Hive Catalog

etc/catalog/hive.properties:

connector.name=hive-hadoop2
hive.metastore.uri=thrift://hive-metastore-host:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
hive.allow-drop-table=true
hive.max-partitions-per-writers=1000

4.2 分區處理配置

# 動態分區配置
hive.recursive-directories=true
hive.max-partitions-per-scan=100000

# ORC優化
hive.orc.predicate-pushdown.enabled=true
hive.orc.bloom-filters.enabled=true

5. 跨集群網絡配置

5.1 Kerberos認證

hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=hive/_HOST@EXAMPLE.COM
hive.metastore.client.principal=presto/_HOST@EXAMPLE.COM
hive.metastore.client.keytab=/etc/presto/presto.keytab

5.2 HDFS透明加密

<!-- core-site.xml -->
<property>
  <name>hadoop.security.key.provider.path</name>
  <value>kms://https@kms-server:9600/kms</value>
</property>

6. 權限與安全配置

6.1 基于Ranger的權限控制

hive.security=allow-all|read-only|ranger
hive.ranger.policy-rest-endpoint=http://ranger-admin:6080
hive.ranger.service-name=hive_dev

6.2 SQL標準權限

-- 創建角色
CREATE ROLE analyst;
GRANT SELECT ON hive.schema.table TO ROLE analyst;

7. 性能調優建議

7.1 內存配置

etc/jvm.config:

-server
-Xmx24G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M

7.2 查詢優化參數

# 并發控制
task.concurrency=8
task.max-worker-threads=64

# 內存管理
query.max-memory-per-node=8GB
query.max-total-memory-per-node=10GB

8. 常見問題排查

8.1 連接問題

# 檢查Metastore連通性
telnet hive-metastore 9083
nc -zv hdfs-namenode 8020

8.2 性能問題分析

-- 查看慢查詢
SELECT * FROM system.runtime.queries WHERE elapsed_time > interval '5' minute;

8.3 錯誤代碼處理

最佳實踐提示：生產環境建議配置監控系統（Prometheus+Grafana）監控以下指標： - 查詢成功率 - 平均響應時間 - Worker節點負載均衡 “`