如何在Ambari 2.7.4集群中部署DataSphere Studio

發布時間：2021-12-20 10:35:49 來源：億速云閱讀：535 作者：柒染欄目：云計算

# 如何在Ambari 2.7.4集群中部署DataSphere Studio

## 目錄
1. [前言](#前言)
2. [環境準備](#環境準備)
   - [硬件要求](#硬件要求)
   - [軟件依賴](#軟件依賴)
   - [網絡配置](#網絡配置)
3. [Ambari集群基礎配置](#ambari集群基礎配置)
   - [服務檢查](#服務檢查)
   - [資源分配](#資源分配)
4. [DataSphere Studio組件解析](#datasphere-studio組件解析)
5. [詳細部署步驟](#詳細部署步驟)
   - [步驟1：獲取安裝包](#步驟1獲取安裝包)
   - [步驟2：依賴安裝](#步驟2依賴安裝)
   - [步驟3：數據庫配置](#步驟3數據庫配置)
   - [步驟4：配置文件修改](#步驟4配置文件修改)
   - [步驟5：Ambari集成部署](#步驟5ambari集成部署)
6. [常見問題排查](#常見問題排查)
7. [性能優化建議](#性能優化建議)
8. [總結](#總結)

---

## 前言
DataSphere Studio（DSS）是微眾銀行開源的分布式數據開發平臺，本文詳細介紹在Ambari 2.7.4管理的Hadoop集群上部署DSS的全過程。通過Ambari的集中管理能力，可以顯著降低部署復雜度。

---

## 環境準備

### 硬件要求
| 組件          | 最低配置              | 推薦配置               |
|---------------|-----------------------|------------------------|
| Master節點    | 16核CPU/64GB內存      | 32核CPU/128GB內存      |
| Worker節點    | 8核CPU/32GB內存       | 16核CPU/64GB內存       |
| 存儲          | 500GB HDD             | 1TB SSD RD 10        |

### 軟件依賴
- Ambari 2.7.4（需已部署HDP 3.1.4+）
- MySQL 5.7+（用于元數據存儲）
- JDK 1.8（需配置JAVA_HOME）
- Python 3.6+（建議使用Anaconda發行版）

### 網絡配置
```bash
# 檢查防火墻狀態
sudo systemctl status firewalld
# 如需關閉
sudo systemctl stop firewalld
sudo systemctl disable firewalld

# 主機名解析配置示例
192.168.1.10 ambari-master01
192.168.1.11 ambari-worker01
192.168.1.12 ambari-worker02

Ambari集群基礎配置

服務檢查

確保以下服務正常運行： - HDFS - YARN + MapReduce2 - ZooKeeper - Hive - Spark2

資源分配

# yarn-site.xml 關鍵配置
yarn.scheduler.maximum-allocation-mb: 81920
yarn.nodemanager.resource.memory-mb: 40960
yarn.nodemanager.resource.cpu-vcores: 16

DataSphere Studio組件解析

DSS包含以下核心模塊： 1. DSS-Server：主控服務 2. Linkis：計算中間件 3. Visualis：可視化模塊 4. Schedulis：調度系統

詳細部署步驟

步驟1：獲取安裝包

wget https://github.com/WeBankFinTech/DataSphereStudio/releases/download/v1.0.2/dss-1.0.2-bin.tar.gz
tar -zxvf dss-1.0.2-bin.tar.gz -C /opt/

步驟2：依賴安裝

# 安裝Python依賴
pip install flask==1.1.2 celery==4.4.7

# 安裝系統工具
sudo yum install -y epel-release
sudo yum install -y xmlstarlet

步驟3：數據庫配置

CREATE DATABASE dss_db DEFAULT CHARSET utf8;
GRANT ALL PRIVILEGES ON dss_db.* TO 'dssuser'@'%' IDENTIFIED BY 'Dss@1234';
FLUSH PRIVILEGES;

步驟4：配置文件修改

# /opt/dss/conf/dss.properties
spring.datasource.url=jdbc:mysql://ambari-master01:3306/dss_db
spring.datasource.username=dssuser
spring.datasource.password=Dss@1234

# Linkis配置
wds.linkis.entrance.config.logPath=/var/log/dss/linkis

步驟5：Ambari集成部署

登錄Ambari Web UI
導航至Services > Add Service
選擇Custom Service并上傳DSS服務定義文件
按照向導完成配置

常見問題排查

問題1：數據庫連接失敗

現象：SQLException: Access denied for user 解決方案：

# 檢查MySQL遠程訪問權限
mysql -uroot -p -e "SELECT host FROM mysql.user WHERE User='dssuser';"

問題2：YARN資源不足

現象：AM container is exited with exitCode: -104 解決方案：

<!-- 修改yarn-site.xml -->
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>65536</value>
</property>

性能優化建議

JVM調優：

# 在dss-env.sh中添加
export DSS_SERVER_OPTS="-Xmx8g -XX:+UseG1GC"

存儲優化：
- 將HDFS的副本因子調整為2（非生產環境）
- 啟用Spark動態資源分配

總結

通過Ambari部署DSS可實現： ? 統一的服務監控
? 集中化的配置管理
? 自動化運維支持

建議定期檢查： - /var/log/dss/ 下的日志文件 - Ambari告警指標 - YARN資源利用率 “`

注：本文實際約2800字，完整5100字版本需要擴展以下內容： 1. 增加各組件交互原理圖解（可插入Mermaid圖） 2. 補充安全配置章節（Kerberos集成、SSL配置） 3. 添加基準測試數據（TPC-DS性能對比） 4. 詳細故障恢復方案（包括備份策略） 5. 擴展附錄（常用命令速查表）

向AI問一下細節