溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何使用docker搭建Flink并查看flink版本

發布時間:2021-09-07 11:24:03 來源:億速云 閱讀:967 作者:chen 欄目:大數據
# 如何使用Docker搭建Flink并查看Flink版本

## 前言

Apache Flink 是一個開源的流處理框架,支持高吞吐、低延遲的大規模數據處理。使用 Docker 可以快速部署 Flink 環境,避免復雜的本地配置。本文將詳細介紹如何通過 Docker 搭建 Flink 集群,并演示如何查看 Flink 版本信息。

---

## 一、環境準備

### 1. 安裝 Docker
確保已安裝 Docker 環境:
```bash
# 檢查Docker版本
docker --version
# 輸出示例:Docker version 20.10.17, build 100c701

2. 拉取 Flink 鏡像

官方提供了多個版本的 Flink Docker 鏡像,推薦使用官方鏡像:

docker pull apache/flink:latest

注意:可通過 apache/flink:<tag> 指定版本,如 1.16.0。


二、啟動 Flink 集群

1. 單機模式(Standalone)

適用于快速測試:

docker run -d --name flink-standalone \
  -p 8081:8081 \
  apache/flink:latest \
  standalone-job
  • -p 8081:8081:將容器內 Flink Web UI 端口映射到宿主機。
  • standalone-job:啟動一個獨立的任務管理器。

2. 集群模式(Session Cluster)

更接近生產環境的部署方式:

# 啟動JobManager
docker run -d --name flink-jobmanager \
  -p 8081:8081 \
  -e JOB_MANAGER_RPC_ADDRESS=jobmanager \
  apache/flink:latest \
  jobmanager

# 啟動TaskManager(需與JobManager同網絡)
docker run -d --name flink-taskmanager \
  -e JOB_MANAGER_RPC_ADDRESS=jobmanager \
  apache/flink:latest \
  taskmanager

三、訪問 Flink Web UI

通過瀏覽器訪問 http://localhost:8081,可查看: - 集群狀態 - 運行中的任務 - TaskManager 信息

如何使用docker搭建Flink并查看flink版本


四、查看 Flink 版本

方法1:通過容器內命令行

# 進入容器
docker exec -it flink-standalone /bin/bash

# 執行Flink版本命令
./bin/flink --version
# 輸出示例:Version: 1.16.0, Commit ID: 1b659b0

方法2:通過Web UI

在 Web UI 的 “Overview” 頁面底部會顯示版本號。

方法3:查看鏡像元數據

docker inspect apache/flink:latest | grep "FLINK_VERSION"

五、常見問題解決

1. 端口沖突

8081 端口被占用,可修改映射端口:

docker run -d -p 9090:8081 ...

2. 資源不足

通過 -m 限制容器內存:

docker run -d -m 2g ...

3. 持久化數據

掛載本地目錄保存 Checkpoint 數據:

docker run -v /host/path:/flink/checkpoints ...

六、擴展:提交測試任務

驗證集群是否正常工作:

# 提交WordCount示例任務
docker exec flink-standalone \
  ./bin/flink run ./examples/streaming/WordCount.jar

結語

通過 Docker 部署 Flink 可以極大簡化環境配置流程。本文介紹了單機和集群兩種部署方式,并提供了多種查看版本的途徑。對于生產環境,建議使用 Docker Compose 或 Kubernetes 進行更復雜的編排。

參考文檔: - Flink 官方 Docker 指南 - Docker 官方文檔 “`

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女