在Ubuntu下配置Apache Flink,需要按照以下步驟進行操作:
安裝Java開發環境(JDK)
Flink需要Java運行環境,因此首先需要安裝Java。推薦使用OpenJDK 8或更高版本??梢酝ㄟ^以下命令安裝OpenJDK 8:
sudo apt-get update
sudo apt-get install openjdk-8-jdk
安裝完成后,設置JAVA_HOME環境變量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
下載并解壓Flink
從Flink官網(https://flink.apache.org/downloads.html)下載最新版本的Flink。然后將其解壓到一個目錄中,例如/opt/flink。
cd /opt
sudo wget https://downloads.apache.org/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz
sudo tar -xzf flink-1.13.2-bin-scala_2.11.tgz
sudo mv flink-1.13.2 flink
配置Flink
編輯Flink的配置文件,位于/opt/flink/conf/flink-conf.yaml??梢愿鶕嶋H情況修改以下參數:
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
其中,jobmanager.rpc.address和jobmanager.rpc.port分別表示JobManager的IP地址和端口號;jobmanager.memory.process.size和taskmanager.memory.process.size分別表示JobManager和TaskManager的內存大??;taskmanager.numberOfTaskSlots表示每個TaskManager可以運行的任務數量;parallelism.default表示默認的并行度。
配置環境變量
為了方便使用Flink命令,可以將Flink的bin目錄添加到PATH環境變量中。編輯~/.bashrc文件,添加以下內容:
export PATH=$PATH:/opt/flink/bin
保存并關閉文件,然后執行以下命令使更改生效:
source ~/.bashrc
啟動Flink
使用以下命令啟動Flink:
start-cluster.sh
啟動成功后,可以通過訪問http://localhost:8081查看Flink的Web界面。
提交Flink任務
可以使用以下命令提交Flink任務:
flink run -c com.example.MyJob myjob.jar
其中,com.example.MyJob是任務的主類,myjob.jar是包含任務代碼的JAR文件。
至此,已經成功配置了Flink在Ubuntu系統下的運行環境。