Flink 配備マニュアル

注：Flinkデプロイには、HadoopクラスタとZookeeperデプロイの完了と開始が必要です。

環境準備のため

Flinkパッケージのダウンロード

cd /export/software

wget -P /export/software/ https://mirrors.huaweicloud.com/apache/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

Flinkの解凍

tar -zxvf flink-1.18.0-bin-scala_2.12.tgz -C /export/servers/

cd /export/servers

mv flink-1.18.0 flink

環境変数の設定

sudo vim /etc/profile

ファイルの末尾に追加：

#Flink环境变量
export FLINK_HOME=/export/servers/flink 
export PATH=$PATH:$FLINK_HOME/bin

環境変数のリフレッシュ

source /etc/profile

Flinkの構成

Hadoop 環境の構成

cd $FLINK_HOME

mkdir -p conf/hadoop 

cp /export/servers/hadoop/etc/hadoop/core-site.xml conf/hadoop/ 

cp /export/servers/hadoop/etc/hadoop/hdfs-site.xml conf/hadoop/

flink-conf.yamlの設定

vim conf/flink-conf.yaml

ファイルの最後に追加します（コピー &ペーストすると、すべてのコンテンツが元のレベルに#を追加しますので、余分な#を削除します）：

# 1.指定高可用模式为 ZooKeeper (利用现有的 zk 集群)
high-availability: zookeeper

# 2. 指定 ZooKeeper 集群地址 (参考文档中 ZooKeeper 章节的配置)
high-availability.zookeeper.quorum: hadoop01:2181,hadoop02:2181,hadoop03:2181

# 3. Flink 元数据在 HDFS 上的存储路径 (注意: mycluster 是你的 HDFS 逻辑名称)
high-availability.storageDir: hdfs://mycluster/flink/ha/

# 4. JobManager 的内存 (根据你的机器配置调整，文档中建议最低 4G 内存)
jobmanager.memory.process.size: 2048m

# 5. TaskManager 的内存和槽位
taskmanager.memory.process.size: 4096m
taskmanager.numberOfTaskSlots: 4

# 6. 指定 Hadoop 配置路径 (指向上面复制的文件夹)
env.java.opts: "-Dhadoop.user.group.static.mapping.overrides=hadooper:hadooper"

HDFSでディレクトリを作成する

注意：以下のコマンドを入力して、ドキュメントの起動方法に従ってHadoopクラスタを起動します。

hdfs dfs -mkdir -p /flink/ha

hdfs dfs -chown -R hadooper:hadooper /flink

タスクの開始と提出

モード1（Per-Jobモード）

Flink Sessionの開始 YARN 上

cd $FLINK_HOME

./bin/yarn-session.sh -d -jm 1024 -tm 4096 -s 4 -nm flink-on-yarn-session

ジョブの発行

./bin/flink run ./examples/streaming/WordCount.jar

モード2（アプリケーションモード）

セッションを開始せずにYARNに直接ジョブを送信

./bin/flink run-application -t yarn-application ./examples/streaming/WordCount.jar

検証済み

YARN Web UIを見る

ブラウザを開き、http//nsrhadoop01のIP 8088にアクセスします。 起動コマンドで指定した名前のRUNNING 状態のアプリケーションが表示されるはずです（例：flink-on-yarn-session）

Flink Web UIを見る

すべてのタスクが完了すると、YARNが正常に表示されている限り、UIインターフェイスは開きません。

ブラウザでHadoop01のIPとコンソールに表示されるポート番号を入力します。 例：192.16 8.1.1 - 39491