Hadoopの導入パッチ

1.このドキュメントのディレクティブはすべてHadoop01で入力されます（jps 検証を除く）。

2.Hadoop01では以下のコマンドを入力します。

sudo extend-r -l 100% F/dev/ubun-vg/ubun-lv

hadoop、zookeeper、jobHistoryクラスタの起動

ユーザーを切り替える

su hadooper

環境変数のロード

cd ../..

source etc/profile

ZooKeeperの起動

zkServer.sh start

ssh hadoop02 "bash -c 'source /etc/profile && zkServer.sh start'"

ssh hadoop03 "bash -c 'source /etc/profile && zkServer.sh start'"

Hadoopの起動

bash /export/servers/hadoop/sbin/start-all.sh

JobHistoryの起動

mapred --daemon start historyserver

ssh hadoop02 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

ssh hadoop03 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

Zookeeperの履歴を削除する

ZooKeeperクライアントへのアクセス

zkCli.sh

YARNの選挙ロックの削除

deleteall /yarn-leader-election

YARNの状態ストアの削除

deleteall /rmstore

HDFSのHAステータスの確認と削除

deleteall /hadoop-ha

ZooKeeperクライアントを終了する

quit

ファイルの置き換え

単一の命令です。

sshツール（finalshell\windtermなど）から新しいyarn-site.xmlファイルを/export/servers/hadoop/etc/hadoopパスにアップロードし、古いyarn-site.xmlファイルを上書きする または、コマンドラインで変更する場合は、以下の手順です。

cd /export/servers/hadoop/etc/hadoop

vim yarn-site.xml

ggdGと入力します大文字小文字を厳密に指定します。 Insertモードに入る新しいコンテンツを元のファイルに置き換える保存して終了する Hadoop 0 2へのリンク

scp /export/servers/hadoop/etc/hadoop/yarn-site.xml hadoop02:/tmp/ && \

ssh hadoop02 "sudo cp /tmp/yarn-site.xml /export/servers/hadoop/etc/hadoop && sudo rm /tmp/yarn-site.xml"

Hadoop 0 3へのリンク

scp /export/servers/hadoop/etc/hadoop/yarn-site.xml hadoop03:/tmp/ && \

ssh hadoop03 "sudo cp /tmp/yarn-site.xml /export/servers/hadoop/etc/hadoop && sudo rm /tmp/yarn-site.xml"

hadoop、zookeeper、jobHistoryクラスタの再起動

JobHistoryの閉鎖

mapred --daemon stop historyserver

ssh hadoop02 "bash -c 'source /etc/profile && mapred --daemon stop historyserver'"

ssh hadoop03 "bash -c 'source /etc/profile && mapred --daemon stop historyserver'"

Hadoopの閉鎖

bash /export/servers/hadoop/sbin/stop-all.sh

ZooKeeperを閉じる

zkServer.sh stop

ssh hadoop02 "bash -c 'source /etc/profile && zkServer.sh stop'"

ssh hadoop03 "bash -c 'source /etc/profile && zkServer.sh stop'"

ZooKeeperの起動

zkServer.sh start

ssh hadoop02 "bash -c 'source /etc/profile && zkServer.sh start'"

ssh hadoop03 "bash -c 'source /etc/profile && zkServer.sh start'"

Hadoopの起動

bash /export/servers/hadoop/sbin/start-all.sh

ZooKeeperの再初期化

hdfs zkfc -formatZK

HDFSサービスの再起動

stop-dfs.sh

start-dfs.sh

JobHistoryの起動

mapred --daemon start historyserver

ssh hadoop02 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

ssh hadoop03 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

3つのノードすべてがjpsを入力するとResourceManagerが図のように修正に成功する

psコマンドは環境変数をロードする必要があります具体的なアクション最初の部分でユーザーを切り替える必要があります

残りスペースの割り当て yarn node -listと入力すると、図のように異なる場合がありますが、3つのノードが表示されていれば起動成功です。

yarn node -listを入力すると、図のように異なるかもしれませんが、2つのstandbyとアクティブが表示されていれば起動成功です。

! [] httr2.hoshi.z_img/画像 65.png