Hadoop 部署补丁

1.本文档中的指令全程在 hadoop01 中输入（除 jps 验证）

2.需在 hadoop01 输入如下指令扩容空间

sudo lvextend -r -l +100%FREE /dev/ubuntu-vg/ubuntu-lv

启动 hadoop,zookeeper,jobHistory 集群

切换用户

su hadooper

加载环境变量

cd ../..

source etc/profile

启动 ZooKeeper

zkServer.sh start

ssh hadoop02 "bash -c 'source /etc/profile && zkServer.sh start'"

ssh hadoop03 "bash -c 'source /etc/profile && zkServer.sh start'"

启动 hadoop

bash /export/servers/hadoop/sbin/start-all.sh

启动 JobHistory

mapred --daemon start historyserver

ssh hadoop02 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

ssh hadoop03 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

清除 zookeeper 历史残留

进入 ZooKeeper 客户端

zkCli.sh

删除 YARN 的选举锁

deleteall /yarn-leader-election

删除 YARN 的状态存储

deleteall /rmstore

检查并删除 HDFS 的 HA 状态

deleteall /hadoop-ha

退出 ZooKeeper 客户端

quit

替换文件

均为单行指令

将新的yarn-site.xml文件通过 ssh 工具（finalshell\windterm 等）上传到/export/servers/hadoop/etc/hadoop路径下覆盖旧的yarn-site.xml文件 或者通过命令行修改，步骤如下：

cd /export/servers/hadoop/etc/hadoop

vim yarn-site.xml

输入ggdG（严格按照大小写）清除原本的内容 进入 Insert 模式将新的内容替换到原文件中保存并退出 分发给 hadoop02

scp /export/servers/hadoop/etc/hadoop/yarn-site.xml hadoop02:/tmp/ && \

ssh hadoop02 "sudo cp /tmp/yarn-site.xml /export/servers/hadoop/etc/hadoop && sudo rm /tmp/yarn-site.xml"

分发给 hadoop03

scp /export/servers/hadoop/etc/hadoop/yarn-site.xml hadoop03:/tmp/ && \

ssh hadoop03 "sudo cp /tmp/yarn-site.xml /export/servers/hadoop/etc/hadoop && sudo rm /tmp/yarn-site.xml"

重启 hadoop,zookeeper,jobHistory 集群

关闭 JobHistory

mapred --daemon stop historyserver

ssh hadoop02 "bash -c 'source /etc/profile && mapred --daemon stop historyserver'"

ssh hadoop03 "bash -c 'source /etc/profile && mapred --daemon stop historyserver'"

关闭 hadoop

bash /export/servers/hadoop/sbin/stop-all.sh

关闭 ZooKeeper

zkServer.sh stop

ssh hadoop02 "bash -c 'source /etc/profile && zkServer.sh stop'"

ssh hadoop03 "bash -c 'source /etc/profile && zkServer.sh stop'"

启动 ZooKeeper

zkServer.sh start

ssh hadoop02 "bash -c 'source /etc/profile && zkServer.sh start'"

ssh hadoop03 "bash -c 'source /etc/profile && zkServer.sh start'"

启动 hadoop

bash /export/servers/hadoop/sbin/start-all.sh

重新初始化 ZooKeeper

hdfs zkfc -formatZK

重新启动 HDFS 服务

stop-dfs.sh

start-dfs.sh

启动 JobHistory

mapred --daemon start historyserver

ssh hadoop02 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

ssh hadoop03 "bash -c 'source /etc/profile && mapred --daemon start historyserver'"

三个节点都输入 jps 后都有 ResourceManager 如图所示即为修改成功

ps 指令需加载环境变量具体操作在第一部分切换用户也要做

分配剩余空间 输入yarn node -list后如图所示，可能有不同但是只要显示三个节点即为启动成功

输入yarn node -list后如图所示，可能有不同但是只要显示两个 standby 一个 active 即为启动成功