服务器基础配置与基础设施搭建

https://www.bilibili.com/video/BV1NCQtBEEw5

分别配置 3 个服务器的 ip

查看网关方法

sudo vim /etc/netplan/50-cloud-init.yaml

只需更改 addresses 中的 ip 以及 via 后面的网关即可(后面的/24不需要更改,网关如何查看见上文，原文中的dhcp: true需要删除！)

图中 ip 地址与网关地址根据实际情况进行配置，图中ens160倘若与原先不一致，则保留原先的 ens 数字！下文是范例配置：

network:
  version: 2
  ethernets:
    ens33:
      addresses:
      - "10.1.100.20/24"
      nameservers:
        addresses:
        - 8.8.8.8
        - 114.114.114.114
        search: []
      routes:
      - to: "default"
        via: "10.1.100.254"

然后重新载入配置

sudo netplan apply

分别为 3 个服务器添加用户并赋予权限

添加用户

sudo adduser hadooper

然后输入两次相同的密码(此密码务必记住！) 按照指示继续执行即可

赋予权限

sudo usermod -aG sudo hadooper

sudo vim /etc/sudoers

配置如下图所示

分别更改 3 个服务器的 hosts 及主机名

编辑 hosts 配置

sudo vim /etc/hosts

在文件中加上如下配置，删除第二行的127.0.1.1 ubuntubase

ip 地址需要更改为对应的服务器 ip 地址

即节点的 IP 地址 + 节点名称

10.1.100.20 hadoop01
10.1.100.21 hadoop02
10.1.100.22 hadoop03

分别更改三台服务器的主机名

hadoop01:

sudo hostnamectl set-hostname hadoop01

hadoop02:

sudo hostnamectl set-hostname hadoop02

hadoop03:

sudo hostnamectl set-hostname hadoop03

此步骤进行完后将三台服务器全部重启

配置测试

分别于三台服务器中执行 ping 另外两台服务器的指令示例如下于 hadoop01 中：

ping hadoop02

ping hadoop03

其他服务器同理，此处不做过多赘述

配置免密登录

从此步开始默认执行用户为 hadooper，如若使用的用户非 hadooper，使用su hadooper然后输入 hadooper 用户的密码来切换到 hadooper 用户

换源

备份原配置

sudo cp /etc/apt/sources.list.d/ubuntu.sources /etc/apt/sources.list.d/ubuntu.sources.bak

sudo vim /etc/apt/sources.list.d/ubuntu.sources

然后输入ggdG(删除全部内容，大小写严格遵守，此为 vim 基础操作)，输入以下配置

Types: deb

URIs: https://mirrors.aliyun.com/ubuntu/

Suites: noble noble-updates noble-backports

Components: main restricted universe multiverse

Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg

 

Types: deb

URIs: https://mirrors.aliyun.com/ubuntu/

Suites: noble-security

Components: main restricted universe multiverse

Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg

更新升级软件包

sudo apt update

sudo apt upgrade -y

安装配置 SSH 服务

在 3 个服务器上分别安装 SSH 服务

sudo apt install openssh-server

在 3 个服务器上分别设置开机自启

sudo systemctl enable ssh

在 3 个服务器上分别生成密钥(该指令需要输入的地方默认为空即可,即连按回车即可)

ssh-keygen -t rsa

在 3 个服务器上分别拷贝公钥到该服务器上(即每个服务器都需要执行下面的三条指令)

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

建立存储目录

创建目录

分别在 3 个服务器上创建 3 个目录，data用于存放数据文件，servers为软件的安装目录，software用于放置软件包

sudo mkdir -p /export/data

sudo mkdir -p /export/servers

sudo mkdir -p /export/software

为文件夹赋权

分别于 3 个服务器上为文件夹赋权

sudo chown -R hadooper /export/

sudo chmod -R 755 /export/

更换 java

注：3 个服务器均需要更换，故先进行服务器 01 的 java 配置，然后再进行分发

卸载原有 java

检索安装了哪些版本的 java

dpkg -l | grep -i jdk

卸载已安装的 java

sudo apt purge java版本(此处版本为上一步检索出的java版本)

#copy-jdk-configs可不进行删除

安装 java

切换到software目录

cd /export/software

下载 jdk 文件

wget -P /export/software/ https://repo.huaweicloud.com/java/jdk/8u181-b13/jdk-8u181-linux-x64.tar.gz

解压

tar -zxvf /export/software/jdk-8u181-linux-x64.tar.gz -C /export/servers/

cd /export/servers/

mv /export/servers/jdk1.8.0_181 /export/servers/jdk

配置环境变量

编辑环境变量配置文件

sudo vim /etc/profile

文件末尾加上以下配置

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重新加载环境变量

source /etc/profile

验证 java 是否成功安装

java -version

分发 java 配置

分发配置到 hadoop02

scp /etc/profile hadoop02:/tmp/profile

ssh hadoop02 "sudo cp /tmp/profile /etc/profile && sudo rm /tmp/profile"

scp -r /export/servers/jdk hadoop02:/tmp/

ssh hadoop02 "sudo cp -r /tmp/jdk/ /export/servers/ && sudo rm -rf /tmp/jdk"

分发配置到 hadoop03

scp /etc/profile hadoop03:/tmp/profile

ssh hadoop03 "sudo cp /tmp/profile /etc/profile && sudo rm /tmp/profile"

scp -r /export/servers/jdk hadoop03:/tmp/

ssh hadoop03 "sudo cp -r /tmp/jdk/ /export/servers/ && sudo rm -rf /tmp/jdk"

确认分发是否正确

分发后在服务器 01 中输入以下指令来判断是否分发成功

ssh hadoop02 "bash -c 'source /etc/profile && java -version'"

ssh hadoop03 "bash -c 'source /etc/profile && java -version'"

安装工具

net-tools 的安装

分别在 3 个服务器中安装 net-tools

sudo apt install net-tools

hadoop部署基础环境