HoshiumiHoshiumi wordmark with a thick wave underline. Hoshiumi
ホームHadoop デプロイメント友達ブログについて音楽オタ活の記録

Hadoopの導入環境

公開日: 2026-07-28 10:02 更新日: 2026-07-28 13:06 1353文字 7 min read ... ページビュー

跨越星轨的客 avatar

跨越星轨的客

一个记录技术、游戏与生活的星海主题个人博客

62 記事

12 カテゴリー

29 タグ
ホーム Hadoop デプロイメント
カテゴリー タグ アーカイブ
友達 ブログについて 音楽 オタ活の記録
HadoopHA構成の修正FlinkデプロイメントMahoutの展開Flumeの配備Kafkaの展開ハイブの展開Hbaseの配備Sparkの導入Hadoopの導入ZooKeeperの導入Hadoopの導入環境Hadoopのバージョン
この記事では、基本的なネットワーク設定、ユーザー権限割り当て、hostsファイル変更、SSHサービス展開、ディレクトリ作成と権限設定、Java環境のインストールと配布、ツールキットのインストールなど、3台のサーバーのネットワーク、ユーザー、ホスト名、SSH秘密解除ログインとJava環境の構成方法を詳しく紹介し、3台のサーバー間の正常な通信と秘密解除アクセスを確保します。すべての構成は実際のIPアドレスとホスト名に基づいており、構成の一貫性とセキュリティを重視しています。

サーバー基盤とインフラの構築

https://www.bilibili.com/video/BV1NCQtBEEw5
bilibili.com

3つのサーバのIPを設定する

ゲートウェイの表示方法

! [] httr2.hoshi.z_img/画像 4.png

! [] httr2.hoshi.z_img/画像 3.png

! [] httr2.hoshi.z_img/画像 5.png

sudo vim /etc/netplan/50-cloud-init.yaml

addresses 内のipとvia 后のゲートウェイを変更するだけです后の/24は変更する必要はありませんゲートウェイは上記を参照してください原文のdhcp: trueは削除する必要があります!

図中のIPアドレスとゲートウェイアドレスは実際の状況に応じて設定されており，図中のens160は元のens 番号を保持している. 以下はサンプル構成です。

network:
  version: 2
  ethernets:
    ens33:
      addresses:
      - "10.1.100.20/24"
      nameservers:
        addresses:
        - 8.8.8.8
        - 114.114.114.114
        search: []
      routes:
      - to: "default"
        via: "10.1.100.254"

! [] httr2.hoshi.z_img/画像 6.png

その後、構成を再ロード

sudo netplan apply

3つのサーバにそれぞれユーザを追加して権限を付与

ユーザーの追加

sudo adduser hadooper

次に、同じパスワードを2 回入力しますこのパスワードは必ず覚えておいてください。 指示通りに続行します。

権限の付与

sudo usermod -aG sudo hadooper

sudo vim /etc/sudoers

次の図のように構成

! [] httr2.hoshi.z_img/画像 7.png

3つのサーバのホスト名とホスト名を変更する

hosts 設定の編集

sudo vim /etc/hosts

ファイルに次の構成を追加し、2 行目の127.0.1.1 ubuntubaseを削除します。

IPアドレスをサーバのIPアドレスに変更する必要があります。

ノードのIPアドレス+ノード名

10.1.100.20 hadoop01
10.1.100.21 hadoop02
10.1.100.22 hadoop03

! [] httr2.hoshi.z_img/画像 8.png

3 台のサーバのホスト名を個別に変更する

hadoop01:

sudo hostnamectl set-hostname hadoop01

hadoop02:

sudo hostnamectl set-hostname hadoop02

hadoop03:

sudo hostnamectl set-hostname hadoop03

この手順が完了すると、3 台のサーバをすべて再起動します。

テストの構成

3つのサーバのそれぞれに、他の2つのサーバに対してpingを実行するコマンドの例を以下に示します。 Hadoop01の場合：

ping hadoop02

ping hadoop03

! [] https//r2.hoshiumi.xyz/old_img/画像 9.png

他のサーバーも同様ですが、ここではあまり説明しません。

Unsecond loginの設定

このステップからデフォルトの実行ユーザはhadooperです。hadooper 以外のユーザを使用している場合は、su hadooperを使用し、hadooperユーザのパスワードを入力してhadooperユーザに切り替えます。

ソースを変更

オリジナル構成のバックアップ

sudo cp /etc/apt/sources.list.d/ubuntu.sources /etc/apt/sources.list.d/ubuntu.sources.bak

sudo vim /etc/apt/sources.list.d/ubuntu.sources

次に、ggdG（すべて削除、大文字小文字厳密に準拠、vimの基本操作）と入力し、次の設定を入力します。

Types: deb

URIs: https://mirrors.aliyun.com/ubuntu/

Suites: noble noble-updates noble-backports

Components: main restricted universe multiverse

Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg

 

Types: deb

URIs: https://mirrors.aliyun.com/ubuntu/

Suites: noble-security

Components: main restricted universe multiverse

Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg

! [] httr2.hoshi.z_img/画像 10.png

アップデートアップグレードパッケージ

sudo apt update

sudo apt upgrade -y

SSHサービスのインストール構成

3 台のサーバーに個別にSSHサービスをインストールする

sudo apt install openssh-server

3 台のサーバに個別に起動を設定

sudo systemctl enable ssh

3つのサーバでそれぞれキーを生成するこのコマンドの入力が必要な箇所はデフォルトで空であればよい、つまりキャリッジリターンを押すだけでよい

ssh-keygen -t rsa

! [] httr2.hoshi.z_img/画像 11.png

公開鍵を3 台のサーバにそれぞれコピーする（つまり、各サーバは次の3つの命令を実行する必要がある）

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

ストレージディレクトリの作成

ディレクトリの作成

3 台のサーバにそれぞれ3つのディレクトリを作成し、データファイルを格納するためにdata、ソフトウェアのインストールディレクトリを格納するためにservers、パッケージを格納するためにsoftwareを作成します。

sudo mkdir -p /export/data

sudo mkdir -p /export/servers

sudo mkdir -p /export/software

フォルダの権限付与

3つのサーバでフォルダを有効にする

sudo chown -R hadooper /export/

sudo chmod -R 755 /export/

Javaを置き換える

注：3つのサーバをすべて交換する必要があるため、サーバ01のJava 設定を行ってから配布します。

古いJavaの削除

インストールされているJavaのバージョンを取得する

dpkg -l | grep -i jdk

インストール済みのJavaのアンインストール

sudo apt purge java版本(此处版本为上一步检索出的java版本)

#copy-jdk-configs可不进行删除

Javaのインストール

softwareディレクトリへの切り替え

cd /export/software

JDKファイルのダウンロード

wget -P /export/software/ https://repo.huaweicloud.com/java/jdk/8u181-b13/jdk-8u181-linux-x64.tar.gz

解凍する

tar -zxvf /export/software/jdk-8u181-linux-x64.tar.gz -C /export/servers/

cd /export/servers/

mv /export/servers/jdk1.8.0_181 /export/servers/jdk

環境変数の設定

環境変数構成ファイルの編集

sudo vim /etc/profile

ファイルの末尾に次の構成を追加

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

! [] httr2.hoshi.z_img/画像 12.png

環境変数の再ロード

source /etc/profile

Javaが正常にインストールされたことを確認する

java -version

! [] httr2.hoshi.z_img/画像 13.png

Java 構成の配布

Hadoop 0 2への配布

scp /etc/profile hadoop02:/tmp/profile

ssh hadoop02 "sudo cp /tmp/profile /etc/profile && sudo rm /tmp/profile"

scp -r /export/servers/jdk hadoop02:/tmp/

ssh hadoop02 "sudo cp -r /tmp/jdk/ /export/servers/ && sudo rm -rf /tmp/jdk"

Hadoop 0 3への配布

scp /etc/profile hadoop03:/tmp/profile

ssh hadoop03 "sudo cp /tmp/profile /etc/profile && sudo rm /tmp/profile"

scp -r /export/servers/jdk hadoop03:/tmp/

ssh hadoop03 "sudo cp -r /tmp/jdk/ /export/servers/ && sudo rm -rf /tmp/jdk"

配布が正しいことを確認します

配信後にサーバ01に以下のコマンドを入力して配信成功か否かを判断する

ssh hadoop02 "bash -c 'source /etc/profile && java -version'"

ssh hadoop03 "bash -c 'source /etc/profile && java -version'"

! [] httr2.hoshi.z_img/画像 14.png

ツールのインストール

net-toolsの設定

3つのサーバにnet-toolsをインストールする

sudo apt install net-tools

気に入ったならばコメントを残してくださいね～

... ページビュー
© 2026 跨越星轨的客 @Hoshiumi
Powered by theme astro-koharu · Inspired by Shoka