日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告：魔扣目錄網為廣大站長提供免費收錄網站服務，提交前請做好本站友鏈：【 網站目錄：http://www.ylptlb.cn 】， 免友鏈快審服務（50元/站），

點擊這里在線咨詢客服
新站提交
  • 網站：51998
  • 待審：31
  • 小程序：12
  • 文章：1030137
  • 會員：747

Hadoop運行環境搭建

發布時間：2023-09-30 21:09:43 作者：網友整理

1 虛擬機環境準備

采用前面的章節的方式準備三臺虛擬機 ：

 

1）ymm工具

（1）使用yum安裝需要虛擬機可以正常上網，yum安裝前可以先測試下虛擬機聯網情況

[root@hadoop100  ~]# ping www.bAIdu.com 
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms


（2）安裝epel-release
注：Extra Packages for Enterprise linux是為“紅帽系”的操作系統提供額外的軟件包，適用于RHEL、centos和Scientific Linux。相當于是一個軟件倉庫，大多數rpm包在官方 repository 中是找不到的）
[root@hadoop100 ~]# yum install -y epel-release
（3）注意：如果Linux安裝的是最小系統版，還需要安裝如下工具；如果安裝的是Linux桌面標準版，不需要執行如下操作

[root@hadoop100  ~]# yum install -y net-tools 
#vim：編輯器
[root@hadoop100  ~]# yum install -y vim

 

2）關閉防火墻，關閉防火墻開機自啟

[root@hadoop100  ~]# systemctl stop firewalld 
[root@hadoop100  ~]# systemctl disable firewalld.service


注意：在企業開發時，通常單個服務器的防火墻時關閉的。公司整體對外會設置非常安全的防火墻

3）創建hll用戶，并修改hll用戶的密碼

[root@hadoop100  ~]# useradd haoll 
[root@hadoop100  ~]# passwd haoll

 

4）配置hll用戶具有root權限，方便后期加sudo執行root權限的命令


注意：hll這一行不要直接放到root行下面，因為所有用戶都屬于wheel組，你先配置了hll具有免密功能，但是程序執行到%wheel行時，該功能又被覆蓋回需要密碼。所以hll要放到%wheel這行下面。

5）在/opt目錄下創建文件夾，并修改所屬主和所屬組

（1）在/opt目錄下創建module、software文件夾
[root@hadoop100  ~]# mkdir /opt/module 
[root@hadoop100  ~]# mkdir /opt/software 
（2）修改module、software文件夾的所有者和所屬組均為haoll用戶
[root@hadoop100  ~]# chown haoll:haoll /opt/module 
[root@hadoop100  ~]# chown haoll:haoll /opt/software 
（3）查看module、software文件夾的所有者和所屬組
[root@hadoop100  ~]# cd /opt/ 
[root@hadoop100  opt]# ll 
總用量 12
drwxr-xr-x. 2 haoll haoll 4096 5月  28 17:18 module
drwxr-xr-x. 2 haoll haoll 4096 5月  28 17:18 software


6）卸載虛擬機自帶的JDK
注意：如果你的虛擬機是最小化安裝不需要執行這一步。


6）重啟虛擬機
[root@hadoop100 ~]# reboot
7）修改克隆機主機名，以下以hadoop01舉例說明

（1）修改主機名稱
[root@hadoop100  ~]# vim /etc/hostname 
hadoop01
（2）配置Linux克隆機主機名稱映射hosts文件，打開/etc/hosts
[root@hadoop100  ~]# vim /etc/hosts 
添加如下內容
192.168.2.200 hadoop01
192.168.2.201 hadoop02
192.168.2.202 hadoop03

2 在hadoop01安裝JDK

 

1）卸載現有JDK
注意：安裝JDK前，一定確保提前刪除了虛擬機自帶的JDK。詳細步驟見問文檔3.1節中卸載JDK步驟。

2）用FileZilla傳輸工具將JDK導入到opt目錄下面的software文件夾下面

 

3）在Linux系統下的opt目錄中查看軟件包是否導入成功
[hll@hadoop01 ~]$ ls /opt/software/
看到如下結果：

jdk-8u212-linux-x64.tar.gz


4）解壓JDK到/opt/module目錄下
[hll@hadoop01 software]$ tar -zxvf
jdk-8u212-linux-x64.tar.gz -C /opt/module/


5）配置JDK環境變量
（1）新建/etc/profile.d/my_env.sh文件
[hll@hadoop01 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下內容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin


（2）source一下/etc/profile文件，讓新的環境變量PATH生效
[hll@hadoop01 ~]$ source /etc/profile
（3）測試JDK是否安裝成功
[hll@hadoop01 ~]$ java -version
如果能看到以下結果，則代表Java安裝成功。
java version "1.8.0_212"
注意：重啟（如果java -version可以用就不用重啟）
[hll@hadoop01 ~]$ sudo reboot

3 在hadoop01安裝Hadoop

Hadoop下載地址：
https://archive.Apache.org/dist/hadoop/common/hadoop-3.1.3/
1）用FileZilla文件傳輸工具將hadoop-3.1.3.tar.gz導入到opt目錄下面的software文件夾下面

 

2）進入到Hadoop安裝包路徑下
[hll@hadoop01 ~]$ cd /opt/software/


3）解壓安裝文件到/opt/module下面
[hll@hadoop01 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/


4）查看是否解壓成功
[hll@hadoop01 software]$ ls /opt/module/
hadoop-3.1.3


5）將Hadoop添加到環境變量
（1）獲取Hadoop安裝路徑
[hll@hadoop01 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
（2）打開/etc/profile.d/my_env.sh文件
[hll@hadoop01 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
?在my_env.sh文件末尾添加如下內容：（shift+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）讓修改后的文件生效
[hll@hadoop01 hadoop-3.1.3]$ source /etc/profile
（4）測試是否安裝成功
[hll@hadoop01 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3
（5）重啟（如果Hadoop命令不能用再重啟虛擬機）
[hll@hadoop01 hadoop-3.1.3]$ sudo reboot

4 Hadoop目錄結構

1）查看Hadoop目錄結構

[haoll@hadoop01  hadoop-3.1.3]$ ll 
總用量 52
drwxr-xr-x. 2 haoll haoll  4096 5月  22 2017 bin
drwxr-xr-x. 3 haoll haoll  4096 5月  22 2017 etc
drwxr-xr-x. 2 haoll haoll  4096 5月  22 2017 include
drwxr-xr-x. 3 haoll haoll  4096 5月  22 2017 lib
drwxr-xr-x. 2 haoll haoll  4096 5月  22 2017 libexec
-rw-r--r--. 1 haoll haoll 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 haoll haoll   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 haoll haoll  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 haoll haoll  4096 5月  22 2017 sbin
drwxr-xr-x. 4 haoll haoll  4096 5月  22 2017 share


2）重要目錄
（1）bin目錄：存放對Hadoop相關服務（hdfs，yarn，mapred）進行操作的腳本
（2）etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件
（3）lib目錄：存放Hadoop的本地庫（對數據進行壓縮解壓縮功能）
（4）sbin目錄：存放啟動或停止Hadoop相關服務的腳本
（5）share目錄：存放Hadoop的依賴jar包、文檔、和官方案例

5 Hadoop運行模式


1）Hadoop官方網站：http://hadoop.apache.org/
2）Hadoop運行模式包括：本地模式、偽分布式模式以及完全分布式模式。

本地模式：單機運行，只是用來演示一下官方案例。生產環境不用。

偽分布式模式：也是單機運行，但是具備Hadoop集群的所有功能，一臺服務器模擬一個分布式的環境。個別缺錢的公司用來測試，生產環境不用。

完全分布式模式：多臺服務器組成分布式環境。生產環境使用。

5.1 本地運行模式（官方wordCount）

1）創建在hadoop-3.1.3文件下面創建一個wcinput文件夾
[haoll@hadoop01  hadoop-3.1.3]$ mkdir wcinput 

2）在wcinput文件下創建一個word.txt文件
[haoll@hadoop01  hadoop-3.1.3]$ cd wcinput 

3）編輯word.txt文件
[haoll@hadoop01  wcinput]$ vim word.txt 
在文件中輸入如下內容
hadoop yarn
hadoop mapreduce
haoll
haoll

4）回到Hadoop目錄/opt/module/hadoop-3.1.3

5）執行程序
[haoll@hadoop01  hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput 

6）查看結果
[haoll@hadoop01  hadoop-3.1.3]$ cat wcoutput/part-r-00000 
看到如下結果：
haoll 2
hadoop  2
mapreduce       1
yarn    1

5.2 完全分布式運行模式（開發重點）

前提：
1）準備3臺客戶機（關閉防火墻、靜態IP、主機名稱）
2）安裝JDK
3）配置環境變量
4）安裝Hadoop
5）配置環境變量
6）配置集群
7）單點啟動
8）配置ssh
9）群起并測試集群
3.2.1 虛擬機準備
詳見前面章節。

編寫集群分發腳本xsync

1）scp（secure copy）安全拷貝
（1）scp定義
scp可以實現服務器與服務器之間的數據拷貝。（from server1 to server2）
（2）基本語法

scp  -r  $pdir/$fname $user@$host:$pdir/$fname

命令 遞歸 要拷貝的文件路徑/名稱 目的地用戶@主機:目的地路徑/名稱

（3）案例實操
前提：在hadoop01、hadoop02、hadoop03都已經創建好的/opt/module、 /opt/software兩個目錄，并且已經把這兩個目錄修改為hll:hll
[hll@hadoop01 ~]$ sudo chown hll:hll -R /opt/module
（a）在hadoop01上，將hadoop01中/opt/module/jdk1.8.0_212目錄拷貝到hadoop02上。
[hll@hadoop01 ~]$ scp -r /opt/module/jdk1.8.0_212 hll@hadoop02:/opt/module
（b）在hadoop02上，將hadoop01中/opt/module/hadoop-3.1.3目錄拷貝到hadoop02上。
[hll@hadoop02 ~]$ scp -r hll@
hadoop01:/opt/module/hadoop-3.1.3 /opt/module/
（c）在hadoop02上操作，將hadoop01中/opt/module目錄下所有目錄拷貝到hadoop03上。
[hll@hadoop02 opt]$ scp -r hll@hadoop01:/opt/module/* hll@hadoop03:/opt/module

2）rsync遠程同步工具
rsync主要用于備份和鏡像。具有速度快、避免復制相同內容和支持符號鏈接的優點。
rsync和scp區別：用rsync做文件的復制要比scp的速度快，rsync只對差異文件做更新。scp是把所有文件都復制過去。
（1）基本語法

rsync  -av $pdir/$fname  $user@$host:$pdir/$fname

命令 選項參數 要拷貝的文件路徑/名稱 目的地用戶@主機:目的地路徑/名稱
選項參數說明
選項 功能
-a 歸檔拷貝
-v 顯示復制過程
（2）案例實操
（a）刪除hadoop02中
/opt/module/hadoop-3.1.3/wcinput
[hll@hadoop02 hadoop-3.1.3]$ rm -rf wcinput/
（b）同步hadoop01中的/opt/module/hadoop-3.1.3到hadoop02
[hll@hadoop01 module]$ rsync -av hadoop-3.1.3/ hll@
hadoop02:/opt/module/hadoop-3.1.3/

3）xsync集群分發腳本
（1）需求：循環復制文件到所有節點的相同目錄下
（2）需求分析：
（a）rsync命令原始拷貝：
rsync -av /opt/module hll@hadoop02:/opt/
（b）期望腳本：
xsync要同步的文件名稱
[hll@hadoop01 bin]$ vim xsync
在該文件中編寫如下代碼

#!/bin/bash

#1. 判斷參數個數
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍歷集群所有機器
for host in hadoop01 hadoop02 hadoop03
do
    echo ====================  $host  ====================
    #3. 遍歷所有目錄，挨個發送

    for file in $@
do
        #4. 判斷文件是否存在
        if [ -e $file ]
            then
                #5. 獲取父目錄
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 獲取當前文件的名稱
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                scp -r $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
（b）修改腳本 xsync 具有執行權限
[haoll@hadoop01  bin]$ chmod +x xsync 
（c）測試腳本
[haoll@hadoop01  ~]$ xsync /home/haoll/bin 
（d）將腳本復制到/bin中，以便全局調用
[haoll@hadoop01  bin]$ sudo cp xsync /bin/ 
（e）同步環境變量配置（root所有者）
[haoll@hadoop01  ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh 
注意：如果用了sudo，那么xsync一定要給它的路徑補全。
讓環境變量生效
[haoll@hadoop02  bin]$ source /etc/profile 
[haoll@hadoop03  opt]$ source /etc/profile

SSH無密登錄配置

1）配置ssh
（1）基本語法：ssh另一臺電腦的IP地址
（2）ssh連接時出現Host key verification failed的解決方法
[hll@hadoop01 ~]$ ssh hadoop03
?如果出現如下內容
Are you sure you want to continue connecting (yes/no)?
?輸入yes，并回車
（3）退回到hadoop01
[hll@hadoop02 ~]$ exit

2）無密鑰配置
（1）免密登錄原理

 

（2）生成公鑰和私鑰
[hll@hadoop01 .ssh]$ pwd
/home/hll/.ssh

[hll@hadoop01 .ssh]$ ssh-keygen -t rsa
然后敲（三個回車），就會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）


（3）將公鑰拷貝到要免密登錄的目標機器上
[hll@hadoop01 .ssh]$ ssh-copy-id hadoop01
[hll@hadoop01 .ssh]$ ssh-copy-id hadoop02
[hll@hadoop01 .ssh]$ ssh-copy-id hadoop03
注意：
還需要在hadoop02上采用hll賬號配置一下無密登錄到hadoop01、hadoop02、hadoop03服務器上。
還需要在hadoop03上采用hll賬號配置一下無密登錄到hadoop01、hadoop02、hadoop03服務器上。

3）.ssh文件夾下（~/.ssh）的文件功能解釋
known_hosts 記錄ssh訪問過計算機的公鑰（public key）
id_rsa 生成的私鑰
id_rsa.pub 生成的公鑰
authorized_keys 存放授權過的無密登錄服務器公鑰

集群配置

1）集群部署規劃

 

hadoop01

hadoop02

hadoop03

HDFS

 

NameNode

DataNode

 

DataNode

SecondaryNameNode

DataNode

YARN

 

NodeManager

ResourceManager

NodeManager

 

NodeManager

注意：
NameNode和SecondaryNameNode不要安裝在同一臺服務器
ResourceManager也很消耗內存，不要和NameNode、SecondaryNameNode配置在同一臺機器上。

2）配置文件說明
Hadoop配置文件分兩類：默認配置文件和自定義配置文件，只有用戶想修改某一默認配置值時，才需要修改自定義配置文件，更改相應屬性值。
（1）默認配置文件：
要獲取的默認文件 文件存放在Hadoop的jar包中的位置
[core-default.xml]
hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]
hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]
hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]
hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml
（2）自定義配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四個配置文件存放在
$HADOOP_HOME/etc/hadoop 這個路徑上，用戶可以根據項目需求重新進行修改配置。

3）配置集群

（1）核心配置文件

1）配置core-site.xml

[haoll@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[haioll@hadoop102 hadoop]$ vim core-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <!-- 指定NameNode的地址 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:8020</value>
  </property>
  
  <!-- 指定hadoop數據的存儲目錄 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-3.1.3/data</value>
  </property>
  
  <!-- 配置HDFS網頁登錄使用的靜態用戶為hll -->
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>hll</value>
  </property>
</configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[hall@hadoop102 hadoop]$ vim hdfs-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <!-- nn web端訪問地址-->
  <property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop01:9870</value>
  </property>
  <!-- 2nn web端訪問地址-->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop03:9868</value>
  </property>
</configuration>

3）YARN配置文件

配置yarn-site.xml

[haoll@hadoop102 hadoop]$ vim yarn-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop02</value>
    </property>

    <!-- 環境變量的繼承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

4）MapReduce配置文件

配置mapred-site.xml

[haoll@hadoop102 hadoop]$ vim mapred-site.xml

文件內容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <!-- 指定MapReduce程序運行在Yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4）在集群上分發配置好的Hadoop配置文件

[hll@hadoop01 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去02和03上查看文件分發情況

[hll@hadoop02 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

[hll@hadoop03 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

群起集群

1）配置workers

[hall@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在該文件中增加如下內容：

hadoop01

hadoop02

hadoop03

注意：該文件中添加的內容結尾不允許有空格，文件中不允許有空行。

同步所有節點配置文件

[hall@hadoop01 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2）啟動集群

（1）如果集群是第一次啟動，需要在hadoop01節點格式化NameNode（注意：格式化NameNode，會產生新的集群id，導致NameNode和DataNode的集群id不一致，集群找不到已往數據。如果集群在運行過程中報錯，需要重新格式化NameNode的話，一定要先停止namenode和datanode進程，并且要刪除所有機器的data和logs目錄，然后再進行格式化。）

[hll@hadoop01 hadoop-3.1.3]$ hdfs namenode -format

（2）啟動HDFS

[hll@hadoop01 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的節點（hadoop02）啟動YARN

[hll@hadoop02 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（a）瀏覽器中輸入：http://hadoop01:9870

（b）查看HDFS上存儲的數據信息

（5）Web端查看YARN的ResourceManager

（a）瀏覽器中輸入：http://hadoop02:8088

（b）查看YARN上運行的Job信息

3）集群基本測試

（1）上傳文件到集群

上傳小文件

[haoll@hadoop01 ~]$ hadoop fs -mkdir /opt/module/hadoop-3.1.3/input
[haoll@hadoop01 ~]$ hadoop fs -put /wcinput/word.txt /input
上傳大文件
[haoll@hadoop01 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上傳文件后查看文件存放在什么位置

查看HDFS文件存儲路徑

[haoll@hadoop01 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0
查看HDFS在磁盤存儲文件內容
[haoll@hadoop01 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
haoll
haoll

（3）拼接

-rw-rw-r--. 1 haoll haoll 134217728 5月  23 16:01 blk_1073741836
-rw-rw-r--. 1 haoll haoll   1048583 5月  23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 haoll haoll  63439959 5月  23 16:01 blk_1073741837
-rw-rw-r--. 1 haoll haoll    495635 5月  23 16:01 blk_1073741837_1013.meta
[haoll@hadoop01 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[haoll@hadoop01 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[haoll@hadoop01 subdir0]$ tar -zxvf tmp.tar.gz

執行完發現就是jdk

（4）下載

[hll@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）執行wordcount程序

[haoll@hadoop01 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

配置歷史服務器

為了查看程序的歷史運行情況，需要配置一下歷史服務器。具體配置步驟如下：

1）配置mapred-site.xml

[hll@hadoop01 hadoop]$ vim mapred-site.xml

在該文件里面增加如下配置。

<!-- 歷史服務器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop01:10020</value>
</property>

<!-- 歷史服務器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webApp.address</name>
  <value>hadoop01:19888</value>
</property>

2）分發配置

[hll@hadoop01 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

3）在hadoop01啟動歷史服務器

[hll@hadoop01 hadoop]$ mapred --daemon start historyserver

4）查看歷史服務器是否啟動

[hll@hadoop01 hadoop]$ jps

5）查看JobHistory

http://hadoop01:19888/jobhistory

 

配置日志的聚集

日志聚集概念：應用運行完成以后，將程序運行日志信息上傳到HDFS系統上。

日志聚集功能好處：可以方便的查看到程序運行詳情，方便開發調試。

注意：開啟日志聚集功能，需要重新啟動NodeManager 、ResourceManager和HistoryServer。

開啟日志聚集功能具體步驟如下：

1）配置yarn-site.xml

[hll@hadoop01 hadoop]$ vim yarn-site.xml

在該文件里面增加如下配置。

<!-- 開啟日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 設置日志聚集服務器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop01:19888/jobhistory/logs</value>
</property>
<!-- 設置日志保留時間為7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2）分發配置

[hll@hadoop01 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）關閉NodeManager 、ResourceManager和HistoryServer

[hll@hadoop02 hadoop-3.1.3]$ sbin/stop-yarn.sh

[hll@hadoop01 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）啟動NodeManager 、ResourceManage和HistoryServer

[hll@hadoop02 ~]$ start-yarn.sh

[hll@hadoop01 ~]$ mapred --daemon start historyserver

5）刪除HDFS上已經存在的輸出文件

[hll@hadoop01 ~]$ hadoop fs -rm -r /output

6）執行WordCount程序

[hll@hadoop01 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

（1）歷史服務器地址

http://hadoop01:19888/jobhistory

（2）歷史任務列表

 

（3）查看任務運行日志

 

（4）運行日志詳情

 

集群啟動/停止方式總結

1）各個模塊分開啟動/停止（配置ssh是前提）常用

（1）整體啟動/停止HDFS : start-dfs.sh/stop-dfs.sh

（2）整體啟動/停止YARN:
start-yarn.sh/stop-yarn.sh

2）各個服務組件逐一啟動/停止

（1）分別啟動/停止HDFS組件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）啟動/停止YARN

yarn --daemon start/stop resourcemanager/nodemanager

編寫Hadoop集群常用腳本

1）Hadoop集群啟停腳本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[hll@hadoop01 ~]$ cd /home/hll/bin

[hll@hadoop01 bin]$ vim myhadoop.sh

輸入如下內容

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 啟動 hadoop集群 ==================="

        echo " --------------- 啟動 hdfs ---------------"
        ssh hadoop01 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 啟動 yarn ---------------"
        ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 啟動 historyserver ---------------"
        ssh hadoop01 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 關閉 hadoop集群 ==================="

        echo " --------------- 關閉 historyserver ---------------"
        ssh hadoop01 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 關閉 yarn ---------------"
        ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 關閉 hdfs ---------------"
        ssh hadoop01 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

保存后退出，然后賦予腳本執行權限

[hll@hadoop01 bin]$ chmod +x myhadoop.sh

將腳本復制到/bin中，以便全局調用

[hll@hadoop01 bin]$ sudo cp myhadoop.sh /bin/

2）查看三臺服務器Java進程腳本：jpsall

[hll@hadoop01 ~]$ cd /home/hll/bin

[hll@hadoop01 bin]$ vim jpsall

輸入如下內容

#!/bin/bash

for host in hadoop01 hadoop02 hadoop03
do
        echo =============== $host ===============
        ssh $host jps
done

保存后退出，然后賦予腳本執行權限

[hll@hadoop01 bin]$ chmod +x jpsall

將腳本復制到/bin中，以便全局調用

[hll@hadoop01 bin]$ sudo cp myhadoop.sh /bin/

3）分發/home/hll/bin目錄，保證自定義腳本在三臺機器上都可以使用

（注意需要hll有操作另外兩臺機器的文件夾權限，如果沒有需要進行賦權 : sudo chmod 777 xxx）

[hll@hadoop01 ~]$ xsync /home/hll/bin/

6 面試題

6.1 常用端口號說明

端口名稱

Hadoop2.x

Hadoop3.x

NameNode內部通信端口

8020 / 9000

8020 / 9000/9820

NameNode HTTP UI

50070

9870

MapReduce查看執行任務端口

8088

8088

歷史服務器通信端口

19888

19888

6.2 常用的配置文件

3.x ：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers

2.x： core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves

7 常見錯誤及解決方案

1）防火墻沒關閉、或者沒有啟動YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主機名稱配置錯誤

3）IP地址配置錯誤

4）ssh沒有配置好

5）root用戶和hll兩個用戶啟動集群不統一

6）配置文件修改不細心

7）不識別主機名稱

java.net.UnknownHostException: hadoop01: hadoop01

解決辦法：

（1）在/etc/hosts文件中添加192.168.10.102 hadoop01

（2）主機名稱不要起hadoop hadoop000等特殊名稱

8）DataNode和NameNode進程同時只能工作一個。

 

9）jps發現進程已經沒有，但是重新啟動集群，提示進程已經開啟。

原因是在Linux的根目錄下/tmp目錄中(文本中的目錄:
/opt/module/hadoop-3.1.3/data/dfs/name/current)存在啟動的進程臨時文件，將集群相關進程刪除掉，再重新啟動集群。

分享到：
標簽：Hadoop
用戶無頭像

網友整理

注冊時間：

網站：5 個   小程序：0 個  文章：12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號，推廣您的網站吧！
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲，玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題，題庫，初中，高中，大學四六

運動步數有氧達人2018-06-03

記錄運動步數，積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定