宜宾网站建设公司

如何搭建Hadoop的环境

本篇内容主要讲解“如何搭建Hadoop的环境”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何搭建Hadoop的环境”吧!

成都创新互联公司10多年成都定制网页设计服务;为您提供网站建设,网站制作,网页设计及高端网站定制服务,成都定制网页设计及推广,对封阳台等多个行业拥有丰富的网站维护经验的网站建设公司。

说明：这里我们以本地模式和伪分布模式伪列，为大家介绍如何搭建Hadoop环境。有了这个基础，大家可以自行搭建Hadoop的全分布模式。

需要使用的安装介质：

  • hadoop-2.7.3.tar.gz

  • jdk-8u181-linux-x64.tar.gz

  • rhel-server-7.4-x86_64-dvd.iso

一、安装前的准备工作

  • 安装好Redhat Linux 7.4（安装包rhel-server-7.4-x86_64-dvd.iso），并在Linux上创建tools和training两个目录

如何搭建Hadoop的环境

  •  关闭防火墙，执行下面的命令

1
2
systemctl stop firewalld.service
systemctl disable firewalld.service

  • 配置主机名，使用vi编辑器编辑文件/etc/hosts，输入以下内容

1
bigdata111  192.168.157.111

  • 配置免密码登录，在命令行中输入下面的命令

1
2
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata111

二、安装JDK

  • 通过FTP工具将jdk-8u181-linux-x64.tar.gz和hadoop-2.7.3.tar.gz上传到Linux的/root/tools目录

如何搭建Hadoop的环境

  如何搭建Hadoop的环境

  •   在xshell中，解压jdk-8u181-linux-x64.tar.gz，执行下面的命令

1
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /root/training/

  • 设置Java的环境变量，使用vi编辑器编辑~/.bash_profile文件。执行下面的命令

1
vi /root/.bash_profile

  • 在vi编辑器中，输入以下内容

1
2
3
4
5
JAVA_HOME=/root/training/jdk1.8.0_181
export JAVA_HOME
 
PATH=$JAVA_HOME/bin:$PATH
export PATH

如何搭建Hadoop的环境

  •   生效环境变量，执行下面的命令

1
source /root/.bash_profile

如何搭建Hadoop的环境

  •   输入下图中，红框中的命令验证Java环境

如何搭建Hadoop的环境

三、解压Hadoop，并设置环境变量

  •  执行下面的命令，解压hadoop-2.7.3.tar.gz

1
tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/

  • 设置Hadoop的环境变量，编辑~/.bash_profile文件，并输入以下内容

1
2
3
4
5
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
 
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

如何搭建Hadoop的环境

  •  生效环境变量

1
source ~/.bash_profile

四、搭建Hadoop的本地模式

  •  进入目录/root/training/hadoop-2.7.3/etc/hadoop

  • 使用vi编辑器编辑文件：hadoop-env.sh

  • 修改JAVA_HOME

1
export JAVA_HOME=/root/training/jdk1.8.0_181

如何搭建Hadoop的环境

  •  测试Hadoop的本地模式，执行MapReduce程序。准备测试数据：vi ~/temp/data.txt

如何搭建Hadoop的环境

  •  输入下面的数据，并保存退出

如何搭建Hadoop的环境

  •  进入目录：/root/training/hadoop-2.7.3/share/hadoop/mapreduce

如何搭建Hadoop的环境

  •  执行WordCount任务

1
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc

  • 根据下图的命令，查看输出结果

如何搭建Hadoop的环境

五、搭建Hadoop的伪分布模式

  •  首先，搭建好Hadoop的本地模式

  • 创建目录：/root/training/hadoop-2.7.3/tmp

1
mkdir /root/training/hadoop-2.7.3/tmp

  • 进入目录：/root/training/hadoop-2.7.3/etc/hadoop

1
cd /root/training/hadoop-2.7.3/etc/hadoop

  • 修改hdfs-site.xml

1
2
3
4
    dfs.replication</name>
    1</value>
</property>

如何搭建Hadoop的环境

  •  修改core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
    fs.defaultFS</name>
    hdfs://bigdata111:9000</value>
</property>
 
    hadoop.tmp.dir</name>
    /root/training/hadoop-2.7.3/tmp</value>
</property>

如何搭建Hadoop的环境

  •  修改mapred-site.xml（注意：这个文件默认没有）

1
2
3
4
    mapreduce.framework.name</name>
    yarn</value>
</property>

如何搭建Hadoop的环境

  •  修改yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
    yarn.resourcemanager.hostname</name>
    bigdata111</value>
</property>
 
    yarn.nodemanager.aux-services</name>
    mapreduce_shuffle</value>
</property>

如何搭建Hadoop的环境

  •  格式化NameNode

1
hdfs namenode -format

如何搭建Hadoop的环境

  •  启动Hadoop

1
start-all.sh

如何搭建Hadoop的环境

  •  访问Web Console

1
2
http://192.168.157.111:50070
http://192.168.157.111:8088

如何搭建Hadoop的环境

如何搭建Hadoop的环境

到此，相信大家对“如何搭建Hadoop的环境”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！


网站名称：如何搭建Hadoop的环境
网页地址：http://ybzwz.com/article/pejiss.html

其他资讯