宜宾网站建设公司

centos下安装分布式Hadoop3.1.1-创新互联

一）安装环境

成都创新互联是专业的凤泉网站建设公司，凤泉接单;提供成都做网站、成都网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行凤泉网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

centos 7

JDK 1.8.0_181

VMware 12 pro

hadoop 3.1.1

二）安装环境准备

  1. 分布式系统准备

    下面示例中，我安装了3个独立的虚拟机系统，其中HW-Machine作为master，另外2台分别为slaves：

    centos下安装分布式Hadoop 3.1.1


  2. Java环境配置       //3台虚拟机均需配置

    JDK安装包的获取以及Java环境的配置，请参考另一篇博文《Centos下Java环境安装配置》。

  3. 静态IP设置        //3台虚拟机均需设置，并修改/etc/hosts文件及/etc/hostname文件

    由于分布式系统配置时，会写入系统主机名或者主机IP，因此我们需要对Hadoop环境所用的系统主机设置静态IP，具体设置方法，请参考另一篇博《VMware中Centos系统设置静态IP》。

    我这里的设置情况如下：

    centos下安装分布式Hadoop 3.1.1


  4. SSH免密码登录配置            //3台虚拟机均需配置

    Hadoop的master与slave之间的数据传输会使用SSH，因此我们还需要对Hadoop环境所用的系统主机设置SSH免密码登录，具体设置方法，请参考另一篇博文《Centos设置SSH免密码远程登录》。


三）Hadoop安装配置

注：

a. hadoop要求，所有用到的主机系统需要建立相同的用户，在本例中我直接使用root账号，因此所有操作均是以root账号；

b. 对应下面配置文件修改，未特别说明，只需修改master上面的文件。

  1. Hadoop下载

    直接去apache官网下载http://mirrors.hust.edu.cn/apache/ ，如本次实验中下载的是： hadoop-3.1.1.tar.gz

  2. 直接解压下载软件包： tar -zxvf hadoop-3.1.1.tar.gz -C DestinationFolder，比如我解压到了/usr/local/目录下面（这里的3台系统均需下载并解压）

    centos下安装分布式Hadoop 3.1.1

  3. 配置文件修改

    3.1 修改core-site.xml文件，文件位置/xxx/etc/hadoop/目录下，3个系统都必须修改该文件

    centos下安装分布式Hadoop 3.1.1

    3.2 修改hadoop-env.sh文件，文件位置/xxx/etc/hadoop/目录下，3个系统都必须修改该文件

    centos下安装分布式Hadoop 3.1.1

    或者如下修改（注意JAVA_HOME与HADOOP_HOME根据你自己环境配置设定），多添加红框内的内容，这样设置后可以省略后面的3.7，3.8，3.9三个步骤：

    centos下安装分布式Hadoop 3.1.1


    3.3 修改hdfs-site.xml文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点

    centos下安装分布式Hadoop 3.1.1

    或者，按如下设置（注意根据master实际配置，修改name、data目录路径及namenode的地址）：

    centos下安装分布式Hadoop 3.1.1


    3.4 修改mapred-site.xml文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点

    centos下安装分布式Hadoop 3.1.1

    注意：该文件可以只用设置此一个属性，其他会默认初始化。

    3.5 修改workers文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点

    centos下安装分布式Hadoop 3.1.1

    注意：这里可以只设置slave1和slave2，这样master系统就不会作为DataNode节点。

    3.6 修改yarn-site.xml文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点

    centos下安装分布式Hadoop 3.1.1

    注意：这里也可以只用设置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services属性。

    3.7 修改start-dfs.sh及stop-dfs.sh文件，文件位置/xxx/sbin/目录下，在这两个文件头部加入如下变量：

    HDFS_DATANODE_USER=root

      HADOOP_SECURE_DN_USER=hdfs

     HDFS_NAMENODE_USER=root

     HDFS_SECONDARYNAMENODE_USER=root

     3.8 修改start-yarn.sh和stop-yarn.sh文件，文件位置/xxx/sbin/目录下，在这两个文件头部加入如下变量：

     YARN_RESOURCEMANAGER_USER=root

    HADOOP_SECURE_DN_USER=yarn

    YARN_NODEMANAGER_USER=root

    3.9 修改start-all.sh和stop-all.sh文件，文件位置/xxx/sbin/目录下，在这两个文件头部加入如下变量：

    TANODE_USER=root

    HDFS_DATANODE_SECURE_USER=hdfs

    HDFS_NAMENODE_USER=root

    HDFS_SECONDARYNAMENODE_USER=root

    YARN_RESOURCEMANAGER_USER=root

    HADOOP_SECURE_DN_USER=yarn

    YARN_NODEMANAGER_USER=root

  4. 初始化Hadoop系统，切换至/xxx/bin目录下

    运行命令：./hdfs namenode  -format

     不报错返回 “Exiting with status 0” 为成功，“Exiting with status 1”为失败

 5. 启动Hadoop并验证，切换至/xxx/sbin目录下

    运行命令启动： ./start-all.sh

    运行命令验证： jps， 如果看到以下服务则表示已经成功启动服务：


     centos下安装分布式Hadoop 3.1.1

   或者也可打开浏览器，输入http://master:50070验证，可看到如下网页：

     centos下安装分布式Hadoop 3.1.1

    至此，Hadoop安装验证完毕！



注意：

安装配置Hadoop3.1.1还可以结合参考：https://blog.csdn.net/qq_41684957/article/details/81946128

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


分享名称：centos下安装分布式Hadoop3.1.1-创新互联
标题来源：http://ybzwz.com/article/hhcph.html

其他资讯