宜宾网站建设公司

Hadoop部署之环境准备(一)

一、软硬件规划

ID主机类型主机名IP应用软件操作系统硬件配置
1 物理机 namenode01 192.168.1.200 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储
2 物理机 datanode01 192.168.1.201 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储
3 物理机 datanode02 192.168.1.202 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储
4 物理机 datanode03 192.168.1.203 jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1 CentOS7.4 6核CPU、8G内存、250存储

我这里规划的角色不是太好，如果是四台机器，建议大家按照我们下面的分配

创新互联建站是一家集网站建设,竹溪企业网站建设,竹溪品牌网站建设,网站定制,竹溪网站建设报价,网络营销,网络优化,竹溪网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

  • ZooKeeper
    ZooKeeper Server：namenode01
  • HDFS
    NameNode：namenode01
    SecondaryNameNode：namenode01
    DataNode：datanode[01-03]
  • YARN
    ResourceManager：namenode01
    NodeManager：datanode[01-03]
  • HBase
    Master：namenode01
    RegionServer：datanode[01-03]
  • Hive
    HiveServer2：namenode01
    Hive Metastore Server：namenode01
  • Spark
    Master：namenode01
    Worker：datanode[01-03]

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1
192.168.1.201 datanode01 hbase02 spark02 zk01 MySQL01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03

Hadoop 部署之环境准备(一)

三、配置 SSH 互信

在namenode01节点上面进行操作。

ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03

四、创建用户

创建用户（4台机器相同操作）

useradd hadoop && echo '123456' |passwd --stdin hadoop

使用命令visudo设置用户权限（4台机器相同操作），添加如下内容：

hadoop    ALL=(ALL)       ALL

五、JDK 的安装

下载JDK1.8，可以选择下载rpm包，直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html


网站栏目：Hadoop部署之环境准备(一)
文章地址：http://ybzwz.com/article/gscgjs.html

其他资讯