宜宾网站建设公司

Hadoop部署之环境准备(一)-创新互联

一、软硬件规划

ID 主机类型 主机名 IP 应用软件 操作系统 硬件配置
1物理机namenode01192.168.1.200jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储
2物理机datanode01192.168.1.201jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储
3物理机datanode02192.168.1.202jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储
4物理机datanode03192.168.1.203jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1CentOS7.46核CPU、8G内存、250存储

我这里规划的角色不是太好，如果是四台机器，建议大家按照我们下面的分配

创新互联主营安州网站建设的网络公司,主营网站建设方案,手机APP定制开发,安州h5小程序开发搭建,安州网站营销推广欢迎安州等地区企业咨询
  • ZooKeeper
    ZooKeeper Server：namenode01
  • HDFS
    NameNode：namenode01
    SecondaryNameNode：namenode01
    DataNode：datanode[01-03]
  • YARN
    ResourceManager：namenode01
    NodeManager：datanode[01-03]
  • HBase
    Master：namenode01
    RegionServer：datanode[01-03]
  • Hive
    HiveServer2：namenode01
    Hive Metastore Server：namenode01
  • Spark
    Master：namenode01
    Worker：datanode[01-03]

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1
192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03

Hadoop 部署之环境准备(一)

三、配置 SSH 互信

在namenode01节点上面进行操作。

ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03

四、创建用户

创建用户（4台机器相同操作）

useradd hadoop && echo '123456' |passwd --stdin hadoop

使用命令visudo设置用户权限（4台机器相同操作），添加如下内容：

hadoop    ALL=(ALL)       ALL

五、JDK 的安装

下载JDK1.8，可以选择下载rpm包，直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


本文标题：Hadoop部署之环境准备(一)-创新互联
链接分享：http://ybzwz.com/article/cohcph.html

其他资讯