宜宾网站建设公司

怎么安装hdfs、hbase和opentsdb

这篇文章主要讲解了“怎么安装hdfs、hbase和opentsdb”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么安装hdfs、hbase和opentsdb”吧！

网站建设哪家好，找创新互联公司！专注于网页设计、网站建设、微信开发、小程序设计、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了通城免费建站欢迎大家使用！

系统准备：CentOS6.5

  1. 配置静态IP，修改hostname

使用ifconfig查看当前网卡MAC地址与名称。假定网卡名称为eth0,MAC地址为33:44:55:66:77:88 编辑/etc/sysconfig/network-scripts/ifcfg-eth0:

DEVICE="eth0"
BOOTPROTO="none"
ONBOOT="yes"
HWADDR="33:44:55:66:77:88"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
IPADDR="192.168.1.110"

重启network服务：service network restart 修改hostname：编辑/etc/sysconfig/network文件，将hostname一项修改为自己的hostname,需重启生效

  1. 时间同步。使用ntp同步时间后，可以使用如下命令写入硬件时间:hwclock --systohc -u

  2. 关闭防火墙，并禁止防火墙开机启动：

service iptables stop
chkconfig iptables off

  1. 创建hadoop用户和组

groupadd hadoop
useradd -g hadoop hadoop

  1. 调整hadoop用户的系统limits限制：编辑/etc/security/limits.conf文件，在后面添加：

hadoop     -   nofile  32768
hadoop     -   nproc   32000

在hadoop用户下，使用命令ulimit -a查看改动情况。

  1. 修改机器的/etc/hosts文件。在其中列出所有机器的IP地址与机器hostname，以及127.0.0.1 localhost，然后同步到所有机器上。

  2. 配置机器相互间hadoop用户的无密码访问

切换至hadoop用户，进入该用户主文件夹下的.ssh文件夹下（没有则创建） 运行命令ssh-keygen -t dsa -P ''，确认，生成id_dsa与id_dsa.pub文件 将id_dsa.pub文件改名，以便所有机器之间相互区别 将所有机器上的.pub文件使用cat追加到文件authorized_keys文件中，并修改该文件权限：chmod 600 authorized_keys 将authorized_keys同步至所有机器上hadoop用户主目录下的.ssh文件夹下

  1. 所有机器安装jdk，使用yum安装，注意相同版本

安装hadoop

  1. 下载hadoop 2.2.0版本，解压至目录/usr/local/hadoop，该目录即为HADOOP_HOME

  2. 修改HADOOP_HOME下的etc/hadoop/hadoop-env.sh，修改其中的变量JAVA_HOME到正确位置

  3. 修改HADOOP_HOME下的etc/hadoop/core-site.xml文件，在之间加入配置。核心配置如下：


   
       fs.defaultFS
       hdfs://namenode节点主机名:9000
   

   
       hadoop.tmp.dir
       hadoop临时文件夹存放路径
   

  1. 修改HADOOP_HOME下的etc/hadoop/hdfs-site.xml文件，在之间加入配置。核心配置如下：


   
       dfs.datanode.data.dir
       hadoop临时文件夹存放路径/dfs/data
   

   
       dfs.namenode.name.dir
       hadoop临时文件夹存放路径/dfs/name
   

   
       dfs.replication
       3
   

  1. 修改HADOOP_HOME下的masters文件夹，写入master主机名，每个一行

  2. 修改HADOOP_HOME下的slaves文件夹，写入slaves主机名，每个一行

  3. 将/usr/local/hadoop/bin，/usr/local/hadoop/sbin加入系统路径

  4. 使用scp将/usr/local/hadoop文件夹所有内容同步至所有机器中，并注意所有机器中临时文件夹的可访问性

  5. 初始化namenode：hadoop namenode -format

  6. 启动hdfs：start-dfs.sh，访问http://namenode节点主机名:50070查看结果

安装Hbase

  1. 下载hbase 0.98.5，解压至目录/usr/local/hbase下

  2. 修改hbase目录下conf/hbase-env.sh文件，修改变量JAVA_HOME，将变量HBASE_MANAGES_ZK修改为true

  3. 修改conf/core-site.xml文件，核心配置如下：


   
       hbase.rootdir
       hdfs://namenode节点主机名:9000/hbase
   

   
       hbase.cluster.distributed
       true
   

   
       hbase.master
       master节点主机名:60000
   

   
       hbase.zookeeper.quorum
       启动zookeeper服务的主机列表，有多个用逗号隔开
   

   
       hbase.zookeeper.property.dataDir
       zookeeper临时文件存放目录
   

  1. 修改conf/regionservers文件，其中列出要启动regionserver的主机名

  2. 将hbase目录下bin目录加入系统路径中

  3. 使用scp将hbase目录同步至所有机器中，确保临时文件夹的可访问性

  4. 启动hbase：在主节点上start-hbase.sh，访问http://master节点主机名:60010查看结果

安装openTSDB

  1. 确保机器中安装了gnuplot

  2. 下载openTSDB的rpm安装包，直接装入机器中

  3. 修改/etc/opentsdb/opentsdb.conf文件，修改如下三项：

tsd.http.cachedir = opentsdb临时文件存放位置 
tsd.http.staticroot = /usr/share/opentsdb/static/
tsd.storage.hbase.zk_quorum = 运行zookeeper机器的IP地址

  1. 在hbase正常运行下，运行脚本env COMPRESSION=NONE HBASE_HOME=path/to/hbase /usr/share/opentsdb/tools/create_table.sh创建表

  2. 启动tsdb：tsdb tsd，浏览器访问当前主机的4242端口，查看结果

  3. 运行命令tsdb mkmetric proc.loadavg.1m proc.loadavg.5m创建两个metric，用来测试

  4. 运行如下脚本持续向数据库中写入数据，在4242监控窗口上找到相应metric，查看测试结果

#!/bin/bash
set -e
while true; do
  awk -v now=`date +%s` -v host=psyDebian \
  '{ print "put proc.loadavg.1m " now " " $1 " host=" host;
     print "put proc.loadavg.5m " now " " $2 " host=" host }' /proc/loadavg
  sleep 2
done | nc -w 4 192.168.1.106 4242

感谢各位的阅读，以上就是“怎么安装hdfs、hbase和opentsdb”的内容了，经过本文的学习后，相信大家对怎么安装hdfs、hbase和opentsdb这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！


本文标题：怎么安装hdfs、hbase和opentsdb
文章分享：http://ybzwz.com/article/pddcde.html

其他资讯