宜宾网站建设公司

Spark1.6.1和Hadoop2.6.4完全分布式安装的示例分析

这篇文章主要介绍Spark1.6.1和Hadoop2.6.4完全分布式安装的示例分析，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

成都创新互联公司主要从事成都网站制作、网站设计、外贸网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务社旗,十多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

前期准备： 以下安装包均可在官网下载

hadoop-2.6.4.tar.gz  jdk-7u71-linux-x64.tar.gz  scala-2.10.4.tgz  spark-1.6.1-bin-hadoop2.6.tgz

本人的硬件环境为：

master：虚拟内核8 内存16.0GB	
slave1：虚拟内核4 内存10.0GB	
slave2：虚拟内核4 内存10.0GB	
slave3：虚拟内核4 内存10.0GB	
slave4：虚拟内核4 内存10.0GB

将5台机器分别命名为master、slave1、slave2、slave3、slave4：

在master这台电脑上
sudo vim /etc/hostname

master

在将5台机器均配置相同hosts：

sudo vim /etc/hosts

127.0.0.1 localhost
127.0.1.1 master/slave1/...

192.168.80.70 master
192.168.80.71 slave1 
192.168.80.72 slave2 
192.168.80.73 slave3 
192.168.80.74 slave4

配置好后，重启，之后可以在master上ping slave1

配置ssh：

所有节点，使用   ssh-keygen -t rsa    一路按回车就行了。
①在master上将公钥放到authorized_keys里。命令：sudo cat id_rsa.pub >> authorized_keys
②将master上的authorized_keys放到其他linux的~/.ssh目录下。
命令：scp authorized_keys root@salve1:~/.ssh       
③修改authorized_keys权限，命令：chmod 644 authorized_keys
ssh localhost以及ssh master
④测试是否成功
ssh slave1 输入用户名密码，然后退出，再次ssh host2不用密码，直接进入系统。这就表示成功了。
所有节点关闭防火墙 ufw disable

编辑配置文件：

vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71
export PATH=JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export SCALA_HOME=/opt/scala/scala-2.10.4
export PATH=/opt/scala/scala-2.10.4/bin:$PATH

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/root/hadoop-2.6.4
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export SPARK_HOME=/root/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile
vim hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71
export HADOOP_CONF_DIR=/root/hadoop-2.6.4/etc/hadoop/ 

source hadoop-env.sh
vim yarn-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71

source yarn-env.sh
vim spark-env.sh

export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_INSTANCES=2

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_71
export SCALA_HOME=/opt/scala/scala-2.10.4
export HADOOP_HOME=/root/hadoop-2.6.4

source spark-env.sh

Spark和Hadoop均需要修改slaves

vim slaves

slave1
slave2
slave3
slave4

Hadoop相关配置：

vim core-site.xml 



hadoop.tmp.dir
/root/hadoop-2.6.4/tmp


fs.default.name
hdfs://master:9000


vim hdfs-site.xml 



dfs.http.address
master:50070


dfs.namenode.secondary.http-addressmaster:50090


dfs.replication
1


vim mapred-site.xml



mapred.job.tracker
master:9001
 

mapred.map.tasks
20


mapred.reduce.tasks
4


mapreduce.framework.name
yarn


mapreduce.jobhistory.addressmaster:10020

mapreduce.jobhistory.webapp.addressmaster:19888


vim yarn-site.xml





 yarn.resourcemanager.address
master:8032


yarn.resourcemanager.scheduler.address
 master:8030


 yarn.resourcemanager.webapp.address
 master:8088


yarn.resourcemanager.resource-tracker.addressmaster:8031


yarn.resourcemanager.admin.addressmaster:8033


yarn.nodemanager.aux-servicesmapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandler

配置完上述内容后，在master节点上将上述两个解压包分发到slave1~slave4节点上：

scp -r spark-1.6.1-bin-hadoop2.6 root@slave1:~/

scp -r hadoop-2.6.4 root@slave1:~/

注意ssh要提前配置好，Hadoop运行测试这里不再赘述，注意 jps命令查看状态

启动测试Spark

./sbin/start-all.sh

测试Spark自带的例子

./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi /root/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar

测试Spark shell

./bin/spark-shell --master spark://master:7077

以上是“Spark1.6.1和Hadoop2.6.4完全分布式安装的示例分析”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！


本文名称：Spark1.6.1和Hadoop2.6.4完全分布式安装的示例分析
文章地址：http://ybzwz.com/article/ipddeh.html

其他资讯