Hadoop2.6.0上的spark1.5.2集群如何搭建

这篇文章将为大家详细讲解有关Hadoop2.6.0上的spark1.5.2集群如何搭建，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

创新互联建站主要从事成都网站设计、网站建设、外贸网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务翼城,十余年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792

一、Spark安装前提

安装Spark之前需要先安装Hadoop集群，因为之前已经安装了hadoop，所以我直接在之前的hadoop集群上安装spark，但是因为机器内存不够，我只选择master以及slave01安装spark集群，而不要slave02了。

二、Spark安装步骤：

1.下载scala-2.11.7.tgz

http://www.scala-lang.org/download/2.11.7.html

2.下载spark-1.5.2-bin-hadoop2.6.tgz(之前安装的hadoop是2.6.0的)

http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

3.安装Scala（在master上）：

mkdir /application/scala

cp /root/scala-2.11.7.tgz /application/scala/

cd /application/scala/

tar -zxvf scala-2.11.7.tgz

创建软链接：

ln -s /application/scala/scala-2.11.7 /application/scala/scala

修改环境变量，添加SCALA_HOME，并修改PATH即可：

vi /etc/profile.d/java.sh

export SCALA_HOME=/application/scala/scala-2.11.7

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH

使配置立即生效：

source /etc/profile

验证是否安装成功

scala –version

显示如下：

Hadoop2.6.0上的spark1.5.2集群如何搭建

4.将/application/scala从master复制到另外一台机器slave01上。

scp -r /application/scala root@slave01:/application/

5.将/etc/profile.d/java.sh也复制到slave01上。

再在slave01上进行以下命令操作，使配置生效：

source /etc/profile

6.安装Spark（在master上）：

mkdir /application/spark

cp /root/spark-1.5.2-bin-hadoop2.6.tgz /application/spark/

tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz

修改环境变量：将SPARK_HOME添加进去，并修改PATH即可。

vi /etc/profile.d/java.sh

export SPARK_HOME=/application/spark/spark-1.5.2-bin-hadoop2.6

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

是配置立即生效：

source /etc/profile

7.修改配置文件

7.1修改spark-env.sh配置文件：

cd /application/spark/spark-1.5.2-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

在后面追加

###jdk dir

export  JAVA_HOME=/usr/local/jdk

###scala dir

export SCALA_HOME=/application/scala/scala

###the ip of master node of spark

export SPARK_MASTER_IP=192.168.10.1

###the max memory size of worker

export SPARK_WORKER_MEMORY=512m

###hadoop configuration file dir

export HADOOP_CONF_DIR=/application/hadoop/hadoop/etc/hadoop

7.2修改slaves文件

cp slaves.template slaves

vi slaves

添加如下（可能有默认localhost，将其改成master）：

master

slave01

8.将/application/spark以及环境变量的配置文件复制到slave01，并通过source命令将文件立即生效

scp -r /application/spark root@slave01:/application/

scp -r /etc/profile.d/java.sh root@slave01:/etc/profile.d/java.sh

修改所属组和用户

chown -R hadoop:hadoop /application/spark

9.到此Spark集群搭建完毕。