宜宾网站建设公司

Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建-创新互联

这篇文章主要介绍“Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建”，在日常操作中，相信很多人在Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

10年积累的网站设计、成都做网站经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先网站设计后付款的网站建设流程，更有西峡免费网站建设让你可以放心的选择与我们合作。

一、运行环境
CentOS 6.5
Spark 2.2.1
Hadoop 2.7.5
Java JDK 1.8
Scala 2.12.5

二、节点IP及角色对应关系

节点名 IP Spark角色 hadoop角色
hyw-spark-1 10.39.60.221 master、worker master
hyw-spark-2
 10.39.60.222 worker slave
hyw-spark-3 10.39.60.223 worker slave



三、基础环境配置
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

四、jdk安装（在hadoop用户下执行）
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined

五、scala安装（在hadoop用户下执行）
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined

六、hadoop集群安装（在hadoop用户下执行）
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined
undefined

  2.    

  3.         fs.defaultFS

  4.         hdfs://hyw-spark-1:9000

  5.     

  6.     

  7.         hadoop.tmp.dir

  8.         file:/usr/local/hadoop/tmp

  9.     

6.4.4、$vim hdfs-site.xml
将文件末尾修改为

  2.     

  3.         dfs.replication

  4.         3

  5.     

6.4.5、$vim mapred-site.xml
将文件末尾 修改为

  2.     

  3.         mapreduce.framework.name

  4.         yarn

  5.     



6.4.6、$vim yarn-site.xml
将文件末尾修改为

  3.     

  4.         yarn.nodemanager.aux-services

  5.         mapreduce_shuffle

  6.     

  7.     

  8.         yarn.resourcemanager.hostname

  9.         hyw-spark-1

  10.     

6.4.7、$vim slaves
添加如下内容
hyw-spark-1
hyw-spark-2
hyw-spark-3
6.4.8、拷贝文件到slave节点（总共7个文件）
$scp hadoop-env.sh yarn-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slave hadoop@hyw-spark-2:/usr/local/spark/etc/spark/
$scp hadoop-env.sh yarn-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slave hadoop@hyw-spark-3:/usr/local/spark/etc/spark/

6.5、启动hadoop集群
6.5.1、格式化NameNode
在Master节点上，执行如下命令
$hdfs namenode -format
成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
6.5.2、启动HDFS（NameNode、DataNode）
在Master节点上，执行如下命令
$start-dfs.sh
使用jps命令在Master上可以看到如下进程：
8757 SecondaryNameNode
7862 DataNode
7723 NameNode
8939 Jps
使用jps命令在两个Slave上可以看到如下进程：
7556 Jps
7486 DataNode
6.5.3启动Yarn（ResourceManager 、NodeManager）
在Master节点上，执行如下命令
$start-yarn.sh
使用jps命令在Master上可以看到如下进程：
9410 Jps
8757 SecondaryNameNode
8997 ResourceManager
7862 DataNode
9112 NodeManager
7723 NameNode
使用jps命令在两个Slave上可以看到如下进程：
7718 Jps
7607 NodeManager
7486 DataNode
6.5.4通过浏览器查看HDFS信息
浏览器访问http://10.39.60.221:50070，出现如下界面
Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建

七、spark安装（在hadoop用户下执行）
7.1、下载文件到/opt目录下，解压文件到/usr/local
$cd /opt
$sudo tar -xzvf spark-2.2.1-bin-hadoop2.7.tgz  -C /usr/local
$cd /usr/local
$sudo mv spark-2.2.1-bin-hadoop2.7/ spark
$sudo chown -R hadoop:hadoop spark

7.2、设置环境变量
$sudo vi /etc/profile
添加如下内容
export SPARK_HOME=/usr/local/spark
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
更新环境变量
source /etc/profile

7.3、配置文件修改
以下操作均在master节点配置，配置完成后scp到slave节点
$cd /usr/local/spark/conf
7.3.1、$cp spark-env.sh.template spark-env.sh
$vim spark-env.sh
添加如下内容
export JAVA_HOME=/opt/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=10.39.60.221
export SPARK_WORKER_MEMORY=1g
7.3.2、$cp slaves.template slaves
$vim slaves
添加如下内容
hyw-spark-1
hyw-spark-2
hyw-spark-3
7.3.3拷贝文件到slave节点
$scp -r spark-env.sh slaves hadoop@hyw-spark-2:/usr/local/spark/conf/
$scp -r spark-env.sh slaves hadoop@hyw-spark-3:/usr/local/spark/conf/

7.4、启动spark
7.4.1、启动Master节点
Master节点上，执行如下命令：
$start-master.sh
使用jps命令在master节点上可以看到如下进程：
10016 Jps
8757 SecondaryNameNode
8997 ResourceManager
7862 DataNode
9112 NodeManager
9832 Master
7723 NameNode
7.4.2、启动worker节点
Master节点上，执行如下命令：
$start-slaves.sh
使用jps命令在三个worker节点上可以看到如下进程：
7971 Worker
7486 DataNode
8030 Jps

7.5、通过浏览器查看spark信息
浏览器访问http://10.39.60.221:8080，出现如下界面
Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建

到此，关于“Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联-成都网站建设公司网站，小编会继续努力为大家带来更多实用的文章！


分享题目：Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建-创新互联
文章出自：http://ybzwz.com/article/dgdphe.html

其他资讯