宜宾网站建设公司

Hadoop2.0中的CDH4MR如何配置

这篇文章主要为大家展示了“Hadoop 2.0中的CDH4 MR如何配置”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop 2.0中的CDH4 MR如何配置”这篇文章吧。

只为您设计更接底气、较有营销力的好网站，将营销策划与网页设计互相结合的专业机构，成都营销网站建设公司中较早掌握H5技术技术的机构。一个好的高端网站设计，不能只是一张名片，茫茫网海，想要快速吸引到您客户的眼球，必须全方位的展现出企业突出的优势，以求达到主动营销的效果，最终促成成交！

MR1

cdh不建议使用MRv2.0作为生产环境，故依旧提供了mr1的包

mr1-2.0.0-mr1-cdh5.1.2.tar.gz

解压后copy至原hadoop路径，有如下文件冲突：

[root@h011171 ~]# cp -r hadoop-2.0.0-cdh5.1.2/* /usr/local/hadoop/ cp: overwrite `/usr/local/hadoop/bin/rcc’? y cp: overwrite `/usr/local/hadoop/bin/hadoop’? y cp: overwrite `/usr/local/hadoop/cloudera/cdh_version.properties’? y cp: overwrite `/usr/local/hadoop/cloudera/apply-patches’? y cp: overwrite `/usr/local/hadoop/cloudera/build.properties’? y cp: overwrite `/usr/local/hadoop/cloudera/CHANGES.cloudera.txt’? y

均覆盖即可

基本兼容cdh4 mr1的所有mapreduce配置，包括公平调度器/hadoop acl权限设置，

使用

./bin/start-mapred.sh ./bin/stop-mapred.sh

监控调度界面同原CDH3

MR2(YARN)

MRv2最基本的设计思想是将JobTracker的两个主要功能，即资源管理和作业调度/监控分成两个独立的进程。在该解决方案中包含两个组件：全局的ResourceManager（RM）和与每个应用相关的ApplicationMaster（AM）。这里的“应用”指一个单独的MapReduce作业或者DAG作业。RM和与NodeManager（NM，每个节点一个）共同组成整个数据计算框架。RM是系统中将资源分配给各个应用的最终决策者。AM实际上是一个具体的框架库，它的任务是【与RM协商获取应用所需资源】和【与NM合作，以完成执行和监控task的任务】。

架构描述如下：

Hadoop 2.0中的CDH4 MR如何配置

Hadoop 2.0中的CDH4 MR如何配置

配置

mapred-site.xml配置

    mapreduce.framework.name yarn   mapreduce.jobhistory.address h011200.hebe.grid.sina.com.cn:10020   mapreduce.jobhistory.webapp.address h011200.hebe.grid.sina.com.cn:19888 

yarn-site.xml配置

 yarn.resourcemanager.resource-tracker.address h011200.hebe.grid.sina.com.cn:8031   yarn.resourcemanager.address                # RMtracker地址意同jobtrakcer h011200.hebe.grid.sina.com.cn:8032   yarn.resourcemanager.scheduler.address     # RMscheduler地址意同mv1的jobscheduler h011200.hebe.grid.sina.com.cn:8030   yarn.resourcemanager.admin.address h011200.hebe.grid.sina.com.cn:8033   yarn.resourcemanager.webapp.address  #RM Web地址同mr1 默认的50030 h011200.hebe.grid.sina.com.cn:8088       Classpath for typical applications. yarn.application.classpath  $HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*, $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*, $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*, $YARN_HOME/*,$YARN_HOME/lib/*    yarn.nodemanager.aux-services mapreduce.shuffle   yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler   yarn.nodemanager.local-dirs /data1/hadoop/data/yarn/local   yarn.nodemanager.log-dirs /data1/hadoop/data/yarn/log   Where to aggregate logs yarn.nodemanager.remote-app-log-dir /var/log/hadoop-yarn/apps      yarn.app.mapreduce.am.staging-dir /user 

启动

./sbin/start-yarn.sh

会启动本地RM及远程NM

./sbin/mr-jobhistory-daemon.sh start historyserver

启动本地historyserver

RM界面

Hadoop 2.0中的CDH4 MR如何配置

Job history界面

Hadoop 2.0中的CDH4 MR如何配置

以上是“Hadoop 2.0中的CDH4 MR如何配置”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！


文章标题：Hadoop2.0中的CDH4MR如何配置
转载注明：http://ybzwz.com/article/gppose.html

其他资讯