宜宾网站建设公司

Hadoopwindows本地环境安装教程

本篇内容介绍了“Hadoop windows本地环境安装教程”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

10余年的莱芜网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。营销型网站建设的优势是能够根据用户设备显示端的尺寸不同，自动调整莱芜建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联从事“莱芜网站设计”,“莱芜网站推广”以来，每个客户项目都认真落实执行。

有时候需要调试hadoop的程序，如果都要传到linux上，非常不方便。我们可以搭建一个windows的单机版本hadoop环境，测试我们的代码。

一、下载所需文件

  1. JDK下载地址，jdk1.8下载

  2. Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。

  3. Hadoop windows环境编译工具，winutils下载 ，下载后解压出来

二、安装文件

  1.  jdk安装，省略

  2. hadoop安装，由于下载的hadoop文件是不用安装的，我们只需要解压出来就可以了 解压目录 D:\dev-tools\hadoop\hadoop-2.8.3

三、环境变量配置

  1.  jdk，省略

四、配置hadoop文件

  1. 配置 core-site.xml文件


    
        hadoop.tmp.dir
        /D:/data/hadoop
    

    
        fs.default.name
        hdfs://localhost:9000
    

2. 配置mapred-site.xml 


    
       mapreduce.framework.name
       yarn
    

配置  hdfs-site.xml


    
    
        dfs.replication
        1
    

配置 yarn-site.xml 


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

找到 hadoop-env.cmd 文件并打开，添加下面配置。

set JAVA_HOME=%JAVA_HOME%
set HADOOP_HOME=D:\dev-tools\hadoop\hadoop-2.8.3
rem %HADOOP_HOME%\bin 加入到运行时path中
set PATH=%PATH%;%HADOOP_HOME%\bin

五、替换文件

解压我们之前下载的 winutils-master 文件，找到符合自己的版本的bin目录，把 winutils.exe和hadoop.dll 复制到 bin 目录

六、运行

1.运行cmd窗口，执行hdfs namenode -format ，格式化hdfs文件系统。

 2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd启动hadoop，包括yarn/hdfs

七、测试

打开下面的网页可以查看hdfs状态

在hadoop 2.x中,管理界面为 http://localhost:50070

在hadoop 3.0中，已经改为 http://localhost:9870

Hadoop windows本地环境安装教程

打开下面的网页可以查看yarn状态

http://localhost:8088/cluster

Hadoop windows本地环境安装教程

配置好的hadoop 2.8.3，已经上传到网盘，可以自行下载后配置环境变量即可使用

“Hadoop windows本地环境安装教程”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！


本文标题：Hadoopwindows本地环境安装教程
分享链接：http://ybzwz.com/article/gsgdce.html

其他资讯