安装Hadoop系统,配置单机模式+伪分布式-创新互联
sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
修改密码“5g”
授予管理员权限
sudo adduser hadoop sudo
注销该用户,选择Hadoop登录
3. 更新aptsudo apt-get update
开始报错
本质是DNS解析问题,重写网络文件或者更改软件更新源
域名系统(服务)协议(DNS)是一种分布式网络目录服务,主要用于域名与 IP 地址的相互转换,以及控制因特网的电子邮件的发送。
检查服务是否开启
我知道我的网关为192.168.44.2
在linux虚拟机中打开eth0对应网络接口配置文件,修改配置:
cd /etc
sudo mkdir sysconfig
cd sysconfig
sudo mkdir network-scripts
cd network-scripts
sudo vi ./ifcfg-eth0
配置信息如下:
ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.44.12
NETMASK=255.255.255.0 GATEWAY=192.168.44.2
ONBOOT设置为yes,BOOTPROTO设置为static,由于网关为192.168.44.2,所以这台虚拟机的ip可以设置为192.168.44.*,在此,我们设置为 192.168.44.12 ,子网掩码NETMASK=255.255.255.0,网关就是之前我们查看的网关地址:GATEWAY=192.168.44.2;
设置后,不见效果
复盘
(1)检查Vmware网络服务是否开启
(2)检验VMware Network Apdapter VMnet8 连接是否启动,本地网络也得可用**(此处为禁用状态,需开启)**
(3)检查虚拟机配置
sudo service network-manager stop
sudo vim /var/lib/NetworkManager/NetworkManager.state
如果有False的,改为True
(4)sudo service network-manager start
最后在虚拟机上方可见网络状态
小结:本质上是虚拟机网络配置问题,重新配置即可更新安装包。
安装vim
略
sudo apt-get install openssh-server
日常报错,依赖错误,删了server重装
sudo apt-get autoremove openssh-client openssh-server
sudo apt-get install openssh-client openssh-server
安装后,可以使用如下命令登陆本机:
ssh localhost
设置无密登录
先退出exit
然后按照一下命令生成密钥,并将密钥加入授权
成功无密登录
下载jdk安装包,放到downloads文件夹下。
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads #注意区分大小写字母,刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下
设置环境变量:
cd ~
vim ~/.bashrc
按下“i”,在这个文件的开头位置,添加如下几行内容
保存并退出
继续执行如下命令让.bashrc文件的配置立即生效:
source ~/.bashrc
6. 安装Hadoop3.1.3将 Hadoop 安装至 /usr/local/ 中:
sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop
输入如下命令来检查 Hadoop 是否可用
7. Hadoop单机配置Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。
选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/* # 查看运行结果
注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。rm -r ./output
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
准备修改配置文件,出bug了
参考解决方案:
https://blog.csdn.net/qq_43494013/article/details/124651579
成功解决
修改2个配置文件 core-site.xml 和 hdfs-site.xml
hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000
dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data
如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置
hadoop.tmp.dir 参数,则默认使用的临时目录为
/tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format
才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和
dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
执行 NameNode 的格式化:
cd /usr/local/hadoop
./bin/hdfs namenode -format
第一行警告…WARNING: /usr/local/hadoop/logs does not exist. Creating.
接着开启 NameNode 和 DataNode 守护进程
cd /usr/local/hadoop
./sbin/start-dfs.sh
如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。
其实是修改配置文件时,选用的路径错误
这次第一行没有warming
配置成功
结果
将运行结果取回到本地
若要再次执行,需要执行如下命令删除 output 文件夹:
./bin/hdfs dfs -rm -r output # 删除 output 文件夹
关闭 Hadoop./sbin/stop-dfs.sh
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
本文名称:安装Hadoop系统,配置单机模式+伪分布式-创新互联
网站网址:http://ybzwz.com/article/dphgjh.html