宜宾网站建设公司

HDFS（NameNode）的联盟：Federation-创新互联

HDFS（NameNode）的联盟：Federation，配置HDFS联盟，多个NameNode节点同时存活，根据代理配置的路由规则处理客户端不同的请求，实现负载均衡，同时也可以缓存更多的元信息，它与HA的区别在于，联盟是多个NameNode都是active，可以存储更多的元信息。

创新互联公司服务项目包括阿拉山口网站建设、阿拉山口网站制作、阿拉山口网页制作以及阿拉山口网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，阿拉山口网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到阿拉山口省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

一、联盟与HA的联系和区别

1、也有多个NameNode
2、跟HA的区别：这些NameNode都是active状态
3、作用：
（1）缓存更多的元信息
（2）实现负载均衡

二、搭建HDFS的联盟

（1）规划
NameNode：bigdata112 bigdata113
DataNode：bigdata114 bigdata115
（2）在bigdata112上配置安装hadoop
（2.1）解压
（2.2）配置hadoop-env.sh中的java环境
export JAVA_HOME=/training/jdk1.8.0_144
（2.3）配置core-site.xml


            
                hadoop.tmp.dir
                /training/hadoop-2.7.3/tmp

（2.4）配置mapred-site.xml


            mapreduce.framework.name
            yarn
        

（2.5）配置yarn-site.xml


yarn.resourcemanager.hostname
bigdata12


yarn.nodemanager.aux-services
mapreduce_shuffle

（2.6）配置slaves

 bigdata14
        bigdata15

（2.7）配置hdfs-site.xml

 
                
                        dfs.nameservices
                        ns1,ns2
                

    
                
                        dfs.namenode.rpc-address.ns1
                        bigdata112:9000
                
                
                
                        dfs.namenode.http-address.ns1
                        bigdata112:50070
                
          
                        dfs.namenode.secondaryhttp-address.ns1
                        bigdata112:50090
                

                
                
                        dfs.namenode.rpc-address.ns2
                        bigdata113:9000
                
                
                
                        dfs.namenode.http-address.ns2
                        bigdata113:50070
                
          
                        dfs.namenode.secondaryhttp-address.ns2
                        bigdata113:50090
                
    <！--副本-->
    
        dfs.replication
        2
    

    
        dfs.webhdfs.enabled
        true
    

    <！--权限-->
    
        dfs.permissions
        false

（2.8）配置core-site.xml，增加路由规则


            fs.viewfs.mounttable.xdl1.homedir
            /home
        

        
            fs.viewfs.mounttable.xdl1.link./movies
            hdfs://bigdata114:9000/movies
        

        
            fs.viewfs.mounttable.xdl1.link./mp3
            hdfs://bigdata115:9000/mp3
        

        
            fs.default.name
            viewfs://xdl1

注意：如果路由规则太多，可以单独创建一个xml文件（mounTable.xml）
（3）将112上的hadoop拷贝到113、114、115上

（4）对NameNode进行格式化

在112和113两个namenode节点上格式化
hdfs namenode -format -clusterId xdl1

（5）启动
在112上启动Hadoop
start-all.sh
（6）在DataNode节点上创建响应的目录

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


当前标题：HDFS（NameNode）的联盟：Federation-创新互联
网页路径：http://ybzwz.com/article/cesdes.html

其他资讯