hdfs的四大机制和两大核心-创新互联
四大机制：
（1）心跳机制：
介绍： hdfs是主从架构，所有为了实时的得知dataNode是否存活，必须建立心跳机制，在整个hdfs运行过程中，dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。
心跳内容：
- 报告自己的存活状态，每次汇报之后都会更新维护的计数信息
- 向nameNode汇报自己的存储的block列表信息
心跳报告周期：
dfs.heartbeat.interval
3 //单位秒
nameNode判断一个dataNode宕机的基准：连续10次接收不到dataNode的心跳信息，和2次的检查时间。
检查时间：表示在nameNode在接收不到dataNode的心跳时，此时会向dataNode主动发送检查
dfs.namenode.heartbeat.recheck-interval
300000 //单位毫秒
计算公式：2dfs.namenode.heartbeat.recheck-interval+10dfs.heartbeat.interval=310+3002=630s=10.5min
（2）安全机制：
介绍：hdfs在启动的时候，首先会进入的安全模式中，当达到规定的要求时，会退出安全模式。在安全模式中，不能执行任何修改元数据信息的操作。
hdfs的元数据的介绍（三个部分）：
- 抽象目录树
- 数据与块的对应关系（文件被切分成多少个块）
- block块存放的位置信息
hdfs元数据的存储位置：
- 内存：内存中存储了一份完整的元数据信息（抽象目录树、数据与块的对应关系、block块存放的位置信息）
- 硬盘：抽象目录树、数据与块的对应关系
注意：其中内存中的元数据的block块存放的位置信息，是通过dataNode向nameNode汇报心跳时获取的，硬盘中的元数据，是因为内存中的元数据在机器宕机时就自动消失，所以需要将内存中的元数据持久化到硬盘
而硬盘中的元数据只有抽象目录树、数据与块的对应关系，没有block块存放的位置信息
nameNode在启动的所作的操作：
集群的启动顺序：nameNode---》dataNode---》secondaryNameNode
将硬盘中的元数据信息加载内存，如果是第一次启动集群，此时会在本地生成一个fsimage镜像文件，接收dataNode汇报的心跳，将汇报中的block的位置信息，加载到内存。当然就在此时hdfs会进入安全模式。
退出安全模式的条件：
- 如果在集群启动时dfs.namenode.safemode.min.datanodes（启动的dataNode个数）为0时，并且，数据块的最小副本数dfs.namenode.replication.min为1时，此时会退出安全模式，也就是说，集群达到了最小副本数，并且能运行的datanode节点也达到了要求，此时退出安全模式
- 启动的dataNode个数为0时，并且所有的数据块的存货率达到0.999f时，集群退出安全模式（副本数达到要求）
dfs.namenode.safemode.threshold-pct
0.999f
手动退出或者进入安全模式
hdfs dfsadmin -safemode enter 进入
hdfs dfsadmin -safemode leave 退出
hdfs dfsadmin -safemode get 查看（3）机架策略（副本存放策略）：
第一个副本，放置在离客户端最近的那个机架的任意节点，如果客户端是本机，那就存放在本机（保证有一个副本数），第二个副本，放置在跟第一个副本不同机架的任意节点上，第三个副本，放置在跟第二个副本相同机架的不同节点上。
修改副本的方法：
1. 修改配置文件：
dfs.replication
1
2. 命令设置： hadoop fs -setrep 2 -R dir
（4）负载均衡：
hdfs的负载均衡：表示每一个dataNode存储的数据与其硬件相匹配，即占用率相当
，如何手动调整负载均衡：
- 集群自动调整负载均衡的带宽：（默认为1M）
dfs.datanode.balance.bandwidthPerSec
1048576 //1M
- 告诉集群进行负载均衡：start-balancer.sh -t 10% 表示节点大占用率与节点的最小的占用率之间的差值当超过10%时，此时集群不会立刻进行负载均衡，会在集群不忙的时候进行。
两大核心：
（1）文件上传：
- 使用hdfs提供的客户端client，向远程的namenode发起RPC请求。
- namenode会检查要创建的文件是否已经存在、创建者是否有权限，成功则会为文件创建一个记录，否则向客户端抛出异常。
- 当客户端开始写入文件的时候，客户端会将文件切分成多个packets，并在内部以数据队列“data queue（数据队列）”的形式管理这些packet，并向namenode申请blocks，获取用来存储replicas的合适的datanode列表，列表的大小根据namenode中的replication个数来设定。
- client获取block列表之后，开始以pipeline（管道）的形式，将packet写入所有的replicas中，客户端把packet以流的形式写入到第一个datanode中，该datanode把packet存储之后，在将其传递到此pipeline中的下一个datanode，直到最后一个 datanode。
- 最后一个 datanode 成功存储之后会返回一个 ack packet（确认队列），在 pipeline 里传递至客户端，在客户端的开发库内部维护着"ack queue"，成功收到 datanode 返回的 ackpacket 后会从"data queue"移除相应的 packet。
- 如果传输过程中，有某个datanode出现了故障，那么当前pipeline会被关闭，出现故障的节点，会被剔除此pipeline，剩余的block会继续剩下的的 datanode 中继续以 pipeline 的形式传输，同时 namenode 会分配一个新的 datanode，保持 replicas 设定的数量。
- 客户端完成数据的写入后，会对数据流调用close方法，关闭数据流
- 只要写入了 dfs.replication.min（最小写入成功的副本数）的复本数（默认为 1），写操作就会成功，并且这个块可以在集群中异步复制，直到达到其目标复本数（dfs.replication的默认值为 3），因为namenode已经知道文件由哪些块组成，所以他在返回成功前只需要等待数据块进行最小量的复制。
- 最后当这个文件上传成功后，此时namenode会将预写如日志的操作，同步到内存中
（2）文件下载：
- 客户端对nameNode发送下载的指令，hadoop fs -get /a.txt
- nameNode做一系列的校验（是否权限、文件是否存在..）
- nameNode向client发送block的位置信息，根据情况发送一部分或者全部
- client计算出最进行DN，然后建立连接，进行文件下载
- client每下载一个块就会做CRC校验，如果下载失败，client会向nameNode汇报，然后从其他的DD相应的块的副本，此时nameNode会记录这个可能故障的DN，在下次上传或者下载的时候，尽量不使用它。
- 当所有的块下载成功的时候，client向nameNode汇报成功信息
补充元数据的合并：
这是在分布式的基础上，secondaryNamenode对元数据的合并：
合并时机：
A：间隔多长时间合并一次dfs.namenode.checkpoint.period 3600 //单位秒B：操作日志记录超过多少条合并一次
dfs.namenode.checkpoint.txns 1000000 - 集群启动时，加载fsimage镜像文件到内存，如果是第一启动集群或者集群正常关闭之后重启此时nameNode会在硬盘中合并一个fsimage镜像
- seconddaryNameNode定时（1分钟）发送检验给nameNode，查看是否需要进行合并
- 得知nameNode需要进行元数据合并
- seconddaryNameNode向nameNode发送合并请求
- nameNode将edits_inprogress_000095 根据seen_txid进行回滚，并且生成一个新的空的edits_inprogress_000096，继续记录操作日志
- secondaryNameNode将回滚的edits和最新的fsiamge进行本地拉去
- secondaryNameNode将edits和最新的fsiamge进行合并，在内存中根据edits修改fsiamge
- secondaryNameNode将合并后的fsiamge推送回namenode。并在本地保存一份。
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
分享名称：hdfs的四大机制和两大核心-创新互联
本文来源：http://ybzwz.com/article/dcpsdp.html
