大厂架构师倾心之作：Flume构建高可用、可扩展的海量日志采

前言

几乎任何规模的公司，每时每刻都在产生大量的数据，收集业务日志数据，供离线和在线的分析系统使用。处理这些日志需要特定的日志系统，一般而言，这些系统需要具有高可用性、高可靠性和可扩展性。

创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站制作、网站设计、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的盱眙网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

Flume是一个分布式、可靠的和高可用的海量日志采集，聚合和传输的系统。支持在系统中定制各类数据发送方，用于收集数据;同时，Flume 提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。Flume 初始的发行版本目前被统称为Flume OG(original generation) ，属于Cloudera.但随着Flume功能的扩展，Flume OG代码工程臃肿，核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在Flume OG的最后一个发行版本0.94.0中，日志传输不稳定的现象尤为严重。为了解决这些问题，2011 年10月22日,Cloudera完成了Flume-728，对Flume进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为Flume NG (next generation) ;改动的另一原因是将Flume纳入Apache旗下，Cloudera Flume改名为Apache Flume。