Hadoop、spark、hive的原理及其在金融领域的应用-创新互联
首先百度百科了各个词条的含义：
Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
SPARK （Spark）Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
大数据对风控的帮助
大数据可以提供全面的多角度的数据，降低借款人的贷款的风险。
企业指标：宏观指标，行业指标，企业指标，财务指标
个人指标：宏观，行业，个人。
指标频率：日，月，季，年
个人版风控系统查询:
A个人收入
B银行流水
C负债
D汽车折旧系数
E×××折现系数
企业版风控系统查询
绝对指标
A资产总计
B负债总计
C营业总成本/营业总收入
D销售毛利率
现金收益
E净资产收益率ROE
F经营活动净收益/利润总额（TTM）
G经营性现金净流量/营业总收入
H筹资活动产生的现金流量净额占比
I投资活动产生的现金流量净额占比
偿债能力
J资产负债率
K有形资产/总资产
L权益乘数
M流动比率
N速动比率
营运能力
O存货周转率
P应收账款周转率
Q应付账款周转率
R净资产（同比增长率）
S固定资产投资扩张率
T利润总额/息税前利润
U股东权益合计/负债总计
V. EBITDA率%
风控流程
3.1业务流程
1.借款人进行咨询；
2.填写申请表和有关资料，提交给业务员；
3.业务员添加客户至客户室；
4.业务员为客户发起授信申请，进入授信审核，审核成功后，借款人获得授信额度。
5.业务员为借款人发起借款申请，进入借款审核，审核成功后，财务放款，借款成功.
3.2授信审核流程（贷前流程）
1.业务员为自己客户发起授信申请；
2.业务主管进行初审，审核通过进入风控委员初审，驳回返回上级，拒绝的授信失败；
3.风控委员进行初审；
4.风控主管进行复审；
5.贷审会进行审核；
6.总经理进行终审，审核通过，授信成功，借款人获得授信额度。
3.3
借款审核流程（贷中流程）
1.借款人拥有一定的授信额度，业务员为借款人发起借款申请；
2.业务主管进行初审，审核通过进入风控委员初审，驳回返回上级，拒绝的授信失败；
3.风控委员进行初审；
4.风控主管进行复审；
5.总经理进行终审；
6.审核通过的，财务放款，借款人借款成功。
3.4贷后流程
贷款到期，借款人还款。其中借款人可以提前还款，若到期未能还款，则有展期申请、强制结清、押品结清、押品处置、违约金法系处理。
借款人还清贷款，即可拿回抵押物品。
四。风险管理全面解决方案
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
本文名称：Hadoop、spark、hive的原理及其在金融领域的应用-创新互联
网页URL：http://ybzwz.com/article/ijhpc.html
