中国信通院魏凯：面向金融需求的大数据平台测试
互联网IDC圈4月28日报道，互联网的发展使得大数据引起人们广泛关注。现如今大数据技术早已渗透到金融、通讯等行业以及生物学、物理学等领域。大数据在容量、多样性和高增速方面的爆炸式增长全面考验着现代企业的数据处理和分析能力，与此同时也为各个行业带来了准确洞察市场行为的机会。迄今为止大数据技术与产品有哪些创新，工业大数据应用面临哪些挑战，金融行业大数据应用现状如何等。围绕这一系列问题，4月27日至28日，由工业和信息化部指导、中国信息通信研究院主办的"2016大数据产业峰会"在北京国际会议中心盛大召开。28日上午大数据推动金融创新分论坛中国信息通信研究院技术标准研究所移动与大数据部副主任魏凯做了主题演讲。
中国信息通信研究院技术标准研究所移动与大数据部副主任魏凯
以下是魏凯演讲实录：
魏凯：非常感谢李司的介绍和各位嘉宾，在众多金融IT领导和专家面前讲金融大数据，我觉得我胆子够大的。我介绍一下我们数据中心联盟做的事情，和大家交流一下，不管多么粗浅请大家批评，我们认真学习和改进。
我是中国信息通信研究院的魏凯，同时也是数据中心联盟大数据作组的组长，我们一直在做跨界对接的事情，数据中心联盟是拥有170多家会员的行业组织，会员是由IT公司组成，我们成立了金融委员会，我们希望把两个行业通过这个平台对接起来，我们一直在做这样的努力和尝试。但是因为隔行如隔山，我们学习的时间很短，所以了解不是很深入。
我的题目是我们在金融大数据平台测试方面的认识和工作及下一步的计划，首先讲一下大背景。刚才几位银行老总和化老师、李总都讲过了，大数据的发展非常迅猛，大家期望值很高。实际上拐点还没有来到，现在还处于转换的过程中，大家的期望非常高。我们看到国际上也是这样的情况，Wikibon公司，去年发布了对于全球很多地方很多机构的用户大数据发展过程中的情况调查，他的文章标题是实际上大数据分析是非常难的，这是他最根本的观点。有几个分析我觉得很有意思，调研几百家机构，这些公司都认为未来两到三年、三到五年的时间周期内，大数据投资上每花1美元能挣3.5美元，这是未来的预期。同时他们得到了2014年做调查时候的数据，在大数据上花1块钱能挣5毛5，理想很丰满，现实非常骨感，这是真实的情况。
现在的情况是目前还是改善型，把原来的工作交给了大数据平台，业务类型平移的事情比较多，影像存储、报表升级等改善性的需求居多。创新性的由业务人员驱动的时代还没到来，这个时代到来就是拐点出现的时候，金融机构愿意砸钱的时候，厂商躺着数钱的时候就到了。现在的情况是还处于改善型居多的应用场景中。我们去年对国内很多客户做了一个调查，61%的人认为提升效率降低成本是现在大数据最明显的应用，不是去拓展新的业务领域和创新性的业务模式，这是现在的情况。
金融行业做大数据有个演进的路线，有两个维度，一个维度是我们需要更多的数据，把内部数据做整合，把原来的数据烟筒打通，把不同的数据汇聚起来把内部数据用好，内部会汇聚内部数据和内部数据，做多源数据的分析才能产生更深的化学反应，产生新的业务，这是数据这个维度的趋势和路线。工具层面，我们要有更低成本更高效率的技术平台、技术工具，要有更好的分析技术，这是大家公认的几层，要呈现报表、统计分析、查询，这都是呈现的能力，是最基本的能力，知道现在发生了什么，最高的是决策预测未来发生什么，目前未来发生什么我们还不能很好地决策，两个维度去演进，会有很多中间的形态去发展，这是大概的路径。
现在平移居多，大家用技术手段来改善原来的信息系统的能力，降低成本。正在发生的事情就是大数据平台正在为数据仓库减压，这是很明显的，有调研数据，也是Wikibon的调研。他问了一个问题，你们公司有多少负载正在从传统数仓往大数据平台上迁移，61%的人都说确实是这样，刚才建行工行的老总都印证了这个观点，传统数仓的减压的工作正在发生，这是一个非常明显的变化。但是减压减到什么上面，是开源平台。开源平台的问题是很多兼容性、稳定性、安全性能不能满足金融行业的需求，这是一个非常大的问题，开源很多设计不是面向这样的需求，包括灾备等问题在开源社区没有想到这些问题。从开源到商用产品到能够支撑生产系统运营的软件还有很大的距离，我们联盟要架起一个桥梁让供给侧和需求侧对接起来，我们一直在做这个工作，我们想各种办法来促进这个事情的发生。供给侧，我们跟联盟的很多成员核心的企业，一起来制定标准和指标，跟需求侧对接，跟银行电信金融工业交通这些行业对接，输出一些技术白皮书和规范，希望能够把这两个需求弥合起来。
现在实际的情况是我们去年一年关注第一轮的标准和评测，我们关注性能，组织第一轮面向企业级大数据产品的评测活动，这些厂商都是巨头，中国移动、华为等公司参与了这个评测活动，是第一次大规模集群的商业产品的评测，比工行那个系统的规模还大，工行130多个节点，这个是200个节点的测试，数据量非常大。这是去年我们做的第一件事情，面向商用产品的性能专项的测试，这是当时测试的规模。我们有两种类型的测试，这个数据量是面向16台的规模，200多台的规模是线性增长的放大。这是去年的测试结果，我们对典型负载做了一个测试，通过这个测试的五家产品的均值、吞吐率、单节点平均的效率问题，这是去年做的测试。去年做完以后大家的反响挺强烈，大家需要某种程度上能规范产品开发POC测试的标准，大家很认可这种做法，但是也提出了很多改进的意见。大家不仅关心性能还关心更多的能力，包括运维管理能力、可用性、功能、金融性、安全、多租户、可宣传，希望把这些能规范出来。去年12月到今年年初1月份的时候形成了一个指标体系，7大类指标，38个详细的指标。1月份到3月份我们组织了一轮认真的公开公正自愿参加的评测活动，昨天上午第一轮的基础能力、全面维度的大数据产品评测的认证结果刚果发布，6家做系统的厂商的产品通过了严格的测试，拿到了证书。东方金信、明略、博易智软、华三、星环信息、腾讯云，昨天360宣布要晋剧大数据企业级的平台市场，要作为软件提供商出现。明略本来是做秒针做C端生意，也在往B端转，这是一个很好的现象，做供应侧平台能力的厂商越来越多。
这是我们测试的认证结果。运维能力，我们有必须满足的这些指标，只有必须满足的指标通过了才能拿到认证。我们还有可选的指标，比如希望这个集群是无宕机的升级，我们在多租户方面、安全性方面都有很严格的要求。多租户是需求时很热的能力。实践方式差异很大，有的低于队列有的机遇docker。安全安全的方案非常多，我们把这些信息都呈现出来。可用性，兼容性，可扩展性，扩展性包括集群能不能自动动态的扩容，能不能动态地收缩，这都是需要的。吞吐量是波峰波谷差异很大的，闲置的话会把机器给openstack用，这就闲置出来了。我们做了数据导入、SQL任务能力等常见的能力。我们希望能够通过跟需求端不断的交流来完善我们这套体系，这是一个规划，打五角星的是我们现在做的，只是对基础平台做了一个评测，完成了功能性的基础能力的任务，五月份会启动性能专项的测试，有的厂商会超过500台的规模。数据治理的这套软件可能会沉淀成一套产品，我们跟随市场节奏一步步去做。
为了完善这套评测体系，为了更了解客户的需求，我们现在在李司的指导下，人民银行信息化研究所和中国信通院联合正在进行面向银行业大数据应用的调查，希望通过一些问卷的形式跟客户直接面对面，我们把两边的专家都叫到一块通过问卷的方式收集大家对未来路线的规划、技术架构的演进和产品指标的需求，总的目标是通过不断的迭代让需求侧和供给侧信息不对称降到最低，让产业发展的成本降到最低，大家各方的利益大化，共同促进不管是银行业系统的部署、业务的开发还是国内大数据产业的发展。习总书记在网信办的座谈会上讲我们现在处于变道超车的时代，轨道在切换，从集中到分布，从原来的小机到X86，国内的技术供给侧从来没有一天能像现在这么接近世界水平，虽然我们还有距离，但是已经无限接近了，如果能够抓住这个机会把这两端联合在一起，未来可能不会再提国产化的悲哀，这是我们最重要的一个目标。
我的演讲到此结束，谢谢！
分享文章：中国信通院魏凯：面向金融需求的大数据平台测试
本文来源：http://ybzwz.com/article/sopoij.html
