工业场景下IOT数据处理

昨天偶然聊起工业场景下IOT时序处理问题，有人讨论时序数据库哪家强，有人询问数据收集应该用云服务商的PaaS还是自己搭建，不一而足。笔者认为没有最强的产品，只有最合适的架构。抛开具体应用场景而去谈单一产品性能，无异于缘木求鱼，刻舟求剑。针对客户具体情况，选择相应的架构，灵活结合开源工具和云厂商服务；同时以实用性为原则，解决问题而非为了所谓的最新科技而选择一些实用性有限的产品。在此分享个人一点看法，水平有限，抛砖引玉，欢迎切磋讨论。

创新互联建站是专业的三穗网站建设公司，三穗接单;提供网站制作、成都做网站,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行三穗网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

首先，我们可以把整个系统分成几部分，随后逐一探讨。在此暂且采用将整个架构分为，终端、分析、行动三部分。

工业场景下IOT数据处理

在“终端”部分，微软近期动作很大，预期投入50亿美金进行IOT研发的大部分都花在了这里，其中产品AzureSphere备受期待，目前已经和台积电等厂商联合生产开发中，×××还要飞一会~其最大的优势就是双套安全机制，确保客户终端安全

暗黑科技Azuresphere传送门：https://azure.microsoft.com/en-us/services/azure-sphere/

在“分析”部分，微软IOT solution包含了丰富的产品。

传送门：https://azure.microsoft.com/zh-cn/overview/iot/

先从数据收集说起，常见几种收集方式如下：

工业场景下IOT数据处理

其中最常被比较的两种方式为使用云厂商PaaS （在此以微软IOT Hub，Event Hub为例）vs 开源自建（在此以Kafka为例），对比如下：

	使用微软服务（IOT Hub）	使用微软服务（Event Hub）	自建（Kafka）
托管	是	是	无
并行	是	是	是
传输方向	双向	单向	单向
设备管理	有	无	无
传递	可配置	至少一次	至少一次
支持协议	MQTT，HTTPS，AMQP	HTTPS、AMQP 1.0、 Apache Kafka	Kafka
可扩展性	相对高（可轻松扩展到TB级）	相对高（可轻松扩展到TB级）	相对低
直接成本	高	中	低
管理成本	低	低	高

真实工业情况下，能否用云厂商PaaS收集数据往往其决定因素的是客户终端设备，特别是该设备支持的协议。比方Honeywell的工业机器大部分可以用微软IOT收集数据；比方Siemens自成体系，并未开放，微软只能在Siemens自己收集完数据，加工整理之后，通过客户传给微软，做做数据分析展现之类的后续工作。

其中IOT Hub还在不断演进当中，接下来devices streams即将登场，会给设备端链接带来更好的易用性和安全性：

https://azure.microsoft.com/zh-cn/blog/introducing-iot-hub-device-streams-in-public-preview/

如果客户使用开源，会常见Kafka, Flume, Storm等名词，可参见以下blog，内有基础介绍和分步骤代码：

http://www.cnblogs.com/smartloli/p/4615908.html

https://www.cnblogs.com/smartloli/p/4632644.html

数据存储、计算各家云厂商都有功能强大的服务，所实现功能也大同小异，在此不赘述。谨在此提两个技术细节问题供探讨：

数据库选择：时序数据库虽然喧嚣之上，但是实际应用者寥寥。针对需要长期展现的类似matrix数据有一定应用场景价值。更多情况下，传统数据库或者Hadoop体系就有均有丰富的最佳实践，选择时根据实际情况而定，简简单单能够解决问题就好。

压缩数据：这项技术特别容易被忽略，但是特别是在大数据量情况下可以考虑。在这里需要做一个平衡，就是压缩和解压缩带来计算量的增大和存储/网络负载减少之间的取舍。其好处一方面显而易见的好处是压缩数据可以节约存储成本，还有可以在分布式计算情况下节约各个节点之间传输数据的网络压力，减少传输时间，从而增加运算速度。

常见压缩工具对比如下：

工业场景下IOT数据处理