大数据如何入门

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

专注于为中小企业提供成都网站设计、成都网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业七里河免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了近千家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

如何建立一个完整可用的安全大数据平台

“

要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择，也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外，没有任何一个引入大数据解决方案的商业应用在生产环境上承担的起安全隐患。

1

计算框架篇

大数据的价值

只有在能指导人们做出有价值的决定时，数据才能体现其自身的价值。因此，大数据技术要服务于实际的用途，才是有意义的。一般来说，大数据可以从以下三个方面指导人们做出有价值的决定：

报表生成（比如根据用户历史点击行为的跟踪和综合分析、 应用程序活跃程度和用户粘性计算等）；

诊断分析（例如分析为何用户粘性下降、根据日志分析系统为何性能下降、垃圾邮件以及病毒的特征检测等）；

决策（例如个性化新闻阅读或歌曲推荐、预测增加哪些功能能增加用户粘性、帮助广告主进行广告精准投放、设定垃圾邮件和病毒拦截策略等）。

图 1

进一步来看，大数据技术从以下三个方面解决了传统技术难以达成的目标（如图1）：

在历史数据上的低延迟（交互式）查询，目标是加快决策过程和时间， 例如分析一个站点为何变缓慢并尝试修复它；

在实时数据上的低延迟查询，目的是帮助用户和应用程序在实时数据上做出决策， 例如实时检测并阻拦病毒蠕虫（一个病毒蠕虫可以在1.3秒内攻击1百万台主机）；

更加精细高级的数据处理算法，这可以帮助用户做出“更好”的决策， 例如图数据处理、异常点检测、趋势分析及其他机器学习算法。

蛋糕模式

从将数据转换成价值的角度来说，在Hadoop生态圈十年蓬勃成长的过程中，YARN和Spark这二者可以算得上是里程碑事件。Yarn的出现使得集群资源管理和数据处理流水线分离，大大革新并推动了大数据应用层面各种框架的发展（SQL on Hadoop框架, 流数据，图数据，机器学习）。

它使得用户不再受到MapReduce开发模式的约束，而是可以创建种类更为丰富的分布式应用程序，并让各类应用程序运行在统一的架构上，消除了为其他框架维护独有资源的开销。就好比一个多层蛋糕，下面两层是HDFS和Yarn, 而MapReduce就只是蛋糕上层的一根蜡烛而已，在蛋糕上还能插各式各样的蜡烛。

在这一架构体系中，总体数据处理分析作业分三块（图2），在HBase上做交互式查询（Apache Phoenix, Cloudera Impala等）， 在历史数据集上编写MapReduce程序抑或利用Hive等做批处理业务， 另外对于实时流数据分析Apache Storm则会是一种标准选择方案。

虽然Yarn的出现极大地丰富了Hadoop生态圈的应用场景，但仍存有两个显而易见的挑战：一是在一个平台上需要维护三个开发堆栈；二是在不同框架内很难共享数据，比如很难在一个框架内对流数据做交互式查询。这也意味着我们需要一个更为统一和支持更好抽象的计算框架的出现。

图 2

一统江湖

Spark的出现使得批处理任务，交互式查询，实时流数据处理被整合到一个统一的框架内（图3），同时Spark和现有的开源生态系统也能够很好地兼容（Hadoop, HDFS, Yarn, Hive, Flume）。 通过启用内存分布数据集，优化迭代工作负载， 用户能够更简单地操作数据，并在此基础上开发更为精细的算法，如机器学习和图算法等。

有三个最主要的原因促使Spark目前成为了时下最火的大数据开源社区（拥有超过来自200多个公司的800多个contributors）：

Spark可以扩展部署到超过8000节点并处理PB级别的数据，同时也提供了很多不错的工具供应用开发者进行管理和部署；

Spark提供了一个交互式shell供开发者可以用Scala或者Python即时性试验不同的功能；

Spark提供了很多内置函数使得开发者能够比较容易地写出低耦合的并且能够并发执行的代码，这样开发人员就更能集中精力地为用户提供更多的业务功能而不是花费时间在优化并行化代码之上。

当然Spark也和当年的MapReduce一样不是万灵药，比如对实时性要求很高的流数据处理上Apache Storm还是被作为主流选择， 因为Spark Streaming实际上是microbatch（将一个流数据按时间片切成batch,每个batch提交一个job）而不是事件触发实时系统，所以虽然支持者们认为microbatch在系统延时性上贡献并不多，但在生产环境中和Apache Storm相比还不是特别能满足对低延时要求很高的应用场景。

比如在实践过程中， 如果统计每条消息的平均处理时间，很容易达到毫秒级别，但一旦统计类似service assurance（确保某条消息在毫秒基本能被处理完成）的指标， 系统的瓶颈有时还是不能避免。

但同时我们不能不注意到，在许多用例当中，与流数据的交互以及和静态数据集的结合是很有必要的, 例如我们需要在静态数据集上进行分类器的模型计算，并在已有分类器模型的基础上，对实时进入系统的流数据进行交互计算来判定类别。

由于Spark的系统设计对各类工作（批处理、流处理以及交互式工作）进行了一个共有抽象，并且生态圈内延伸出了许多丰富的库（MLlib机器学习库、SQL语言API、GraphX）, 使得用户可以在每一批流数据上进行灵活的Spark相关操作，在开发上提供了许多便利。

Spark的成熟使得Hadoop生态圈在短短一年之间发生了翻天覆地的变化， Cloudera和Hortonworks纷纷加入了Spark阵营，而Hadoop项目群中除了Yarn之外已经没有项目是必须的了（虽然Mesos已在一些场合替代了Yarn）, 因为就连HDFS，Spark都可以不依赖。但很多时候我们仍然需要像Impala这样的依赖分布式文件系统的MPP解决方案并利用Hive管理文件到表的映射，因此Hadoop传统生态圈依然有很强的生命力。

另外在这里简要对比一下交互式分析任务中各类SQL on Hadoop框架，因为这也是我们在实际项目实施中经常遇到的问题。我们主要将注意力集中在Spark SQL, Impala和Hive on Tez上, 其中Spark SQL是三者之中历史最短的，论文发表在15年的SIGMOD会议上， 原文对比了数据仓库上不同类型的查询在Shark（Spark最早对SQL接口提供的支持）、Spark SQL和Impala上的性能比较。

也就是说， 虽然Spark SQL在Shark的基础上利用Catalyst optimizer在代码生成上做了很多优化，但总体性能还是比不上Impala, 尤其是当做join操作的时候， Impala可以利用“predicate pushdown”更早对表进行选择操作从而提高性能。

不过Spark SQL的Catalyst optimizer一直在持续优化中，相信未来会有更多更好的进展。Cloudera的Benchmark评测中Impala一直比其他SQL on Hadoop框架性能更加优越，但同时Hortonworks评测则指出虽然单个数据仓库查询Impala可以在很短的时间内完成，但是一旦并发多个查询Hive on Tez的优势就展示出来。另外Hive on Tez在SQL表达能力也要比Impala更强（主要是因为Impala的嵌套存储模型导致的）， 因此根据不同的场景选取不同的解决方案是很有必要的。

图 3

各领风骚抑或代有才人出？

近一年比较吸引人眼球的Apache Flink（与Spark一样已有5年历史，前身已经是柏林理工大学一个研究性项目，被其拥趸推崇为继MapReduce, Yarn，Spark之后第四代大数据分析处理框架）。 与Spark相反，Flink是一个真正的实时流数据处理系统，它将批处理看作是流数据的特例，同Spark一样它也在尝试建立一个统一的平台运行批量，流数据，交互式作业以及机器学习，图算法等应用。

Flink有一些设计思路是明显区别于Spark的，一个典型的例子是内存管理，Flink从一开始就坚持自己精确的控制内存使用并且直接操作二进制数据，而Spark一直到1.5版本都还是试用java的内存管理来做数据缓存，这也导致了Spark很容易遭受OOM以及JVM GC带来的性能损失。

但是从另外一个角度来说, Spark中的RDD在运行时被存成java objects的设计模式也大大降低了用户编程设计门槛， 同时随着Tungsten项目的引入，Spark现在也逐渐转向自身的内存管理， 具体表现为Spark生态圈内从传统的围绕RDD（分布式java对象集合）为核心的开发逐渐转向以DataFrame(分布式行对象集合)为核心。

总的来说，这两个生态圈目前都在互相学习，Flink的设计基因更为超前一些，但Spark社区活跃度大很多，发展到目前毫无疑问是更为成熟的选择，比如对数据源的支持（HBase, Cassandra, Parquet, JSON, ORC）更为丰富以及更为统一简洁的计算表示。另一方面，Apache Flink作为一个由欧洲大陆发起的项目，目前已经拥有来自北美、欧洲以及亚洲的许多贡献者，这是否能够一改欧洲在开源世界中一贯的被动角色，我们将在未来拭目以待。

2

NoSQL数据库篇

NoSQL数据库在主流选择上依旧集中在MongoDB, HBase和Cassandra这三者之间。在所有的NoSQL选择中，用C 编写的MongoDB几乎应该是开发者最快也最易部署的选择。MongoDB是一个面向文档的数据库，每个文档／记录／数据（包括爬取的网页数据及其他大型对象如视频等）是以一种BSON（Binary JSON）的二进制数据格式存储, 这使得MongoDB并不需要事先定义任何模式, 也就是模式自由（可以把完全不同结构的记录放在同一个数据库里）。

MongoDB对于完全索引的支持在应用上是很方便的，同时也具备一般NoSQL分布式数据库中可扩展，支持复制和故障恢复等功能。 MongoDB一般应用于高度伸缩性的缓存及大尺寸的JSON数据存储业务中，但不能执行“JOIN”操作，而且数据占用空间也比较大，最被用户诟病的就是由于MongoDB提供的是数据库级锁粒度导致在一些情况下建索引操作会引发整个数据库阻塞。一般来说，MongoDB完全可以满足一些快速迭代的中小型项目的需求。

下面来主要谈谈Cassandra和HBase之间的比较选择。Cassandra和HBase有着截然不同的基因血统。HBase和其底层依赖的系统架构源自于著名的Google FileSystem（发表于2003年）和Google BigTable设计（发表于2006年）， 其克服了HDFS注重吞吐量却牺牲I/O的缺点，提供了一个存储中间层使得用户或者应用程序可以随机读写数据。

具体来说，HBase的更新和删除操作实际上是先发生在内存MemStore中， 当MemStore满了以后会Flush到StoreFile, 之后当StoreFile文件数量增长到一定阈值后会触发Compact合并操作，因此HBase的更新操作其实是不断追加的操作，而最终所有更新和删除数据的持久化操作都是在之后Compact过程中进行的。

这使得应用程序在向内存MemStore写入数据后，所做的修改马上就能得到反映，用户读到的数据绝不会是陈旧的数据，保证了I/O高性能和数据完全一致性； 另一方面来说， HBase基于Hadoop生态系统的基因就已经决定了他自身的高度可扩展性、容错性。

在数据模型上，Cassandra和HBase类似实现了一个key-value提供面向列式存储服务，其系统设计参考了 Amazon Dynamo (发表于2007年) 分布式哈希（DHT）的P2P结构（实际上大部分Cassandra的初始工作都是由两位从Amazon的Dynamo组跳槽到Facebook的工程师完成)，同样具有很高的可扩展性和容错性等特点。

除此之外， 相对HBase的主从结构，Cassandra去中心化的P2P结构能够更简单地部署和维护，比如增加一台机器只需告知Cassandra系统新节点在哪，剩下的交给系统完成就行了。同时，Cassandra对多数据中心的支持也更好，如果需要在多个数据中心进行数据迁移Cassandra会是一个更优的选择。

Eric Brewer教授提出的经典CAP理论认为任何基于网络的数据共享系统，最多只能满足数据一致性、可用性、分区容忍性三要素中的两个要素。实际分布式系统的设计过程往往都是在一致性与可用性上进行取舍，相比于HBase数据完全一致性的系统设计，Cassandra选择了在优先考虑数据可用性的基础上让用户自己根据应用程序需求决定系统一致性级别。

比如：用户可以配置QUONUM参数来决定系统需要几个节点返回数据才能向客户端做出响应，ONE指只要有一个节点返回数据就可以对客户端做出响应，ALL指等于数据复制份数的所有节点都返回结果才能向客户端做出响应，对于数据一致性要求不是特别高的可以选择ONE，它是最快的一种方式。

从基因和发展历史上来说，HBase更适合用做数据仓库和大规模数据处理与分析（比如对网页数据建立索引）， 而Cassandra则更适合用作实时事务和交互式查询服务。Cassandra在国外市场占有比例和发展要远比国内红火， 在不少权威测评网站上排名都已经超过了HBase。目前Apache Cassandra的商业化版本主要由软件公司DataStax进行开发和销售推广。另外还有一些NoSQL分布式数据库如Riak, CouchDB也都在各自支持的厂商推动下取得了不错的发展。

虽然我们也考虑到了HBase在实际应用中的不便之处比如对二级索引的支持程度不够（只支持通过单个行键访问，通过行键的范围查询，全表扫描），不过在明略的大数据基础平台上，目前整合的是依然是HBase。

理由也很简单，HBase出身就与Hadoop的生态系统紧密集成，其能够很容易与其他SQL on Hadoop框架（Cloudera Impala, Apache Phoenix, or Hive on Tez）进行整合，而不需要重新部署一套分布式数据库系统，而且可以很方便地将同样的数据内容在同一个生态系统中根据不同框架需要来变换存储格式（比如存储成Hive表或者Parquet格式）。

我们在很多项目中都有需要用到多种SQL on Hadoop框架，来应对不同应用场景的情况，也体会到了在同一生态系统下部署多种框架的简便性。 但同时我们也遇到了一些问题， 因为HBase项目本身与HDFS和Zookeeper系统分别是由不同开源团队进行维护的，所以在系统整合时我们需要先对HBase所依赖的其他模块进行设置再对HBase进行配置，在一定程度上降低了系统维护的友好性。

目前我们也已经在考虑将Cassandra应用到一些新的客户项目中，因为很多企业级的应用都需要将线上线下数据库进行分离，HBase更适合存储离线处理的结果和数据仓库，而更适合用作实时事务和并发交互性能更好的Cassandra作为线上服务数据库会是一种很好的选择。

3

大数据安全篇

随着越来越多各式各样的数据被存储在大数据系统中，任何对企业级数据的破坏都是灾难性的，从侵犯隐私到监管违规，甚至会造成公司品牌的破坏并最终影响到股东收益。给大数据系统提供全面且有效的安全解决方案的需求已经十分迫切：

大数据系统存储着许多重要且敏感的数据，这些数据是企业长久以来的财富

与大数据系统互动的外部系统是动态变化的，这会给系统引入新的安全隐患

在一个企业的内部，不同Business Units会用不同的方式与大数据系统进行交互，比如线上的系统会实时给集群推送数据、数据科学家团队则需要分析存储在数据仓库内的历史数据、运维团队则会需要对大数据系统拥有管理权限。

因此为了保护公司业务、客户、财务和名誉免于被侵害，大数据系统运维团队必须将系统安全高度提高到和其他遗留系统一样的级别。同时大数据系统并不意味着引入大的安全隐患，通过精细完整的设计，仍然能够把一些传统的系统安全解决方案对接到最新的大数据集群系统中。

一般来说，一个完整的企业级安全框架包括五个部分：

Administration: 大数据集群系统的集中式管理，设定全局一致的安全策略

Authentication: 对用户和系统的认证

Authorization：授权个人用户和组对数据的访问权限

Audit：维护数据访问的日志记录

Data Protection：数据脱敏和加密以达到保护数据的目的

系统管理员要能够提供覆盖以上五个部分的企业级安全基础设施，否则任何一环的缺失都可能给整个系统引入安全性风险。

在大数据系统安全集中式管理平台这块，由Hortonworks推出的开源项目Apache Ranger就可以十分全面地为用户提供Hadoop生态圈的集中安全策略的管理，并解决授权(Authorization)和审计(Audit)。例如，运维管理员可以轻松地为个人用户和组对文件、数据等的访问策略，然后审计对数据源的访问。

与Ranger提供相似功能的还有Cloudera推出的Apache Sentry项目，相比较而言Ranger的功能会更全面一些。

而在认证（Authentication）方面, 一种普遍采用的解决方案是将基于Kerberos的认证方案对接到企业内部的LDAP环境中， Kerberos也是唯一为Hadoop全面实施的验证技术。

另外值得一提的是Apache Knox Gateway项目，与Ranger提高集群内部组件以及用户互相访问的安全不同，Knox提供的是Hadoop集群与外界的唯一交互接口，也就是说所有与集群交互的REST API都通过Knox处理。这样，Knox就给大数据系统提供了一个很好的基于边缘的安全（perimeter-based security）。

基于以上提到的五个安全指标和Hadoop生态圈安全相关的开源项目， 已经足已证明基于Hadoop的大数据平台我们是能够构建一个集中、一致、全面且有效的安全解决方案。

我市再ITjob管网上面找的

java游戏服务器开发有前途吗

最近刚跳槽，到新公司已经干了有两周时间了，这两周时间是过得比较充实的，因为这家新公司是个小公司，以前以单机开发为主，服务器方面我一个人，做两个游戏的服务器开发工作，当然，一个很简单，另一个就相对复杂点，简单的那个是个弱联网游戏，服务器只需要做好数据存档和登录支付验证就好了，而另一个，则是相对复杂的slg游戏，我感觉这是又一款cok，而公司目前并不打算再招服务器了，所以估计这个项目我会一个人干到明年吧，等第一款上线赚钱了，可能会再招服务器。老实说，面试的时候，我就觉得这份工作对我而言是一个挑战，而当我清楚的了解了公司状况之后，我依然决定接受这个挑战。

说说我之前的经历吧，大四的时候，学校安排来北京培训java（培训没什么丢脸的，出来找工作我也用的真学历真背景，不像某峰互联），之后我去了培训机构推荐的公司实习，那个时候，工资2k，然而工作也干得很开心，跟着前辈学到了不少东西，当时是做微信公众号开发的，我跟着前辈做微信后台开发，当时使用SpringMVC+MyBatis框架，刚接触的时候，我自己学了挺久才弄明白，后来弄明白之后想想，其实挺简单，对于逻辑开发的程序员来说，你只需要弄懂工作流程就好了，页面怎么跳转，跳转怎么传值，数据怎么处理，这些足够了，当然我是个不满足的人，我会去弄明白，为什么用这个框架、为什么不用别的、用这个有什么好处、如果让我自己来做这个后台、我会怎么搭建？带着这些问题，我会试着自己搭建一下后台框架（虽然前期大部分是复制粘贴）。除了框架部分，微信高级接口也是我研究的重点，我会去官方文档看看微信是怎么接入的，然后研究研究前辈的代码是怎么写的，所谓的干一行爱一行大概就是这样吧，当时我觉得，微信开发，是很有前途的，而我们公司用的框架，也是最先进的（后来看来，确实这个框架组合是当前最流行的框架，而当时，微信公众号也确实是当时互联网行业的一个风口，微信后来把h5带起来了，导致现在一个好的h5前端都是供不应求的，薪资很高）。

说了这么多，为什么后来又转行做游戏了呢？其实是这样的，当时在第一家公司，我的上级打算跳槽走了，带走整个下面的技术，而不带实习生，有那么一两个月，实习生就一直闲着没事做，对于我来说，这样过着就太无聊了，我喜欢挑战，于是我投简历，重新找了份实习工作，在一个游戏公司做java服务器开发，公司挺大的，几年前凭借一款slg页游称霸游戏行业（什么游戏我就不说了，说了就知道什么公司了），后来游戏行业往手游发展，这款slg也出了手游版，这一款游戏，几乎支撑了整个公司，再加上后来出的几款手游，公司发展挺好的，我所实习的部门做的是一款mmorpg手游，从实习做到了转正，做了近一年了，然而这款rpg手游的数据却不是太好，第一次封测次日留存23，第二次26（现在这家公司的游戏能达到80多次日留存），七日就更不用说了，而我也能感觉到，作为一款mmo游戏，玩家之间的交互实在太少，从头玩下来，我觉得这是一款单机，失去了mmo的本质，在项目组准备进行第三次封测的时候，我选择了离开，原因很多，不仅仅因为游戏数据不好，也有一些个人原因吧，不过说实话，是这家公司带我走进了游戏行业，我很感谢，我觉得游戏行业是一个非常有前景的行业，甚至比之前我认为最好的微信开发还要好，游戏行业非常暴利，在这家公司工作就能感受到，策划文档中，充满了挖坑预留的计费点，这一块可以正常玩儿，但你如果充钱，你就比别人牛逼。网络游戏，最重要的，就是控制好平民玩家跟普通玩家的占比以及游戏平衡（当意识到公司的游戏如此处心积虑想要坑钱的时候，我突然明白为什么公司的游戏大多被腾讯代理了，为什么腾讯控股，原来如此，没钱玩儿你**，哈哈）。由此也可以看出，游戏的商业化，已经把游戏公司带入了一个固定的模式——无条件坑钱，我觉得已经失去了游戏的本质，我看过一本书，叫《游戏人生》（当时在cocos2014年开发者大会上买的。觉得挺值的），书已经送人了，但内容我看了一大半，从游戏的产生，到玩家的心理，到为什么需要游戏，这本书都诠释的热别好（我觉得游戏策划都应该看看这本书，做良心游戏，拒绝一味坑钱）。啊，突然发现这一段说的有点偏了，说到底，我也只是做游戏服务器开发的，我也改变不了游戏行业，我只要做好我做的。其实大的游戏公司，就应该走这种商业化路线，凭借几款长生命周期的游戏，支撑公司流水。

从转行做游戏之后，我倒是觉得，游戏开发比web开发有趣多了，当然技术上也比web难多了，之前发过一篇讨论，web开发何和游戏开发的区别，，我把我的答案再粘贴一遍（实际上是别人要求我上他的号去回答的，于是我就自己回答了我自己的问题）：

1.从第三方支持来说，web后台有很多成熟的第三方框架，开发者不需要关心底层控制器跳转的实现，只需要一个或几个配置文件，就能完成核心控制器的部分，而开发者只需要关注web自身的业务逻辑，将逻辑与框架融合即可，使用框架一方面简化控制层代码，一方面很好的实现了业务逻辑的分层。而游戏后台开发中，因为各种游戏的需求差异性很大，从网络层，到业务逻辑层，各方面都必须根据自己游戏需求搭建适合自己的框架，因此很难有一些通用的东西能提炼出来一款成熟的框架，游戏后台开发基本上需要自己搭建适合自己的框架。

2.从业务逻辑层面来说，web后台基本上逻辑都是大同小异的，或许这一套系统，稍微改改，另一套系统就能用，而游戏就不同了，每个游戏都有自己的特色，根据策划的不同需求而实现不同的逻辑，不过也会有一些通用的模块，但整体上差异性还是很大的。

3.从数据持久化来说，web的数据基本上是很规整的，表与表之间关系很明确，并且以后也不会有太大的变化，而游戏中的数据多种多样，随着开服之后，数据的变化也是多种多样，甚至传统的关系型数据库根本无法满足游戏数据持久化的需求，游戏中有很多状态和数据是需要服务器来保存的，我个人认为，在游戏开发中，nosql比关系型数据库更实用。

4.从通信层来说，web中的用户都是一个个独立的个体，而游戏中是多人在线的一个游戏世界，在这个游戏世界中，玩家与玩家之间需要进行交互，这就需要服务器实时的向所有在线玩家进行消息广播，这一点很损耗服务器性能的，在这方面，游戏后台要比web做更多的处理，游戏服务器是一个IO密集的服务器类型。

以上便是我当时的答案，或许我的见解尚浅，毕竟我做游戏不到一年，不过对于后台开发这块，我还是有一点话语权的，从实习游戏开发开始，我便经历了一个转换的过程，几乎又是一个从零开始的学习过程，从mina框架到protobuffer，这些东西，我相信web开发很少接触（mina作为网络通信框架，web中几乎只有http通信，protobuffer作为通信协议，web最多用json，其实二者形式上差别不大，但数据大小千差万别）。而游戏的逻辑，也是比web复杂得多，不得不说，web后台成熟的第三方框架是做的真的很好。

经历了上家公司的洗礼，我想我对游戏后台开发有了足够的了解，于是我找到了我现在这家公司，这家公司目前只有我一个服务器后台，做两款游戏，一款是塔防类，准备由单机改成弱联网，服务器存档，并做登录支付验证，另一款，是比较庞大的slg手游，是准备带领公司走上巅峰的项目，说一款slg带领一个公司走上巅峰一点儿不为过，我上家公司就是这样的，凭借一款《xxxx》（哈哈，名字不透露），走上人生巅峰。我之所以接受这份工作，是因为我接受挑战，从底层写起，从架构写起，这是作为一年工作经验的我想都不敢想的，不过这是一个挑战自我，证明自我的机会，我愿意接受这个挑战，人生总会有很多爬坑的时候，但爬过了坑，就真的是人生巅峰了。我接受这个工作的另一个原因，就是公司发展确实不错，以前做的单机，都是很火的（虽然我认为我自己一个人也能做，我也是学过cocos的），而现在公司也准确的把握了游戏行业的风口——slg，coc和cok的成功案例就能证明一切，mmorpg也不一定能做起来了，moba倒是有可能，但你要跟lol做不到80%的相似，我估计没人愿意在手机玩儿moba，slg或许是性价比最高的了。这么有挑战的工作，还要从架构写起，这样的挑战，我喜欢！

说说互联网业的书吧，我认为这个行业的书，分为两种，理论型的和技术型的，所谓理论型，就是长篇大论互联网发展，行业模式等，而技术型，就是类似技术的工具书，是从技能入手的书，这两种书，我家里都有，但我发现买了之后，我很少有时间看，下班没多少时间，北京上班，大多数时间都浪费在地铁上了，上班时间，看看理论型的吧，觉得啰嗦，浪费时间（后来我发现，做这行，除了会技术，你还是需要去看看牛人眼中的互联网的，你需要透过前辈的眼光看世界，不要做IT民工，要做互联网从业者），看看技术型的吧，让别人看见了感觉你太low，所以我大多数时间还是能在网上down到pdf就在电脑看，down不到百度谷歌我要研究的技术，毕竟从事这行，还是用电脑学技术好点，主要是电脑看久了眼睛会疲惫，偶尔看看纸质的书也不错的。而以前面试的时候，面试官经常问，除了大学课本，你还看什么书啊？（如果是你们，恰巧又没看什么书，你们怎么说？），我一般会说，我会自学其他技术，如cocos2dx，然后买一些技术指南之类的书看。我觉得这已经算最大夸张化了，因为大学我真的很少看书，我记忆中就看过一本C++技术类的，一本C#的，一本Android，还有其他几本是什么都不大记得了，大学毕竟十几层的图书馆，除了英语四六级的时候进去复习，其他时间感觉都浪费了这十几层的图书馆。

说说成长过程中遇到的问题吧，如果遇到我解决不了的，以前是先自己百度谷歌，看看有没有办法解决，不行就问老大，而现在，先百度谷歌，看有没有办法解决，没办法在百度谷歌，实在不行还要看框架源码如何实现，上国外论坛看外国友人如何解决，问题总能解决的，总会有办法的。当我开始学习写架构的时候，我会开始关心游戏的网络层使用什么框架，mina还是netty，数据怎么存储mysql还是mongo，是否需要缓存redis存什么，memcached存什么，缓存什么数据，数据传输用什么协议，json还是protobuffer，怎么写效率高，最高支持多少并发等等，我想这些都是我现在需要考虑的问题，当然这些都需要根据游戏具体的需求来决定的，最终服务器能否高效稳定的运行，都是取决于我的架构是否高效稳定，所以这个过程我要不断学习，不断吸取别人的经验。刚到新公司的时候，我才体会到，自己写代码其实也是一种挑战，整个后端我自己一个人实现，代码是否规范，数据如何存储，都是我说了算，我想我的代码不仅要高效，还要让别人看得懂，后来的人能接着我的代码继续写下去。

最后说说Java的题外话，语言之争，从未停过，为什么有人拥护Java，有人拥护PHP，有人喜欢C#，有人喜欢C++，各个语言各有各的优势，业余时间，我也了解了不少其他语言，go，node.js我都有了解，我觉得go的语言层面支持协程并发以及node.js的异步，都是很适合游戏服务器的，我特别看好node.js，异步io真的是对游戏服务器很好的特性，并且加入对原声js支持的mongo模块也是很方便的（上面我有说到，我相信nosql是很适合存储游戏数据的）。说到游戏行业，我认为h5游戏的发展也是越来越快了，上次白鹭的h5开发者生态大会我去了，白鹭的一整套工作流程，以及web vr，真的很令人兴奋（第一轮抽奖我还抽了一个暴风魔镜，哈哈！），另外，大会的模特挺漂亮，哈哈！2015年，互联网行业也略呈下降趋势了，不少创业公司面临倒闭，泡沫经济破灭，因为很多老板抓不住当前经济形势，以为不管是啥，有个app就是创业了，其实全然不知一款app后面有多少运营模式、盈利模式，就像一句讽刺的话，“我有个绝壁好的idea，可以颠覆bat，什么都不缺，就缺个程序员了，等等，千万别告诉马云！”，哈哈，听到这句话，当时我就笑了，估计好多倒闭的创业公司老板都这么想的吧，他们并不能抓住用户真正的需求，只有抓住用户真正的需求，才会抓住用户的心，真正活下来的，才是用户真正需要的，然而，相对来说，游戏行业更是复杂多变，或许今天玩家喜欢这种游戏，明天玩家就喜欢另一种游戏了，就像我们永远也想不到，flappy bird、围住神经病猫这类的游戏竟然能活起来，愚公移山竟然也能让h5游戏变为付费的可能。就像一句话，“只要站在风口上，猪也能飞起来！”，只要抓住了玩家此时此刻真正想要的，产品就一定能做起来。

如何快速搭建HBase分布式NoSQL数据库

像MongoDB, Cassandra, HBase, DynamoDB, 和

Riak这些NoSQL缺乏传统的原子事务机制，所谓原子事务机制是可以保证一系列写操作要么全部完成，要么全部不会完成，不会发生只完成一系列中一两个

写操作;因为数据库不提供这种事务机制支持，开发者需要自己编写代码来确保一系列写操作的事务机制，比较复杂和测试。

这些NoSQL数据库不提供事务机制原因在于其分布式特点，一系列写操作中访问的数据可能位于不同的分区服务器，这样的事务就变成分布式事务，在分

布式事务中实现原子性需要彼此协调，而协调是耗费时间的，每台机器在一个大事务过程中必须依次确认，这就需要一种协议确保一个事务中没有任何一台机器写操

作失败。

什么是数据库，该怎么建立属于自己的数据库？

数据库，港台叫资料库(Data base)，简单来说可视为电子化的档案柜——储存电子档案的处所，使用者可以对档案中的资料执行新增、撷取、更新、删除等操作。资料库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗馀度、与应用程式彼此独立的资料集合。

数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗馀度、与应用程式彼此独立的资料集合。

数据库一般具有储存、撷取、安全保障、备份等基础功能。资料库管理系统可以依据它所支援的资料库模型来作分类，例如关联式、XML；或依据所支援的电脑类型来作分类，例如伺服器群集、行动电话；或依据所用查询语言来作分类，例如SQL、XQuery；或依据效能冲量重点来作分类，例如最大规模、最高执行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支援多种查询语言。

数据库类型

关联式资料库

MySQL

MariaDB（MySQL的代替品）

Percona Server（MySQL的代替品）

PostgreSQL

Microsoft Access

Microsoft SQL Server

Google Fusion Tables

FileMaker

Oracle资料库

Sybase

dBASE

Clipper

FoxPro

foshub

几乎所有的资料库管理系统都配备了一个开放式资料库连接（ODBC）驱动程式，令各个资料库之间得以互相整合。

非关系型资料库（NoSQL）

BigTable（Google）

Cassandra

MongoDB

CouchDB

键值（key-value）资料库

Apache Cassandra

Dynamo

LevelDB

如何构建一个NewSQL数据库

在大数据时代，“多种架构支持多类应用”成为数据库行业应对大数据的基本思路，数据库行业出现互为补充的三大阵营，适用于事务处理应用的OldSQL、适用于数据分析应用的NewSQL和适用于互联网应用的NoSQL。但在一些复杂的应用场景中，单一数据库架构都不能完全满足应用场景对海量结构化和非结构化数据的存储管理、复杂分析、关联查询、实时性处理和控制建设成本等多方面的需要，因此不同架构数据库混合部署应用成为满足复杂应用的必然选择。不同架构数据库混合使用的模式可以概括为：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三种主要模式。下面通过三个案例对不同架构数据库的混合应用部署进行介绍。

OldSQL+NewSQL 在数据中心类应用中混合部署

采用OldSQL+NewSQL模式构建数据中心，在充分发挥OldSQL数据库的事务处理能力的同时，借助NewSQL在实时性、复杂分析、即席查询等方面的独特优势，以及面对海量数据时较强的扩展能力，满足数据中心对当前“热”数据事务型处理和海量历史“冷”数据分析两方面的需求。OldSQL+NewSQL模式在数据中心类应用中的互补作用体现在，OldSQL弥补了NewSQL不适合事务处理的不足，NewSQL弥补了OldSQL在海量数据存储能力和处理性能方面的缺陷。

商业银行数据中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL数据库满足各业务系统数据的归档备份和事务型应用，NewSQL MPP数据库集群对即席查询、多维分析等应用提供高性能支持，并且通过MPP集群架构实现应对海量数据存储的扩展能力。

商业银行数据中心存储架构

与传统的OldSQL模式相比，商业银行数据中心采用OldSQL+NewSQL混合搭建模式，数据加载性能提升3倍以上，即席查询和统计分析性能提升6倍以上。NewSQL MPP的高可扩展性能够应对新的业务需求，可随着数据量的增长采用集群方式构建存储容量更大的数据中心。

OldSQL+NoSQL 在互联网大数据应用中混合部署

在互联网大数据应用中采用OldSQL+NoSQL混合模式，能够很好的解决互联网大数据应用对海量结构化和非结构化数据进行存储和快速处理的需求。在诸如大型电子商务平台、大型SNS平台等互联网大数据应用场景中，OldSQL在应用中负责高价值密度结构化数据的存储和事务型处理，NoSQL在应用中负责存储和处理海量非结构化的数据和低价值密度结构化数据。OldSQL+NoSQL模式在互联网大数据应用中的互补作用体现在，OldSQL弥补了NoSQL在ACID特性和复杂关联运算方面的不足，NoSQL弥补了OldSQL在海量数据存储和非结构化数据处理方面的缺陷。

数据魔方是淘宝网的一款数据产品，主要提供行业数据分析、店铺数据分析。淘宝数据产品在存储层采用OldSQL+NoSQL混合模式，由基于MySQL的分布式关系型数据库集群MyFOX和基于HBase的NoSQL存储集群Prom组成。由于OldSQL强大的语义和关系表达能力，在应用中仍然占据着重要地位，目前存储在MyFOX中的统计结果数据已经达到10TB，占据着数据魔方总数据量的95%以上。另一方面，NoSQL作为SQL的有益补充，解决了OldSQL数据库无法解决的全属性选择器等问题。

淘宝海量数据产品技术架构

基于OldSQL+NoSQL混合架构的特点，数据魔方目前已经能够提供压缩前80TB的数据存储空间，支持每天4000万的查询请求，平均响应时间在28毫秒，足以满足未来一段时间内的业务增长需求。

NewSQL+NoSQL 在行业大数据应用中混合部署

行业大数据与互联网大数据的区别在于行业大数据的价值密度更高，并且对结构化数据的实时处理、复杂的多表关联分析、即席查询、数据强一致性等都比互联网大数据有更高的要求。行业大数据应用场景主要是分析类应用，如：电信、金融、政务、能源等行业的决策辅助、预测预警、统计分析、经营分析等。

在行业大数据应用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在结构化数据分析处理方面的优势，以及NoSQL在非结构数据处理方面的优势，实现NewSQL与NoSQL的功能互补，解决行业大数据应用对高价值结构化数据的实时处理、复杂的多表关联分析、即席查询、数据强一致性等要求，以及对海量非结构化数据存储和精确查询的要求。在应用中，NewSQL承担高价值密度结构化数据的存储和分析处理工作，NoSQL承担存储和处理海量非结构化数据和不需要关联分析、Ad-hoc查询较少的低价值密度结构化数据的工作。

当前电信运营商在集中化BI系统建设过程中面临着数据规模大、数据处理类型多等问题，并且需要应对大量的固定应用，以及占统计总数80%以上的突发性临时统计(ad-hoc)需求。在集中化BI系统的建设中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在复杂分析、即席查询等方面处理性能的优势，及NoSQL在非结构化数据处理和海量数据存储方面的优势，实现高效低成本。

集中化BI系统数据存储架构

集中化BI系统按照数据类型和处理方式的不同，将结构化数据和非结构化数据分别存储在不同的系统中：非结构化数据在Hadoop平台上存储与处理;结构化、不需要关联分析、Ad-hoc查询较少的数据保存在NoSQL数据库或Hadoop平台;结构化、需要关联分析或经常ad-hoc查询的数据，保存在NewSQL MPP数据库中，短期高价值数据放在高性能平台，中长期放在低成本产品中。

结语

当前信息化应用的多样性、复杂性，以及三种数据库架构各自所具有的优势和局限性，造成任何一种架构的数据库都不能完全满足应用需求，因此不同架构数据库混合使用，从而弥补其他架构的不足成为必然选择。根据应用场景采用不同架构数据库进行组合搭配，充分发挥每种架构数据库的特点和优势，并且与其他架构数据库形成互补，完全涵盖应用需求，保证数据资源的最优化利用，将成为未来一段时期内信息化应用主要采用的解决方式。

目前在国内市场上，OldSQL主要为Oracle、IBM等国外数据库厂商所垄断，达梦、金仓等国产厂商仍处于追赶状态;南大通用凭借国产新型数据库GBase 8a异军突起，与EMC的Greenplum和HP的Vertica跻身NewSQL市场三强;NoSQL方面用户则大多采用Hadoop开源方案。

本文题目：nosql自己搭建,为什么要使用nosql
链接分享：http://ybzwz.com/article/hddsji.html