如何根据性能选择内存NoSQL数据库

本文主要内容是测试了不同NoSQL数据库在测试工具YCSB中的表现。我们选取了3款流行的内存(in-memory)数据库管理系统：Redis，Tarantool 以及 CouchBase，还有缓存系统Memchached。Memchached虽然不属于数据库管理系统但常作为快速存储系统使用。

创新互联专注于云州网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供云州营销型网站建设，云州网站制作、云州网页设计、云州网站官网定制、成都小程序开发服务，打造云州网络公司原创品牌,更为您提供云州网站排名全网营销落地服务。

测试环境由4台在Microsoft Azure Cloud中的虚拟机组成的计算机组组成。这些虚拟机同属于一个数据中心。nosql-1和nosql-2用作测试Tarantool和CouchBase，nosql-3和nosql-4用作测试Redis，Azure Redis Cache 以及 Memcached。这些机器都安装和配置了相应数据库和测试项目。虚拟机的配置为4核A3 CPU，7GB RAM，120GB硬盘。

数据库及设置

内存数据库管理系统会存储所有在主内存中的数据并在磁碟上进行持续更新操作；透过日志记录每个数据的修改以确保连贯性。由于是以append-only方式进行日志写入，因此它很少遇到瓶颈问题；读取/写入都不会造成频繁的磁碟头移动。

Redis在2009推出，目前的最新版本是3.0.5。我们这里使用的版本是3.0.4，以append-only(只附加)方式进行数据管理，与其配合使用的是Microsoft Azure Redis Cache工具。

Tarantool是一款开源NoSQL数据库管理系统。我们使用的是Tarantool 1.6.7-126-gb35aff9，日志采用write-ahead(先写)模式。Memcached是一款分布式内存缓存系统，这里使用是Memcached 1.4.14-0ubuntu9。

Couchbase Server是开源分布式NoSQL面向文档数据库，这里使用的版本是Couchbase 4.0.0-4047-1。

YCSB测试工具

Yahoo! Cloud Serving Benchmark(YCSB)是功能强大的NoSQL数据库性能测试工具，它提供了6种主要的负载工作类型，以字母A到F来区分。

负载A负责更新操作，极值是50/50的读写操作，如用于进行新近操作记录。负载B负责读取操作，极值是95/5的读写操作，如用于进行图片标签管理，多进行标签读取操作。负载C负载100%的读取操作，如用于进行用户属性获取。负载D以先进先出方式进行插入操作，如用户进行最新数据读取。负载E负责小范围记录读取而不是单个记录读取，如线程会话。负载F负责记录的读取，修改和写入，如用户信息管理。

我们对配置文件作了两处参数修改：数据条目recordcount设为200000，操作条目operationcount设为5000000。YCSB是多线程工具，我们将以8, 16, 32, 64, 128 及256 线程来进行测试。详细的测试脚本请点击这里进行下载。

下列测试结果图以颜色进行测试对象区分，

Tarantool (HASH) （蓝）

Tarantool (TREE)（浅蓝）

Redis （红）

Azure Redis Cache （橙）

Memcached （绿）

CouchBase（黑）

更多图片请点击［这里］查看。

结论

Tarantool在所有负载类型测试中皆取得了最优成绩。它创建了一个无锁内存引擎，以协同多任务方式进行操作而不是互斥或并行处理方式。根据以下性能图表现，我们的结论是Tarantool的高吞吐量处理是其最大优势之一。因此在多数场合下，Tarantool是用户的最佳选择。

NoSQL如何实现数据的增删改查？

package basic;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

public class JDBC {

public void findAll() {

try {

// 获得数据库驱动

//由于长时间不写，驱动名和URL都忘记了，不知道对不对，你应该知道的，自己改一下的哈

String url = "jdbc:oracle:thin:@localhost:1521:XE";

String userName = "system";

String password = "system";

Class.forName("oracle.jdbc.driver.OracleDriver");

// 创建连接

Connection conn = DriverManager.getConnection(url, userName,

password);

// 新建发送sql语句的对象

Statement st = conn.createStatement();

// 执行sql

String sql = "select * from users";

ResultSet rs = st.executeQuery(sql);

// 处理结果

while(rs.next()){

//这个地方就是给你的封装类属性赋值

System.out.println("UserName："+rs.getString(0));

}

// 关闭连接

rs.close();

st.close();

conn.close();

} catch (ClassNotFoundException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

public void delete(){

try {

//步骤还是那六个步骤，前边的两步是一样的

String url = "jdbc:oracle:thin:@localhost:1521:XE";

String userName = "system";

String password = "system";

Class.forName("oracle.jdbc.driver.OracleDriver");

Connection conn = DriverManager.getConnection(url,userName,password);

//这里的发送sql语句的对象是PreparedStatement,成为预处理sql对象，因为按条件删除是需要不定值的

String sql = "delete from users where id = ?";

PreparedStatement ps = conn.prepareStatement(sql);

ps.setInt(0, 1);

int row = ps.executeUpdate();

if(row!=0){

System.out.println("删除成功！");

}

// 关闭连接

rs.close();

st.close();

conn.close();

} catch (ClassNotFoundException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

}

衡量数据库性能的重要指标

具体来说，本文包括以下内容:

事务

查询性能

用户和查询冲突

容量

配置

NoSQL 数据库

事务

事务可以观察真实用户的行为：能够在应用交互时捕获实时性能。众所周知，测量事务的性能包括获取整个事务的响应时间和组成事务的各个部分的响应时间。通常我们可以用这些响应时间与满足事务需求的基线对比，来确定当前事务是否处于正常状态。

如果你只想衡量应用的某个方面，那么可以评估事务的行为。所以，尽管容器指标能够提供更丰富的信息，并且帮助你决定何时对当前环境进行自动测量，但你的事务就足以确定应用性能。无需向应用程序服务器获取 CPU 的使用情况，你更应该关心用户是否完成了事务，以及该事务是否得到了优化。

补充一个小知识点，事务是由入口点决定的，通过该入口点可以启动事务与应用进行交互。

一旦定义了事务，会在整个应用生态系统中对其性能进行测量，并将每个事务与基线进行比对。例如，我们可能会决定当事务的响应时间与基线相比，一旦慢于平均响应时间的两个标准差是否就应该判定为异常，如图1所示。

图1-基于基线评估当前事务响应时间

用于评估事务的基线与正在进行的事务活动在时间上是一致的，但事务会由每个事务执行来完善。例如，当你选定一个基线，在当前事务结束之后，将事务与平均响应时间按每天的小时数和每周的天数进行对比，所有在那段时间内执行的事务都将会被纳入下周的基线中。通过这种机制，应用程序可以随时间而变化，而无需每次都重建原始基线；你可以将其看作是一个随时间移动的窗口。

总之，事务最能反映用户体验的测量方法，所以也是衡量性能状况最重要的指标。

查询性能 

最容易检测到查询性能是否正常的指标就是查询本身。由查询引起的问题可能会导致时间太长而无法识别所需数据或返回数据。所以不妨在查询中排查以下问题。

1. 选择过多冗余数据

编写查询语句来返回适当的数据是远远不够的，很可能你的查询语句会返回太多列，从而导致选择行和检索数据变得异常缓慢。所以，最好是列出所需的列，而不是直接用 SELECT*。当需要在特定字段中查询时，该计划可能会确定一个覆盖索引从而加快结果返回。覆盖索引通常会包含查询中使用的所有字段。这意味着数据库可以仅从索引中产生结果，而不需要通过底层表来构建。

另外，列出结果中所需的列不仅可以减少传输的数据，还能进一步提高性能。

2. 表之间的低效联接

联接会导致数据库将多组数据带到内存中进行比较，这会产生多个数据库读取和大量 CPU。根据表的索引，联接还可能需要扫描两个表的所有行。如果写不好两个大型表之间的联接，就需要对每个表进行完整扫描，这样的计算量将会非常大。其他会拖慢联接的因素包括联接列之间存在不同的数据类型、需要转换或加入包含 LIKE 的条件，这样就会阻止使用索引。另外，还需注意避免使用全外联接；在恰当的时候使用内部联接只返回所需数据。

3. 索引过多或过少

如果查询优化没有可用的索引时，数据库会重新扫描表来产生查询结果，这个过程会生成大量的磁盘输入/输出（I/O）。适当的索引可以减少排序结果的需要。虽然非唯一值的索引在生成结果时，不能像唯一索引那样方便。如果键越大，索引也会变大，并通过它们创建更多的磁盘 I/O。大多数索引是为了提高数据检索的性能，但也需要明白索引本身也会影响数据的插入和更新，因为所有相关联的指标都必须更新。

4. 太多的SQL导致争用解析资源

任何 SQL 查询在执行之前都必须被解析，在生成执行计划之前需要对语法和权限进行检查。由于解析非常耗时，数据库会保存已解析的 SQL 来重复利用，从而减少解析的耗时。因为 WHERE 语句不同，所以使用文本值的查询语句不能被共享。这将导致每个查询都会被解析并添加到共享池中，由于池的空间有限，一些已保存的查询会被舍弃。当这些查询再次出现时，则需要重新解析。

用户和查询冲突 

数据库支持多用户，但多用户活动也可能造成冲突。

1. 由慢查询导致的页/行锁定

为了确保查询产生精确的结果，数据库必须锁定表以防止在运行读取查询时再发生其他的插入和更新行为。如果报告或查询相当缓慢，需要修改值的用户可能需要等待至更新完成。锁提示能帮助数据库使用最小破坏性的锁。从事务数据库中分离报表也是一种可靠的解决方法。

2. 事务锁和死锁

当两个事务被阻塞时会出现死锁，因为每一个都需要使用被另一个占用的资源。当出现一个普通锁时，事务会被阻塞直到资源被释放。但却没有解决死锁的方案。数据库会监控死锁并选择终止其中一个事务，释放资源并允许该事务继续进行，而另一个事务则回滚。

3. 批处理操作造成资源争夺

批处理过程通常会执行批量操作，如大量的数据加载或生成复杂的分析报告。这些操作是资源密集型的，但可能影响在线用户的访问应用的性能。针对此问题最好的解决办法是确保批处理在系统使用率较低时运行，比如晚上，或用单独的数据库进行事务处理和分析报告。

容量 

并不是所有的数据库性能问题都是数据库问题。有些问题也是硬件不合适造成的。

1. CPU 不足或 CPU 速度太慢

更多 CPU 可以分担服务器负载，进一步提高性能。数据库的性能不仅是数据库的原因，还受到服务器上运行其他进程的影响。因此，对数据库负载及使用进行审查也是必不可少的。由于 CPU 的利用率时时在变，在低使用率、平均使用率和峰值使用率的时间段分别检查该指标可以更好地评估增加额外的 CPU 资源是否有益。

2. IOPS 不足的慢磁盘

磁盘性能通常以每秒输入/输出操作（IOPS）来计。结合 I/O 大小，该指标可以衡量每秒的磁盘吞吐量是多少兆。同时，吞吐量也受磁盘的延迟影响，比如需要多久才能完成请求，这些指标主要是针对磁盘存储技术而言。传统的硬盘驱动器（HDD）有一个旋转磁盘，通常比固态硬盘（SSD）或闪存更慢。直到近期，SSD 虽然仍比 HDD 贵，但成本已经降了下来，所以在市场上也更具竞争力。

3. 全部或错误配置的磁盘

众所周知，数据库会被大量磁盘访问，所以不正确配置的磁盘可能带来严重的性能缺陷。磁盘应该适当分区，将系统数据目录和用户数据日志分开。高度活跃的表应该区分以避免争用，通过在不同磁盘上存放数据库和索引增加并行放置，但不要将操作系统和数据库交换空间放置在同一磁盘上。

4. 内存不足

有限或不恰当的物理内存分配会影响数据库性能。通常我们认为可用的内存更多，性能就越好。监控分页和交换,在多个非繁忙磁盘中建立多页面空间，进一步确保分页空间分配足够满足数据库要求；每个数据库供应商也可以在这个问题上提供指导。

5. 网速慢

网络速度会影响到如何快速检索数据并返回给终端用户或调用过程。使用宽带连接到远程数据库。在某些情况下，选择 TCP/IP 协议而不是命名管道可显著提高数据库性能。

配置

每个数据库都需设置大量的配置项。通常情况下，默认值可能不足以满足数据库所需的性能。所以，检查所有的参数设置，包括以下问题。

1. 缓冲区缓存太小

通过将数据存储在内核内存，缓冲区缓存可以进一步提高性能同时减少磁盘 I/O。当缓存太小时，缓存中的数据会更频繁地刷新。如果它再次被请求，就必须从磁盘重读。除了磁盘读取缓慢之外，还给 I/O 设备增添了负担从而成为瓶颈。除了给缓冲区缓存分配足够的空间，调优 SQL 查询可以帮助其更有效地利用缓冲区缓存。

2. 没有查询缓存

查询缓存会存储数据库查询和结果集。当执行相同的查询时，数据会在缓存中被迅速检索，而不需要再次执行查询。数据会更新失效结果，所以查询缓存是唯一有效的静态数据。但在某些情况下，查询缓存却可能成为性能瓶颈。比如当锁定为更新时，巨大的缓存可能导致争用冲突。

3. 磁盘上临时表创建导致的 I/O 争用

在执行特定的查询操作时，数据库需要创建临时表，如执行一个 GROUP BY 子句。如果可能，在内存中创建临时表。但是，在某些情况下，在内存中创建临时表并不可行，比如当数据包含 BLOB 或 TEXT 对象时。在这些情况下，会在磁盘上创建临时表。大量的磁盘 I / O 都需要创建临时表、填充记录、从表中选择所需数据并在查询完成后舍弃。为了避免影响性能，临时数据库应该从主数据库中分离出来。重写查询还可以通过创建派生表来减少对临时表的需求。使用派生表直接从另一个 SELECT 语句的结果中选择，允许将数据加到内存中而不是当前磁盘上。

NoSQL 数据库

NoSQL 的优势在于它处理大数据的能力非常迅速。但是在实际使用中，也应该综合参考 NoSQL 的缺点，从而决定是否适合你的用例场景。这就是为什么NoSQL通常被理解为 「不仅仅是 SQL」，说明了 NoSQL 并不总是正确的解决方案，也没必要完全取代 SQL，以下分别列举出五大主要原因。

1. 挑剔事务

难以保持 NoSQL 条目的一致性。当访问结构化数据时，它并不能完全确保同一时间对不同表的更改都生效。如果某个过程发生崩溃，表可能会不一致。一致事务的典型代表是复式记账法。相应的信贷必须平衡每个借方，反之亦然。如果双方数据不一致则不能输入。NoSQL 则可能无法保证「收支平衡」。

2. 复杂数据库

NoSQL 的支持者往往以高效代码、简单性和 NoSQL 的速度为傲。当数据库任务很简单时，所有这些因素都是优势。但当数据库变得复杂，NoSQL 会开始分解。此时，SQL 则比 NoSQL 更好地处理复杂需求，因为 SQL 已经成熟，有符合行业标准的接口。而每个 NoSQL 设置都有一个唯一的接口。

3. 一致联接

当执行 SQL 的联接时，由于系统必须从不同的表中提取数据进行键对齐，所以有一个巨大的开销。而 NoSQL 似乎是一个空想，因为缺乏联接功能。所有的数据都在同一个表的一个地方。当检索数据时，它会同时提取所有的键值对。问题在于这会创建同一数据的多个副本。这些副本也必须更新，而这种情况下，NoSQL 没有功能来确保更新。

4. Schema设计的灵活性

由于 NoSQL 不需要 schema，所以在某些情况下也是独一无二的。在以前的数据库模型中，程序员必须考虑所有需要的列能够扩展，能够适应每行的数据条目。在 NoSQL 下，条目可以有多种字符串或者完全没有。这种灵活性允许程序员迅速增加数据。但是，也可能存在问题，比如当有多个团体在同一项目上工作时，或者新的开发团队接手一个项目时。开发人员能够自由地修改数据库，也可能会不断实现各种各样的密钥对。

5. 资源密集型

NoSQL 数据库通常比关系数据库更加资源密集。他们需要更多的 CPU 储备和 RAM 分配。出于这个原因，大多数共享主机公司都不提供 NoSQL。你必须注册一个 VPS 或运行自己的专用服务器。另一方面，SQL 主要是在服务器上运行。初期的工作都很顺利，但随着数据库需求的增加，硬件必须扩大。单个大型服务器比多个小型服务器昂贵得多，价格呈指数增长。所以在这种企业计算场景下，使用 NoSQL 更为划算，例如那些由谷歌和 Facebook 使用的服务器。

什么是NoSQL数据库？

2. 什么是NoSQL？

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，

泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。

（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 关系型数据库与NoSQL的区别？

3.1 RDBMS

高度组织化结构化数据

结构化查询语言（SQL）

数据和关系都存储在单独的表中。

数据操纵语言，数据定义语言

严格的一致性

基础事务

ACID

关系型数据库遵循ACID规则

事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性：

A (Atomicity) 原子性

原子性很容易理解，也就是说事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。比如银行转账，从A账户转100元至B账户，分为两个步骤：1）从A账户取100元；2）存入100元至B账户。这两步要么一起完成，要么一起不完成，如果只完成第一步，第二步失败，钱会莫名其妙少了100元。

C (Consistency) 一致性

一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。

I (Isolation) 独立性

所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户，在这个交易还未完成的情况下，如果此时B查询自己的账户，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事务提交后，它所做的修改将会永久的保存在数据库上，即使出现宕机也不会丢失。

3.2 NoSQL

代表着不仅仅是SQL

没有声明性查询语言

没有预定义的模式

键 - 值对存储，列存储，文档存储，图形数据库

最终一致性，而非ACID属性

非结构化和不可预知的数据

CAP定理

高性能，高可用性和可伸缩性

分布式数据库中的CAP原理(了解)

CAP定理：

Consistency(一致性), 数据一致更新，所有数据变动都是同步的

Availability(可用性), 好的响应性能

Partition tolerance(分区容错性) 可靠性

P: 系统中任意信息的丢失或失败不会影响系统的继续运作。

定理：任何分布式系统只可同时满足二点，没法三者兼顾。

CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，

因此，根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类：

CA - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。

CP - 满足一致性，分区容忍性的系统，通常性能不是特别高。

AP - 满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。

CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。

而由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须需要实现的。

所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

说明：C：强一致性 A：高可用性 P：分布式容忍性

举例：

CA：传统Oracle数据库

AP：大多数网站架构的选择

CP：Redis、Mongodb

注意：分布式架构的时候必须做出取舍。

一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。

因此牺牲C换取P，这是目前分布式数据库产品的方向。

4. 当下NoSQL的经典应用

当下的应用是 SQL 与 NoSQL 一起使用的。

代表项目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型机，很贵的，好像好几万一台；O 是指 Oracle 数据库，也很贵的，好几万呢；M 是指 EMC 的存储设备，也很贵的。

难点：

数据类型多样性。

数据源多样性和变化重构。

数据源改造而服务平台不需要大面积重构。

需要频繁访问数据库的网页怎么处理

预生成静态页面或者使用缓存（内存数据库/nosql）

静态页面是根据业务来确定是否合适使用，例如博客网站，会对文章进行生产静态html，固定时间更新（例如每天重新生成一次），这种内容修改几率比较小的比较适合，可以有效的避免每次获取文章内容都要交互数据库，直接访问对应静态页面（相关技术可以查看freemarker等）

缓存是针对读取比较频繁，且数据不是很大的情况。nosql类似，去掉了数据库比较复杂的强制关系（例如主外键等），只是单纯的存储读取数据，具体数据/业务逻辑再程序中去具体控制，可以极大的加快访问速度，例如（redis，mongodb）

具体可以搜索nosql或者key-value 数据库了解。

分享文章：nosql频繁修改数据库,nosql数据库包括哪几种
URL链接：http://ybzwz.com/article/hdghsg.html