腾讯云CKafka压测踩坑记录

由于最近项目要上腾讯云，不得不对腾讯云CKafka进行压测，评估kafka的处理性能是罩没简否满足项目需求。（项目期望Kafka能够处理上千万级别的MQ）

武强ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联建站的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：13518219792（备注：SSL证书合作）期待与您的合作！

一、 明确测试目的

本次性能测试在UAT环境下腾讯云服务器上CKafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据100w、500w和1000w级别的消息处理结果，评估Kafka的处理性能极限值。

二、 Kafka测试前期准备

2.1  Kafka的性能测试主要测试kafka的吞吐量，kafka吞性能为生产者在向kafka传入消息时的写入量，kafka的吐性能为消费者在kafka集群中消费的能力，也就是读取量。

2.2 Borker相关

    Kafka的borker是kafka集群的缓存代理，消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。具体可参考kafka官方文档。

2.3 Cousumer相关

察前    Consumer为kafka的消费者，同一个topic消费者越多越快，但是需要注意的是，消费者的数量不能超过topic的分区数量，因为每个topic的每个分区只能被一个消费者消费，多出来的消费者会无信息可消费。导致资源浪费。具体可参考腾讯云Ckafka指南。

三、Kafka常用参数配置

3.1 生产端常用参数配置如下：

消费者参数配置如下：

Broker 配置参数说明如下：

四、场景设计

4.1 Kafka写入消息压力测试

4.2 Kafka消费压测测试

五、测试方法

5.1 在服务器上使用Kafka自带的测试脚本，分别模拟100w、500w和1000w的消息写入请求，查看Kafka处理不同数量级的消息数时的处理能力，包括每秒生成消息数、吞吐量、消息延迟时间。Kafka消息吸入创建的topic命名为test-2，使用命令发起消费该topic的请求，查看Kafka消费不同数量级别的消息时的处理能力。

5.2 压测命令（脚本执行目录：bin/）

        zookeeper脚本：./kafka-consumer-perf-test.sh --zookeeper IP:port --topic forbid_resources_topic --fetch-size 1048576 --messages 10000 --threads 1

写入脚本命令的参数解析：

消费脚本参数解析：

六、测试结果

写入100W结果：

消费100W结果：

注意：这里的坑就来了实际消费数量与脚本设置的消费数量不一致，在这里的这个问题查了物裤很多资料发现两个问题,一会下面慢慢解释，先来看每个字段的意思。

我们先来看看消费的每个数据字段的含义，如下图：

上图我们可以看出，data.consumed.in.nMsg（总消费消息数）与脚本中messages设置的值不一致；设置消费100W，实际消费121431条消息。

坑就在这里，由于是买的腾讯云的PASS服务，很多东西都没办法获取权限查看，只能一步步和客服沟通，挨个排查。

腾讯售后客服也给发了案例和教程，发现教程里也是实际消费和设置消费数不一致；，此处省略一万字。。。

最终在无意之间更改了Topic分区数之后再次运行脚本发现问题消失了，测试环境的Topic分区设置为1，后续增加分区数发现能实际消费和设置消费消息数一致。最后经过多次测试最终Topic分区数设置为3。这次之后发现忽略了腾讯云提供的压测指南中的底部有几句话；

在多次和腾讯售后客服沟通和交流，后续也有和腾讯相关后端开发沟通，发现竟然连开发都解释不清楚出现这个问题的原因，只要深入了解，就会含糊解释说：“我们卖了这么多产品，Kafka肯定不会有问题的”，其内部也没有关于Kafka相关的压测分析案例。可能是我寡闻，在此记录，也是分享出此次压测的踩坑经历。

腾讯云服务器IO性能测试报告

测试方法：

1、 dd bs=64k count=4k if=/dev/zero of=test

没有加任何参数，dd默认的方式不包括“同步(sync)”命令。也就胡盯是说，dd命令完成前并没有让系统真正把文件写到磁盘上。所以以上命令只是单纯地把这128MB的数据读到内存缓冲当中（写缓存[write cache]）。所以你得到的将是一个超级快的速度。因为其实dd给你的只是读取速度，直到dd完成后系统才开始真正往磁盘上写数据，但这个速度你是看不到了。所以如果这个速度很快，没有什么作用。

2、dd bs=64k count=4k if=/dev/zero of=test oflag=dsync

加入这个参裤橡和数后，dd在执行时每次都会进行同步写入操作。也就是说，这条命令每次如举读取64k后就要先把这64k写入磁盘，然后再读取下面这64k，一共重复128次。这可能是最慢的一种方式了，因为基本上没有用到写缓存(write cache)。这种方法是最严格的，可以模拟数据库的插入操作，所以很慢，也是用来测试vps硬盘性能标准的一条标杆，一般来说测试结果，如果超过10M，对正常建站就无影响。超过50M，就是非常给力状态。

腾讯云

[root@VM_37_104_centos ~]# time dd if=/dev/zero of=test.dbf bs=8k count=300000

300000+0 records in

300000+0 records out

2457600000 bytes (2.5 GB) copied, 9.98703 s, 246 MB/s

real 0m10.027s

user 0m0.071s

sys 0m4.413s

[root@VM_37_104_centos ~]# time dd if=/dev/zero of=test bs=64k count=16k oflag=dsync

16384+0 records in

16384+0 records out

1073741824 bytes (1.1 GB) copied, 20.3013 s, 52.9 MB/s

real 0m20.308s

user 0m0.014s

sys 0m2.724s

天互数据 为你解答，希望能帮到你

如何对比测试云服务器的性能

相信你也经常遇到云服务器无法访问的搭渗御问题？

也会遇到服务器丢包，数据加载慢的问题？

阿里云、腾讯云和华为云三大知名云计算厂家的网络情况怎么样？

要判断一个云服务的网络情况好坏又应该从哪些方面考虑呢？

面对以上疑问？一起来看一下阿里云、腾讯云和华为云的云服务器网络能力哪家强。

一、阿里云、腾讯云喊搜和华为云的运营商内网间TCP带宽性能测试华为云400Mbps，阿里云在280Mbps左右，腾讯云优势较大，达到1100Mbps。

云服务器

二、在都开放了16001-16008端口的情况下，华为云S6内网PPS测试结果达到25万，阿里云15万，腾讯云知岩S2在45万至51万之间。

三、三大服务器的外网主机连通性表现基本相同，国内地区服务器响应速度在60ms左右，海外地区响应速度在130ms左右。

四、上传下载能力对比，同样下载100MB大小的文件，华为云耗时120s，腾讯云162s，阿里云154s。

希望本篇回答可以帮助到你

望采纳~

网页题目：腾讯云服务器性能测试 腾讯云服务器什么配置
分享路径：http://ybzwz.com/article/ddpjshc.html