【网易易盾】网易易盾性能测试自动化建设
创始人
2025-05-28 11:53:04
0

性能测试简介

什么是性能测试

考虑到有些同学没有接触过性能测试,这里还是简单介绍下。性能测试是通过特定的方式对被测系统按照一定策略施加压力,获取该系统的响应时间、吞吐量等性能指标,来检测系统上线后能否满足用户需求的过程。通过性能测试的定义不难看出性能的核心指标就是我们经常挂在嘴边的 QPS 和 RT。

为什么要做性能测试

简单了解性能测试之后,有些小伙伴肯定会问为什么要做性能测试。对于这个问题,我打算举两个生活中的例子来说明下。

  • 12306——每年春运都是一次大考

临近春节,打工人都要抢回乡的火车票,2019 年 12 月 23 日,有大量网友反映,12306 网站突然崩了,在购买车票的时候出现无法登录、无法购票、车次加载失败、页面卡住等情况,疑似因访问流量过大而出现服务器崩溃。

  • 微博——顶流明星的瓜不好吃

2021 年 4 月 23 日,知名演员赵丽颖与冯绍峰离婚的消息突然公布,这一消息迅速登上微博热搜。该消息公布后,有网友反映微博客户端出现了短暂宕机、网络出错的现象。

易盾性能测试痛点

压测执行过程繁琐

压测执行在易盾性能测试的整个流程中比重最大,易盾线上压测一般采用梯度压测。什么是梯度压测,简单的说就是把压测的大目标拆分成多个小目标,从小的目标做起,直到最后完成最终目标。假设易盾文本检测压测的目标值是 QPS 达到 200,那我们通常从压力值 20 开始,然后 40、60 逐渐加大压力,直到最后完成 200 的目标值。

具体的执行步骤是怎么样的呢,我们先用压力值 20,在 NPT 压测平台创建一个压测任务并执行,一般一轮压测执行 10 分钟。如果达不到 20 的目标值,压测中止定位性能问题;如果达到 20 的目标值,创建下一个目标值 40 的压测任务,继续执行。重复之前的判断逻辑,直到压测中止或者完成压测目标。

可能有人会问,你这不是自找麻烦,直接用 200 去压测看看行不行不就完事了。线上压测,保证线上安全始终是第一位的,需要慎之又慎,如果因为压测把线上压挂了会严重影响客户体验,甚至产生资损。

监控依赖人

在性能测试过程中,监控&分析属于一个难点,到底难在哪里?这里需要人的经验,需要对被测系统比较熟悉。只有在熟悉的前提下,你才知道需要看哪些监控指标,这些指标是不是正常,进而给出判断的结论。

目前线上压测会安排值班同学观察监控,这种依赖人的监控很难做到实时,因为人的精力有限,根本没法兼顾所有监控。还有就是很少有同学从头到尾盯着监控的,大家都是有报警的时候去关注下。这样存在一些风险,可能有些报警没有配置、或者配置修改了没有及时还原,导致线上有问题了,没有报警发出来。

在压测过程中,我们经常会遇到加大并发 QPS 上不去的情况,这时候一般就出现性能瓶颈了,但是这个瓶颈在哪里就需要根据监控数据去定位和分析了。我们在定位的时候无非也是使用经验的三板斧,CPU/内存/磁盘/网卡等系统资源是否正常,请求量和 RT 是否合理,有没有出现超时等异常错误。

压测数据未隔离

由于压测流量和真实流量没有做数据隔离,导致线上无法进行全链路压测,有些业务场景覆盖不到。比如易盾存储场景,一旦数据落库存在性能问题,kafka 的数据就会积压。此时 kafka 的 topic 中既有真实流量又有压测流量的数据,就算立马停止压测,也会影响线上真实流量数据的消费速度,影响用户体验。因此,平常线上压测都会关闭数据存储。

压测资损

易盾有一些外部供应商,之前压测过程中,由于方案评估不到位遗漏了供应商这个环节,导致线上压测产生了一些额外的费用,这种压测资损也是不能容忍的。

易盾性能测试自动化实践

压测一键执行

创建压测任务的时候,自动创建多个梯度压测子任务。还是用易盾文本检测来举例,我们创建一个 QPS 目标值 200 的压测任务,这个压测任务被拆分成了5个梯度,每个梯度的压测目标值从小到大分别是 40,80,120,160 和 200。这 5 个梯度对应 NPT 平台上 5 个压测目标值分别是 40,80,120,160 和 200 压测子任务。

点击启动压测任务后,系统会顺序执行 NPT 平台上 QPS 目标值 40,80,120,160 和 200 的压测子任务。压测子任务达到目标值,会自动执行下一个子任务,如果达不到目标值,就会自动中止压测任务。

监控&分析量化

对于监控&分析我们的思路很明确就是量化。

首先是监控,我们事先定义好哪些应用需要纳入监控,这些应用各自需要监控哪些指标。这个两个要素搞清楚了,剩下的就是通过哨兵提供的API获取监控数据,写入我们自己的数据库。

对于外部供应商这种特殊业务场景的监控,我们在易盾监控大盘纳入供应商请求量的指标。当供应商请求量同比或者环比出现异常时,需要及时停止压测。

全链路压测组件接入

存储场景压测覆盖不到的问题如何解决,首先我们的被测系统接入了全链路压测组件,实现了真实流量和压测流量的数据隔离。

其次,影子队列消费提供开关,kafka 数据积压时,关闭开关,保证只有真实流量数据的消费。

易盾性能测试自动化平台

对于上述性能测试中的改进点,我们构建了自己的性能测试自动化平台来承载。

整体架构

落地情况

易盾文本检测压测目前已经完成小流量的试跑,和之前的常规压测比,具有明显的优势。

未来规划和展望

可视化

压测过程中提供数据和监控大盘,有助于全局了解被测系统当前的状态。

智能化

监控数据目前比较粗暴,P0 的应用全部落库。后续可以根据压测场景-链路拓扑,只收集压测流量经过的应用。

监控数据合理性的判断目前都是一些固定阈值,后续可以把历史数据纳入比较,形成置信区间的算法。

相关内容

热门资讯

电视安卓系统哪个品牌好,哪家品... 你有没有想过,家里的电视是不是该升级换代了呢?现在市面上电视品牌琳琅满目,各种操作系统也是让人眼花缭...
安卓会员管理系统怎么用,提升服... 你有没有想过,手机里那些你爱不释手的APP,背后其实有个强大的会员管理系统在默默支持呢?没错,就是那...
安卓系统软件使用技巧,解锁软件... 你有没有发现,用安卓手机的时候,总有一些小技巧能让你玩得更溜?别小看了这些小细节,它们可是能让你的手...
安卓系统提示音替换 你知道吗?手机里那个时不时响起的提示音,有时候真的能让人心情大好,有时候又让人抓狂不已。今天,就让我...
安卓开机不了系统更新 手机突然开不了机,系统更新还卡在那里,这可真是让人头疼的问题啊!你是不是也遇到了这种情况?别急,今天...
安卓系统中微信视频,安卓系统下... 你有没有发现,现在用手机聊天,视频通话简直成了标配!尤其是咱们安卓系统的小伙伴们,微信视频功能更是用...
安卓系统是服务器,服务器端的智... 你知道吗?在科技的世界里,安卓系统可是个超级明星呢!它不仅仅是个手机操作系统,竟然还能成为服务器的得...
pc电脑安卓系统下载软件,轻松... 你有没有想过,你的PC电脑上安装了安卓系统,是不是瞬间觉得世界都大不一样了呢?没错,就是那种“一机在...
电影院购票系统安卓,便捷观影新... 你有没有想过,在繁忙的生活中,一部好电影就像是一剂强心针,能瞬间让你放松心情?而我今天要和你分享的,...
安卓系统可以写程序? 你有没有想过,安卓系统竟然也能写程序呢?没错,你没听错!这个我们日常使用的智能手机操作系统,竟然有着...
安卓系统架构书籍推荐,权威书籍... 你有没有想过,想要深入了解安卓系统架构,却不知道从何下手?别急,今天我就要给你推荐几本超级实用的书籍...
安卓系统看到的炸弹,技术解析与... 安卓系统看到的炸弹——揭秘手机中的隐形威胁在数字化时代,智能手机已经成为我们生活中不可或缺的一部分。...
鸿蒙系统有安卓文件,畅享多平台... 你知道吗?最近在科技圈里,有个大新闻可是闹得沸沸扬扬的,那就是鸿蒙系统竟然有了安卓文件!是不是觉得有...
宝马安卓车机系统切换,驾驭未来... 你有没有发现,现在的汽车越来越智能了?尤其是那些豪华品牌,比如宝马,它们的内饰里那个大屏幕,简直就像...
p30退回安卓系统 你有没有听说最近P30的用户们都在忙活一件大事?没错,就是他们的手机要退回安卓系统啦!这可不是一个简...
oppoa57安卓原生系统,原... 你有没有发现,最近OPPO A57这款手机在安卓原生系统上的表现真是让人眼前一亮呢?今天,就让我带你...
安卓系统输入法联想,安卓系统输... 你有没有发现,手机上的输入法真的是个神奇的小助手呢?尤其是安卓系统的输入法,简直就是智能生活的点睛之...
怎么进入安卓刷机系统,安卓刷机... 亲爱的手机控们,你是否曾对安卓手机的刷机系统充满好奇?想要解锁手机潜能,体验全新的系统魅力?别急,今...
安卓系统程序有病毒 你知道吗?在这个数字化时代,手机已经成了我们生活中不可或缺的好伙伴。但是,你知道吗?即使是安卓系统,...
奥迪中控安卓系统下载,畅享智能... 你有没有发现,现在汽车的中控系统越来越智能了?尤其是奥迪这种豪华品牌,他们的中控系统简直就是科技与艺...