有关性能测试,哪些使用了benchmark方法_国内性能测试工具

几种性能测试工具的总结 　　我们经常会谈论性能、并发等问题，但是衡量性能不是说写段代码循环几百次这么简单。最近从项目上的同事了解到了代码化的测试性能测试工具 k6，以及结合之前用过的Java 微基准测试 (JMH)、AB (Apache Benchmark) 测试、Jmeter 做一下总结。 　　谈性能，实际上结合实际的业务背景、网络条件、测试数据的选择等因素影响非常大，单纯的谈 QPS 等数据意义不大。 　　这里介绍的几个工具刚好能满足平时开发工作中不同场景下衡量性能的需求，因此整理出来。Java 微基准测试 (JMH) 可以用于衡量一段 Java 代码到底性能如何，例如我们平时总是谈 StringBuilder 比 new String() 快很多。我们有一个很好地量化方法，就可以很直观的展示出一段代码的性能优劣。AB (Apache Benchmark) 测试是 Apache 服务器内置的一个 http web 压测工具，非常简单易用。Mac 预装了 Apache，因此可以随手使用来测试一个页面或者 API 的性能。贵在简单易用，无需额外安装。k6 一款使用 go 语言编写，支持用户编写测试脚本的测试套件。弥补了 ab 测试功能不足，以及 jemeter 不容易代码化的缺点。也是项目上需要使用，从同事那里了解到的。Jmeter 老牌的性能测试工具，有大量专门讲 jmeter 的资料，本文不再赘述。 　　那我们从 JMH 开始从来看下这几个工具的特点和使用吧。 　　Java 微基准测试 　　StringBuilder 到底比 new String() 快多少呢？ 　　我们可以使用 JMH 来测试一下。JMH 是一个用于构建、运行和分析 Java 方法运行性能工具，可以做到 nano/micro/mili/macro 时间粒度。JMH 不仅可以分析 Java 语言，基于 JVM 的语言都可以使用。 　　JMH 由 OpenJDK 团队开发，由一次下载 OpenJDK 时注意到官网还有这么一个东西。 　　OpenJdk 官方运行 JMH 测试推的方法是使用 Maven 构建一个单独的项目，然后把需要测试的项目作为 Jar 包引入。这样能排除项目代码的干扰，得到比较可靠地测试效果。当然也可以使用 IDE 或者 Gradle 配置到自己项目中，便于和已有项目集成，代价是配置比较麻烦并且结果没那么可靠。 　　使用 Maven 构建基准测试 　　根据官网的例子，我们可以使用官网的一个模板项目。 　　mvn archetype:generate \ 　　-DinteractiveMode=false \ 　　-DarchetypeGroupId=org.openjdk.jmh \ 　　-DarchetypeArtifactId=jmh-java-benchmark-archetype \ 　　-DgroupId=org.sample \ 　　-DartifactId=test \ 　　-Dversion=1.0 　　创建一个项目，导入 IDE，Maven 会帮我们生成一个测试类，但是这个测试类没有任何内容，这个测试也是可以运行的。 　　先编译成 jar 　　mvn clean install 　　然后使用 javar -jar 来运行测试 　　java -jar target/benchmarks.jar 　　运行后可以看到输出信息中包含 JDK、JVM 等信息，以及一些用于测试的配置信息。 　　下面是一些配置信息说明Warmup 因为 JVM 即时编译的存在，所以为了更加准确有一个预热环节，这里是预热 5，每轮 10s。Measurement 是真实的性能测量参数，这里是 5轮，每轮10s。Timeout 每轮测试，JMH 会进行 GC 然后暂停一段时间，默认是 10 分钟。Threads 使用多少个线程来运行，一个线程会同步阻塞执行。Benchmark mode 输出的运行模式，常用的有下面几个。Throughput 吞吐量，即每单位运行多少次操作。AverageTime 调用的平均时间，每次调用耗费多少时间。SingleShotTime 运行一次的时间，如果把预热关闭可以测试代码冷启动时间Benchmark 测试的目标类 　　实际上还有很多配置，可以通过 -h 参数查看 　　java -jar target/benchmarks.jar -h 　　由于默认的配置停顿的时间太长，我们通过注解修改配置，并增加了 Java 中最基本的字符串操作性能对比。 　　在控制台可以看到输出的测试报告，我们直接看最后一部分即可。 　　Score 这列的意思是每毫秒完成了多少次操作，可见 StringBuilder 确实比普通的 String 构造器性能高很多。 　　更多有趣的测试 　　实际上平时 Java 开发中一些细节对性能有明显的影响，虽然对系统整体来说影响比较小，但是注意这些细节可以低成本的避免性能问题堆积。 　　其中一个非常有意思细节是自动包装类型的使用，即使是一个简单的 for 循环，如果不小心讲 int 使用成 Integer 也会造成性能浪费。 　　我们来编写一个简单的基准测试 　　运行测试后，得到下面的测试结果 　　基本类型的性能高出了一个数量级。当然你可能会说基本类型这种性能问题比较微小，但是性能往往就是这种从细微处提高的。另外编写 JMH 测试也会让团队看待性能问题更为直观。 　　一份直观的 Java 基础性能报告 　　下面是我写的常见场景的性能测试，例如 StringBuilder 比 new String() 速度快几个数量级。

　　代码仓库和持续更新的基准测试可以看下面的仓库。https://github.com/linksgo2011/jmh-reports 　　Apache Benchmark 测试 　　我想用命令行快速简单的压测一下网站该怎么办呢？ 　　Apache Benchmark (简称 ab，不同于产品领域的 A/B 测试) 是 Apache web 服务器自带的性能测试工具，在 windows 或者 linux 上安装了 Apache 服务器就可以在其安装位置的 bin 目录中找到 ab 这个程序。 　　ab 使用起来非常简单，一般只需要 -n 参数指明发出请求的总数，以及 -c 参数指明测试期间的并发数。 　　例如对 ThoughtWorks 官网首页发出 100 个请求，模拟并发数为 10： 　　ab -n 100 -c 10 https://thoughtworks.com/ 　　需要注意的是 ab 工具接收一个 url 作为参数，仅仅是一个域名是不合法的，需要增加 / 表示首页。稍等片刻后就可以看到测试报告: 　　从这个报告中可以看到服务器的一些基本信息，以及请求的统计信息。比较重要的指标是 Requests per second 每秒钟完成的请求数量，不严格的说也就是我们的平时说的 QPS。 　　ab 测试是专为 http 请求设计的，因此 ab 的其他参数和 curl 的参数比较类似，也可以指定 http method 以及 cookies 等参数。 　　K6 测试套件 　　我需要编写复杂的测试脚本，并保留压测的脚本、参数、数据，以及版本化该怎么做呢？ 　　k6 是一个压力测试套件，使用 golang 编写。主要特性有：提供了友好的 CLI 工具使用 JavaScript 代码编写测试用例可以根据性能条件设置阈值，表明成功还是失败 　　k6 没有使用 nodejs 而是 golang 程序，通过包裹了一个 JavaScript 运行时来运行 JavaScript 脚本，因此不能直接使用 npm 包以及 Nodejs 提供的一些 API。 　　同时，k6 在运行测试时，没有启动浏览器，主要用于测试页面以及 API 加载速度。k6 提供了通过网络请求（HAR）生成测试脚本的方法，实现更简便的测试脚本编写，以及 session 的维护。 　　使用 　　在 Mac 上比较简单，直接使用 HomeBrew 即可安装： 　　brew install k6 　　其他平台官网也提供了相应的安装方式，比较特别的是提供了 Docker 的方式运行。 　　直接使用 k6 的命令运行测试，官网提供了一个例子： 　　k6 run http://github.com/loadimpact/k6/samples/http_get.js 　　也可以编写自己的测试脚本: 　　保存文件 script.js 后运行 k6 命令 　　k6 run script.js 　　然后可以看到 http 请求的各项指标 　　k6 提供的性能指标相对 ab 工具多很多，也可以通过脚本自己计算性能指标。和 ab 工具中表明每秒钟处理完的请求数是 http_reqs，上面的测试默认只有一个用户的一次请求，如果通过参数增加更多请求，可以看到和 ab 工具得到的结果比较接近。 　　运行压力测试时，需要增加更多的虚拟用户（VU），vus 参数和持续时间的参数: 　　k6 run –vus 10 –duration 30s script.js 　　编写测试脚本的一些规则 　　方法是用于给每个 VU 以及每次迭代重复运行的，因此需要把真正的测试代码放到这个方法中，例如访问某个页面。 　　为了保证测试的准确性，一些初始化的代码不应该放到 方法中。尤其是文件的读取等依赖环境上下文的操作不能放到 方法中执行，这样做也会丢失 k6 分布式运行的能力。 　　前面提到的命令行参数，例如指定虚拟用户数量 ，这些参数也可以放到脚本代码中。通过暴露一个 options 对象即可。 　　在测试过程中需要检查网络请求是否成功，返回的状态码是否正确，以及响应时间是否符合某个阈值。在脚本中可以通过调用 check() 方法编写检查语句，以便 k6 能收集到报告。 　　报告输出 　　k6 默认将报告输出到 stdout 控制台，同时也提供了多种格式报告输出，包括：JSONCSVInfluxDBApache KafkaStatsDDatadogLoad Impact cloud platform 　　当然，我们在编写测试的时候不可能只有一个用例，对多个场景可以在脚本中通过 进行分组，分组后输出的报告会按照分组排列。同时，也可以使用对一个组整体性能衡量的指标 。 　　InfluxDB 等外部数据收集平台时，还可以打上标签，供过滤和检索使用。k6 提供了一些内置的标签，并允许用户自定义标签。 　　总结 　　实际上用于性能测试的工具还有很多，也有一些专门的工具针对网络质量（iperf） 、数据库（sysbench）、前端页面（PageSpeed）等专门方面进行性能测试。 　　写本文的初衷是想说评价性能，以及做性能优化的第一步应该是寻找到合适工具做一次基准测试，这样的优化往往才有意义。我在使用 JMH 后不仅在工作中使用它对一些代码片段进行测试以及优化，同时更重要的是，在codereview 中对某些操作关于性能的讨论不再基于经验，而是事实。 　　文/ThoughtWorks少个分号