Linuxcpu测试工具_Linuxcpu测试工具

linux系统分析之工具大全(观测，性能分析等)
　　修订记录

　　2023/03/23 增加并细化pidstat指令2023/06/13 细化blktrace(实在是分析io的利器)2023/06/14 新增"分析问题前60秒你使用的分析手段"小节

　　前言

　　工欲善其事必先利其器，要想分析清楚linux服务器中的各类问题，比如性能问题，服务程序的bug，那么必须对该系统下的分析工具有一定的了解，本文对当前的主流cpu，内存，网络，io以及各种debug分析工具(blktrace，perf，systemtap)做了个简单总结。

　　注:学无止境，故需持续更新

　　性能分析工具

　　linux性能分析工具

　　总观

　　分析问题前60秒做的事情

　　分析问题，首先需要对全局有个大致了解，文章分析问题的前60秒应该做的事情 就展示了我们最开始该使用的一些分析手段，总结一下，就是以下几步:

　　top

　　最常规的大盘工具了，展示进程以及系统全局的cpu，内存等信息

　　atop

　　atop除了有非常全的大盘信息(cpu，内存，磁盘，网络)，还能实时展示进程cpu，磁盘io信息，同时会实时监视频率期间，退出进程的退出原因(是正常退出，还是收到信号，如果是前者，其返回值是多少，如果是后者，又收到了什么信号呢？)

　　它以一定的频率记录系统的运行状态，所采集的数据包含系统资源(CPU、内存、磁盘和网络)使用情况和进程运行情况，并能以日志文件的方式保存在磁盘中，服务器出现问题后，我们可相应的atop日志文件进行分析。

　　http://bean-li.github.io/atop-exit-code/

　　https://www.cnblogs.com/xybaby/p/8098229.html

　　dstat

　　dstat默认输出的是相关资源的总和，通过设置相关参数，可以只看某个cpu，某个网卡或者某个磁盘的数据

　　sar

　　sar（System Activity Reporter 系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘 I/O、CPU 效率、内存使用状况、进程活动及 IPC 有关的活动等。

　　要判断系统瓶颈问题，有时需几个 sar 命令选项结合起来；怀疑CPU存在瓶颈

　　可用 sar -u 和 sar -q 等来查看怀疑内存存在瓶颈

　　可用sar -B、sar -r 和 sar -W 等来查看怀疑I/O存在瓶颈

　　可用 sar -b、sar -u 和 sar -d 等来查看

　　缺点

　　看到的是整个系统的情况，比如像进程的缺页中断等情况可以通过pidstat查看

　　sar 找出系统瓶颈的利器

　　sar —— Linux 上最为全面的系统性能分析工具之一

　　vmstat

　　vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写，可实时动态监视操作系统的虚拟内存、进程、CPU活动

　　vmstat输出字段说明：Procs（进程）:

　　Memory（内存）:

　　Swap:

　　IO：（现在的Linux版本块的大小为1024bytes）

　　system：

　　CPU（以百分比表示）

　　pidstat

　　pidstat – 进程(或子进程) 堆栈，磁盘，内存, cpu，上下文切换等

　　pidstat主要用于监控全部或指定进程占用系统资源的情况(甚至可以查看子进程),可监控如下状态:CPU(-u,通过-t还可以看到子进程的情况)，内存(-r)(包括内存使用以及缺页情况)(重点是其能看到单个进程的情况)、磁盘IO(-d)、上下文切换切换进程堆栈使用

　　pidstat首次运行时显示自系统启动开始的各项统计信息，之后运行pidstat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息

　　进程(或子进程)内存情况

　　除了可以展示常规的内存，还可以展示内存缺页中断情况

　　进程(或子进程)磁盘情况

　　进程(或子进程)堆栈使用情况

　　进程(或子进程)cpu使用情况

　　进程(或子进程)上下文切换使用情况

　　man pidstat

　　调用层

　　ltrace

　　用来跟踪进程调用库函数的情况

　　strace

　　strace常用来跟踪进程执行时的系统调用和所接收的信号。strace可以跟踪到一个进程产生的系统调用,包括参数，返回值，执行消耗的时间。

　　像ceph这种多进程程序，一般要加-f，表示除了监视主进程，也会监视其子进程

　　cpu相关

　　mpstat

　　mpstat是Multiprocessor Statistics的缩写，是实时系统监控工具。其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中。在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。mpstat最大的特点是：可以查看多核心cpu中每个计算核心的统计数据；而类似工具vmstat只能查看系统整体cpu情况。

　　perf

　　很重要的一点是还能输出进程占用耗时的调用栈

　　运行一会ctrl+C中断，会产生 perf.data文件，然后可以按如下查看：

　　使用perf 分析ceph CPU usage High

　　tiptop

　　资料比较少，看man文档

　　内存相关

　　free

　　slabtop

　　pmap

　　通过该命令，可以看到一个进程的内存分布情况。最后一行的mapped 该进程映射到文件的内存量。writable/private 该进程使用的私有地址空间。shared 该进程和其它进程共享的地址空间量。

　　io相关

　　iotop

　　统计每个进程的io信息

　　iostat

　　blktrace

　　分析io耗时

　　使用步骤一般如下:使用blktrace来收集硬盘io数据；使用blkparse来分析收集到的数据(此时信息太多，不利于查看)使用bbt汇总blkparse的分析结果，结果如下图，形象

　　一些有意思的使用某个阶段(比如d2c)延时图

　　得到数据后，通过excel工具就可以画图了

　　每秒iops和bps变化图

　　注意，这一步之后，我们会得到如下文件：

　　注意，如果我们blktrace －d sdb，只sdb的时候，我们可以通过sys_iops_fp.dat和sys_mbps_fp.dat对应的IOPS和MBPS信息：

　　通过excel等工具画图

　　io size分布

　　这个步骤之后会生成三个文件：

　　其中r表示读操作的offset和size信息，w表示写操作的offset和size信息，c表示读＋写。

　　其输出格式如下：

　　第一个字段是时间，第二个字段是开始扇区即offset，第三个字段为结束扇区。根据第二个字段和第三个字段算出来size。单位为扇区。然后通过excel等工具可以画图

　　绘制io轨迹图

　　上一小节里，可以拿到不同时间里，访问磁盘的位置以及访问扇区的个数，如果不考虑访问扇区的个数，我们可以得到一张访问轨迹2D图：一个io耗时和大小统计的脚本

　　统计了IO的读/写数量、最大延迟、延迟的分布情况、块大小及数量，来源: 剖析生产系统的I/O模式

　　输出示例

　　其他

　　当然，除了上面这些，还可以做很多其他的事情，具体参见bbt的help

　　上述使用主要参考来自blktrace分析IO 以及 Beyond iostat: Storage performance analysis with blktrace ，感谢

　　使用blktrace排查iowait cpu高的问题 : 通过blktrace可知道是哪个磁盘哪些扇区在频繁io，通过文件系统block块大小可由扇区推出来其在文件系统中的block号，进而通过debugfs可找到该block对应的inode号，进而可以通过inode号用debugfs获得文件名字，有了文件名字通过lsof就知道是哪个程序在频繁调用它了

　　perf分析io

　　Linux 4.6 内核的块设备层的预定义了 19 个通用块层的 tracepoints。这些 tracepoints，可以通过如下 perf 命令来列出来，

　　我们可以利用 block:block_rq_insert 来跟踪 fio 测试时，该进程写往块设备 /dev/sampleblk1 IO 请求的起始扇区地址和扇区数量，

　　因为我们指定了记录调用栈的信息，所以，perf script 可以 fio 从用户态到内核 block:block_rq_insert tracepoint 的完整调用栈的信息。 并且，给出了主次设备号，相关操作，及起始扇区和扇区数，

　　使用简单的处理，我们即可发现这个测试在通用块层的 IO Pattern,

　　Linux Block Driver – 4

　　线程io size分布以及数量

　　stap脚本如下：

　　对ceph存储机器运行脚本，结果显示如下：

　　性能优化大师Gregg的脚本

　　Linux Block Driver – 4

　　使用systemtap调查异常io的来源

　　iosnoop/Heatmap

　　iosnoop 不但可以了解块设备上的 IO 请求大小，更有从 IO 请求发起到完成的延迟时间的信息。

　　iosnoop脚本

　　http://oliveryang.net/2016/08/linux-block-driver-basic-4/

　　http://www.brendangregg.com/blog/2014-07-16/iosnoop-for-linux.html

　　iosnoop 在短时间内会产生大量的输出，每个 IO 请求的 IO 延迟时间都可能有很大差异，如何能对 fio 测试的延迟有没有更好的数据呈现方式呢？ Heatmap 就是一个这样的工具(脚本见：https://github.com/brendangregg/HeatMap)，结合iosnoop后的具体使用如下：

　　参考：

　　Linux Block Driver – 4

　　网络相关

　　iftop

　　

　　类似于iotop查看每个进程的io信息，iftop可以查看ge ge每个网络连通的主机的网络流量信息

　　缺点

　　与iptraf一样，只能跟踪单个网卡信息,如果不加-i选项，默认用的是第一个网卡

　　从零开始学习iftop流量监控（找出服务器耗费流量最多的ip和端口）

　　nethogs

　　类似于top和iotop，可以按进程实时统计网络带宽利用率

　　ifstat

　　可以观察各个网卡流量的输入以及输出情况

　　netstat / ss

　　ss是socket层专用的，而netstat横跨网络各层

　　ss(Socket Statistics的缩写)命令可以用来 socket统计信息，此命令输出的结果类似于 netstat输出的内容，但它能显示更多更详细的 TCP连接状态的信息，且比 netstat 更快速高效。它使用了 TCP协议栈中 tcp_diag（是一个用于分析统计的模块），能直接从获得第一手内核信息，这就使得 ss命令快捷高效。在没有 tcp_diag，ss也可以正常运行。

　　当服务器的socket连接数量变得非常大时，无论是使用netstat命令还是直接cat /proc/net/tcp，执行速度都会很慢。可能你不会有切身的感受，但请相信我，当服务器维持的连接达到上万个的时候，使用netstat等于浪费 生命，而用ss才是节省时间。

　　tcpdump + wireshark

　　ip

　　Linux下IP命令使用

　　ifconfig的替代品，

　　功能包括显示不同网络接口的统计数据, 比如接收发送包数量以及丢包，或包错误信息

　　ip地址的查看，添加，删除；网络接口设置

　　1）激活和停止网络端口

　　可以使用ip命令的up和down选项来激某个特定的接口

　　2）修改设置传输队列的长度

　　3）修改网络设置MTU（最大传输单元）的值

　　4）修改网卡的MAC地址

　　路由查看，添加，修改，删除，路由策略设置

　　以下是查看百度网址的路由：

　　查看ARP信息

　　地址解析协议（ARP）用于将一个IP地址转换成它对应的物理地址，也就是通常所说的MAC地址。使用ip命令的neigh或者neighbour选项，你可以查看接入你所在的局域网的设备的MAC地址。

　　ping

　　查看网络时延以及丢包情况

　　iperf

　　iperf服务器间的网络带宽能力以及带宽是否稳定

　　tc

　　tc是网络模拟工具，可以模拟网络延迟，网络丢包，网络包重复，包乱序，包损坏等

　　Linux流量控制工具TC

　　iptables

　　防火墙相关命令

　　处理目标文件的工具

　　来源于“深入理解计算机系统P473”

　　ldd

　　查看程式运行所需的共享库,常用来解决程式因缺少某个库文件而不能运行的一些问题。

　　nm

　　列出一个目标文件的符号表种定义的符号

　　size

　　列出目标文件种节的名字和大小

　　readleaf

　　显示一个目标文件的完整结构，包括elf头中编码的所有信息。包含上面nm以及size命令的功能。

　　objdump

　　所有二进制工具之母，能够显示一个目标文件中的所有信息，它最大的作用试反汇编.text节中的二进制程序

　　硬件相关

　　lscpu/lspci/lsscis

　　内核分析

　　sysrq

　　Linux内核调试方法总结之sysrq

　　linux下的SysRq键

　　ftrace

　　cephfs内核客户端性能追踪

　　https://www.ibm.com/developerworks/cn/linux/l-cn-ftrace1/index.html

　　使用 ftrace 来跟踪系统问题 – ftrace 介绍

　　使用 ftrace 来跟踪系统问题 – 隐藏的电灯开关

　　https://zhuanlan.zhihu.com/p/33267453

　　systemtap

　　perf

　　debugfs

　　使用blktrace排查iowait cpu高的问题 :

　　通过blktrace可知道是哪个磁盘哪些扇区在频繁io(也可以通过perf)，通过文件系统block块大小可由扇区推出来其在文件系统中的block号，进而通过debugfs可找到该block对应的inode号，进而可以通过inode号用debugfs获得文件名字，有了文件名字通过lsof就知道是哪个程序在频繁调用它了通过文件系统上的block号查找inode

　　通过inode查找文件

　　查看文件的磁盘layout

　　A Minimum Complete Tutorial of Linux ext4 File System

　　man debugfs

　　nb工具ebpf

　　Libbpf-tools —— 让 Tracing 工具身轻如燕

　　其他

　　lsof

　　lsof（list open files）是一个查看当前系统文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，该文件描述符提供了大量关于这个应用程序本身的信息。

　　lsof 一切皆文件

　　pstack

　　展示进程调用栈

　　swapon/swapoff

　　swap分区开启于关闭

　　参考

　　Linux性能调优指南

　　linux性能调优指南

　　linux工具参考