Linux 性能优化基础

文章目录

常见指标分类（USE法）

资源类型性能指标CPU使用率CPU使用率CPU饱和度运行队列长度或平均负载CPU错误数硬件cpu错误数内存使用率已用内存百分比或SWAP用量百分比内存饱和度内存换页量内存错误数内存分配失败或OOM存储设备I/O使用率设备I/O事件百分比存储设备I/O饱和度等待队列产犊或延迟存储设备I/O错误数I/O错误数文件系统使用率已用容量百分比文件系统饱和度已用容量百分比文件系统错误数文件读写错误数网络使用率带宽使用率网络饱和度重传报文数网络错误数网卡收发错误数、丢包数文件描述符使用率已用文件描述符数百分比连接跟踪使用率已用连接跟踪数百分比连接数饱和度TIMEWAIT状态连接数

常见性能工具

CPU性能工具

性能指标性能工具说明平均负载uptime、top、/proc/loadavguptime最简单；top提供更全的指标；/proc/loadavg常用于监控系统系统CPU使用率

vmstat

,

mpstat

,

top

,

sar

,

/proc/stat

top、vmstat、mpstat只可以动态查看，而sar还可以记录历史数据；/proc/stat是其他性能工具的数据来源，也常用于监控进程CPU使用率

top

,

ps

,

pidstat

,

htop

,

atop

top和ps可以按CPU使用率给进程排序，而pidstat只显示实际用了CPU的进程；htop和atop以不同颜色显示更直观系统上下文切换

vmstat

除了上下文切换次数，还提供运行状态和不可中断状态的进程数进程上下文切换

pidstat

注意加上-w参数软中断

top

,

mpstat

,

/proc/softirqs

top提供软中断cpu使用率，而/proc/softirqs和mpstat提供了各种软中断在每个CPU上的运行次数硬中断

vmstat

,

/proc/interrupts

vmstat提供总的中断次数，而/proc/interrupts提供各种中断在每个CPU上运行的累计次数网络

dstat

,

sar

,

tcpdump

dstat、sar提供总的网络接受和发送情况，而tcpdump则是动态抓取正在进行的网络通讯I/O

dstat

,

sar

dstat和sar都提佛那个了I/O的整体情况CPU缓存

perf

使用perf stat子命令CPU数

lscpu

,

/proc/cpuinfo

lscpu更直观事件剖析

perf

, 火焰图,

execsnoop

perf和火焰图用来分析热点函数以及调用栈，execsnoop用来监测短时进程动态追踪

ftrace

,

bcc

,

systemtap

ftrace用于跟踪内核函数调用栈，而bcc和systemtap则用于跟踪内核或应用程序的执行过程（注意bcc要求内核>=4.1）

内存性能工具

性能指标性能工具说明系统已用、可用、剩余内存

free

,

vmstat

,

sar

,

/proc/meminfo

free最为简单，而vmstat、sar更为全面；/proc/meminfo是其他工具的数据来源，也常用于监控系统中进程虚拟内存、常驻内存、共享内存

ps

,

top

,

pidstat

,

/proc/pid/stat

,

/proc/pid/status

ps和top最简单，而pidstat则需要加上-r选项；/proc/pid/stat和/proc/pid/status是其他工具的数据来源，也常用于监控系统中进程内存分布

pmap

,

/proc/pid/maps

/proc/pid/maps是pmap的数据来源进程SWAP换出内存

top

,

/proc/pid/status

/proc/pid/status是top的数据来源进程缺页异常

ps

,

top

,

pidstat

注意给pidstat加上-r选项系统换页情况

sar

注意加上-B选项缓存/缓冲区用量

free

,

vmstat

,

sar

,

cachestat

vmstat最常用，而cachestat需要安装bcc缓存/缓冲区命中率

cachetop

需要安装bccSWAP已用空间和剩余空间

free

,

sar

free最为简单，而sar还可以记录历史SWAP换入换出

vmstat

,

sar

vmstat最为简单，而sar还可以记录历史内存泄漏检测

memleak

,

valgrind

memleak需要安装bcc，valgrind还可以在旧版本（3.x）内核中使用指定文件的缓存大小

pcstat

需要从源码下载安装

文件系统和磁盘I/O性能工具

性能指标性能工具说明文件系统空间容量、使用量以及剩余空间

df

详细文档可以执行info coreutils 'df invocation’命令查看索引节点容量、使用量以及剩余量

df

注意加上-i选项页缓存和可回收Slab缓存

/proc/meminfo

,

sar

,

vmstat

注意sar需要加上-r选项，而/proc/meminfo是其他工具的数据来源，也常用于监控系统缓冲区

/proc/meminfo

,

sar

,

vmstat

注意sar需要加上-r选项，而/proc/meminfo是其他工具的数据来源，也常用于监控系统目录项、索引节点以及文件系统的缓存

/proc/slabinfo

,

slabtop

slabtop更直观，而/proc/slabinfo常用于监控磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度

iostat

,

sar

,

dstat

,

/proc/diskstats

iostat最为常用，注意使用iostat -d -x或sar -d选项；/proc/diskstats则是其他工具的数据来源，也常用于监控进程I/O大小以及I/O延迟

pidstat

,

iotop

注意使用pidstat -d选项块设备I/O事件跟踪

blktrace

需要跟blkparse配合使用，比如blktrace -d /dev/sda -o- | blkparse -|-进程I/O系统调用跟踪

strace

,

perf trace

strace只可以跟踪单个进程，而perf trace还可以跟踪所用进程的系统调用进程块设备I/O大小跟踪

biosnoop

,

biotop

需要安装bcc动态追踪

ftrace

,

bcc

,

systemtap

ftrace用于跟踪内核函数调用栈，而bcc和systemtap则用于跟踪内核或应用程序的执行过程（注意bcc要求内核版本>= 4.1）

网络性能工具

性能指标性能工具说明吞吐量（BPS）

sar

,

nethogs

,

iftop

,

/proc/net/dev

分别可以查看网络接口、进程以及IP地址的网络吞吐量；/proc/net/dev常用于监控吞吐量（PPS）

sar

,

/proc/net/dev

注意使用sar -n DEV选项网络连接数

netstat

,

ss

ss速度更快网络错误数

netstat

,

sar

注意使用netstat -s或者sar -n EDEV/EIP选项网络延迟

ping

,

hping3

ping基于ICMP，而hping3基于TCP协议连接跟踪数

conntrack

,

/proc/sys/net/netfilter/nf_conntrack_count

,

/proc/sys/net/netfilter/nf_conntrack_mac

conntrack可用来查看所用连接跟踪的相关信息，nf_conntrack_count只是连接跟踪的数量，而nf_conntrack_mac则限制了总的连接跟踪数量路由

mtr

,

traceroute

,

route

route用于查询路由表，而mtr和traceroute则用来排查和定位网络链路中的路由问题DNS

dig

,

nslookup

用于排查DNS解析的问题防火墙和NAT

iptables

用于排查防火墙及NAT的问题网卡选项

ethtool

用于查看和配置网络接口的功能选项网络抓包

tcpdump

,

wireshark

通常在服务器中使用tcpdump抓包后再复制出来用wireshark的图形界面分析动态追踪

ftrace

,

bcc

,

systemtap

ftrace用于跟踪内核函数调用栈，而bcc和systemtap则用于跟踪内核或应用程序的执行过程（注意bcc要求内核版本>= 4.1）

根据指标找工具

CPU性能

性能指标性能工具说明平均负载uptime、topuptime最简单、top提供了更全的指标系统整体CPU使用率vmstat、mpstat、top、sar、/proc/stattop、vmstat、mpstat只可以动态查看，而sar还可以记录历史数据；/proc/stat是其他性能工具的数据来源，也常用于监控进程CPU使用率top、pidstat、ps、htop、atoptop和ps可以按CPU使用率给进程排序，而pidstat只显示实际用了CPU的进程；htop和atop以不同颜色显示更直观系统上下文切换vmstat除了上下文切换次数，还提供运行状态和不可中断状态的进程数进程上下文切换pidstat注意加上-w参数软中断top、/proc/softirq、mpstattop提供软中断cpu使用率，而/proc/softirqs和mpstat提供了各种软中断在每个CPU上的运行次数硬中断vmstat、/proc/interruptsvmstat提供总的中断次数，而/proc/interrupts提供各种中断在每个CPU上运行的累计次数网络dstat、sar、tcpdumpdstat、sar提供总的网络接受和发送情况，而tcpdump则是动态抓取正在进行的网络通讯I/Odstat、sardstat和sar都提佛那个了I/O的整体情况CPU个数/proc/cpuinfo、lscpulscpu更直观事件剖析perf、execsnoopper可以用来分析CPU的换粗以及内核调用栈，execsnoop用来监测短时进程

内存性能

性能指标性能工具系统已用、可用、剩余内存free、vmstat、sar、/proc/meminfo进程虚拟内存、常驻内存、共享内存ps、top进程内存分布pmap进程Swap换出内存top、/proc/pid/status进程缺页异常ps、top系统换页情况sar缓存/缓冲区用量free、vmstat、sar、cachestat缓存/缓冲区命中率cachetopSWAP已用空间和剩余空间free、sarSwap换入换出vmstat内存泄漏检测memleak、valgrind指定文件的缓存大小pcstat

文件系统和磁盘I/O

性能指标性能工具说明文件系统空间容量、使用量以及剩余空间df详细文档见info coreutils ‘df invocation’索引节点容量、使用量以及剩余量df使用-i选项页缓存和可回收slab缓存/proc/meminfo、sar、vmstat使用sar -r选项缓冲区/proc/meminfo、sar、vmstat使用sar -r选项目录项、索引节点以及文件系统的缓存/proc/slabinfo、slabtopslabtop更直观磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度iostat、sar、dstat使用iostat -d -x或sar -d选项进程I/O大小以及I/O延迟pidstat、iotop使用pidstat -d选项块设备I/O系统调用跟踪blktraceblktrace -d /dev/sda -o-|blkparse -i-进程I/O系统调用跟踪strace通过系统调用跟踪进程I/O进程块设备I/O大小跟踪biosnoop、biotop需要安装bcc软件包

网络性能

性能指标性能工具说明吞吐量（BPS）sar、nethogs、iftop分别可以查看网络接口、进程以及IP地址的网络吞吐量PPSsar、/proc/net/dev查看网络接口的PPS连接数netstat、ss查看网络连接数延迟ping、hping3通过ICMP、TCP等测试网络延迟连接跟踪数conntrack查看和管理连接跟踪情况路由mtr、route、traceroute查看路由并测试链路信息DNSdig、nslookup排查DNS解析问题防火墙和NATiptables配置和管理防火墙及NAT规则网卡功能ethtool查看和配置网络接口的功能抓包tcpdump、wireshark抓包分析网络流量内核协议栈跟踪bcc、systemtap动态跟踪内核协议栈的行为

根据工具找指标

CPU性能

性能工具CPU性能指标uptime平均负载top平均负载、运行队列、整体的CPU使用率以及每个进程的状态和CPU使用率htoptop增强版，以不同颜色区分不同类型的进程atopCPU、内存、磁盘和网络等各种资源的全面监控vmstat系统整体的CPU使用率、上下文切换次数、中断次数，还包括处于运行和不可中断状态的进程数量mpstat每个CPU的使用率和软中断次数pidstat进程和线程的CPU使用率、中断上下文切换次数/proc/softirq软中断类型和在每个CPU上的累积中断次数/proc/interrupts软中断类型和在每个CPU上的累积中断次数ps每个进程的状态和CPU使用率pstree进程的父子关系dstat系统整体的CPU使用率sar系统整体的CPU使用率，包括可配置的历史数据strace进程的系统调用perfCPU性能事件剖析，如调用链分析、CPU缓存、CPU调度等execsnoop监控短时进程

内存性能

性能工具内存指标free、/proc/meminfo系统已用、可用、剩余内存以及缓存和缓冲区的使用量top、ps进程虚拟、常驻、共享内存以及缺页异常vmstat系统剩余内存、缓存、缓冲区、换入、换出sar系统内存换页情况、内存使用率、缓存和缓冲区用量以及Swap使用情况cachestat系统缓存和缓冲区的命中率cachetop进程缓存和缓冲区的命中率slabtop系统slab缓存使用情况/proc/pid/status进程swap内存等/proc/pid/smaps、pmap进程地址空间和内存状态valgrind进程内存错误检查器，用来检测内存初始化、泄漏、越界访问等各种内存错误memleak内存泄漏检测pcstat查看指定文件的缓存情况

文件系统和磁盘I/O

性能工具性能指标性能工具性能指标iostat磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度blktrace跟踪块设备I/O事件pidstat进程I/O大小以及I/O延迟biosnoop跟踪进程的块设备I/O大小sar磁盘I/O使用率、IOPS、吞吐量以及响应时间biotop跟踪进程块I/O并按照I/O大小排序dstat磁盘I/O使用率、IOPS以及吞吐量strace跟踪进程的I/O系统调用iotop按I/O大小对进程排序perf跟踪内核中的I/O事件slabtop目录项、索引节点以及文件系统的缓存df磁盘空间和索引节点使用量和剩余量/proc/slabinfo目录项、索引节点以及文件系统的缓存mount文件系统的挂在路径以及挂载参数/proc/meminfo页缓存和可回收的slab缓存du目录占用的磁盘空间大小/proc/diskstats磁盘的IOPS、吞吐量以及延迟tune2fs显示和设置文件系统参数/proc/pid/io进程IOPS、I/O大小以及I/O延迟hdparam显示和设置磁盘参数vmstat缓存和缓冲区用量汇总

网络性能

性能工具主要功能ifconfig、ip配置和查看网络接口ss查看网络连接数sar、/proc/net/dev/sys/class/net/eth0/statistics/查看网络接口的网络收发情况nethogs查看进程的网络收发情况iftop查看IP的网络收发情况ethtool查看和配置网络接口conntrack查看和管理连接跟踪情况nslookup、dig排查DNS解析问题mtr、route、traceroute查看路由并测试链路信息ping、hping3测试网络延迟tcpdump网络抓包工具wireshark网络抓包和图形界面分析工具iptables配置和管理防火墙及NAT规则perf剖析内核协议栈的性能systemtap、bcc动态追踪内核协议栈的行为

CPU性能分析一般步骤

内存性能分析一般步骤

I/O性能分析一般步骤

网络性能分析一般步骤

参考

Phoronix Test Suite
OpenBenchmarking.org
Linux 性能优化实战
性能之巅