大家好，上一期给大家介绍了如何使用lttng以及log可以更好地分析ceph的运作模式，今天再给大家介绍一下如何使用性能分析工具观察cpu性能指标~
平均负载
前言：为了更好配置分布式储存集群的运行参数，使用性能分析工具观察业务环境是一种必要的手段。
top或者uptime
02:34:03//当前时间
up 2 days,20:14//系统运行时间
1 user //正在登录用户数
load average:0.63,0.83,0.88
依次则是过去1分钟、5分钟、15分钟的平均负载（LoadAverage）平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和CPU使用率并没有直接关系，所以，它不仅包括了正在使用CPU的进程，还包括等待CPU和等待I/O的进程。
可运行状态
可运行状态的进程，是指正在使用CPU或者正在等待CPU的进程，也就是我们常用ps命令看到的，处于R状态（Running或Runnable）的进程。
可中断的睡眠状态的进程会睡眠直到某个条件变为真，如产生一个硬件中断、释放进程正在等待的系统资源或是传递一个信号都可以是唤醒进程的条件。
不可中断状态
不可中断状态的进程则是正处于内核态关键流程中的进程，并且这些流程是不可打断的。
那就是把信号传递到这种睡眠状态的进程不能改变它的状态，也就是说它不响应信号的唤醒。
比如，当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。所以，不可中断状态实际上是系统对进程和硬件设备的一种保护机制。
既然平均的是活跃进程数，那么最理想的，就是每个CPU上都刚好运行着一个进程，这样每个 CPU 都得到了充分利用。
比如当平均负载为2时，意味着什么呢？
- 在只有2个CPU的系统上，意味着所有的CPU都刚好被完全占用。
- 在4个CPU的系统上，意味着CPU有50%的空闲。
- 而在只有1个CPU的系统中，则意味着有一半的进程竞争不到CPU。====》 （平均负载比cpu个数大，过载）
所以，平均负载最理想的情况是等于CPU个数。
grep 'model name'/proc/cpuinfo | wc -l //可查看cpu数目
12//12核如何观察数值
//假设单核情况
root@xxxx:~# uptime
09:28:31 up 1 day, 10:31, 2 users, load average: 1.96, 1.29, 1.59假设是单核情况下，1分钟下来有96%超载，5分钟下来有29%超载，15分钟下来有59%超载。
- 当三者相差不大，说明系统的平均负载稳定。
- 当前1分钟比后两者小的时候，说明系统趋于降低。
- 如果1分钟的值远大于15分钟的值，就说明最近1分钟的负载在增加。
经验值之谈，一旦平均负载达到CPU数量的前后75%左右，需要排查负载高的问题。
平均负载与 CPU 使用率区别
CPU使用率，是单位时间内CPU繁忙情况的统计，跟平均负载并不一定完全对应；
CPU使用率：单位时间内cpu繁忙情况的统计。
- 情况1：CPU密集型进程，CPU使用率和平均负载基本一致。
- 情况2：IO密集型进程，平均负载升高，CPU使用率不一定升高。
- 情况3：大量等待CPU的进程调度，平均负载升高，CPU使用率也升高。
场景模拟
借用iostat mpstat pidstat可以分析出平均负载升高的原因。
模拟一下使用场景：
root@xxxx:~# apt install sysstat //常用的 Linux 性能工具，用来监控和分析系统的性能,包含两个命令 mpstat 和 pidsta
root@xxxx:~# apt install stress //一个 Linux 系统压力测试工具前提环境：
机器配置：4 CPU，8GB 内存。
root@xxxx:~# uptime
11:36:37 up 13 days,29 min,3 users, load average:0.06,0.06,0.01- CPU 的用户层（%usr）使用率；
- CPU 的系统层（%sys）使用率；
- CPU 的 I/0 – 等待（%iowait）；
- CPU 的空闲率（%idle);
首先，我们在第一个终端运行stress命令，模拟一个CPU使用率100%的CPU密集型进程场景：
//一终端执行
root@xxxx:~# stress --cpu 4 --timeout 555
stress: info: [4563] dispatching hogs: 4 cpu, 0 io, 0 vm, 0 hdd
//另一终端
root@xxxx:~# watch -d uptime
Every 2.0s: uptime xxxx: Tue Dec 22 11:43:36 2020
11:43:36 up 13 days, 36 min, 3 users, load average: 4.13, 1.28, 0.46
// 另一终端2
//-P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据
root@xxxx:~# mpstat -P ALL 5
11:45:26 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
11:45:31 AM all 99.65 0.00 0.25 0.00 0.00 0.10 0.00 0.00 0.00 0.00
11:45:31 AM 0 99.40 0.00 0.40 0.00 0.00 0.20 0.00 0.00 0.00 0.00
11:45:31 AM 1 99.60 0.00 0.40 0.00 0.00 0.00 0.00 0.00 0.00 0.00
11:45:31 AM 2 99.80 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00
11:45:31 AM 3 99.80 0.00 0.00 0.00 0.00 0.20 0.00 0.00 0.00 0.00
//从这里可以明显看到，stress 进程的 CPU 使用率接近 100%。
root@xxxx:~# pidstat -u 5 1
Linux 4.15.0-66-generic (xxxx) 12/22/2020 _x86_64_ (4 CPU)
11:48:58 AM UID PID %usr %system %guest %wait %CPU CPU Command
11:49:03 AM 0 2049 0.00 0.20 0.00 0.00 0.20 2 kworker/2:0
11:49:03 AM 64045 3358 0.60 0.20 0.00 0.00 0.80 3 ceph-mon
11:49:03 AM 0 4564 98.41 0.20 0.00 1.39 98.61 0 stress
11:49:03 AM 0 4565 98.81 0.00 0.00 0.99 98.81 1 stress
11:49:03 AM 0 4566 98.21 0.00 0.00 1.39 98.21 0 stress
11:49:03 AM 0 4567 99.20 0.00 0.00 0.60 99.20 2 stress
11:49:03 AM 0 5131 0.20 0.20 0.00 0.40 0.40 0 watch
11:49:03 AM 0 7419 0.20 0.40 0.00 0.00 0.60 3 pidstat
11:49:03 AM 0 26649 0.00 0.20 0.00 0.00 0.20 0 kworker/0:1
11:49:03 AM 0 26658 0.20 0.20 0.00 0.20 0.40 1 sshd
11:49:03 AM 64045 30555 0.60 0.00 0.00 0.00 0.60 1 ceph-osd
//可以从load average: 4.13以及mpstat 的usr看得出负载场景基本符合CPU密集型进程，pidstat可以看得出是stress导致占用率过高。
然后模拟一个I/O密集型进程：
//一终端执行
//root@xxxx:~# stress -i 1 --timeout 600 // 因为 stress 使用的sync系统调用，刷新缓冲区到磁盘。有可能因缓冲区数据量小无法看到io_wait明显变化
root@xxxx:~# stress-ng -i 1 --hdd 1 --timeout 555
stress-ng: info: [9211] dispatching hogs: 1 io, 1 hdd
//另一终端
root@xxxx:~# watch -d uptime
16:46:09 up 13 days, 5:38, 3 users, load average: 2.91, 2.56, 1.10
// 另一终端2
//-P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据
root@xxxx:~# mpstat -P ALL 5
Linux 4.15.0-66-generic (ECSab169d) 12/22/2020 _x86_64_ (4 CPU)
04:44:02 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
04:44:07 PM all 1.35 0.00 29.50 26.74 0.00 0.21 0.52 0.00 0.00 41.68
04:44:07 PM 0 2.05 0.00 30.12 26.23 0.00 0.20 0.61 0.00 0.00 40.78
04:44:07 PM 1 0.40 0.00 30.51 51.72 0.00 0.00 0.81 0.00 0.00 16.57
04:44:07 PM 2 0.84 0.00 19.29 19.08 0.00 0.00 0.42 0.00 0.00 60.38
04:44:07 PM 3 1.96 0.00 38.26 8.48 0.00 0.65 0.22 0.00 0.00 50.43
root@xxxx:~# pidstat -u 5 1
04:43:15 PM UID PID %usr %system %guest %wait %CPU CPU Command
04:43:20 PM 0 388 0.00 0.20 0.00 0.00 0.20 0 kworker/0:1H
04:43:20 PM 0 11841 0.00 2.00 0.00 0.00 2.00 1 kworker/1:2
04:43:20 PM 0 12449 0.00 5.40 0.00 0.40 5.40 1 stress-ng-io
04:43:20 PM 0 12450 2.60 60.20 0.00 0.80 62.80 0 stress-ng-hdd
04:43:20 PM 0 22527 0.20 0.20 0.00 0.00 0.40 1 sshd
04:43:20 PM 64045 30555 0.20 0.40 0.00 0.00 0.60 1 ceph-osd从这里可以看到，1分钟的平均负载会慢慢增加到2.91，其中一个CPU的系统CPU使用率升高到了30.51，而iowait高达51.72%。这说明，平均负载的升高是由于iowait的升高,pidstat定位到stress进程。
模拟一个大量进程场景：
//一终端执行
root@xxxx:~# stress -c 8 --timeout 555
17:00:26 up 13 days, 5:53, 3 users, load average: 7.90, 4.95, 3.04
//另一终端
root@xxxx:~# watch -d uptime
17:00:49 up 13 days, 5:53, 3 users, load average: 7.94, 5.20, 3.17
root@xxxx:~# pidstat -u 5 1
04:43:15 PM UID PID %usr %system %guest %wait %CPU CPU Command
04:43:20 PM 0 388 0.00 0.20 0.00 0.00 0.20 0 kworker/0:1H
04:43:20 PM 0 11841 0.00 2.00 0.00 0.00 2.00 1 kworker/1:2
04:43:20 PM 0 12449 0.00 5.40 0.00 0.40 5.40 1 stress-ng-io
04:43:20 PM 0 12450 2.60 60.20 0.00 0.80 62.80 0 stress-ng-hdd
04:43:20 PM 0 22527 0.20 0.20 0.00 0.00 0.40 1 sshd
04:43:20 PM 64045 30555 0.20 0.40 0.00 0.00 0.60 1 ceph-osd
05:01:33 PM UID PID %usr %system %guest %wait %CPU CPU Command
05:01:38 PM 64045 3358 0.40 0.20 0.00 0.00 0.60 3 ceph-mon
05:01:38 PM 0 5131 0.60 0.20 0.00 0.60 0.80 1 watch
05:01:38 PM 0 9303 0.00 0.20 0.00 0.00 0.20 2 kworker/u8:3
05:01:38 PM 0 13169 0.00 0.20 0.00 0.00 0.20 0 kworker/0:2
05:01:38 PM 0 18138 48.91 0.00 0.00 51.09 48.91 1 stress
05:01:38 PM 0 18139 49.11 0.00 0.00 50.70 49.11 2 stress
05:01:38 PM 0 18140 48.71 0.00 0.00 50.89 48.71 0 stress
05:01:38 PM 0 18141 50.10 0.00 0.00 49.50 50.10 3 stress
05:01:38 PM 0 18142 47.91 0.00 0.00 51.89 47.91 3 stress
05:01:38 PM 0 18143 49.11 0.00 0.00 51.09 49.11 1 stress
05:01:38 PM 0 18144 52.29 0.00 0.00 47.71 52.29 0 stress
05:01:38 PM 0 18145 49.30 0.00 0.00 50.70 49.30 2 stress
05:01:38 PM 0 20608 0.00 0.20 0.00 0.20 0.20 0 pidstat
05:01:38 PM 0 22527 0.00 0.20 0.00 0.00 0.20 2 sshd
05:01:38 PM 64045 30555 0.40 0.00 0.00 0.00 0.40 1 ceph-osd可以看出，8个进程在争抢4个CPU，每个进程等待CPU的时间（也就是代码块中的 %wait 列）高达50%。这些超出CPU计算能力的进程，最终导致CPU过载。
总结
- CPU密集型进程: 查看mpstat是否存在某个CPU %usr 很高但是iowait很低 ， pidstat 定位具体进程（瓶颈不在io）；
- IO密集型进程：mpstat 观察是否有某个cpu的%iowait很高，同时%usr也较高， pidstat 定位具体进程；
- 大量进程 ：观察mpstat有可能iowait 很低， 但是从pidstat看出%wait很高，侧面表现出进程出现竞争cpu。
用到命令
- lscpu、grep ‘model name’ /proc/cpuinfo | wc -l ：cpu核数；
- watch -d uptime：持续观察平均负载；
- pidstat -u 5 1：监测进程对应负载状态，进程性能分析工具；
- mpstat -P ALL 5：cpu总体状态 多核cpu性能分析工具，-P ALL监视所有cpu；
- strees : -c 产生多个worker进程；—cpu-method 使用哪种算法来运行压力测试，包括pi, crc16, fft等等，all选择全部；—sock 调用socket相关函数产生压力; -t, —timeout 等待xx微秒后才开始运行；-i, —io N spawn N workers spinning on sync()。
以上就是本期使用lttng以及log可以更好地分析ceph的运作模式的全部内容，下一期将带大家了解如何使用Vscode结合docker进行开发，敬请期待~
相关推荐
英特尔10代cpu什么时候上市，英特尔处理器排名
Computex2019上正式发布了第十代酷睿处理器，包括低电压的U系列，超低电压的Y系列，不难看出，这2个系列专门为轻薄笔记本电脑以及PC平板二合一产品而设计。新出的英特尔处理器…
10代cpu性能怎么样，10代cpu最新消息一览
[PConline 资讯]据外媒报道，英特尔第十代酷睿标压处理器将迎来全面的升级。 其中，第十代i3标压处理器将采用4核8线程设计，i5标压处理器将采用6核12线程设计，i7标压处…
锐龙cpu怎么样，amd锐龙型号详解
AMD已经在CES2020年正式发布了全新的锐龙4000系列处理器，采用了Zen2架构以及7nm制程，AMD将其称之为Renoir，包括15W至45W多个版本。而这也是移动处理器端…
英特尔10代cpu什么时候上市，英特尔10代最新消息
CES上，Intel和AMD均带来了一批面向笔记本/游戏本平台的新处理器。 据外媒报道，渠道独家消息称，10代酷睿H系列标压移动版处理器（Comet Lake）将在3月中旬出货上市…
英特尔10代桌面cpu参数多少，英特尔10代最新消息
据悉Intel第10代桌面处理器计划下个月发布，之前网络上只流出了部分10代处理器的规格信息，最近不带核显的10代处理器信息也泄露出来了，这样一来，10代桌面CPU的信息，基本上都…
英特尔10代cpu什么时候上市，10代酷睿性能详解
2020年的Intel，开启LGA1200时代 不管你愿意与否，2020年的Intel终将“如愿以偿”地开启LGA1200时代。今年新攒Intel整机的用户，自然也是优选LGA12…
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。