使用cgroups管理Linux磁盘io的方法

【 tulaoshi.com - Linux教程 】

我们都知道Linux系统中的cgroups可用于管理cpu资源，今天图老师小编要给大家介绍的是如何使用cgroups管理进程磁盘io，如果你对此感兴趣的话，不妨来了解下吧。

这个功能通过 blkio 子系统实现。

blkio 子系统里东西很多。不过大部分都是只读的状态报告，可写的参数就只有下面这几个：

代码如下：

blkio.throttle.read_bps_device

blkio.throttle.read_iops_device

blkio.throttle.write_bps_device

blkio.throttle.write_iops_device

blkio.weight

blkio.weight_device

这些都是用来控制进程的磁盘 io 的。很明显地分成两类，其中带throttle的，顾名思义就是节流阀，将流量限制在某个值下。而weight就是分配 io 的权重。

throttle的那四个参数看名字就知道是做什么用的。拿 blkio.throttle.read_bps_device 来限制每秒能读取的字节数。先跑点 io 出来

代码如下：

dd if=/dev/sda of=/dev/null &

［1］ 2750

用 iotop 看看目前的 io

代码如下：

TID PRIO USER DISK READ DISK WRITE SWAPIN IO》 COMMAND

2750 be/4 root 66.76 M/s 0.00 B/s 0.00 % 68.53 % dd if=/dev/sda of=/dev/null

。。。

然后修改一下资源限制，把进程加入控制组

代码如下：

echo ‘8:0 1048576’ 》/sys/fs/cgroup/blkio/foo/blkio.throttle.read_bps_device

echo 2750 》/sys/fs/cgroup/blkio/foo/tasks

这里的 8:0 就是对应块设备的主设备号和副设备号。可以通过 ls -l 设备文件名查看。如

代码如下：

# ls -l /dev/sda

brw-rw----。 1 root disk 8， 0 Oct 24 11:27 /dev/sda

这里的 8， 0 就是对应的设备号。所以，cgroups 可以对不同的设备做不同的限制。然后来看看效果

代码如下：

TID PRIO USER DISK READ DISK WRITE SWAPIN IO》 COMMAND

2750 be/4 root 989.17 K/s 0.00 B/s 0.00 % 96.22 % dd if=/dev/sda of=/dev/null

。。。

可见，进程的每秒读取立马就降到了 1MB 左右。要解除限制，写入如 8:0 0 到文件中即可

不过需要注意的是，这种方式对小于采样间隔里产生的大量 io 是没用的。比如，就算在 1s 内产生一个每秒写入 100M 的峰值，也不会因此被限制掉。

再看看 blkio.weight 。blkio 的 throttle 和 weight 方式和 cpu 子系统的 quota 和 shares 有点像，都是一种是绝对限制，另一种是相对限制，并且在不繁忙的时候可以充分利用资源，权重值的范围在 10 – 1000 之间。

测试权重方式要麻烦一点。因为不是绝对限制，所以会受到文件系统缓存的影响。如在虚拟机中测试，要关闭虚机如我用的 VirtualBox 在宿主机上的缓存。如要测试读 io 的效果，先生成两个几个 G 的大文件 /tmp/file_1，/tmp/file_2 ，可以用 dd 搞。然后设置两个权重

代码如下：

# echo 500 》/sys/fs/cgroup/blkio/foo/blkio.weight

# echo 100 》/sys/fs/cgroup/blkio/bar/blkio.weight

测试前清空文件系统缓存，以免干扰测试结果

代码如下：

sync

echo 3 》/proc/sys/vm/drop_caches

在这两个控制组中用 dd 产生 io 测试效果。

代码如下：

# cgexec -g blkio:foo dd if=/tmp/file_1 of=/dev/null &

［1］ 1838

# cgexec -g blkio:bar dd if=/tmp/file_2 of=/dev/null &

［2］ 1839

还是用 iotop 看看效果

代码如下：

TID PRIO USER DISK READ DISK WRITE SWAPIN IO》 COMMAND

1839 be/4 root 48.14 M/s 0.00 B/s 0.00 % 99.21 % dd if=/tmp/file_2 of=/dev/null

1838 be/4 root 223.59 M/s 0.00 B/s 0.00 % 16.44 % dd if=/tmp/file_1 of=/dev/null

两个进程每秒读的字节数虽然会不断变动，但是大致趋势还是维持在 1:5 左右，和设定的 weight 比例一致。blkio.weight_device 是分设备的。写入时，前面再加上设备号即可。

blkio 子系统里还有很多统计项

blkio.time

​​​各​​​设​​​备​​​的​​​ io 访​​​问​​​时​​​间，单位毫秒

blkio.sectors

换入​​​者​​​或​​​出​​​各​​​设​​​备​​​的​​​扇​​​区​​​数

blkio.io_serviced

各设​​​备​​​中​​​执​​​行​​​的各类型​​​ io 操​​​作​​​数，分read、​​​write、​​​sync、async 和 total

​​​blkio.io_service_bytes

各类型​​​ io ​​​换入​​​者​​​或​​​出​​​各​​​设​​​备​​​​​​的​​​字​​​节​​​数

​​​blkio.io_service_time

各设​​​备​​​中​​​执​​​行​​​的各类型​​​ io 时间，单位微秒

​​​blkio.io_wait_time

各设​​​备​​​中各类型​​​ io 在队列中的 等待时间

​​​blkio.io_merged

各设​​​备​​​中各类型​​​ io 请求合并的次数

​​​blkio.io_queued

各设​​​备​​​中各类型​​​ io 请求当前在队列中的数量

​​通过这些统计项更好地统计、监控进程的 io 情况

用

代码如下：

echo 1 》blkio.reset_stats

可以将所有统计项清零。

上面就是Linux中使用cgroups管理进程磁盘io的方法介绍了，在管理进程磁盘io的时候会用到blkio 子系统，通过上面的方法你可以限制和监控进程磁盘io，你学会了吗？