docker资源控制管理Cgroup的实现

目录

前言

一、对CPU使用率的控制

1、 使用stress工具测试CPU和内存使用情况

2、设置CPU资源占用比(设置多个容器时才有效)

3、限制 CPU 使用周期速率

4、限制 CPU 内核使用

二、对内存限额

三、对-Block IO的限制

四、bps 和iops 的限制

五、总结

Cgroups如何工作的?

cgroup对cpu限制小结

cgroup对内存的限制小结

资源限制的几种方式

资源限制的状态查询

前言

1.docker 使用cgroup控制资源,K8S 里面也有limit(使用上限)

2.docker通过cgroup来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。

3.Cgroup 是 Control group 的简写,是 Linux 内核提供的一种限制所使用物理资源的机制,包括 CPU、内存 和 IO 这三大方面,基本覆盖了常见的资源配额和使用量控制

4.cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段

一、对CPU使用率的控制 1、 使用stress工具测试CPU和内存使用情况 mkdir /opt/stress vim /opt/stress/Dockerfile —————————————————————————————————————————————————————————————————————————————— FROM centos:7 RUN yum -y install wget RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo#epel源,可以使用扩展软件包(stress) RUN yum -y install stress#可以指定产生线程,使用循环语句,测试用' —————————————————————————————————————————————————————————————————————————————— cd /opt/stress/ systemctl restart docker.service#建议重启docker,不然下面的操作可能会失败,卡在wget docker build -t centos:stress .#生成镜像 ... ... Successfully built 7e69cc4d1b07 Successfully tagged centos:stress docker images #以下可以使用该镜像为基础产生的容器进行测试:'

2、设置CPU资源占用比(设置多个容器时才有效)

Docker通过--cpu-shares指定CPU份额,默认值为1024,值为1024的倍数。
资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。
cgroups只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它。

示例:创建两个容器为cpu512和cpu1024, 若只有这两个容器,设置容器的权重,使得cpu512和cpu1024的CPU资源占比为1/3和2/3。

docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #-c 10表示产生10个子线程,测试用 docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 #查看容器的资源使用状态(动态更新) docker stats 资源是用cadvisor收集的

3、限制 CPU 使用周期速率 cat /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us #-1,表示不做控制 #例如:容器进程需要每Ⅰ秒使用单个cPU的 0.2秒时间,可以将 --cpu-period 设置为1000000(即1秒),cpu-quota 设置为200000 0.2秒)。 #当然,在多核情况下,如果允许容器进程完全占用两个CPU,则可以将cpu-period 设置为 100000(即 0.1秒),cpu-quota 设置为200000 (0.2秒)。 docker run -itd --name test01 --cpu-period 100000 --cpu-quota 200000 centos:stress #也可以直接去修改文件vim /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us #法一:进入指定容器查看 docker exec -it test01 bash cd /sys/fs/cgroup/cpu cat cpu.cfs_period_us cat cpu.cfs_quota_us #法二:docker inspect 容器ID docker inspect 6ccc4ddcb6ad 4、限制 CPU 内核使用

可以通过配置,使得某些程序独享 CPU 内核,以提高其处理速度

对多核CPU的服务器,Docker还可以控制容器**运行使用哪些CPU内核**,即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用,可以对需要高性能计算的容器进行性能最优的配置

docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress #执行以上命令需要宿主机为双核,表示创建的容器只能用0、1两个内核。最终生成的 cgroup的 CPU内核配置如下 cat /sys/fs/cgroup/cpuset/docker/[容器ID]/cpuset.cpus docker exec -it cpu1 /bin/bash -c "stress -c 10" 二、对内存限额 docker run -itd -m 200M --memory-swap 300M --name test01 centos:stress docker stats 三、对-Block IO的限制

默认情况下,所有容器能平等地读写磁盘,可以通过设置–blkio-weight参数来改变容器 block IO的优先级。

–blkio-weight 与–cpu-shares类似,设置的是相对权重值,默认为500。

在下面的例子中,容器A读写磁盘的带宽是容器B的两倍。

#容器A docker run -it --name container_A --blkio-weight 600 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight #容器B docker run -it --name container_B --blkio-weight 300 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight 四、bps 和iops 的限制

bps 是byte per second,每秒读写的数据量。
iops是io per second,每秒IO的次数。
可通过以下参数控制容器的bps 和iops:
–device-read-bps,限制读菜个设备的bps。
–device-write-bps,限制写某个设备的bps。
–device-read-iops,限制读某个设备的iops。
–device-write-iops,限制写某个设备的iops

#下面的示例是限制容器写/dev/sda 的速率为5MB/s docker run -it --device-write-bps /dev/sda:5MB centos:stress dd if=/dev/zero of=test bs=1M count=100 oflag=direct 100+0 records in 100+0 records out 104857600 bytes (105 MB) copied, 20.0018 s, 5.2 MB/s #通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的。 #在容器中写文件相当子对host /dev/sda进行写操作。另外,oflag=direct指定用direct IO 方式写文件,这样--device-write-bps才能生效。 #结果表明限速 5MB/s左右。作为对比测试,如果不限速,结果如下。 docker run -it centos:stress dd if=/dev/zero of=test bs=1M count=100 oflag=direct 100+0 records in 100+0 records out 104857600 bytes (105 MB) copied, 0.0470107 s, 2.2 GB/s 五、总结 Cgroups如何工作的?

CPU —>VCPU–>以进程的方式体现在workstation环境(docker环境中) —》docker表现形式是容器,–>Vcpu以进程的方式控制容器–》容器中的应用需要的是服务进程支持–》宿主机内核中cpu可以被cgroup管理(通过分配资源手段)–》linux内核中的cgroup可以直接控制VCPU的资源分配,而VCPU在workstation中是以进程的方式管理docker容器的,所以,也可以认为Cgroups在直接/间接管理docker容器中的应用。

cgroup对cpu限制小结

Cgroups 控制的是内核资源—》间接控制vw中vcpu的资源—》控制着vwM中进程资源—》docker容器的资源—》docker容器内应用的资源

控制的主体包括:CPU、内存、I/O

主要介绍的是CPU资源的控制而CPU资源控制的方式主要有:

①cpu-shares权重指的是多个容器使用同一个CPU的情况下,被分配到CPU资源的机会占比

②cpu-period周期指的是,CPU在给于当前管理、控制的容器分配资源时,CPU的分配周期,默认是1s,此项配置,可以在运行时直接指定

③cpuset-cpus指定容器,仅能使用指定的CPU,按照CPU的下标来表示

cgroup对内存的限制小结

Cgroups 对于内存的限制,主要体现在以下两个部分:

①内存使用上限(硬限制)

②内存+swap使用上限(硬限制)

类比于K8s中的资源限制手段,也是使用的cgroups的技术,体现为limit

respones: request: #分配的初始资源 cpu:100m memory:100m limits: cpu:300m memory:200m

 资源限制的主要类型

CPU权重shares、 quota、 cpuset

磁盘BPS、 TPS限制, 指定使用哪个磁盘、磁盘分区

内存 -m - swap 内存、交换分区

大部分做的是上限的限制

资源限制的几种方式

build构建镜像时,可以指定该镜像的资源限制
run将镜像跑为容器的时候,可以指定容器的资源限制
容器启动之后可以在宿主机对应容器的目录下,修改资源限制,然后重载
/sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以

资源限制的状态查询

docker inspect 镜像ID/容器ID
直接查看宿主机对应容器ID资源限制的文件
cgroup资源docker 原理之一, namespaces 6个名称空间

像时,可以指定该镜像的资源限制

run将镜像跑为容器的时候,可以指定容器的资源限制
容器启动之后可以在宿主机对应容器的目录下,修改资源限制,然后重载
/sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以

到此这篇关于docker资源控制管理Cgroup的实现的文章就介绍到这了,更多相关docker Cgroup内容请搜索易知道(ezd.cc)以前的文章或继续浏览下面的相关文章希望大家以后多多支持易知道(ezd.cc)!

推荐阅读

    聊聊docker下怎么启动容器

    聊聊docker下怎么启动容器,镜像,应用程序,下载,启动,名称,命令,Docker是一种轻量级的虚拟化解决方案,可以将应用和其所有的依赖性封装到一个独立

    如何在linux上安装docker

    如何在linux上安装docker,安装,运行,命令,步骤,用户,版本,随着容器技术的兴起,Docker 已经成为了最为流行的容器引擎。它可以快速构建、部署、运

    如何彻底卸载docker

    如何彻底卸载docker,删除,命令,软件包,文件,卸载,步骤,随着云计算和容器技术的快速发展,Docker已成为现今最流行的容器化应用平台之一。然而,对于

    如何启动docker中的容器

    如何启动docker中的容器,启动,命令,服务,镜像,文件,方法,Docker是一种流行的容器化平台,容器是一种轻量级、可移植的软件包,包含软件应用程序及其

    docker安装的详细步骤

    docker安装的详细步骤,安装,步骤,命令,软件包,系统,应用程序,Docker是一款开源的容器化应用程序,它可以将应用程序及其依赖项打包到一个容器中,从

    怎么给docker换镜像源

    怎么给docker换镜像源,镜像源,镜像,加速器,加速,步骤,命令,随着Docker的普及,越来越多的人开始使用它来构建和部署应用程序。不过,当我们使用Dock

    怎么启动docker

    怎么启动docker,启动,命令,安装,执行,删除,名称,Docker 是一个由 Linux 内核提供的容器化引擎,可以在同一台主机上运行多个容器,这些容器彼此隔离

    docker怎么删除镜像

    docker怎么删除镜像,镜像,删除,命令,系统,执行,名称,Docker是一个用于开发、运行和部署应用程序的开放平台,可以轻松地将应用程序与所依赖的库打

    docker是啥意思

    docker是啥意思,虚拟化,核心,镜像,应用程序,服务器,虚拟机,docker有两种意思:1、指英文单词docker,其中文翻译是“码头工人”;2、指Docker容器,是一

    docker如何正确删除指定容器

    docker如何正确删除指定容器,删除,命令,备份,镜像,数据,运行,随着云计算和虚拟化技术的不断发展,Docker 容器已经成为了应用程序开发和部署的重

    docker怎么在windows上安装

    docker怎么在windows上安装,安装,运行,应用程序,启用,命令,镜像,Docker是一个非常流行的容器化技术,可以在不同的平台上实现应用程序的封装、分

    docker环境怎么进

    docker环境怎么进,镜像,命令,名称,用于,操作,运行,Docker是一种容器化技术,方便开发者进行应用程序的部署和管理。Docker环境是在操作系统上的一

    docker是一个软件吗

    docker是一个软件吗,虚拟化,虚拟机,运行,平台,开发者,用于,docker是一个软件,是一个运行与linux和windows上的软件,用于创建、管理和编排容器;dock