Docker overlay2占用磁盘解决方案

Docker overlay2占用磁盘解决方案

一、基本表现及现象

• 服务器磁盘占用90%+甚至100%
• 使用df -Th、查看是/var/docker/overlay2磁盘占用满

二、原因分析

• 容器日志没有设置回滚，日志累计导致磁盘占用满> 在docker中，默认启用了 overlay2作为文件管理系统，类似AUFS（ubantu自带的文件系统）的文件系统，但设计更轻量，速度也更快，工作流程图示如下:> > > > 一般来说每一个镜像层都在> > /var/lib/docker/overlay/> > 下有自己的文件夹：> > > $ ls -l /var/lib/docker/overlay/> > total 22> -rw-r--r-- 1 root root 64 Jun 2016:39 lower-id> drwxr-xr-x 1 root root 4096 Jun 2016:39 merged> drwxr-xr-x 4 root root 4096 Jun 2016:39 upper> drwx------ 3 root root 4096 Jun 2016:39 work> > > > > - lower-id 文件里面记录的是镜像层的顶层ID，也就是此层的基层 ，OverlayFS概念中的 lowerdir;> - upper 文件夹就是本层的可读写层（在 overlay2中的变成了diff）,它也就是 OverlayFS概念中的 upperdir;> - merged 文件夹是和文件夹的联合挂载，在运行中的容器看过去的文件系统就是它;> - work 文件夹则是OverlayFS内部文件;> > ​ docker容器日志一般存放在/var/lib/docker/containers/container_id/路径下面，一般来说，容器对应服务产生的日志都会在/var/lib/docker/containers/container_id/的container_id-json.log记录，如果没有配置日志回滚等清理操作，这个log文件就会逐渐增长，导致磁盘占用逐渐增加。

三、解决方案

• 正确解决方案- 临时方案：命令清理cd /var/lib/docker/containers/container_id > container_id-json.log 或者 cat /dev/null > /var/lib/docker/containers/*/*-json.log- 稳定方案：配置日志操作- 1、将临时方案写成脚本，使用crontab定时执行#!/bin/sh echo"======== start clean docker containers logs ========"logs=$(find /var/lib/docker/containers/ -name *-json.log)forlogin$logsdoecho"clean logs : $log"cat /dev/null >$logdoneecho"======== end clean docker containers logs ========"- 2、容器配置日志回滚等操作【设置一个容器服务的日志大小上限】nginx: image: nginx:1.12.1 restart: always logging: driver: “json-file” options: max-size: “10g”

• 错误操作示例- 进入/var/lib/docker/containers/container_id目录，删除container_id-josn.log文件> ​ 使用rm -rf方式删除日志后，通过df -h会发现磁盘空间并没有释放。原因是在Linux或者Unix系统中，通过rm -rf或者文件管理器删除文件，将会从文件系统的目录结构上解除链接（unlink）。如果文件是被打开的（有一个进程正在使用），那么进程将仍然可以读取该文件，磁盘空间也一直被占用。

四、docker常用排查命令

1.删除不再使用的数据卷：
$ docker volume rm$(docker volume ls -q) 或者 $ docker volume prune
2.删除 build cache 
$ docker builder prune
3.docker 系统一键清理没用的空间
$ docker system prune
4.键删除所有已经停止的容器
$ docker container prune
5.查看docker占用
$ docker system df