Docker 容器常见故障排查及处理，超好用，建议收藏

Docker是一种相对使用较简单的容器，我们可以通过以下几种方式获取信息：
1、通过docker run执行命令，查看返回信息
2、通过docker logs 去获取日志，做有针对性的筛选
3、通过systemctl status docker查看docker服务状态
4、通过journalctl -u docker.service 查看日志
以下是整理的docker容器类问题故障，分为9个类
一、启动类故障
1、
docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
原因：Docker未正常启动
解决方式：
systemctl start docker
2、
can’t create unix socket /var/run/docker.sock: is a directory
原因：docker.sock不能创建
解决方式：
rm -rf /var/run/docker.sock
然后重新启动docker
3、
Job for docker.service failed. Failed to start Docker Application

原因：Selinux引起
解决方式：
/etc/sysconfig/selinux , 把 selinux 值改为disabled
重启docker解决
4、
docker: Error response from daemon:
/var/lib/docker/overlay/XXXXXXXXXXXXXXXXXXXXXXX: no such file or directory.
原因：docker没有指定目录或文件
解决方式：
systemctl stop docker
rm -rf /var/lib/docker/*
systemctl start docker
重启run镜像启动容器
5、
docker: Error response from daemon: Conflict. The container name ‘XXX’ is already in use by container ‘XXX’. You have to remove (or rename) that container to be able to reuse that name.
原因：docker name重名
解决方式：
改名容器或者删除重建容器
6、
Error: Connection activation failed: No suitable device found for this connection
原因：网卡配置问题
解决方式：
重启网卡
7、
系统重启后docker无法启动
报错为：docker0: iptables: No chain/target/match by that name
原因：docker服务iptables问题
解决方式：
重启docker服务system restart docker
8、
Error starting daemon: error initializing graphdriver: driver not supported
使用overlay2存储驱动启动docker daemon报错
原因：daemon缺少配置
解决方式：
添加配置：
/etc/docker/daemon.json
{‘storage-driver’: ‘overlay2’,
‘storage-opts’: [‘overlay2.override_kernel_check=true’]}
9、
Failed to start docker.service: Unit docker.service is masked.
未知原因：docker 被mask
解决方式：
systemctl unmask docker.service
systemctl unmask docker.socket
systemctl start docker.service
10、
Failed to start docker.service: Unit is not loaded properly: Invalid argument.

未知原因：docker服务无法正常load
解决方式：
卸载docker， 删除docker.service
重新安装docker
11、
docker-compose启动容器时报错：
/usr/lib/python2.7/site-packages/requests/init.py:80: RequestsDependencyWarning: urllib3 (1.22) or chardet (2.2.1) doesn’t match a supported version! RequestsDependencyWarning)
未知原因：pip相应组件版本不支持
解决方式：
pip uninstall urllib3
pip uninstall chardet
pip install requests
12、docker容器重启故障
强杀docker进程后，重启docker。docker中的容器无法启动并报错
docker restart XXXXXXX Error response from daemon: Cannot restart container XXXXXXX: container ‘XXXXXXXXXXXXXXXX’: already exists
原因：旧容器未安全退出
解决方式：
docker-containerd-ctr --address /run/docker/containerd/docker-containerd.sock --namespace c rm <容器hash_id>
docker start 容器
13、
docker重启错误-重启命令一直卡住
systemctl restart docker 卡住
未知原因：可能是启动的容器数量过多，或者磁盘IO问题
解决方式：
systemctl start docker-cleanup.service
systemctl start docker
二、权限问题报错
14、
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock
解决方式：
查看 /var/run/docker.sock所在用户组
将用户重新加入docker组中，usermod -aG docker ${USER}
15、
chown socket at step GROUP: No such process

原因：docker无法找到Group组信息，docker组有可能被误删除，
解决方式：
groupadd docker
16、
Post http:///var/run/docker.sock/v1.XXX /auth: dial unix /var/run/docker.sock: permission denied. Are you trying to connect to a TLS-enabled daemon without TLS?
原因：非Root用户管理Docker时，权限不足
解决方式：
groupadd docker
usermod -a -G docker user
17、
docker commit镜像时报错
Error processing tar file(exit status 1): unexpected EOF
原因：可能是权限问题引起
解决方式：
chmod x 加一个执行权限
三、镜像和仓库问题报错
18、
Get /v2/: dial tcp: lookup
原因：Docker仓库无法访问
解决方式：
修改Docker仓库源为国内或者自建的仓库源
修改/etc/docker/daemon.json
19、推送本地镜像报错
The push refers to a repository [XXXX] Get https://xxx/v1/_ping: http: server gave HTTP response to HTTPS client
原因：docker registry未采用https服务所致
解决方式：
/etc/docker/daemon.json 文件写入：
{ ‘insecure-registries’:[‘’] }
20、
/usr/bin/docker-current: Error response from daemon: oci runtime error: container_linux.go: starting container process caused ‘exec: ‘/bin/bash’: executable file not found in $PATH’.
原因：Docker镜像自身问题或者Docker引擎版本比较低导致
解决方式：
可以升级Docker版本服务
21、构建镜像，执行chown -R非常慢
原因：Docker使用写时复制策略，所以chown命令执行时，会将上层镜像文件全部复制到当前层，然后再修改权限，再写入文件系统。
解决方式：
不应该使用chown -R 这类大批量修改文件的命令
22、docker build构建镜像的时候报错：
Message from syslogd kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1
原因：docker engine版本过高
解决方式：
docker engine版本需要和docker内部镜像的内核版本匹配
23、
docker: Error response from daemon: containerd: container did not start before the specified time-out.ERRO[0133] error getting events from daemon: context canceled
原因：修改完docker root dir，重启后，下载镜像报错
解决方式：
重启docker服务
或者重启服务器
四、资源问题报错
25、
Docker no space left on device
原因：空间不足
解决方式：清理空间,删除未被使用的容器，镜像等资源
docker system prune -a
26、
/var/lib/docker/containers 占用过大
原因：日志文件占用过大
解决方式：
cat /dev/null > *-json.log
或者
增加dockerd启动参数，/etc/docker/daemon.json
{‘log-driver’:‘json-file’,
‘log-opts’: {‘max-size’:‘2G’, ‘max-file’:‘10’}
27、
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
原因：系统参数默认配置过小
解决方式：
修改/etc/sysctl.conf里面的vm.max_map_count 调大
28、
Got starting container process caused ‘process_linux.go:301:
running exec setns process for init caused ‘exit status 40’’: unknown.
from time to time
原因：可能是cache问题引起
解决方式：
echo 1 > /proc/sys/vm/drop_caches
29、
docker本机启动多台容器导致出现后续容器启动失败
原因：查看硬盘空间是否满，如果不是硬盘空间问题引起
解决方式：
vim /etc/sysctl.conf
添加参数 fs.aio-max-nr = 1048576
sysctl -p
30、Docker启动异常，状态反复restarting

Docker logs 容器名，查看异常日志

查看/var/log/messages

原因：内存跑满，引起OOM
解决方式：
释放内存后，再启动容器
五、版本不兼容报错
31、
overlayfs: Can’t delete file moved from base layer to newly created dir even on ext4
原因：Centos 提供的文件系统 XFS 和 Overlay 兼容问题导致,
解决方式：
这个问题的修复在内核 4.4.6以上
32、
docker: Error response from daemon: OCI runtime create failed: container_linux.go:344: starting container process caused ‘process_linux.go:297: getting the final child’s pid from pipe caused ‘read init-p: connection reset by peer’’: unknown.
原因：Docker版本和操作系统版本不匹配
解决方式：
重新安装和操作系统内核支持的docker 版本
六、网络或端口问题报错
33、
WARNING: IPv4 forwarding is disabled. Networking will not work.
原因：ipv4网络无法转发
解决方式:
/usr/lib/sysctl.d/00-system.conf
在最后一行添加net.ipv4.ip_forward=1
重启network服务。删除错误的容器，再次创建新容器
34、
Creating network ‘xxxxxxx’ with the default driver
原因：docker网关冲突
启动容器、docker-compose启动容器后，断网问题
解决方式：
配置 docker-compose.yml内给启动的容器配置参数network_mode: ‘bridge’
35、
Unable to find a node that satisfies the following conditions [port xxxx]
原因：当容器使用端口映射(docker run -p xxxx:xxxx或 compose模板中的
ports)之后 系统会在宿主机上创建一个port，通过NAT来访问容器的指定port。如果宿主机上的端口被容器或者系统进程占用，就会导致端口分配失败。
解决方式：
清除占用端口的容器或者进程，或调整容器端口映射的宿主机端口避免冲突
36、
Error response from daemon: service endpoint with name xxx already
原因：端口已经被占用
解决方式：
重启docker容器
37、
docker: Error response from daemon: driver failed programming external connectivity on endpoint XXXXX: Bind for 0.0.0.0:80 failed: port is already allocated
原因：容器端口冲突
解决方式：
更换宿主机绑定端口
七、Docker安装报错
38、安装docker报Requires: container-selinux >= 2.9

原因：container-selinux版本低或者是没安装的原因
解决方式：
wget -O /etc/yum.repos.d/CentOS-Base.repo
http://mirrors.aliyun.com/repo/Centos-7.repo
yum install epel-release
yum makecache
yum install container-selinux
39、安装docker-compose时报错
“ImportError: ‘module’ object has no attribute ‘check_specifier’”
原因：setuptools版本问题
解决方式：
升级setuptools到30.1.0版本以上版本
pip install --upgrade setuptools
40、安装docker-compose时报错
DEPRECATION: Python 2.7 will reach the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 won’t be maintained after that date. A future version of pip will drop support for Python 2.7.
原因：python2.7提示升级
解决方式：
pip install -i https://pypi.douban.com/simple docker-compose
八、Docker删除报错
41、docker删除容器报错
Error response from daemon:Driver overlay failed to remove root filesystem xxxxx: remove/var/lib/docker/overlay2/xxxxx/merged: device or resource busy

原因：容器挂载数据卷，无法直接删除

解决方式：
grep docker /proc/*/mountinfo | grep xxxxx
kill进程后
再重新删除容器
42、状态dead的容器删除报错
Error response from daemon: Driver aufs failed to remove root filesystem XXXXXXXXXXXXXXXX: aufs: unmount error after retries: /var/lib/docker/aufs/mnt/xxxxxxxx: device or resource busy
原因：dead状态容器无法删除，还在占用资源
解决方式：
docker rm -fv 容器id 过几分钟后会自动删除
43、docker删除镜像报错
Error response from daemon: conflict: unable to remove repository reference ‘XXXX’ (must force) - container XXXX is using its referenced image YYYY
原因：镜像正在被某容器使用
解决方式：
需要删除相关ID容器后，才能删除镜像
44、docker删除镜像报错
Error response from daemon: conflict: unable to delete XXXXXXXXXX (must be forced) - image is referenced in multiple repositories
原因：镜像login push 了远端其他仓库
解决方式：
如果不需要此镜像， docker rmi -f 强删
45、docker删除镜像报错
Error response from daemon: conflict: unable to delete XXX (cannot be forced) - image has dependent child images
原因：存在依赖于父镜像的子镜像
解决方式：
强制删除镜像或者批量删除容器，再删除镜像
九、其他报错
46、docker: Error response from daemon: driver failed programming external connectivity on end-point XXXXXXX: (iptables failed: iptables --wait -t filter -A DOCKER ! -i docker0 -o docker0 -p tcp -d 172.17.0.2 --dport 8080 -j ACCEPT: iptables: No chain/target/match by that name.
原因：防火墙问题引起
解决方式：
关闭防火墙，重启docker
47、
执行docker info出现如下警告
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
原因：配置问题引起，需要启用bridge-nf-call-iptables
解决方式：
vi /etc/sysctl.conf
添加以下内容
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
48、
docker数据库相关报错
使用Docker创建mysql容器闪退
Database is uninitialized and password option is not specified

解决方式：
docker run -d -e MYSQL_ROOT_PASSWORD=[密码] -p 3306:3306 mysql镜像
为避免出现各种奇怪且偶发的问题，运维和开发人员应该有规范的去使用docker容器，最大程度的去避免因为使用不当而引起的故障，参考以下：
Docker使用规范建议
尽量使用最近1-2年的新的稳定的docker版本
不要去安装今年前很老的版本，大量的bug已经被新版本更新解决掉了
尽量不要去创建非常大的镜像，比如5G10G以上的
镜像要尽量轻量化，去除不必要的软件，数据等
容器内挂载宿主机配置，使用只读
容器需要-v 宿主机的配置文件，尽量使用ro只读
数据要挂载宿主机物理硬盘或存储节点上
不要直接在容器里run，避免容器宕机引起数据丢失
应用日志一定要挂到宿主机上
不要直接打印到容器内，避免只能docker logs方式查看，避免去vulume目录里查看日志
不要只使用latest标签
Tag要有个管理标准，可以根据tag查找对应版本
不要使用容器ip，配置里更不能写死（默认172.17.0.x）
容器重启后，ip很可能会变
尽量不要在单容器内跑多进程
容器不是虚拟机，尽量做到1个容器，1个进程
跨环境镜像保持一致
不论是测试，UAT，生产环境，尽量保持同一个镜像，不要变更，环境变更只需要变更环境变量参数做区分
一定监控docker容器，即使发现问题
建议使用prometheus监控容器
一定要限制docker容器的资源
尤其是CPU，内存，硬盘空间，甚至是网络等，避免侵占宿主机的硬件资源

docker容器时间不一致
docker容器时间与系统时间不一致
解决办法：
1，如果系统时间准确
在宿主机执行如下命令，查看/etc/localtime软连接的源文件路径
ls -l /etc/localtime
#lrwxrwxrwx 1 root root 33 Sep 8 06:25 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai

可以看出/etc/localtime的源文件路径为/usr/share/zoneinfo/Asia/Shanghai
接下来，使docker容器中/etc/localtime软连接到宿主机/usr/share/zoneinfo/Asia/Shanghai
docker cp /usr/share/zoneinfo/Asia/Shanghai 容器名:/etc/localtime
2，如果系统时间不准确
docker cp /usr/share/zoneinfo/Asia/Shanghai 容器名:/etc/localtime
综上，docker容器与宿主机时间时区不一致的终极解决方法为：
docker cp /usr/share/zoneinfo/Asia/Shanghai 容器名:/etc/localtime

docker 启动容器异常Error response from daemon: OCI runtime create failed: container with id exists
docker 启动容器异常
问题描述
docker服务异常停止，重启docker后，容器启动失败
错误信息
Error response from daemon: OCI runtime create failed: container with id exists: xxx unknown
错误原因
docker启动的时候，会在运行目录（/var/run/docker/runtime-runc/moby）（不同环境，可能目录不一样，可以通过find / -name ‘容器ID’ 查找）下生成以docker-ID，因为docker异常停止，改容器文件并没有删除，所以启动的时候，会报错该容器已存在
解决办法
find / name “报错的容器ID”
cd /var/run/docker/runtime-runc/moby
rm -rf “刚才查找到报错的容器ID”
docker start “有问题的容器” ## 重新启动容器