Docker 安全及日志管理
容器的安全性问题的根源在于容器和宿主机共享内核。如果容器里的应用导致Linux内核崩溃，那么整个系统可能都会崩溃。
与虚拟机是不同的，虚拟机并没有与主机共享内核，虚拟机崩溃一般不会导致宿主机崩溃
Docker 容器与虚拟机的区别
隔离与共享
• 虚拟机通过添加 Hypervisor 层，虚拟出网卡、内存、CPU 等虚拟硬件，再在其上建立虚拟机，每个虚拟机都有自己的系统内核
• Docker容器则是通过隔离的方式，将文件系统、进程、设备、网络等资源进行隔离，再对权限、CPU资源等进行控制，最终让容器之间互不影响，容器无法影响宿主机
• 容器与宿主机共享内核、文件系统、硬件等资源
性能与损耗
与虚拟机相比，容器资源损耗要少。同样的宿主机下，能够建立容器的数量要比虚拟机多。但是，虚拟机的安全性要比容器稍好，要从虚拟机攻破到宿主机或其他虚拟机，需要先攻破 Hypervisor 层，这是极其困难的。
而 docker 容器与宿主机共享内核、文件系统等资源，更有可能对其他容器、宿主机产生影响
区别Docker容器虚拟机启动速度秒级分钟级运行性能接近原生（直接在内核中运行）50%左右损失磁盘占用MBGB数量成百上千一般几十台隔离性进程级别系统级别（更彻底）操作系统主要支持Linux几乎所有封装程度只打包项目代码和依赖关系，共享宿主机内核完整的操作系统，与宿主机隔离
Docker 存在的安全问题
Docker 自身漏洞
作为一款应用 Docker 本身实现上会有代码缺陷。CVE 官方记录 Docker 历史版本共有超过 20 项漏洞，可参见 Docker 官方网站
黑客常用的攻击手段主要有代码执行、权限提升、信息泄露、权限绕过等。目前 Docker 版本更迭非常快，Docker 用户可将 Docker 升级为最新版本
Docker 源码问题
Docker 提供了 Docker hub，可以让用户上传创建的镜像，以便其他用户下载，快速搭建环境。但同时也带来了一些安全问题
例如下面三种方式：
（1）黑客上传恶意镜像
如果有黑客在制作的镜像中植入木马、后门等恶意软件，那么环境从一开始就已经不安全了，后续更没有什么安全可言
（2）镜像使用有漏洞的软件
DockerHub上能下载的镜像里面，75%的镜像都安装了有漏洞的软件。所以下载镜像后，需要检查里面软件的版本信息，对应的版本是否存在漏洞，并及时更新打上补丁
（3）中间人攻击篡改镜像
镜像在传输过程中可能被篡改，目前新版本的 Docker 已经提供了相应的校验机制来预防这个问题
Docker 架构缺陷与安全机制
Docker本身的架构与机制就可能产生问题，例如这样一种攻击场景，黑客已经控制了宿主机上的一些容器，或者获得了通过在公有云上建立容器的方式，然后对宿主机或其他容器发起攻击
3.1.容器之间的局域网攻击
主机上的容器之间可以构成局域网，因此针对局域网的ARP欺骗、端口扫描、广播风暴等攻击方式便可以用上。
所以，在一个主机上部署多个容器需要合理的配置网络安全，比如设置 iptables 规则
3.2. DDoS 攻击耗尽资源
Cgroups 安全机制就是要防止此类攻击的，不要为单一的容器分配过多的资源即可避免此类问题。
3.3. 有漏洞的系统调用
Docker 与虚拟机的一个重要的区别就是 Docker 与宿主机共用一个操作系统内核。
一旦宿主内核存在可以越权或者提权漏洞，尽管Docker使用普通用户执行，在容器被入侵时，攻击者还可以利用内核漏洞跳到宿主机做更多的事情
3.4. 共享root用户权限
如果以 root 用户权限运行容器（docker run --privileged），容器内的 root 用户也就拥有了宿主机的root权限
Docker 安全基线标准
下面从内核、主机、网络、镜像、容器以及其它等 6 个方面总结 Docker 安全基线标准
4.1. 内核级别
（1）及时更新内核
（2）User NameSpace（容器内的 root 权限在容器之外处于非高权限状态）
（3）Cgroups（对资源的配额和度量），设置CPU、内存、磁盘 IO等资源限制
（4）通过启用SELinux/AppArmor/GRSEC（控制文件访问权限）适当的强化系统来增加额外的安全性
（5）Capability（权限划分），比如划分指定的CPU给容器
（6）Seccomp（限定系统调用），限制不必要的系统调用
（7）禁止将容器的命名空间与宿主机进程命名空间共享，比如 host 网络模式
4.2. 主机级别
（1）为容器创建独立分区，比如创建在分布式文件系统上
（2）仅运行必要的服务，注意尽量避免在容器中运行 ssh 服务
（3）禁止将宿主机上敏感目录映射到容器，-v创建数据卷时需要注意
（4）对 Docker 守护进程、相关文件和目录进行审计，防止有病毒或木马文件生成
（5）设置适当的默认文件描述符数。（文件描述符：简称fd，当应用程序请求内核打开/新建一个文件时，内核会返回 一个文件描述符用于对应这个打开/新建的文件，文件描述符本质上就是一个非负整数，读写文件也是需要使用这个文件 描述符来指定待读写的文件的。文件描述符是一个重要的系统资源，理论上系统内存多大就应该可以打开多少个文件描述符，但是实际情况是，内核会有系统级限制，以及用户级限制，不让某一个应用程序进程消耗掉所有的文件资源，可以使用ulimit -n 查看）
（6）用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限
（7）周期性检查每个主机的容器清单，并清理不必要的容器
4.3. 网络级别
（1）通过 iptables 设定规则实现禁止或允许容器之间网络流量
（2）允许 Docker 修改 iptables
（3）禁止将 Docker 绑定到其他已使用的 IP/Port 或者 Unix Socket
（4）禁止在容器上映射特权端口
（5）容器上只开放所需要的端口
（6）禁止在容器上使用 host 网络模式
（7）若宿主机有多个网卡，将容器进入流量绑定到特定的主机网卡上
docker network create --subnet=172.18.0.0/16--opt “com.docker.network.bridge.name”=“docker1” mynetwork
docker run -itd --net mynetwork --ip 172.18.0.100 centos:7/bin/bash
iptables -t nat -A POSTROUTING -s 172.18.0.100-o ens36 -j SNAT --to-source 20.0.0.100
4.4. 镜像级别
（1）创建本地私有镜像仓库服务器
（2）镜像中软件都为最新版本，建议根据实际情况使用对应版本，业务稳定优先
（3）使用可信镜像文件，并通过安全通道下载
（4）重新构建镜像而非对容器和镜像打补丁，销毁异常容器重新构建
（5）合理管理镜像标签，及时移除不再使用的镜像
（6）使用镜像扫描
（7）使用镜像签名
4.5. 容器级别
（1）容器最小化，操作系统镜像最小集
（2）容器以单一主进程的方式运行
（3）禁止 --privileged 标记使用特权容器
（4）禁止在容器上运行 ssh 服务，尽量使用 docker exec 进入容器
（5）以只读的方式挂载容器的根目录系统，-v 宿主机目录:容器目录:ro
（6）明确定义属于容器的数据盘符
（7）通过设置 on-failure 限制容器尝试重启的次数，容器反复重启容易丢失数据，–restart=on-failure:3
（8）限制在容器中可用的进程数，docker run -m 限制内存的使用，以防止 fork炸弹。（fork炸弹，迅速增长子进程，耗尽系统进程数量）
4.6. 其他设置
（1）定期对宿主机系统及容器进行安全审计
（2）使用最少资源和最低权限运行容器，此为 Docker 容器安全的核心思想
（3）避免在同一宿主机上部署大量容器，维持在一个能够管理的数量
（4）监控 Docker 容器的使用，性能以及其他各项指标，比如 zabbix
（5）增加实时威胁检测和事件报警响应功能，比如 zabbix
（6）使用中心和远程日志收集服务，比如 ELK
由于安全属于非常具体的技术，这里不再赘述，可直接参阅 Docker 官方文档 https://docs.docker.com/engine/security/
容器相关的常用安全配置方法
容器最小化
如果仅在容器中运行必要的服务，像 SSH 等服务是不能轻易开启去连接容器的。通常使用以下方式来进入容器
docker exec -it a661258f6bfe bash
Docker 远程 API 访问控制
Docker 的远程调用API 接口存在未授权访问漏洞，至少应限制外网访问。建议使用 Socket 方式访问。
（1）在宿主机上监听内网 ip 和 docker daemon 的方式启动
方法一：
docker -d -H uninx:///var/run/docker.sock -H tcp://20.0.0.100:2375
方法二：
//在 docker 服务配置文件指定
vim /usr/lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://20.0.0.100:2375-----------------------------------------------------------------------
方法一：
docker -d -H uninx:///var/run/docker.sock -H tcp://20.0.0.100:2375
方法二：
//在 docker 服务配置文件指定
vim /usr/lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://20.0.0.100:2375-----------------------------------------------------------------------
重启 Docker
[root@docker01~]# systemctl daemon-reload
[root@docker01~]# systemctl restart docker
[root@docker01~]# netstat -natp | grep 2375
tcp 0020.0.0.100:23750.0.0.0:* LISTEN 43593/dockerd
在宿主机的 firewalld 上做 IP 访问控制，source address 指定的是客户端地址
[root@docker01~]# iptables -t filter -A INPUT -s 20.0.0.200-p tcp --dport 2375-j ACCEPT
[root@docker01~]# iptables -nL
Chain INPUT (policy ACCEPT)
target prot opt source destination
ACCEPT tcp --20.0.0.2000.0.0.0/0 tcp dpt:2375-----------------------------------------------------------------------
也可以使用此命令
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="20.0.0.200" port protocol="tcp" port="2375" accept"
firewall-cmd --reload
-----------------------------------------------------------------------
在客户端上实现远程授权访问
[root@localhost~]# docker -H tcp://20.0.0.100 images
REPOSITORY TAG IMAGE ID CREATED SIZE
nginx latest 448a08f1d2f9 6 days ago 142MB
限制流量流向
使用防火墙过滤器限制 Docker 容器的源 IP 地址范围与外界通讯
firewall-cmd --permanent --zone=public--add-rich-rule="rule family="ipv4" source address="192.168.229.0/24" reject"
生产环境中的大量问题是因为 Docker 容器端口外放引起的漏洞，除了操作系统账户权限控制上的问题，更在于对 Docker Daemon 的进程管理上存在隐患。
目前常用的 Docker 版本都支持 Docker Daemon 管理宿主机 iptables 的，而且一旦启动进程加上 -p host_port:guest_port 的端口映射，Docker Daemon 会直接增加对应的 FORWARD Chain 并且 -j ACCEPT，而默认的 DROP 规则是在 INPUT 链做的，对 docker 没法限制，这就留下了很严重的安全隐患。因此建议：
（1）不在有外网 ip 的机器上使用 Docker 服务。
（2）使用 k8s 等 docker 编排系统管理 Docker 容器。
（3）宿主机上 Docker daemon 启动命令加一个 --iptables=false，然后把常用 iptables 规则写进文件里，再用 iptables-restore 重定向输入去刷新规则。
镜像安全
一般情况下，要确保只从受信任的库中获取镜像，推荐使用 harbor 私有仓库。
如果公司使用的不是自己的镜像源，需要使用 Docker 镜像安全扫描工具 Clair，对下载的镜像进行检查。通过与通过与 CVE 数据库同步扫描镜像，验证镜像的 md5 等特征值，确认一致后再基于镜像进一步构建。一旦发现漏洞则通知用户处理， 或者直接阻止镜像继续构建
[root@docker01~]# md5sum /etc/passwd
d4841cb46c606ac5f509ecb7d611f64c /etc/passwd
[root@docker01~]# useradd zhangsan
[root@docker01~]# md5sum /etc/passwd
9f5d7142c3867f5d6032bd05c02fcbc2 /etc/passwd
[root@docker01~]# userdel zhangsan
[root@docker01~]# md5sum /etc/passwd
d4841cb46c606ac5f509ecb7d611f64c /etc/passwd
DockerClient 端与 DockerDaemon 的通信安全
为了防止链路劫持、会话劫持等问题导致 Docker 通信时被中间人攻击，c/s 两端应该通过 TLS 加密方式通讯。
通过在服务端上创建tls密钥证书，再下发给客户端，客户端通过私钥访问容器，这样就保证的docker通讯的安全性。
使用证书访问的工作流程：
（1）客户端发起请求，连接到服务器的进程端口。
（2）服务器必须要有一套数字证书（证书内容有公钥、证书颁发机构、失效日期等）。
（3）服务器将自己的数字证书发送给客户端（公钥在证书里面，私钥由服务器持有）。
（4）客户端收到数字证书之后，会验证证书的合法性。如果证书验证通过，就会生成一个随机的密钥对，用证书的公钥加密。
（5）客户端将公钥加密后的密钥发送到服务器。
（6）服务器接收到客户端发来的密文密钥之后，用自己之前保留的私钥对其进行非对称解密，解密之后就得到客户端的密钥，然后用客户端密钥对返回数据进行对称加密，这样传输的数据都是密文了。
（7）服务器将加密后的密文数据返回到客户端。
（8）客户端收到后，用自己的密钥对其进行对称解密，得到服务器返回的数据。
通过在服务端上创建tls密钥证书，再下发给客户端，客户端通过私钥访问容器，这样就保证的docker通讯的安全性。
首先创建ca证书，ca证书只是一个官方认证的证书，接下来要创建server、client节点的证书。
此时创建证书有三步：
（1）设置私钥，确保安全加密
（2）使用私钥签名，确保身份真实不可抵赖
（3）使用ca证书制作证书
安装docker-ce
docker-ce
机器标签ip地址需安装的服务master20.0.0.100docker-ceclient20.0.0.200docker-ce
之前安装的docker版本是20.10.9，go版本是 go1.16.8，这个新版本的go 不支持我们创建的证书，客户端不兼容，可安装老版本解决此问题
yum install -y docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce
具体安装步骤：
[root@docker01~]# yum install yum-utils device-mapper-persistent-data lvm2
## 安装依赖包
已加载插件：fastestmirror, langpacks
base |3.6 kB 00:00:00
docker-ce-stable |3.5 kB 00:00:00
docker-ce-stable/7/x86_64/primary_db |107 kB 00:00:00Loading mirror speeds from cached hostfile
* base: mirrors.bfsu.edu.cn
* extras: mirrors.bfsu.edu.cn
* updates: mirrors.bfsu.edu.cn
软件包 yum-utils-1.1.31-54.el7_8.noarch 已安装并且是最新版本
软件包 device-mapper-persistent-data-0.8.5-3.el7_9.2.x86_64 已安装并且是最新版本
软件包 7:lvm2-2.02.187-6.el7_9.5.x86_64 已安装并且是最新版本
无须任何处理
[root@docker01~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
## 设置阿里云源
已加载插件：fastestmirror, langpacks
adding repo from: https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
grabbing file https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo to/etc/yum.repos.d/docker-ce.repo
repo saved to/etc/yum.repos.d/docker-ce.repo
[root@docker01 yum.repos.d]# mv repo.bak/* ./
## 把本地源改为在线源
[root@docker01~]# cd /etc/yum.repos.d/[root@docker01 yum.repos.d]# ls
CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-Vault.repo
CentOS-CR.repo CentOS-fasttrack.repo CentOS-Sources.repo docker-ce.repo
[root@docker01 yum.repos.d]# sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
## 修改生成的.repo文件
[root@docker01 yum.repos.d]# yum makecache fast
## 更新缓存
已加载插件：fastestmirror, langpacks
base |3.6 kB 00:00:00
docker-ce-stable |3.5 kB 00:00:00
extras |2.9 kB 00:00:00
updates |2.9 kB 00:00:00Loading mirror speeds from cached hostfile
* base: mirrors.bfsu.edu.cn
* extras: mirrors.bfsu.edu.cn
* updates: mirrors.bfsu.edu.cn
元数据缓存已建立
[root@docker01 yum.repos.d]# yum install -y docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce
## 安装指定版本的docker-ce
已加载插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
[root@docker01 yum.repos.d]# docker version
Client:DockerEngine-CommunityVersion:20.10.5
API version:1.41Go version: go1.13.15Git commit:55c4c88
Built:TueMar220:33:552021
OS/Arch: linux/amd64
Context:defaultExperimental:trueCannot connect totheDocker daemon at unix:///var/run/docker.sock. Is the docker daemon running?[root@docker01 yum.repos.d]# systemctl status docker.service
● docker.service -DockerApplicationContainerEngineLoaded: loaded (/usr/lib/systemd/system/docker.service; disabled; vendor preset: disabled)Active: inactive (dead)[root@docker01 yum.repos.d]# systemctl start docker.service
[root@docker01 yum.repos.d]# systemctl status docker.service
● docker.service -DockerApplicationContainerEngineLoaded: loaded (/usr/lib/systemd/system/docker.service; disabled; vendor preset: disabled)Active: active (running) since 四 2021-10-2102:07:00 CST;28s ago
Docs: https://docs.docker.com
Main PID:4985(dockerd)Memory:34.5M
CGroup:/system.slice/docker.service
└─4985/usr/bin/dockerd -H fd://--containerd=/run/containerd/containerd.sock
首先创建一个存放目录
[root@docker01 yum.repos.d] cd
[root@docker01~]mkdir /tls
[root@docker01~]cd /tls/
生成ca证书
（1）创建ca私钥
[root@docker01 tls]openssl genrsa -aes256 -out ca-key.pem 4096
##输入密码123123
genrsa：使用RSA算法产生私钥
-aes256：使用256位密钥的AES算法对私钥进行加密，这样每次使用私钥文件都将输入密码，可省略
-out：输出文件的路径，若未指定输出文件，则为标准输出
4096：指定私钥长度，默认为1024。该项必须为命令行的最后一项参数
(2) 创建ca证书
[root@docker01 tls]openssl req -new-x509 -days 1000-key ca-key.pem -sha256 -subj "/CN=*"-out ca.pem
##输入密码123123
req：执行证书签发命令
-new：新证书签发请求
-x509：生成x509格式证书，专用于创建私有CA时使用
-days：证书的有效时长,单位是天
-key：指定私钥路径
-sha256：证书摘要采用sha256算法
-subj：证书相关的用户信息(subject的缩写)
-out：输出文件的路径
用ca证书签发server端证书
（3）创建服务器私钥
[root@docker01 tls] openssl genrsa -out server-key.pem 4096
（4）生成证书签名请求文件（csr文件）
[root@docker01 tls] openssl req -new-key server-key.pem -sha256 -subj "/CN=*"-out server.csr
（5）使用ca证书与私钥证书签发服务端签名证书，输入密码123123
[root@docker01 tls] openssl x509 -req -days 1000-sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial-out server-cert.pem
x509：生成x509格式证书
-req：输入csr文件
-in：要输入的csr文件
-CA：指定ca证书的路径
-CAkey：指定ca证书的私钥路径
-CAcreateserial：表示创建证书序列号文件，创建的序列号文件默认名称为ca.srl
用ca证证书签发client端证书
（6）生成客户端私钥
[root@docker01 tls] openssl genrsa -out client-key.pem 4096
（7）生成证书签名请求文件
[root@docker01 tls] openssl req -new-key client-key.pem -subj "/CN=client"-out client.csr
（8）创建扩展配置文件，使秘钥适合客户端身份验证
[root@docker01 tls] echo extendedKeyUsage=clientAuth > extfile.cnf
（9）使用ca证书签发客户端签名证书，输入密码123123
openssl x509 -req -days 1000-sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial-out client-cert.pem -extfile extfile.cnf
删除两个证书签名请求文件和扩展配置文件
[root@docker01 tls] rm -rf ca.srl client.csr extfile.cnf server.csr
配置docker服务配置文件
[root@docker01 tls] vim /lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/opt/tls/ca.pem --tlscert=/opt/tls/server-cert.pem --tlskey=/opt/tls/server-key.pem -H tcp://0.0.0.0:2376-H fd://.....
重启docker服务
[root@docker01 tls] systemctl daemon-reload
## 重载
[root@docker01 tls] systemctl restart docker
## 重启
[root@docker01 tls] netstat -natp | grep 2376
## 查看端口是否打开
[root@docker01 tls] setenforce 0
##关闭setenforce
将 /tls 目录中的 ca.pem、client-cert.pem、client-key.pem 三个文件复制到另一台主机(客户端)
[root@docker01 tls] scp ca.pem cert.pem key.pem [email protected]:/etc/docker/
修改服务端的主机名和 ip 映射
[root@docker01 tls] hostnamectl set-hostname master
[root@docker01 tls] su
[root@docker01 tls] vim /etc/hosts
## 添加映射ip及主机名
127.0.0.1 master
[root@docker01 tls] docker --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --tlskey=server-key.pem -H tcp://master:2376 images
## 本地验证
在客户端上操作
[root@docker01 tls] hostnamectl set-hostname client
[root@docker01 tls] su
[root@docker01 tls] vim /etc/hosts
## 添加映射ip及主机名
20.0.0.100 master
[root@docker01 tls] cd /etc/docker/[root@docker01 tls] docker --tlsverify --tlscacert=ca.pem --tlscert=client-cert.pem --tlskey=client-key.pem -H tcp://master:2376 images
避免Docker 容器中信息泄露
近几年 Github 上大量泄露个人或企业各种账号密码，出现这种问题一般都使用 dockerfile 或者 docker-compose 文件创建容器。 如果这些文件中存在账号密码等认证信息，一旦 Docker 容器对外开放，则这些宿主机上的敏感信息也会随之泄露。
因此可以通过以下方式检查容器创建模板的内容
# check created users
grep authorized_keys $dockerfile
# check OS users
grep "etc/group" $dockerfile
# Check sudo users
grep "etc/sudoers.d" $dockerfile
# Check ssh key pair
grep ".ssh/.*id_rsa" $dockerfile
版权归原作者 搬着砖，敲着代码 所有， 如有侵权，请联系我们删除。