0
0

Etcd教程 — 第四章 Etcd集群安全配置_etcd 集群配置

2.2 下载 cfssl

在

/usr/local/src

下载

cd /usr/local/src

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl_1.6.1_linux_amd64

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssljson_1.6.1_linux_amd64

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl-certinfo_1.6.1_linux_amd64

#拷贝文件到

/usr/local/bin/

目录下

cp cfssl_1.6.1_linux_amd64 /usr/local/bin/cfssl

cp cfssljson_1.6.1_linux_amd64 /usr/local/bin/cfssljson

cp cfssl-certinfo_1.6.1_linux_amd64 /usr/local/bin/cfssl-certinfo

2.3 赋予执行权限

chmod +x /usr/local/bin/cfssl*

2.4 查看安装结果

cfssl version

结果：

[root@etcd01 src]# cfssl version
Version: 1.6.1
Runtime: go1.12.12

3 TLS 加密实践

3.1 介绍

client certificate

： 用于服务端认证客户端,例如etcdctl、etcd proxy、fleetctl、docker客户端。

server certificate

: 服务端使用，客户端以此验证服务端身份,例如docker服务端、kube-apiserver。

peer certificate

: 双向证书，用于etcd集群成员间通信。

3.2 配置CA并创建TLS证书

仅需要在单个节点上生成相关证书即可，然后再把证书复制到其他节点上。

3.2.1 创建ca配置文件 (ca-config.json)
"ca-config.json"

：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；

"signing"

：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；

"server auth"

：表示client可以用该 CA 对server提供的证书进行验证；

"client auth"

：表示server可以用该CA对client提供的证书进行验证；

在 

/opt/cfssl/

下创建配置文件

vim ca-config.json

{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "etcd": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}
3.2.2 创建ca证书签名(ca-csr.json)

“CN”：Common Name，从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；
“O”：Organization，从证书中提取该字段作为请求用户所属的组 (Group)；
这两个参数在后面的kubernetes启用RBAC模式中很重要，因为需要设置kubelet、admin等角色权限，那么在配置证书的时候就必须配置对了，具体后面在部署kubernetes的时候会进行讲解。
“在etcd这两个参数没太大的重要意义，跟着配置就好。”

创建配置文件

vim ca-csr.json

{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "shanghai",
            "ST": "shanghai"
        }
    ]
}
3.2.3 生成ca证书和私钥
cfssl gencert -initca ca-csr.json | cfssljson -bare ca

ls
ca-config.json  ca-csr.json ca.csr ca.pem(ca公钥) ca-key.pem(ca私钥,妥善保管)

3.3 生成etcd server端证书

3.3.1 新建ca配置文件 (server-csr.json)

vim server-csr.json

{
    "CN": "etcd",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "hosts": [
    "192.168.1.221",
    "192.168.1.222",
    "192.168.1.223"
    ],
    "names": [
        {
            "C": "CN",
            "L": "shanghai",
            "ST": "shanghai"
        }
    ]
}
3.3.2 生成etcd server证书和私钥
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd server-csr.json | cfssljson -bare server

ls
ca-config.json  ca-csr.json  ca-key.pem  ca.csr  ca.pem  server-csr.json  server-key.pem  server.csr  server.pem

3.4 复制证书到另外两台主机

将证书放到其他节点的同个位置上。

4 Etcd集群加入TLS证书

4.1 Etcd集群各节点信息

在这里插入图片描述

4.2 Etcd集群各节点配置

编辑各节点上的配置文件

vim /etc/etcd/etcd.conf

加入TLS证书的配置

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"
4.2.1 节点1完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD\_NAME="etcd01"
 
#2.设置数据保存的目录
ETCD\_DATA\_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD\_LISTEN\_PEER\_URLS="http://192.168.1.221:2380"
 
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD\_INITIAL\_ADVERTISE\_PEER\_URLS="http://192.168.1.221:2380"

#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD\_LISTEN\_CLIENT\_URLS="http://192.168.1.221:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD\_ADVERTISE\_CLIENT\_URLS="http://192.168.1.221:2379"
 
#7.集群中所有节点的信息
ETCD\_INITIAL\_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token，这个值每个集群均相同
ETCD\_INITIAL\_CLUSTER\_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态，新建集群的时候，这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD\_INITIAL\_CLUSTER\_STATE="new"
 
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置 
ETCD\_ENABLE\_V2="true"

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"
4.2.2 节点2完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD\_NAME="etcd02"
 
#2.设置数据保存的目录
ETCD\_DATA\_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD\_LISTEN\_PEER\_URLS="http://192.168.1.222:2380"
 
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD\_INITIAL\_ADVERTISE\_PEER\_URLS="http://192.168.1.222:2380"

#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD\_LISTEN\_CLIENT\_URLS="http://192.168.1.222:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD\_ADVERTISE\_CLIENT\_URLS="http://192.168.1.222:2379"
 
#7.集群中所有节点的信息
ETCD\_INITIAL\_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token，这个值每个集群均相同
ETCD\_INITIAL\_CLUSTER\_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态，新建集群的时候，这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD\_INITIAL\_CLUSTER\_STATE="new"
 
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置 
ETCD\_ENABLE\_V2="true"

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"
4.2.3 节点3完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD\_NAME="etcd03"
 
#2.设置数据保存的目录
ETCD\_DATA\_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD\_LISTEN\_PEER\_URLS="http://192.168.1.223:2380"
 
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD\_INITIAL\_ADVERTISE\_PEER\_URLS="http://192.168.1.223:2380"

#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD\_LISTEN\_CLIENT\_URLS="http://192.168.1.223:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD\_ADVERTISE\_CLIENT\_URLS="http://192.168.1.223:2379"
 
#7.集群中所有节点的信息
ETCD\_INITIAL\_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token，这个值每个集群均相同
ETCD\_INITIAL\_CLUSTER\_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态，新建集群的时候，这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD\_INITIAL\_CLUSTER\_STATE="new"
 
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置 
ETCD\_ENABLE\_V2="true"

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"

4.3 清除旧数据

修改各节点

/etc/etcd/etcd.conf

文件后，要先删除/var/lib/etcd目录下保存的数据。

cd /var/lib/etcd && rm -rf *

**

注意

**：删除后需要加入权限，否则在启动时可能会失败，报错原因是没有权限

{“level”:“warn”,“ts”:1656209184.8809907,“caller”:“fileutil/fileutil.go:57”,“msg”:“check file permission”,“error”:“directory “/var/lib/etcd” exist, but the permission is “drwxr-xr-x”. The recommended permission is “-rwx------” to prevent possible unprivileged access to the data”}

chmod 700 /var/lib/etcd/ -R

4.4 启动/查看etcd服务

systemctl daemon-reload && systemctl enable etcd && systemctl start etcd && systemctl status etcd

启动结果：
在这里插入图片描述

4.5 停止/重启：

systemctl stop etcd
systemctl restart etcd

4.6 验证

通过三台服务器的控制台可以知道，集群已经成功建立，我们进行验证：

4.6.1 命令中不加入证书配置

查看集群健康状态：

etcdctl endpoint health

显示结果：

127.0.0.1:2379 is healthy: successfully committed proposal: took = 18.521778ms

查看集群成员：

etcdctl member list

显示结果：

3f165fc003d39e4, started, etcd02, http://192.168.1.222:2380, http://192.168.1.222:2379, false
5d2b35506710acb7, started, etcd03, http://192.168.1.223:2380, http://192.168.1.223:2379, false
803d149841581109, started, etcd01, http://192.168.1.221:2380, http://192.168.1.221:2379, false

写操作：

[root@etcd01 etcd]# etcdctl put hello world
OK

读操作：

[root@etcd01 etcd]# etcdctl get hello
hello
world

本节点上进行的写操作，也能在其他节点上使用读操作查看到写入的信息。

4.6.2 命令中加入证书配置【待定】

查看集群健康状态：

etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379"  endpoint health

# 会报错，暂未找到解决办法，可能目前的版本再查看集群健康状态时不需要加入证书配置【个人观点】：
{"level":"warn","ts":"2022-06-26T19:41:35.534+0800","logger":"client","caller":"v3/retry\_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002db340/192.168.1.222:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
{"level":"warn","ts":"2022-06-26T19:41:35.534+0800","logger":"client","caller":"v3/retry\_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002dafc0/192.168.1.223:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
标签： etcd 安全 数据库
本文转载自: https://blog.csdn.net/zgsdhfsgh/article/details/141928166
版权归原作者 zgsdhfsgh 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Etcd教程 — 第四章 Etcd集群安全配置_etcd 集群配置”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

安全见闻（6）

Linux 中文件的权限说明

使用postman 批量请求一个接口或者多个接口,可以传入不同的参数

Unity3D入门(三) : Android和Unity3D交互 - Android调用Unity

Kafka介绍

Tauri（一）——更适合 Web 开发人员的桌面应用开发解决方案 ✅

SMOTE算法进行过采样

文章导航