Consul集群-服务自动发现实践

发表于 更新于 阅读次数： 阅读次数：

目标

consul集群服务+consul-template+nginx实现nginx反向代理地址的自动更新

  • consul：自动发现、自动更新，为容器提供服务（添加、删除、生命周期)
  • registrator（自动发现+注册到consul-server端）
  • consul-template模板（更新）

核心机制: 后端每更新一个容器，会向registrator进行注册，控制consul完成更新操作，consul会触发consul-template模板进行热更新(reload)

启动Consul集群

启动4个consul，其中consul1 是主节点，consul2、consul3 是子节点。consul4是提供ui服务的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
version: '3.5'
services:
  consul1:
    image: consul:latest
    container_name: consul1
    restart: always
    command: agent -server -client=0.0.0.0 -bootstrap-expect=3 -node=consul1
    volumes:
      - ./consul1/data:/consul/data
      - ./consul1/config:/consul/config
  consul2:
    image: consul:latest
    container_name: consul2
    restart: always
    command: agent -server -client=0.0.0.0 -retry-join=consul1 -node=consul2
    volumes:
      - ./consul2/data:/consul/data
      - ./consul2/config:/consul/config
  consul3:
    image: consul:latest
    container_name: consul3
    restart: always
    command: agent -server -client=0.0.0.0 -retry-join=consul1 -node=consul3
    volumes:
      - ./consul3/data:/consul/data
      - ./consul3/config:/consul/config
  consul4:
    image: consul:latest
    container_name: consul4
    restart: always
    ports:
      - 8500:8500
    command: agent -client=0.0.0.0 -retry-join=consul1 -ui -node=client1
    volumes:
      - ./consul4/data:/consul/data
      - ./consul4/config:/consul/config

EVl7kb

  • -server：表示当前使用的server模式；如果没有指定，则表示是client模式。
  • -node：指定当前节点在集群中的名称。
  • -config-dir：指定配置文件路径，定义服务的；路径下面的所有.json结尾的文件都被访问；缺省值为：/consul/config。
  • -data-dir： consul存储数据的目录；缺省值为：/consul/data。
  • -datacenter：数据中心名称，缺省值为dc1。
  • -ui：使用consul自带的web UI界面 。
  • -join：加入到已有的集群中。
  • -enable-script-checks： 检查服务是否处于活动状态，类似开启心跳。
  • -bind： 绑定服务器的ip地址。
  • -client： 客户端可访问ip，缺省值为：“127.0.0.1”，即仅允许环回连接。
  • -bootstrap-expect：在一个datacenter中期望的server节点数目，consul启动时会一直等待直到达到这个数目的server才会引导整个集群。这个参数的值在同一个datacenter的所有server节点上必须保持一致。

consul 端口

端口 说明
TCP/8300 8300端口用于服务器节点。客户端通过该端口RPC协议调用服务端节点
TCP/UDP/8301 8301端口用于单个数据中心所有节点之间的互相通信, 即对LAN池信息的同步。她使得整个数据中心能够自动发现服务器地址，分布式检测节点故障，事件广播（如领导选举事件）
TCP/UDP/8302 8302端口用于单个或多个数据中心之间的服务器节点的信息同步，即对WAN池信息的同步。它针对互联网的高延迟进行了优化，能够实现跨数据中心请求
8500 8500端口基于HTTP协议，用于API接口或者WEB UI访问
8600 8600端口作为DNS服务器，它使得我们可以通过节点名查询节点信息

通过http api 获取集群信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# 查看集群server成员
[root@localhost consul]# curl 127.0.0.1:8500/v1/status/peers
[
"172.23.0.5:8300",
"172.23.0.3:8300",
"172.23.0.4:8300"
]

# 查看集群Raf leader
[root@localhost consul]# curl 127.0.0.1:8500/v1/status/leader
"172.23.0.4:8300"

# 查看注册的所有服务
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/services
{"consul":[]}

 # 查看nginx服务的信息
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/nginx

# 集群节点详细信息
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/nodes
[{"ID":"dc6703d1-2324-c388-d5bc-226d7d79e733","Node":"client1","Address":"172.23.0.2","Datacenter":"dc1","TaggedAddresses":{"lan":"172.23.0.2","lan_ipv4":"172.23.0.2","wan":"172.23.0.2","wan_ipv4":"172.23.0.2"},"Meta":{"consul-network-segment":""},"CreateIndex":8,"ModifyIndex":11},{"ID":"f328a0ce-ba8b-b270-f2f0-850f2f762334","Node":"consul1","Address":"172.23.0.4","Datacenter":"dc1","TaggedAddresses":{"lan":"172.23.0.4","lan_ipv4":"172.23.0.4","wan":"172.23.0.4","wan_ipv4":"172.23.0.4"},"Meta":{"consul-network-segment":""},"CreateIndex":5,"ModifyIndex":10},{"ID":"324bef0c-fa7e-ae47-3bcc-6f06e45f8e4b","Node":"consul2","Address":"172.23.0.5","Datacenter":"dc1","TaggedAddresses":{"lan":"172.23.0.5","lan_ipv4":"172.23.0.5","wan":"172.23.0.5","wan_ipv4":"172.23.0.5"},"Meta":{"consul-network-segment":""},"CreateIndex":7,"ModifyIndex":13},{"ID":"d59cbbc9-d1b9-da27-5c9b-3e35eabae824","Node":"consul3","Address":"172.23.0.3","Datacenter":"dc1","TaggedAddresses":{"lan":"172.23.0.3","lan_ipv4":"172.23.0.3","wan":"172.23.0.3","wan_ipv4":"172.23.0.3"},"Meta":{"consul-network-segment":""},"CreateIndex":9,"ModifyIndex":12}]

部署registrator

1
2
3
4
5
6
7
8
9
10
version: "3.5"
services:
  registrator:
    image: gliderlabs/registrator:latest
    container_name: registrator
    restart: always
    network_mode: host
    volumes:
    - "/var/run/docker.sock:/tmp/docker.sock"
    command: consul://10.8.99.45:8500

consul-template自动加入nginx集群

1
2
3
4
5
cd /opt/
wget  https://releases.hashicorp.com/consul-template/0.26.0/consul-template_0.26.0_linux_amd64.zip

# 解压到指定目录，推荐/usr/bin/目录下，可以直接使用
tar -xf consul-template_0.26.0_linux_amd64.zip -C /usr/bin/

配置模板文件

vim /data/template/nginx.ctmpl

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
upstream http_backend {         
 {{range service "nginx"}}
 server {{.Address}}:{{.Port}}; 
 {{end}}
}

server {
 listen 1216;                                   ##监听consul的端口，这是代理端口，consul是作为一个代理服务，访问后端的容器服务
 server_name localhost 10.8.99.45;               ##监听本地地址，监听代理端的地址
 access_log /var/log/nginx/access.log;          ##nginx日志目录，如果是编译安装的nginx需要自行创建
 index index.html index.php;
 location / {                                   ##反向代理的信息，代理的头部信息
    proxy_set_header HOST $host;                                
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;             ##跳转到服务器池的地址和端口
 }
}

安装nginx

1
yum install -y nignx
1
2
3
4
cat /etc/nginx/nginx.conf
...
include /etc/nginx/conf.d/*.conf;
...

启动consul-template,指定template模板文件及生成路径

1
2
3
# 进入监控状态
[root@localhost ~]# consul-template -consul-addr 10.8.99.45:8500  -template \ "/data/template/nginx.ctmpl:/etc/nginx/conf.d/app.conf:nginx -s reload" \
--log-level=info
  • /data/template/nginx.ctmpl 模板文件
  • /etc/nginx/conf.d/app.conf 生成的配置文件
  • nginx -s reload，重载服务
  • -log-level=info，指定日志级别

查看生成后的文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
cat /etc/nginx/conf.d/app.conf

upstream http_backend {

   server 10.8.99.45:81;

   server 10.8.99.45:82;

   server 10.8.99.45:83;

   server 10.8.99.45:84;

}
server {
 listen 1216;
 server_name localhost 10.0.0.14;
 access_log /var/log/nginx/access.log;
 index index.html index.php;
 location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
 }
}

由此完成通过consul的实时新增删除服务，然后compose-template可以实现动态增加服务节点到nginx代理的配置文件，这样就形成了服务的自动化增减