一、简介

成都创新互联一直在为企业提供服务，多年的磨炼，使我们在创意设计，全网营销推广到技术研发拥有了开发经验。我们擅长倾听企业需求，挖掘用户对产品需求服务价值，为企业制作有用的创意设计体验。核心团队拥有超过十年以上行业经验，涵盖创意，策化，开发等专业领域，公司涉及领域有基础互联网服务西部信息服务器托管、App定制开发、手机移动建站、网页设计、网络整合营销。

Calico是一个纯三层的协议，为OpenStack虚机和Docker容器提供多主机间通信。Calico不使用重叠网络比如flannel和libnetwork重叠网络驱动，它是一个纯三层的方法，使用虚拟路由代替虚拟交换，每一台虚拟路由通过BGP协议传播可达信息（路由）到剩余数据中心。

 为什么Calico网络选择BGP？

  参考地址：https://blog.51cto.com/weidawei/2152319

我们在Calico网络中使用BGP去宣告数据终端（end points）路由是因为如下原因：

（1）BGP是一种简单的路由协议

（2）拥有当前行业的最佳实践

（3）唯一能够支撑Calico网络规模的协议

1、原理

如下图所示，描述了从源容器经过源宿主机，经过数据中心的路由，然后到达目的宿主机最后分配到目的容器的过程。

整个过程中始终都是根据iptables规则进行路由转发，并没有进行封包，解包的过程，这和flannel相比效率就会快多了。

2、框架

calico包括如下重要组件：Felix，etcd，BGP Client，BGP Route Reflector。下面分别说明一下这些组件。

（1）Felix：主要负责路由配置以及ACLS规则的配置以及下发，它存在在每个node节点上。

（2）etcd：分布式键值存储，主要负责网络元数据一致性，确保Calico网络状态的准确性，可以与kubernetes共用；

（3）BGP Client(BIRD), 主要负责把 Felix写入 kernel的路由信息分发到当前 Calico网络，确保 workload间的通信的有效性；

（4）BGPRoute Reflector(BIRD), 大规模部署时使用，摒弃所有节点互联的mesh模式，通过一个或者多个 BGPRoute Reflector 来完成集中式的路由分发；

二、服务搭建

1、环境准备

1）系统环境

主机名	系统	宿主IP	服务
master01	CentOS7.4	172.169.18.210	docker1.13.1 etcd3.2.22 calico2.6.10
node01	CentOS7.4	172.169.18.162	docker1.13.1 etcd3.2.22 calico2.6.10
node02	CentOS7.4	172.169.18.180	docker1.13.1 etcd3.2.22 calico2.6.10

2）暂时关闭防火墙和selinux服务

3）配置hosts,添加如下

# vim /etc/hosts

172.169.18.210 master01

172.169.18.162 node01

172.169.18.180 node02

2、安装docker服务（三个节点）

1）yum安装docker1.13版本

# yum install docker -y

2）修改默认docker0的网卡信息

# vim /etc/docker/daemon.json

#追加如下参数

"bip":"172.169.10.1/24"

其他节点：

node01网络地址：172.169.20.1/24

node01网络地址：172.169.30.1/24

重启docker服务

3、安装etcd服务（在三个节点机上都要安装etcd，构成etcd集群环境）

1）yum安装etcd3.2.22版本

# yum install etcd -y

2）修改etcd配置文件

# vim /etc/etcd/etcd.conf

#maser01节点

ETCD_DATA_DIR="/var/lib/etcd/"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"

ETCD_NAME="master01"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

#node01节点

ETCD_DATA_DIR="/var/lib/etcd"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"

ETCD_NAME="node01"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

#node02

ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"

ETCD_NAME="node02"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

按如上配置分别启动集群，启动集群后，将会进入集群选举状态，若出现大量超时，则需要检查主机的防火墙是否关闭，或主机之间是否能通过2380端口通信，集群建立后通过以下命令检查集群状态。

3）在任意节点查看集群状态

# etcdctl member list

当关闭master01节点后，选举自动切换到node02上

4）检查集群健康状态（在三个节点中的任意一个上面都可以查看）

# etcdctl cluster-health

到此，etcd集群搭建完毕！！！

4、搭建Calico服务（docker集合采用2.6版本）

备注：新老版本的执行命令有所差异，注意了！！！

Calico实现了一个Docker网络插件，可用于为Docker容器提供路由和高级网络策略。

calico地址：https://github.com/projectcalico/calicoctl/tags

1）下载

# wget -O  /usr/local/bin/calicoctlhttps://github.com/projectcalico/calicoctl/releases/download/v1.6.4/calicoctl

# chmod +x /usr/local/bin/calicoctl

2）配置calicoctl - etcdv2数据存储区

官方配置地址：https://docs.projectcalico.org/v2.6/reference/calicoctl/setup/etcdv2

# mkdir -p /etc/calico

# vim /etc/calico/calicoctl.cfg

# cat /etc/calico/calicoctl.cfg

apiVersion: v1

kind: calicoApiConfig

metadata:

spec:

 datastoreType: "etcdv2"

 etcdEndpoints: http://172.169.18.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379

3)帮助信息

# calicoctl -help

启动Calico服务

在Docker环境中Calico服务是做为容器来运行的，使用host的网络配置。所有容器配置使用Calico服务，做为calico节点互相通信。

Calico在每个主机上通过一个自己的container与其他主机或者网络通讯，即calico-node的container，这个container里面包含了Bird路由管理、Felix协议等。

4）在三个节点上都要下载calico的node镜像

（可以先在一个节点上下载镜像，然后将镜像通过docker save导出保存到本地，再将镜像拷贝到其他节点上通过docker load导入，这样对于其他节点来说，比使用docker pull要快）

[root@master01 ~]# docker pull calico/node:v2.6.10

[root@master01 ~]# docker pull calico/node-libnetwork

5.1）启动三个节点的node服务（方法一）

#master01节点（指定版本--node-image=calico/node:v2.6.10）

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.210

#node01

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.162

#node02

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.180

5.2）启动三个节点的node服务（方法二）

#创建system service文件

# EnvironmentFile：ExecStart中大量引用的环境变量，在/etc/calico/calico.env文件中设置；

# ExecStartPre操作：如果环境中存在calico-node服务，删除；

# ExecStart操作：”--net”设置网络参数；“--privileged”以特权模式运行；‘“--nam”设置容器名；“calico/node:v2.6.10”指定镜像，这里默认是“quay.io/calico/node:v2.6.10”；

# ExecStop操作：停止容器；

# -v /var/run/docker.sock:/var/run/docker.sock：此映射关系在官方文档中未给出；

# 会导致在创建容器时报错“docker: Error response from daemon: failed to create endpoint test1 on network net1: NetworkDriver.CreateEndpoint: Network 44322b3b9b8c5eface703e1dbeb7e3755f47ede1761a72ea4cb7cec6d31ad2e5 inspection error: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?.”；

# 即在calico类型的网络上不能创建容器，因为无法调用docker服务的sock，需要指明calico服务调用docker sock的路径，请见：https://github.com/projectcalico/calico/issues/1303

# vim /usr/lib/systemd/system/calico.service

[Unit]

Description=calico-node

After=docker.service

Requires=docker.service

[Service]

EnvironmentFile=/etc/calico/calico.env

ExecStartPre=-/usr/bin/docker rm -f calico-node

ExecStart=/usr/bin/docker run --net=host --privileged \

--name=calico-node \

-e NODENAME=${CALICO_NODENAME} \

-e IP=${CALICO_IP} \

-e IP6=${CALICO_IP6} \

-e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \

-e AS=${CALICO_AS} \

-e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \

-e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \

-e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \

-e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \

-e ETCD_CERT_FILE=${ETCD_CERT_FILE} \

-e ETCD_KEY_FILE=${ETCD_KEY_FILE} \

-v /var/log/calico:/var/log/calico \

-v /run/docker/plugins:/run/docker/plugins \

-v /var/run/docker.sock:/var/run/docker.sock \

-v /lib/modules:/lib/modules \

-v /var/run/calico:/var/run/calico \

calico/node:v2.6.10

ExecStop=-/usr/bin/docker stop calico-node

Restart=on-failure

StartLimitBurst=3

StartLimitInterval=60s

[Install]

WantedBy=multi-user.target

#calico.env变量文件

# vim /etc/calico/calico.env

ETCD_ENDPOINTS=http://172.169.128.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379

# 启用ssl/tls时，认证相关文件位置

ETCD_CA_FILE=""

ETCD_CERT_FILE=""

ETCD_KEY_FILE=""

# 留空时默认采用主机hostname作为辨识，所以留空时请确保主机名唯一

CALICO_NODENAME=""

CALICO_NO_DEFAULT_POOLS=""

# 设置路由下一跳，留空时从主机当前端口中自动选择，有参数”autodetect”强制每次启动时间自动检测

CALICO_IP="172.169.18.210"

CALICO_IP6=""

# as number，默认从全局默认设置继承

CALICO_AS=""

# 启用libnetwork drive

CALICO_LIBNETWORK_ENABLED=true

# 路由协议，可选”bird”，“gobgp”，“none”，默认即”bird”， “gobgp”无ipip模式

CALICO_NETWORKING_BACKEND=bird

#启动服务

# systemctl daemon-reload

# systemctl enable calico

# systemctl restart calico

# systemctl status calico

6)查看状态

可以在三个节点上查看calico-node启动情况

# docker ps -a

# ps -ef | grep calico

查看节点状态信息（在三个节点上都可以查看）

# calicoctl node status

5、使用calicoctl创建ipPool

   官方参考地址:https://docs.projectcalico.org/v2.6/reference/calicoctl/resources/ippool

在启动别的容器之前，我们需要配置一个IP地址池带有ipip和nat-outgoing选项。所以带有有效配置的容器就可以访问互联网，在每个节点上运行下面的命令：

先查看calico的ip池（任意一个节点上都能查看）

# calicoctl get ipPool -o wide

参数解释：

# 运行calico服务后，默认含1个192.168.0.0/16的ipv4地址池，1个64位的ipv6的地址池，后续网络分配即地址池获取；

# NAT：容器获得的地址是否可nat出host；

# IPIP：ipip是在宿主机网络不完全支持bgp时，一种妥协的overlay机制，在宿主机创建1个”tunl0”虚拟端口；设置为false时，路由即纯bgp模式，理论上ipip模式的网络传输性能低于纯bgp模式；设置为true时，又分ipip always模式（纯ipip模式）与ipip cross-subnet模式（ipip-bgp混合模式），后者指“同子网内路由采用bgp，跨子网路由采用ipip”

1）在任意节点上定义都可以，ipPool属于全局；

[root@master01 ~]# vim new-pool-1.yaml

apiVersion: v1

kind: ipPool

metadata:

cidr: 172.169.10.0/24

spec:

ipip:

enabled: true

mode: cross-subnet

nat-outgoing: true

disabled: false

2）#创建

# calicoctl create -f new-pool-1.yaml

同理继续把后面两个节点的网段添加完成即可，如下如

3）删除默认的ip地址池

# calicoctl delete ipPool 192.168.0.0/16

查看docker三个节点网络

4）容器网络配置

#修改docker配置文件（三节点修改）

# vim /usr/lib/systemd/system/docker.service

添加如下参数：

-H unix:///var/run/docker.sock -H 0.0.0.0:2375 --cluster-store etcd://172.169.18.210:2379,172.169.18.162:2379,172.169.18.180:2379 \

重启服务

# systemctl daemon-reload

# systemctl restart docker

#创建network（任意一个节点创建即可）

# docker network create --driver calico --ipam-driver calico-ipam net1

# docker network ls

5）创建容器测试

docker run --name web1 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init

（1）#查看容器信息

# docker inspect web1

（2）网络节点变化

（3）host节点routing table

# ip route show

（4）容器routing table

# 容器网关“169.254.1.1”是1个预留本地ip地址，通过cali0端口发送到网关；

# calico为简化网络配置,将容器的网关设置为1个固定的本地保留地址，容器内路由规则都是一样的，不需要动态更新；

# 确定下一跳后，容器会查询下一跳”169.254.1.1”的mac地址

# docker exec web1 ip route show

# docker exec web1 ping 114.114.114.114

通过”ip neigh show”可查询arp表（需要触发），这里查询到”169.254.1.1”的mac地址是”7a:b2:59:f7:0c:91”，仔细观察会发现此mac地址即host节点网卡”calic255b5bfca1”的mac地址

# docker exec web1 ip neigh show

host节点对应容器的网卡并没有配置ip地址，无论容器发出的arp的请求地址是什么，其直接以自己的mac地址响应即”arp proxy”；

# 容器的后续报文目的IP不变，但mac地址变成了宿主机上对应interface的地址，即所有的报文都会发给宿主机，然后宿主机根据ip地址进行转发，此feature是calico默认开启的，可通过如下方式确认：

# cat /proc/sys/net/ipv4/conf/cali7d1d9f06ed8/proxy_arp

（5）在node02节点创建一个容器web2

# docker run --name web2 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init

# docker exec -ti web2 /bin/bash

即可

补充知识点：

	Flannel	Calico
overlay方案	1. udp 2.vxlan	ipip，宿主机网络不能完全支持bgp时，可采用ipip模式
host-gw方案	host-gw，要求宿主机在相同subnet	bgp
网络策略	不支持	支持
ipam	不支持去中心化ipam	不支持去中心化ipam
性能	理论值： 1. host-gw模式的性能优于overlay模式，甚至接近于宿主机直接通信； 2. flannel host-gw模式与calico bgp模式相当； 3. flannel overlay模式与calico ipip模式相当或略差，ipip包头较vxlan小； 4. flannel udp 模式相对最差，udp封装方式在linux用户态，vxlan与ipip封装在linux内核态完成（ipip安全性不如vxlan）。

分享题目：基于calico网络策略
分享URL：http://ybzwz.com/article/pgspgc.html