calico网络通信解析

发表于 分类于 阅读次数： 本文字数： 3.8k 阅读时长 ≈ 3 分钟

Calico 网络通信解析

在 Kubernetes 集群中，Calico 区别于 Flannel 的最显著特征，就是其宣称可以不借助隧道技术，是建立在纯三层协议上的解决方案。也就是说，Calico 通过建立一些路由信息，就构建了单节点/多节点网络命名空间隔离下的通信网络。

容器网络与主机网络

容器隔离是建立 Docker 容器的基本要素。其中网络命名空间隔离，从逻辑上将容器和宿主机的网络进行分割。宿主机与容器的网络包互不干扰，互不可达。如果物理主机只有一张网卡eth0(与公网互联)，在未做配置的情况下，网卡留在宿主机网络命名空间下，宿主机可访问公网，而容器的网络包悉数显示为“网络不可达”；而如果物理上是两张网卡 eth0, eth1，分别将两张网卡提供给宿主机和容器，则两者可分别访问公网，互不干扰。

此处所描述的物理主机不算是真正物理意义上的主机，而是一个直接运行操作系统的机器。即XEN/KVM虚拟出来的机器也算物理主机(确实不够严谨:)，下同

1
2
3
4
5
6
7
8
9
10
11
+-----------------------+
| +-------------------+ |
| |    Host Network   #=[] eth0  <---------+
| +-------------------+ |                  |
|                       |                  +----> Internet
| +-------------------+ |                  |
| | Container Network #=[] eth1  <---------+
| +-------------------+ |
|                       |
|     Physical Host     |
+-----------------------+

在物理主机上安排这么多网卡不太现实，一般性的解决方案都是打通容器与宿主机之间的网络，让宿主机承担路由器的作用，借此实现容器在多节点集群内的通信。

Calico 支持下的容器网络，容器会被添加上一个 veth-pair (虚拟以太网设备)。veth-pair 都是成对出现，可以理解成一根逻辑上的网线，一端连接容器，一端与宿主机连通。

1
2
3
4
5
6
7
8
9
10
11
12
13
+-----------------------+
| +-------------------+ |
| |    Host Network   #=[] eth0  <-------------> Internet
| +--------[]---------+ |               
|          || cali.xyz  |
|          ||           |                 
|     eth0 ||           |
| +--------[]---------+ |                 
| | Container Network | | 
| +-------------------+ |
|                       |
|     Physical Host     |
+-----------------------+

宿主机侧的 veth 被命名成了 cali96417d7dcac ，容器侧的 veth 被重命名成 eth0 。容器侧的网络包又将如何发送到宿主机呢？默认路由规则将容器内发起的 IP 数据报导向网关 169.254.1.1 。那么 169.254.1.1 是哪台机器呢？整个 Kubernetes 集群中都是找不到 169.254.1.1 这个 IP 。

事实上，无需关注 IP 169.254.1.1 ，这就是一个莫须有的私网 IP ，仅仅是为了给 eth0 –> cali.xyz 建立路由关系。IP 报文装填上源 IP 地址和目的 IP 地址之后，交由二层协议继续装填上源 MAC 和目的 MAC 。重新整理下目标，网络包需要从容器的 eth0 发送到宿主机的 cali.xyz 。由于三层路由表明下一跳是 169.254.1.1 ，而目标是给二层协议的目的 MAC 装上 cali.xyz 的 MAC 地址。如何实现 IP -> MAC 解析呢？ARP 协议专业做这件事，唯一的问题是 cali.xyz 的 IP 不是 169.254.1.1 ，不过没关系，配置上 proxy_arp 就可以让 cali.xyz 不关心 ARP 请求的 who-is 169.254.1.1，对任何 ARP 请求都直接响应自己的 MAC 地址 ee:ee:ee:ee:ee:ee。至于所有 cali* 网卡的 MAC 地址都是 ee:ee:ee:ee:ee:ee 潜在的冲突问题？其实根本不存在，网络包到达宿主机后，该目的 MAC 地址即被卸下，准备装填一个新的下一跳继续转发。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 宿主机侧网卡 cali.xyz 
$ ip addr
14: cali96417d7dcac@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet6 fe80::ecee:eeff:feee:eeee/64 scope link
       valid_lft forever preferred_lft forever
# 宿主机侧网卡 cali.xyz 配置
$ cat /proc/sys/net/ipv4/conf/cali96417d7dcac/proxy_arp
1

# 容器侧网卡 eth0
$ ip addr
eth0@if14: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
    link/ether 8e:f0:89:10:19:9e brd ff:ff:ff:ff:ff:ff
    inet 172.20.250.3/32 scope global eth0
       valid_lft forever preferred_lft forever

# 容器侧路由
$ ip route 
default via 169.254.1.1 dev eth0
169.254.1.1 dev eth0 scope link

容器间通信

虽然容器侧发送的网络包已经达到了宿主机，但容器与容器通信尚未完成？继续跟踪达到宿主机的网络包。容器 A 向容器 B 发出的网络包已经到达了宿主机，因为未达到目的地，还需要寻找下一跳。还是走三层路由协议，宿主机侧有关于该物理主机上所有容器的路由信息，其中一条 172.20.251.4 dev calib7124528292 scope link 为这个网络包指明了下一跳的方向，走 calib7124528292 网卡，具体的二层封包 MAC 地址已经被 Calico 永久写了一条邻接条目。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# 容器 B 侧网卡 eth0
$ ip addr
eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
    link/ether 5e:83:d9:f7:e1:aa brd ff:ff:ff:ff:ff:ff
    inet 172.20.250.4/32 scope global eth0
       valid_lft forever preferred_lft forever

# 宿主机侧路由信息 & 邻接条目
$ ip route
172.20.250.4 dev cali6a4afa28fb1 scope link
$ ip neigh
172.20.250.4 dev cali6a4afa28fb1 lladdr 5e:83:d9:f7:e1:aa PERMANENT
+-----------------------+
| +-------------------+ |                 
| | Container Network | | 
| |       ( B )       | |
| |    172.20.250.4   | |
| +--------[]---------+ |
|     eth0 ||           |
|          ||           |
|          || cali.uvw  |
| +--------[]---------+ |
| |    Host Network   #=[] eth0  <-------------> Internet
| +--------[]---------+ |               
|          || cali.xyz  |
|          ||           |                 
|     eth0 ||           |
| +--------[]---------+ |                 
| | Container Network | | 
| |       ( A )       | |
| |    172.20.250.3   | |
| +-------------------+ |
|                       |
|     Physical Host     |
+-----------------------+

跨物理主机容器间通信

跨物理主机的容器间通信与同一主机下的容器间通信并不大的区别。需要关注的就是物理主机间关于容器路由记录的同步。Calico 一般是将 Pod CIDR 划分成若干段，每台物理主机持有一个 IP 段。需要跨主机的网络包，根据目的 IP 先被被宿主机侧的路由信息路由到另一个物理主机上的宿主机，然后是宿主机将网络包路由到目的容器。

1
2
3
172.20.24.0/23 via 172.16.254.113 dev em1 proto bird
172.20.112.0/23 via 172.16.254.115 dev em1 proto bird
172.20.148.0/23 via 172.16.254.112 dev em1 proto bird

我这里为每个物理主机划分了 /23 子网段。

虽然目前看到的都是三层路由下的网络通信，但 Calico 也还是支持 IPIP 和 VXLAN 这样的 Overlay 模式的。