Flannel是CoreOS團(tuán)隊(duì)針對Kubernetes設(shè)計的一個網(wǎng)絡(luò)規(guī)劃服務(wù)，簡單來說，它的功能是讓集群中的不同節(jié)點(diǎn)主機(jī)創(chuàng)建的Docker容器都具有全集群唯一的虛擬IP地址。 

在Kubernetes的網(wǎng)絡(luò)模型中，假設(shè)了每個物理節(jié)點(diǎn)應(yīng)該具備一段“屬于同一個內(nèi)網(wǎng)IP段內(nèi)”的“專用的子網(wǎng)IP”。例如： 

節(jié)點(diǎn)A：10.0.1.0/24  節(jié)點(diǎn)B：10.0.2.0/24  節(jié)點(diǎn)C：10.0.3.0/24  

但在默認(rèn)的Docker配置中，每個節(jié)點(diǎn)上的Docker服務(wù)會分別負(fù)責(zé)所在節(jié)點(diǎn)容器的IP分配。這樣導(dǎo)致的一個問題是，不同節(jié)點(diǎn)上容器可能獲得相同的內(nèi)外IP地址。并使這些容器之間能夠之間通過IP地址相互找到，也就是相互ping通。 
Flannel的設(shè)計目的就是為集群中的所有節(jié)點(diǎn)重新規(guī)劃IP地址的使用規(guī)則，從而使得不同節(jié)點(diǎn)上的容器能夠獲得“同屬一個內(nèi)網(wǎng)”且”不重復(fù)的”IP地址，并讓屬于不同節(jié)點(diǎn)上的容器能夠直接通過內(nèi)網(wǎng)IP通信。 

2Flannel的工作原理

Flannel實(shí)質(zhì)上是一種“覆蓋網(wǎng)絡(luò)(overlay network)”，也就是將TCP數(shù)據(jù)包裝在另一種網(wǎng)絡(luò)包里面進(jìn)行路由轉(zhuǎn)發(fā)和通信，目前已經(jīng)支持UDP、VxLAN、AWS VPC和GCE路由等數(shù)據(jù)轉(zhuǎn)發(fā)方式。 

默認(rèn)的節(jié)點(diǎn)間數(shù)據(jù)通信方式是UDP轉(zhuǎn)發(fā)，在Flannel的GitHub頁面有如下的一張原理圖： 

這張圖的信息量很全，下面簡單的解讀一下。 
數(shù)據(jù)從源容器中發(fā)出后，經(jīng)由所在主機(jī)的docker0虛擬網(wǎng)卡轉(zhuǎn)發(fā)到flannel0虛擬網(wǎng)卡，這是個P2P的虛擬網(wǎng)卡，flanneld服務(wù)監(jiān)聽在網(wǎng)卡的另外一端。 
Flannel通過Etcd服務(wù)維護(hù)了一張節(jié)點(diǎn)間的路由表，在稍后的配置部分我們會介紹其中的內(nèi)容。 
源主機(jī)的flanneld服務(wù)將原本的數(shù)據(jù)內(nèi)容UDP封裝后根據(jù)自己的路由表投遞給目的節(jié)點(diǎn)的flanneld服務(wù)，數(shù)據(jù)到達(dá)以后被解包，然后直 接進(jìn)入目的節(jié)點(diǎn)的flannel0虛擬網(wǎng)卡，然后被轉(zhuǎn)發(fā)到目的主機(jī)的docker0虛擬網(wǎng)卡，最后就像本機(jī)容器通信一下的有docker0路由到達(dá)目標(biāo)容器。 
這樣整個數(shù)據(jù)包的傳遞就完成了，這里需要解釋三個問題。 

第一個問題，UDP封裝是怎么一回事？ 

我們來看下面這個圖，這是在其中一個通信節(jié)點(diǎn)上抓取到的ping命令通信數(shù)據(jù)包?？梢钥吹皆赨DP的數(shù)據(jù)內(nèi)容部分其實(shí)是另一個ICMP（也就是ping命令）的數(shù)據(jù)包。 

原始數(shù)據(jù)是在起始節(jié)點(diǎn)的Flannel服務(wù)上進(jìn)行UDP封裝的，投遞到目的節(jié)點(diǎn)后就被另一端的Flannel服務(wù)還原成了原始的數(shù)據(jù)包，兩邊的Docker服務(wù)都感覺不到這個過程的存在。 

第二個問題，為什么每個節(jié)點(diǎn)上的Docker會使用不同的IP地址段？ 

這個事情看起來很詭異，但真相十分簡單。其實(shí)只是單純的因?yàn)镕lannel通過Etcd分配了每個節(jié)點(diǎn)可用的IP地址段后，偷偷的修改了Docker的啟動參數(shù)，見下圖。 

這個是在運(yùn)行了Flannel服務(wù)的節(jié)點(diǎn)上查看到的Docker服務(wù)進(jìn)程運(yùn)行參數(shù)。 

注意其中的“–bip=172.17.18.1/24”這個參數(shù)，它限制了所在節(jié)點(diǎn)容器獲得的IP范圍。 

這個IP范圍是由Flannel自動分配的，由Flannel通過保存在Etcd服務(wù)中的記錄確保它們不會重復(fù)。 

第三個問題，為什么在發(fā)送節(jié)點(diǎn)上的數(shù)據(jù)會從docker0路由到flannel0虛擬網(wǎng)卡，在目的節(jié)點(diǎn)會從flannel0路由到docker0虛擬網(wǎng)卡？ 

我們來看一眼安裝了Flannel的節(jié)點(diǎn)上的路由表。下面是數(shù)據(jù)發(fā)送節(jié)點(diǎn)的路由表： 

這個是數(shù)據(jù)接收節(jié)點(diǎn)的路由表： 

例如現(xiàn)在有一個數(shù)據(jù)包要從IP為172.17.18.2的容器發(fā)到IP為172.17.46.2的容器。根據(jù)數(shù)據(jù)發(fā)送節(jié)點(diǎn)的路由表，它只與 172.17.0.0/16匹配這條記錄匹配，因此數(shù)據(jù)從docker0出來以后就被投遞到了flannel0。同理在目標(biāo)節(jié)點(diǎn)，由于投遞的地址是一個容 器，因此目的地址一定會落在docker0對于的172.17.46.0/24這個記錄上，自然的被投遞到了docker0網(wǎng)卡。 

3Flannel的安裝和配置

Flannel是Golang編寫的程序，因此的安裝十分簡單。 
從 https://github.com/coreos/flannel/releases和 https://github.com/coreos/etcd/releases分別下載Flannel和Etcd的最新版本二進(jìn)制包。 
解壓后將Flannel的二進(jìn)制文件“flanneld”和腳本文件“mk-docker-opts.sh”、以及Etcd的二進(jìn)制文件“etcd”和“etcdctl”放到系統(tǒng)的PATH目錄下面安裝就算完成了。 
配置部分要復(fù)雜一些。 
首先啟動Etcd，參考 https://github.com/coreos/etcd … overy。 
訪問這個地址： https://discovery.etcd.io/new?size=3 獲得一個“Discovery地址” 
在每個節(jié)點(diǎn)上運(yùn)行以下啟動命令： 
etcd -initial-advertise-peer-urls http://<當(dāng)前節(jié)點(diǎn)IP>:2380 -listen-peer-urls http://<當(dāng)前節(jié)點(diǎn)IP>:2380 -listen-client-urlshttp://<當(dāng)前節(jié)點(diǎn)IP>:2379,http://<當(dāng)前節(jié)點(diǎn)IP>:2379 -advertise-client-urls http://<當(dāng)前節(jié)點(diǎn)IP>:2379 -discovery <剛剛獲得的Discovery地址> & 
啟動完Etcd以后，就可以配置Flannel了。 

Flannel的配置信息全部在Etcd里面記錄，往Etcd里面寫入下面這個最簡單的配置，只指定Flannel能用來分配給每個Docker節(jié)點(diǎn)的擬IP地址段： 

etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'

然后在每個節(jié)點(diǎn)分別啟動Flannel： 

flanneld &

最后需要給Docker動一點(diǎn)手腳，修改它的啟動參數(shù)和docker0地址。 

在每個節(jié)點(diǎn)上執(zhí)行： 

sudo mk-docker-opts.sh -i  source /run/flannel/subnet.env  sudo rm /var/run/docker.pid  sudo ifconfig docker0 ${FLANNEL_SUBNET}   

重啟動一次Docker，這樣配置就完成了。 

現(xiàn)在在兩個節(jié)點(diǎn)分別啟動一個Docker容器，它們之間已經(jīng)通過IP地址直接相互ping通了。 

到此，整個Flannel集群也就正常運(yùn)行了。 

最后，前面反復(fù)提到過Flannel有一個保存在Etcd的路由表，可以在Etcd數(shù)據(jù)中找到這些路由記錄，如下圖。 

Q&A

問：數(shù)據(jù)從源容器中發(fā)出后，經(jīng)由所在主機(jī)的docker0虛擬網(wǎng)卡轉(zhuǎn)發(fā)到flannel0虛擬網(wǎng)卡，這種P2P實(shí)際生產(chǎn)中是否存在丟包，或者此機(jī)制有高可用保障么？ 
答：只是本機(jī)的P2P網(wǎng)卡，沒有經(jīng)過外部網(wǎng)絡(luò)，應(yīng)該還比較穩(wěn)定。但我這里沒有具體數(shù)據(jù)。 

問：UDP數(shù)據(jù)封裝，轉(zhuǎn)發(fā)的形式也是UDP么？我們一般知道UDP發(fā)送數(shù)據(jù)是無狀態(tài)的，可靠么？ 
答：轉(zhuǎn)發(fā)的是UDP，高并發(fā)數(shù)據(jù)流時候也許會有問題，我這里同樣沒有數(shù)據(jù)。 

問：實(shí)際上，kubernates是淡化了容器ip，外圍用戶只需關(guān)注所調(diào)用的服務(wù)，并不關(guān)心具體的ip，這里fannel將IP分開且唯一，這樣做有什么好處？有實(shí)際應(yīng)用的業(yè)務(wù)場景么？ 
答： IP唯一是Kubernetes能夠組網(wǎng)的條件之一，不把網(wǎng)絡(luò)拉通后面的事情都不好整。 

問：Flannel通過Etcd分配了每個節(jié)點(diǎn)可用的IP地址段后，偷偷的修改了Docker的啟動參數(shù)：那么如果增加節(jié)點(diǎn)，或刪除節(jié)點(diǎn)，這些地址段（ETCD上）會動態(tài)變化么？如果不是動態(tài)變化，會造成IP地址的浪費(fèi)么？ 
答會造成一些浪費(fèi)，一般使用10.x.x.x的IP段。 

問：sudo mk-docker-opts.sh -i 這個命令具體干什么了？非coreos上使用flannel有什么不同？ 
答：生成了一個Docker啟動的環(huán)境變量文件，里面給Docker增加了啟動參數(shù)。 
沒有什么不同，只是CoreOS集成了Flannel，在CoreOS上面啟動Flannel只是一行命令：systemctl start flanneld。 

問：容器IP都是固定的嗎？外網(wǎng)與物理主機(jī)能ping通，也能ping通所有Docker集群的容器IP？ 
答：不是固定的，IP分配還是Docker在做，F(xiàn)lannel只是分配了子網(wǎng)。 

問：Flannel的能否實(shí)現(xiàn)VPN？你們有沒有研究過？ 
答： 應(yīng)該不能，它要求這些容器本來就在一個內(nèi)網(wǎng)里面。 

問：Flannl是誰開發(fā)的？全是對k8s的二次開發(fā)嗎？ 
答： CoreOS公司，不是k8s的二次開發(fā)，獨(dú)立的開源項(xiàng)目，給k8s提供基礎(chǔ)網(wǎng)絡(luò)環(huán)境。 

問：Flannel支持非封包的純轉(zhuǎn)發(fā)嗎？這樣性能就不會有損失了？ 
答：非封裝怎樣路由呢？發(fā)出來的TCP包本身并沒有在網(wǎng)絡(luò)間路由的信息，別忘了，兩個Flannel不是直連的，隔著普通的局域網(wǎng)絡(luò)。 

問： Flanel現(xiàn)在到哪個版本了，后續(xù)版本有什么側(cè)重點(diǎn)？性能優(yōu)化，還是功能擴(kuò)展？ 
答：還沒到1.0，在GitHub上面有他們的發(fā)展計劃，性能是很大的一部分。 

問： 就是在CoreOS中，客戶還需要安裝Flannel嗎？ 
答：不需要，在啟動的Cloudinit配置里面給Etcd寫入Flannel配置，然后加上flanneld.service command: start 就可以了，啟動完直接可用，文檔連接我不找了，有這段配置，現(xiàn)成的。 

問： 可不可以直接用命令指定每個主機(jī)的ip范圍，然后做gre隧道實(shí)現(xiàn)節(jié)點(diǎn)之間的通信？這樣也可以實(shí)現(xiàn)不同主機(jī)上的容器ip不同且可以相互通信吧？ 
答：還不支持指定哪個節(jié)點(diǎn)用那段IP，不過貌似可以在Etcd手改。 

問： Flannel只是負(fù)責(zé)通信服務(wù)，那是不是還要安裝k8s？ 
答：是的，k8s是單獨(dú)的。 

問：現(xiàn)在Docker的網(wǎng)絡(luò)組件還有什么可以選擇或者推薦的? 
答：Overlay網(wǎng)絡(luò)的常用就是Flannel和Weave，其他OVS之類的另說了。