DeepFlow?與云網(wǎng)絡(luò )監控的發(fā)展

本文以云杉網(wǎng)絡(luò )DeepFlow®近幾年在客戶(hù)落地的方案實(shí)踐為主線(xiàn)，聚焦混合云、容器環(huán)境下的需求演進(jìn)，介紹在新環(huán)境下云監控的方案價(jià)值以及發(fā)展思考。

在云原生環(huán)境下企業(yè)客戶(hù)主要面臨的挑戰主要體現在網(wǎng)絡(luò )分層以及彈性業(yè)務(wù)充分體現了監控保障的難度，由此可以將挑戰歸納為三點(diǎn)：對象數量大、波動(dòng)性強以及關(guān)系復雜。舉兩個(gè)例子，應用在SOA、MSA架構下，更多地以Ingress、Service、POD在呈現，網(wǎng)絡(luò )IP動(dòng)態(tài)變化。如果仍然單獨以傳統的IP視角進(jìn)行可視化以及運維保障，明顯是不夠的，存在短板。迫切需要將網(wǎng)絡(luò )視角與平臺、事件、應用關(guān)聯(lián)起來(lái)。另一個(gè)典型的例子是“端到端分析”，在物理網(wǎng)絡(luò )段，可以通過(guò)有限的分光鏡像點(diǎn)來(lái)描述、展示路徑，但中斷于池內或云內網(wǎng)絡(luò )段。云內網(wǎng)絡(luò )處于“黑盒”狀態(tài)，云內又包含有服務(wù)間交互訪(fǎng)問(wèn)、東西向網(wǎng)關(guān)、負載均衡、地址轉化等各個(gè)環(huán)節，缺乏有效的保障手段，這對一個(gè)生產(chǎn)環(huán)境來(lái)說(shuō)是不能接受的。

那么，云杉DeepFlow®賦予自身的使命是什么呢?就是要“為客戶(hù)補齊云架構中保障側的那塊拼圖”。去打開(kāi)“黑盒”;去將采集與分析解耦;去繪制一張全網(wǎng)的網(wǎng)絡(luò )知識圖譜;去提升分布式業(yè)務(wù)系統的可觀(guān)測性，實(shí)現一個(gè)與云等量齊觀(guān)的完全可擴展的監控架構。

簡(jiǎn)單回顧一下DeepFlow®的實(shí)踐發(fā)展。

DeepFlow®流量采集分發(fā)：解決東西向流量采集難題以及流量引出

2016年起我們就開(kāi)始了客戶(hù)落地。當時(shí)，客戶(hù)的訴求很直接，就是要看到虛擬網(wǎng)絡(luò )中的流量，其中存在的挑戰包括避免對生產(chǎn)環(huán)境的侵擾、保障性能的同時(shí)限制采集系統對資源的使用、能實(shí)現策略跟隨以及支持隧道分發(fā)?？蛻?hù)的環(huán)境與現在還是有些區別，資源池類(lèi)型主要是ESXi、XEN以及KVM，理念上也是關(guān)注全包。DeepFlow®方案的重點(diǎn)就是采集與分發(fā)，為客戶(hù)解決虛擬機間的東西向流量采集難題以及流量引出。需要做到避免侵擾數據面，在有限的資源使用下保障性能，在虛擬機發(fā)生遷移后，確保采集分發(fā)策略的統一及跟隨。通過(guò)隧道封裝，保時(shí)保序地將數據包分發(fā)至各類(lèi)分析工具處。在這個(gè)階段，DeepFlow®實(shí)現了面向各類(lèi)資源池的網(wǎng)絡(luò )流量“采集處理抽象層”，統一提供采集、多維過(guò)濾、去重、壓縮、截短等預處理功能。抽象層中的各類(lèi)型采集器本身也是一套分布式系統，為后期面向大規模多類(lèi)型的云環(huán)境監控中高性能數據處理提供基礎保障。

DeepFlow云網(wǎng)分析：解決分布在各地的資源池網(wǎng)絡(luò )監控缺失

在中期階段，客戶(hù)業(yè)務(wù)逐步上云，云建設的規模更大，同時(shí)開(kāi)始關(guān)注容器網(wǎng)絡(luò )以及業(yè)務(wù)保障。這時(shí)客戶(hù)更多地關(guān)注多區域多資源池以及underlay和overlay的統一管理、對于多云異構環(huán)境有統一網(wǎng)絡(luò )全景圖的需求、對虛擬網(wǎng)絡(luò )的故障診斷需求也浮出水面?？蛻?hù)理念上也不再認為云環(huán)境的網(wǎng)絡(luò )保障可單純地通過(guò)存儲、分析全包來(lái)解決。此時(shí)面臨的多點(diǎn)多地管理，Overlay網(wǎng)絡(luò )中的Trouble shooting等問(wèn)題也很突出。DeepFlow®方案著(zhù)重面向客戶(hù)大規?；旌显凭W(wǎng)絡(luò )的整體監控，包括多數據中心、多分支機構、私有云和公有云的整體網(wǎng)絡(luò )全景圖，解決專(zhuān)線(xiàn)鏈路負載、公有云網(wǎng)絡(luò )性能、私有云故障排查等系列問(wèn)題。在此階段，DeepFlow®控制器集群不僅具備了管理10萬(wàn)采集點(diǎn)規模的能力，而且廣泛地與云平臺、CMDB對接，使網(wǎng)絡(luò )IP、流量與VPC、虛擬機、POD、服務(wù)、平臺事件等關(guān)聯(lián)，繪制一整張網(wǎng)絡(luò )知識圖譜。

DeepFlow分布式業(yè)務(wù)的可觀(guān)測性：解決云原生應用保障及容器平臺的網(wǎng)絡(luò )監控

在目前階段，云杉看到客戶(hù)處容器環(huán)境發(fā)展迅猛，云建設思路更清晰，也更有規劃。同時(shí)也在體系化地考慮監控保障側的建設，將應用、網(wǎng)絡(luò )及基礎設施的Metric、Log、Tracing統一地加以規劃整合。此時(shí)客戶(hù)需求更多地面向業(yè)務(wù)側、更注重隨云擴展的架構實(shí)現、以及在此基礎上提供高性能數據服務(wù)的能力。比較典型的一個(gè)方案就是支撐微服務(wù)平臺的監控中心建設，通過(guò)DeepFlow®各功能展現服務(wù)依賴(lài)關(guān)系、訪(fǎng)問(wèn)指標、網(wǎng)絡(luò )性能等，基于網(wǎng)絡(luò )流日志獲取業(yè)務(wù)Trace ID、容器Labels等鍵值，關(guān)聯(lián)Log平臺和Tracing框架，完善分布式應用系統的可觀(guān)測性。

容器、虛擬機、宿主機的結合，也是常見(jiàn)的全棧場(chǎng)景，產(chǎn)品通過(guò)“全景圖”不同維度的查詢(xún)展示來(lái)描述各層面的關(guān)系。圖中的“點(diǎn)”可以是數據中心、可用區，可以是虛擬機、容器POD，可以是VPC、網(wǎng)段、IP，也可以是Service、資源組等。“點(diǎn)”與“點(diǎn)”之間的連線(xiàn)可以設置為流量、調用關(guān)系的吞吐、延時(shí)、TCP連接狀態(tài)等指標。當看到兩個(gè)容器POD的連接延時(shí)超過(guò)閾值時(shí)，客戶(hù)面臨的是一個(gè)復雜的全棧環(huán)境，涉及到POD、Bridge、vSwitch，再到東西向的Gateway，中間已進(jìn)行過(guò)多次地址轉換。DeepFlow®清晰地將每一步的指標呈現出來(lái)，快速高效地定位問(wèn)題點(diǎn)。這就是云杉為客戶(hù)提供的全棧跟蹤能力。

DeepFlow全?；旌显票O控

經(jīng)過(guò)這些年的積累演進(jìn)，云杉DeepFlow®產(chǎn)品實(shí)現了隨云擴展的網(wǎng)絡(luò )監控架構。面向物理網(wǎng)絡(luò )、虛擬化以及容器等多類(lèi)型的監控對象，通過(guò)“采集處理抽象層”，首先確?？蛻?hù)平滑地從物理環(huán)境向虛擬環(huán)境的監控擴展;第二，得益于采集器的優(yōu)勢，針對資源池類(lèi)型、品牌、規模以及后續發(fā)展都可以實(shí)現橫向擴展，統一具備流量采集及處理能力;第三，采集與分析解耦，通過(guò)分發(fā)功能實(shí)現“一次采集、多處分析”擴展分析工具的能力，涵蓋客戶(hù)多種專(zhuān)業(yè)分析場(chǎng)景;第四，DeepFlow®高性能分布式時(shí)序數據節點(diǎn)橫向擴展保障Metric、流日志以及PCAP等數據的存儲與處理;最后，通過(guò)API、隊列等方式為安全、業(yè)務(wù)等其他數據平臺提供網(wǎng)絡(luò )數據服務(wù)。

對于以上方案的實(shí)踐，涉及到各個(gè)行業(yè)的領(lǐng)先客戶(hù)群，DeepFlow®的演進(jìn)離不開(kāi)客戶(hù)的信任、幫助以及支持。在實(shí)踐過(guò)程中，云杉網(wǎng)絡(luò )也深入地與云、容器平臺進(jìn)行合作與探討，真切感受到技術(shù)人對于云原生的熱愛(ài)與追求，并在此基礎上團隊之間的惺惺相惜。云杉將不斷進(jìn)步、保持先進(jìn)，讓更多的客戶(hù)在云架構保障側安心。