導(dǎo)言
骨干網(wǎng)流量監(jiān)控系統(tǒng)主要是針對省級網(wǎng)絡(luò)運(yùn)營商規(guī)模的網(wǎng)絡(luò)進(jìn)行監(jiān)控，流量一般都在100G以上。網(wǎng)絡(luò)監(jiān)控系統(tǒng)的架構(gòu)與傳統(tǒng)的IDS類似，都是通過分光器或者專用流量回流設(shè)備將流量鏡像到監(jiān)控系統(tǒng)，由于流量很大，所以需要配置專門的一級分流設(shè)備和二級流量負(fù)載均衡設(shè)備來進(jìn)行流量的分流再接到每臺處理設(shè)備進(jìn)行處理。這對單臺處理機(jī)的計(jì)算能力和網(wǎng)絡(luò)IO能力都提出了很高的要求。為此，專門研發(fā)出Flowfirm解決接入和分流的問題，Netfirm、videospeed等多種硬件設(shè)備，來提升處理機(jī)的網(wǎng)絡(luò)流量處理能力，而隨著這些手段的采用，也給傳統(tǒng)網(wǎng)監(jiān)系統(tǒng)的建設(shè)帶了新的變化。
方案架構(gòu)
骨干網(wǎng)流量監(jiān)控系統(tǒng)方案分三個層次：前端一級分流設(shè)備將鏡像進(jìn)行處理，并根據(jù)一定原則均衡的分流到各個服務(wù)器；前端處理平臺，配置Netfirm的前端處理探針對流量進(jìn)行處理，為考慮到未來業(yè)務(wù)的擴(kuò)展，前端探針將處理不了的流量轉(zhuǎn)發(fā)到后端；前端二級處理平臺，配置高速協(xié)處理卡的網(wǎng)絡(luò)處理一體機(jī)對這些數(shù)據(jù)進(jìn)行更深入的挖掘和分析。同時分流設(shè)備具有流量復(fù)制功能，能夠?qū)⑻囟髁繌?fù)制并傳輸?shù)狡渌胤降谋O(jiān)控網(wǎng)絡(luò)使用。
系統(tǒng)架構(gòu)如下：
方案特色
Flowfirm - S流量接入分流設(shè)備
骨干網(wǎng)中的流量有很多種類，有效的數(shù)據(jù)包、無效的數(shù)據(jù)包等，如果直接交給服務(wù)器處理平臺進(jìn)行處理，不僅增加服務(wù)器處理的壓力，而且增加整個鏈路的壓力，同時對軟件業(yè)務(wù)系統(tǒng)的包處理和分類能力是一個很大考驗(yàn)。而Flowfirm - S正式在這種背景下，將骨干網(wǎng)的大流量進(jìn)行匯聚、初步分析和處理，對業(yè)務(wù)“關(guān)心”的流量甄別并交給后續(xù)處理系統(tǒng)。
Flowfirm - S是基于國際開放電信設(shè)備標(biāo)準(zhǔn)ATCA規(guī)范開發(fā)的，針對通信運(yùn)營商、各級政府安全單位需求的專用電信級綜合流量設(shè)備，主要用于各級POS/SDH及以太網(wǎng)線路進(jìn)行流量的采集、過濾、匯聚分流以及其它復(fù)雜的流量規(guī)劃功能。
Flowfirm - S的主要功能包括：
1) 流量接入：支持各種接口子卡，支持OC3，OC12，OC48，OC192，GE，XE的單模，多模光纖鏈路，可接入40G POS、10G POS、10GE、2.5G POS、622M POS、155M POS、GE/FE多種流量，可支持混合接入、高密度接入，單板接入密度達(dá)到1路40G 或4路10G或16路2.5G。支持單纖的收和發(fā)。
2) 交換協(xié)議支持：主要針對POS接口，支持基于SDH/SONET的以太，PPP和CHDLC封裝的報(bào)文；支持MPLS封裝，VLAN封裝的IPV4/IPV6格式報(bào)文，并可剝離；通過解析HDLC、PPP、MPLS等封裝，提取IP數(shù)據(jù)包，再進(jìn)行后續(xù)處理。兼容各種底層封裝參數(shù)。
3) ACL（數(shù)據(jù)包匹配分類）：支持基于五元組的靈活和掩碼規(guī)則；支持基于載荷的指定偏移的帶掩碼數(shù)據(jù)匹配擴(kuò)展ACL功能（DPI功能）；同時支持IPV4和IPV6功能；支持用戶定義的六種靈活五元組規(guī)則200萬條（IPV4），100萬條（IPV6）；支持掩碼規(guī)則60萬（IPV4），20萬（IPV6）；支持不同規(guī)則種類間的32種優(yōu)先級；支持標(biāo)準(zhǔn)ACL和擴(kuò)展ACL之間的綁定；分類規(guī)則按規(guī)則集方式進(jìn)行管理，用戶可創(chuàng)建并設(shè)置多個規(guī)則集，并將規(guī)則集綁定到多個接口之上。
4) 流量過濾、匯聚、負(fù)載均衡分發(fā)：對命中ACL規(guī)則的報(bào)文，支持丟棄，透傳，分流轉(zhuǎn)發(fā)，流量復(fù)制，報(bào)文截?cái)?，采樣分流；?bào)文的分流支持多種負(fù)載分擔(dān)算法（輪詢、Hash、五元組等算法）；分流組內(nèi)節(jié)點(diǎn)可基于硬件端口，也可以基于后端服務(wù)器IP地址；動態(tài)監(jiān)測后端服務(wù)器狀態(tài)，或者端口狀態(tài)，動態(tài)更新分流組，并盡可能保證同源同宿；支持32個分流組，組內(nèi)最多支持256個節(jié)點(diǎn)；輸出報(bào)文的源MAC支持信息攜帶功能。
5) 流量復(fù)制：支持同一規(guī)則的流量復(fù)制：即為符合某條規(guī)則的流量指定復(fù)制方式，在不影響這條流量的分發(fā)策略的前提下，可以將流量復(fù)制到另一個或一批GE/10GE口輸出。
6) 數(shù)據(jù)包再封裝：對處理的IP包進(jìn)行最后的符合標(biāo)準(zhǔn)以太協(xié)議的再封裝，并可攜帶輸入接口等信息；支持對輸出數(shù)據(jù)包進(jìn)行截短、提取有用頭部。
7) 網(wǎng)管功能：支持SNMP、Telnet和ssh等網(wǎng)管功能。
圖 Flowfirm - S分流設(shè)備
Flowfirm - S具有以下特性：
1) 適應(yīng)性強(qiáng)
針對低鏈路密度的監(jiān)控提供高性價比的單板或雙板方案，針對高鏈路密度的應(yīng)用提供基于背板交換的大容量解決方案。
2) 電信級標(biāo)準(zhǔn)
基于電信級開放平臺的最高標(biāo)準(zhǔn)ATCA，提供基于標(biāo)準(zhǔn)的高可靠性產(chǎn)品，具有優(yōu)秀的芯片/刀片異構(gòu)能力，可按需配置網(wǎng)絡(luò)處理刀片、通用計(jì)算刀片、各種專業(yè)業(yè)務(wù)刀片（如DSP語音通信刀片等）。保護(hù)用戶投資。
3) 全硬件轉(zhuǎn)發(fā)
多引擎流水線的硬件處理流程保證數(shù)據(jù)的線速轉(zhuǎn)發(fā)。包處理流水線每一個部分都有多個引擎工作。
4) 應(yīng)用多樣性
適應(yīng)高復(fù)雜度的過濾匹配和應(yīng)用處理需求，面向不斷復(fù)雜化的新興網(wǎng)絡(luò)應(yīng)用。
5) 高性價比
專門優(yōu)化設(shè)計(jì)的分流設(shè)備。能夠根據(jù)用戶實(shí)際的需求和網(wǎng)絡(luò)環(huán)境進(jìn)行功能定制化。
6) 數(shù)據(jù)處理功能
包含多種接口的流量接入、協(xié)議轉(zhuǎn)換、數(shù)據(jù)包匹配分類、流量過濾、流量匯聚分發(fā)和負(fù)載均衡、流量復(fù)制、數(shù)據(jù)包再封裝等。
7) 支持設(shè)備級聯(lián)擴(kuò)展
突破單設(shè)備系統(tǒng)的機(jī)箱槽位容量，并可按需擴(kuò)展級聯(lián)，為支持未來網(wǎng)絡(luò)發(fā)展提供極大的空間。
圖 Flowfirm - S設(shè)備級聯(lián)
利用Netfirm提高單機(jī)處理能力
Netfirm是專門針對網(wǎng)絡(luò)流量監(jiān)控項(xiàng)目而研發(fā)的一塊高性能智能網(wǎng)絡(luò)加速卡。Netfirm基于FPGA實(shí)現(xiàn)，內(nèi)置4G大內(nèi)存做數(shù)據(jù)處理，利用Netfirm可以實(shí)現(xiàn)流量高速接入、卸載cpu負(fù)載等功能，是在當(dāng)前越來越大的網(wǎng)絡(luò)流量的情況下，解決高網(wǎng)絡(luò)流量帶來的眾多問題的利器。
圖Netfirm智能加速卡
Netfirm給網(wǎng)監(jiān)系統(tǒng)帶來的優(yōu)勢包括：
1）0% CPU消耗，100% 數(shù)據(jù)包捕獲
普通的網(wǎng)卡在接收數(shù)據(jù)過程中需要耗費(fèi)大量的cpu資源，并且隨著網(wǎng)絡(luò)流量的增大，這種消耗變得非?？捎^以至于無法100%將網(wǎng)絡(luò)數(shù)據(jù)獲取下來，對業(yè)務(wù)系統(tǒng)的監(jiān)控效果造成影響。由于這個原因，傳統(tǒng)的網(wǎng)監(jiān)應(yīng)用的單機(jī)處理能力只能做到500Mbps左右。Netfirm智能加速卡將整個數(shù)據(jù)接收過程由硬件自動實(shí)現(xiàn)，從而在不消耗任何CPU資源的同時，保證了數(shù)據(jù)完全獲取，即使處理10Gbps的流量也沒有任何的丟包。
2）分流技術(shù)充分發(fā)揮每個CPU的計(jì)算能力
隨著CPU技術(shù)從提高主頻轉(zhuǎn)向多核技術(shù)，如何利用好這么多的CPU核成為網(wǎng)監(jiān)系統(tǒng)需要解決的重要問題。Netfirm針對網(wǎng)監(jiān)系統(tǒng)的特點(diǎn)，將接收的流量根據(jù)源目的IP信息進(jìn)行分流，使得處理負(fù)載在多個CPU核間進(jìn)行均衡，從而充分發(fā)揮CPU多核的處理能力。
3）靈活豐富的過濾規(guī)則進(jìn)一步降低CPU負(fù)載
提高單機(jī)處理能力的另一個思路是將簡單不需要處理的流量過濾掉，這樣就可以將主機(jī)資源全部集中到有效流量的處理上來。基于這一思路，Netfirm可以配置200K的IP過濾規(guī)則，并配置針對不同鏈接進(jìn)行丟棄、轉(zhuǎn)發(fā)、標(biāo)記等多種動作，從而進(jìn)一步提高單機(jī)處理能力。
4）支持多個應(yīng)用無縫融合，提高資源利用率，便于未來應(yīng)用的擴(kuò)展
在網(wǎng)監(jiān)系統(tǒng)建設(shè)的初期，基本都是采用一套應(yīng)用一套硬件的建設(shè)方法。但隨著系統(tǒng)的逐漸成熟，用戶需要更多的功能更多的應(yīng)用時，再想使用這種方法時，就會遇到機(jī)房空間、硬件采購成本等一系列問題。最好的實(shí)現(xiàn)方式是在一套硬件上運(yùn)行多種不同的應(yīng)用業(yè)務(wù)，并且二者間不相互影響，這在傳統(tǒng)的網(wǎng)監(jiān)系統(tǒng)中是無法實(shí)現(xiàn)的。但Netfirm則從設(shè)計(jì)之初就考慮到網(wǎng)監(jiān)系統(tǒng)業(yè)務(wù)擴(kuò)展的可能性，支持多個不同應(yīng)用同時從Netfirm取數(shù)據(jù)，并保證其間的隔離性，從而大大降低了網(wǎng)監(jiān)系統(tǒng)業(yè)務(wù)擴(kuò)展中的成本。
5）基于通用接口和專用接口的API，便于應(yīng)用的移植
目前很多網(wǎng)監(jiān)系統(tǒng)的應(yīng)用在研發(fā)過程中是以普通網(wǎng)卡為基礎(chǔ)開發(fā)的，考慮到這一點(diǎn)，Netfirm支持與普通網(wǎng)卡一樣的使用方式，并且提供相同的訪問接口，只有在需要使用Netfirm附加功能時才需要使用專用接口，從而大大縮短了網(wǎng)監(jiān)應(yīng)用的移植周期。
基于Videospeed的二級數(shù)據(jù)處理
Videospeed協(xié)處理卡是針對傳統(tǒng)網(wǎng)監(jiān)系統(tǒng)中難以處理的諸如音視頻流量等非文本數(shù)據(jù)的監(jiān)控所研發(fā)出的一塊基于眾核技術(shù)的協(xié)處理卡。該卡可以提供高速并行處理能力，可以支持多路音視頻碼流的編解碼處理，從而對過去普通網(wǎng)監(jiān)系統(tǒng)處理不了的音視頻流量進(jìn)行處理。 也可以作為通用計(jì)算加速平臺，用于其它特定流量的深度數(shù)據(jù)處理。
圖 Videospeed加速卡
Videospeed協(xié)處理卡具有以下特性：
1) 基于眾核技術(shù)：采用Tilera眾核處理器，大大簡化系統(tǒng)架構(gòu)， 成本，功耗及PCB板面積，可以根據(jù)單核處理能力，精確地分配資源以實(shí)現(xiàn)所規(guī)劃的功能，達(dá)到優(yōu)化性能和節(jié)省功耗。
2) 處理能力強(qiáng)大：完成一定流量音視頻混合流的解碼，目前能夠支持400MB以上的流量
3) 支持多種主流視頻格式：主流的視頻格式 H264，H263，Mpeg1/2，Mpeg4，vp6，flv，asf，avi等
4) 支持矢量運(yùn)算：某些矢量運(yùn)算等函數(shù)運(yùn)算加速
高性能網(wǎng)絡(luò)處理一體機(jī)
高性能網(wǎng)絡(luò)處理一體機(jī)可以將骨干網(wǎng)監(jiān)控方案中的流量處理探針和二級處理平臺集成為一臺一體機(jī)，單臺一體機(jī)提供10片雙路多核處理機(jī)的計(jì)算能力，配置6片Netfirm，可以支持24根GE，或者6根10GE流量的監(jiān)控。配置4片videospeed協(xié)處理卡，可以進(jìn)行這些流量的二級處理。也可以全部配置Netfirm進(jìn)行10GE流量的處理，最多提供單臺一體機(jī)100G流量的處理能力，具有極高的性價比。
版權(quán)所有：杭州天迪工控技術(shù)股份有限公司 地址：杭州市拱墅區(qū)科技工業(yè)園區(qū)康樂路11號A3棟
浙公網(wǎng)安備 33010602004930 浙ICP備11043394號
