國家超級計算深圳中心(簡稱“深圳超算中心”)是國家863計劃、廣東省和深圳市的重大項目,也是深圳建市以來最大的科研基礎設施。深圳超算中心立足深圳、面向全國、服務華南、港、澳、臺及東南亞地區(qū),將承擔各種大規(guī)??茖W計算和工程計算任務,同時以其強大的數(shù)據(jù)處理和存儲能力為社會提供云計算服務,將建成功能齊全、平臺豐富、高效節(jié)能、國際一流的高性能計算研究開發(fā)中心和云計算服務中心,運營后能夠大大緩解華南乃至東南亞地區(qū)高性能計算能力緊張的局面,在新能源開發(fā)、新材料研制、自然災害預警分析、氣象預報、工業(yè)仿真模擬等眾多領域發(fā)揮重要作用。
深圳超算中心總投資12.2億元,配備了每秒1271萬億次計算峰值、20PB超大存儲量的曙光6000超級計算機系統(tǒng)。一期建設用地面積1.2公頃,總建筑面積4.3萬平方米,其中機房樓地面四層1.2萬平方米、科研樓地面16層3.1萬平方米。
圖 深圳超算中心主體大樓
基于該項目的重要影響以及超級計算機超強的運算能力,對數(shù)據(jù)中心基礎設施應用提出的巨大挑戰(zhàn)不言而喻,特別是對高達25kW/機柜高熱密度的刀片計算系統(tǒng)散熱提出了嚴峻挑戰(zhàn)。如何配建一套與之相匹配的制冷系統(tǒng),并且實現(xiàn)綠色節(jié)能,成了深圳超算中心項目建設過程中的一項關鍵技術任務。
為此,提供了針對性極強的水冷機柜系統(tǒng)解決方案。水冷機柜采用高效節(jié)能的水冷技術,為全封閉式機柜, 單機柜制冷量最大可達30kW, 滿足機柜內(nèi)高熱密度服務器的散熱要求。機柜內(nèi)制冷循環(huán)與機房內(nèi)空調(diào)系統(tǒng)獨立。機柜內(nèi)置高效節(jié)能的V 型盤管熱交換系統(tǒng)實現(xiàn)機房冷卻水和機柜內(nèi)空氣的隔離熱交換。機柜內(nèi)空氣循環(huán)系統(tǒng)采用正面送風、背面排風的形式。工作時,機柜風扇吸收服務器背面排出的熱風, 從回風口送入盤管全熱交換器系統(tǒng)中冷卻,再將冷風從送風口送至服務器正面,灌入刀片服務器,依次循環(huán),以達到對服務器的散熱功能。水冷機柜的風扇控制系統(tǒng)可根據(jù)機柜內(nèi)溫度調(diào)節(jié)風速, 高效節(jié)能,風扇系統(tǒng)采用2+1冗余結(jié)構(gòu),確保風扇故障、維修情況下, 機柜制冷系統(tǒng)仍能正常運轉(zhuǎn)。水冷機柜底部的V 型盤管留有進水口和回水口, 通過帶有靜態(tài)水力平衡閥的金屬軟管與水管管道相連。在盤管的回水端, 安裝有三通閥,三通閥會根據(jù)送氣口出風溫度自動調(diào)節(jié), 將多余的冷水旁通掉, 使流經(jīng)內(nèi)部盤管的水流量大小合適, 從而控制機柜送風口溫度維持在設定范圍內(nèi)。
圖 深圳超算中心水冷機柜系統(tǒng)
水冷機柜制冷系統(tǒng)的優(yōu)點, 主要如下:
采用水作為制冷劑,節(jié)能環(huán)保;
可靠性高,能有效解決傳統(tǒng)的空調(diào)集中送風所存在的散熱不均勻等問題;
制冷量大,能解決普通空調(diào)散熱系統(tǒng)所無法實現(xiàn)的高熱密度散熱問題;
制冷效率高,刀片服務器內(nèi)置于密閉的柜體內(nèi),能大大降低機房噪音。
該解決方案不論是在技術先進性還是節(jié)能等方面,均很好地滿足了深圳超算的應用需求,經(jīng)過實際運行的考驗,性能發(fā)揮非常穩(wěn)定,顯示效果出眾,完全達到了項目設計的預期目標,力地保障了深圳超算的高效、穩(wěn)定運行,獲得了客戶的高度認可。