讓效能翻倍 超高密度服務(wù)器應(yīng)用解析
發(fā)布日期：2016-06-29 15:41瀏覽次數(shù)：
今天，無論是政府和科研機構(gòu)里的超級計算機，還是大型互聯(lián)網(wǎng)公司的分布式服務(wù)器集群，抑或是服務(wù)億萬公眾的云計算數(shù)據(jù)中心，對計算資源的需求越來越高，用到的服務(wù)器數(shù)量越來越多。然而，大規(guī)模計算系統(tǒng)的應(yīng)用，卻面臨有限的機房空間、緊張的電力供應(yīng)、嚴格的散熱與節(jié)能環(huán)保要求、繁雜的管理維護工作以及有限的資金預(yù)算等多方面的限制。為此，從政府到工業(yè)界，從IT廠商到用戶機構(gòu)，大家都在尋找行之有效的解決辦法。
在全球高性能計算領(lǐng)域，日本東京工業(yè)大學(xué)算是一位“老兵”了。早在2006年，該校就構(gòu)建了名為“TSUBAME Grid Cluster”的高性能計算系統(tǒng)，在當(dāng)年全球高性能計算TOP500排行榜中名列第7位，也是當(dāng)年亞洲最快的超級計算機。過去四年來，TSUBAME承擔(dān)了日本工業(yè)界和學(xué)術(shù)界的許多科研項目，而且有一部分計算資源還開放給師生使用，因此也被譽為“大家的超級計算機”。
進入2010年，TSUBAME面臨升級。而且，此番東京工業(yè)大學(xué)的目標是構(gòu)建日本第一套世界頂級的超級計算系統(tǒng)：2.4千萬億次（PFlops）的TSUBAME 2.0！根據(jù)2010年6月公布的TOP500排行榜，排名第一的是安裝在美國橡樹嶺國家實驗室的CRAY Jaguar系統(tǒng)，Linpack測試能是每秒1.75千萬億次。
不過，要構(gòu)建這樣一套超大規(guī)模的計算系統(tǒng)，東京工業(yè)大學(xué)至少要克服三大挑戰(zhàn)：
首先是空間有限。安裝TSUBAME 2.0的機房面積只有200平方米，要知道2009年中國最快超級計算機“天河一號”由103個機柜組成，性能1.206PFlops，占地面積達到近千平方米！可見TSUBAME 2.0對單位機器的計算密度要求相當(dāng)之高。
其次是電力有限。數(shù)據(jù)中心供電功率為1.8MW（1兆瓦=1000000W），比較而言，當(dāng)前全球最快的超級計算機CRAY Jaguar功耗大約是7MW，今年中國最快的超級計算機曙光“星云”也要2.55MW。因此，對TSUBAME 2.0來說，必須盡可能地提高每瓦特電能所產(chǎn)生的計算性能，即能效比。
第三是資金有限。預(yù)計搭建TSUBAME 2.0和未來四年運行費用合計在32億日元以下（按1日元 = 0.0814元人民幣折算，即2.6億元人民幣）。試想一下，如果使用普通的x86服務(wù)器作集群計算節(jié)點，僅搭建成本就可能超過這一預(yù)算，而且如此大規(guī)模系統(tǒng)的運行電費和管理費用也都是一筆不小的開支。
顯然，要構(gòu)建上述系統(tǒng)，依靠傳統(tǒng)的技術(shù)方法是行不通的，必須采用新技術(shù)。實際上，東京工業(yè)大學(xué)在TSUBAME 2.0中采用了許多最先進的技術(shù)，包括最新的英特爾處理器技術(shù)，SSD固態(tài)存儲技術(shù)，GPGPU異構(gòu)并行協(xié)處理技術(shù)、最新的Infiniband和萬兆以太網(wǎng)連接技術(shù)、超可擴展模塊化服務(wù)器節(jié)點技術(shù)等，以盡可能地提高系統(tǒng)的計算性能、計算密度和能源效率。作為TSUBAME 2.0系統(tǒng)的主體，1400多臺計算節(jié)點采用的是HP ProLiant SL390s G7超可擴展系統(tǒng)。
HP ProLiant SL390s G7有兩種機型，雖然寬度都只有標準19英寸機架服務(wù)器的一半，但在高度上有1U和2U之分。其中，1U半寬的版本主要針對通用高密度計算，在相配套的4U高HP ProLiant s6500機箱里可以裝入8個這樣的雙路服務(wù)器節(jié)點，即每U空間的計算密度增加一倍，甚至比當(dāng)前主流的10U16刀片服務(wù)器系統(tǒng)的密度還要高。而2U半寬的版本則專門針對需要GPU進行協(xié)處理的用戶，如科學(xué)計算模擬，不僅支持兩顆CPU，還支持3塊最新的NVIDIA Fermi GPU處理器，從而實現(xiàn)CPU+GPU的異構(gòu)并行協(xié)同計算。
作為當(dāng)前最主流的高性能計算加速技術(shù)，GPU的使用能數(shù)十倍、數(shù)百倍地提升系統(tǒng)計算效率，而且，在相同計算規(guī)模下，其硬件成本只是傳統(tǒng)CPU服務(wù)器機群的十分之一左右，同時能耗和占地空間可以節(jié)省90%以上。因此，對于希望在有限空間和電力條件下構(gòu)建超千萬億次計算系統(tǒng)的東京工業(yè)大學(xué)來說，GPU計算無疑是一條最有效的途徑。
TSUBAME 2.0使用了1400多臺HP SL390s G7作為計算節(jié)點，每個節(jié)點可搭載兩顆英特爾六核至強5600 2.93GHz處理器（通過英特爾TurboBoost技術(shù)可將頻率進一步提高至3.196GHz）以及3塊NVIDIA Tesla M2050 GPU（基于Fermi架構(gòu)），合計包含12個CPU核心以及1344個GPU核心（通用計算單元）。總體計算下來，TSUBAME 2.0總共擁有17664個CPU內(nèi)核和189萬個GPU內(nèi)核，總運算能力達到2391.35TFLOPS，其中超過90%的計算能力來自GPU，使其成為全球首臺以GPU為主要運算能力來源的頂級超級計算機。
