圖片來(lái)源@視覺(jué)中國(guó)
引入全液冷冷板系統(tǒng)設(shè)計(jì)，采用服務(wù)器100%液冷散熱模式，實(shí)現(xiàn)數(shù)據(jù)中心的“去空調(diào)化”，是最近一段時(shí)間業(yè)內(nèi)提出的新方案。
不過(guò)，從現(xiàn)實(shí)情況來(lái)看，使用常規(guī)冷板式液冷散熱，將生成式AI工作負(fù)載或其他云負(fù)載運(yùn)行在數(shù)百?gòu)圙PU、CPU或加速卡搭載的服務(wù)器集群上。這才是當(dāng)下大規(guī)模數(shù)據(jù)中心設(shè)計(jì)時(shí)的主流選擇。
而最終的命題是找到適合于本地用戶(hù)需求場(chǎng)景的散熱方案，放眼全球都適用。
IDC發(fā)布的《中國(guó)半年度液冷服務(wù)器市場(chǎng)（2023上半年）跟蹤》報(bào)告數(shù)據(jù)顯示，中國(guó)液冷服務(wù)器市場(chǎng)在2023年仍將保持快速增長(zhǎng)。2023上半年中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模達(dá)到6.6億美元，同比增長(zhǎng)283.3%，預(yù)計(jì)2023年全年將達(dá)到15.1億美元。IDC預(yù)計(jì)，2022-2027年，中國(guó)液冷服務(wù)器市場(chǎng)年復(fù)合增長(zhǎng)率將達(dá)到54.7%，2027年市場(chǎng)規(guī)模將達(dá)到89億美元。未來(lái)，中國(guó)將成為液冷技術(shù)應(yīng)用最大的試驗(yàn)場(chǎng)，據(jù)測(cè)算，預(yù)計(jì)到2025年中國(guó)液冷數(shù)據(jù)中心市場(chǎng)規(guī)模將達(dá)20%以上。
在中國(guó)市場(chǎng)，過(guò)去幾年為響應(yīng)國(guó)家“雙碳”號(hào)召，以及東數(shù)西算等算力政策的牽引，頭部超大規(guī)模數(shù)據(jù)中心（主要是頭部互聯(lián)網(wǎng)企業(yè)和三大運(yùn)營(yíng)商）在積極推動(dòng)液冷的使用，希望在綠色算力領(lǐng)域有所創(chuàng)新。
最新公布的一份白皮書(shū)中，施耐德電氣闡述了適應(yīng)當(dāng)下AI工作負(fù)載的數(shù)據(jù)中心設(shè)計(jì)指南，其中包括數(shù)據(jù)中心配電升級(jí)至240/415 V，液冷CDU的投入使用，采用更寬更深的機(jī)架以容納配電單元和液冷歧管等等。
從海外局面來(lái)看，目前北美地區(qū)企業(yè)主要是微軟、亞馬遜、谷歌、Meta的互聯(lián)網(wǎng)超大規(guī)模數(shù)據(jù)中心在使用液冷技術(shù)，而歐洲地區(qū)則主要局限在一些科研院所。
例如，去年AWS與英偉達(dá)的合作項(xiàng)目Project Ceiba中，AWS數(shù)據(jù)中心配備了英偉達(dá)Grace Hopper超級(jí)芯片，用于支撐GH200 NVL32的DGX Cloud，而該數(shù)據(jù)中心還是AWS首個(gè)采用液冷技術(shù)的AI基礎(chǔ)設(shè)施，原因就在于確保高密度服務(wù)器集群能夠以最佳性能高效運(yùn)行；更早地，在Ignite大會(huì)上，微軟宣布推出的兩款為數(shù)據(jù)中心定制設(shè)計(jì)的AI芯片和相關(guān)集成系統(tǒng)，其中也用到了液冷技術(shù)。
在中國(guó)市場(chǎng)，市場(chǎng)對(duì)液冷的態(tài)度還存在一些不確定性。由于目前老舊數(shù)據(jù)中心保有量比較大，也沒(méi)有跟上液冷改造的步伐，在改造難度和成本上都存在一定挑戰(zhàn)。尤其是對(duì)于某些不可改造液冷的數(shù)據(jù)中心，只能通過(guò)其他途徑降低數(shù)據(jù)中心PUE值。浪潮信息服務(wù)器產(chǎn)品線(xiàn)總經(jīng)理趙帥的觀(guān)察是，“現(xiàn)在液冷市場(chǎng)很熱，但真正落地的還沒(méi)有那么大，基本在10%的市占率。”
在技術(shù)層面，相變冷板液冷、鋁冷板全液冷、針對(duì)異構(gòu)加速的冷板等等技術(shù)方案，目前仍處于研究探索和測(cè)試驗(yàn)證階段。
在液冷技術(shù)領(lǐng)域，大致分為噴淋式液冷、浸沒(méi)式液冷、冷板式液冷。其中，冷板式液冷提供了靈活的解決方案：CPU、GPU、DIMM等核心發(fā)熱部件與冷卻液之間沒(méi)有直接接觸，其他部分散熱通過(guò)風(fēng)冷精密空調(diào)來(lái)輔助冷卻，對(duì)現(xiàn)有服務(wù)器芯片組件及部件改動(dòng)小，因而也是目前應(yīng)用成熟度較高的液冷散熱模式。
相較之下，傳統(tǒng)的風(fēng)冷散熱難以跟上數(shù)據(jù)中心設(shè)備散熱的需求，綠色數(shù)據(jù)中心正摒棄這種做法。而噴淋式液冷能達(dá)到最低的能耗，但目前技術(shù)尚不成熟，浸沒(méi)式液冷技術(shù)是將發(fā)熱器件直接浸沒(méi)在絕緣性液體中，將熱量從發(fā)熱器件傳導(dǎo)至液體，但當(dāng)前技術(shù)成本頗高。鈦媒體此前與國(guó)內(nèi)某服務(wù)器產(chǎn)品專(zhuān)家交流獲悉，“通常一臺(tái)液冷整機(jī)柜的成本大概在數(shù)百萬(wàn)，對(duì)于普通的服務(wù)商是很難接受的，互聯(lián)網(wǎng)公司即便有資本去做這件事情，也基本會(huì)采用組合式方案。”
IDC數(shù)據(jù)顯示，冷板式液冷已經(jīng)成為液冷數(shù)據(jù)中心的主流，在中國(guó)液冷服務(wù)器市場(chǎng)中的占比達(dá)到90%。
整體來(lái)看，單機(jī)柜功率超過(guò)20KW時(shí)，采用冷板液冷技術(shù)具備高效散熱、低能耗、低TCO、低噪聲、低占地面積等顯著優(yōu)勢(shì)。當(dāng)單機(jī)柜突破100KW時(shí)，在浪潮信息數(shù)據(jù)中心產(chǎn)品部副總經(jīng)理李金波看來(lái)，冷板式液冷方案的換熱能力依然存在極大的優(yōu)勢(shì)，“無(wú)論是單相式冷板還是兩相式冷板液冷，還沒(méi)有達(dá)到換熱瓶頸。”
從更微觀(guān)的角度來(lái)看，例如同樣是單相式浸沒(méi)和單相式冷板進(jìn)行對(duì)比，參照系數(shù)是流過(guò)散熱器的冷卻液（前者是油和氟化液，后者一般是水）表面的傳熱系數(shù)。通過(guò)計(jì)算可以得知，要達(dá)到相同的冷卻程度，浸沒(méi)式液冷是遠(yuǎn)高于冷板式液冷所需液體流量的4倍之多。這種換熱能力優(yōu)勢(shì)，其實(shí)在兩相式液冷中同樣存在。
不過(guò)，在英特爾解決方案咨詢(xún)顧問(wèn)李昌中看來(lái)，“全球用戶(hù)對(duì)綠色高效算力的追求是一致的，只是受限于各地域用戶(hù)所處環(huán)境。”另外，他還提到一些區(qū)域性用戶(hù)特點(diǎn)：如東南亞、印度等熱帶地區(qū)用戶(hù)，對(duì)冷板式液冷的采用會(huì)更加積極；在一些環(huán)境比較惡劣的地區(qū)，在邊緣服務(wù)器產(chǎn)品可能還直接用上浸沒(méi)方案。
由于液冷產(chǎn)業(yè)標(biāo)準(zhǔn)不完善，產(chǎn)業(yè)鏈上各個(gè)企業(yè)技術(shù)路徑多種多樣、產(chǎn)品規(guī)格千差萬(wàn)別，產(chǎn)品質(zhì)量良莠不齊，各液冷模塊無(wú)法兼容，讓用戶(hù)難以選擇，獲取成本和使用門(mén)檻高，液冷產(chǎn)業(yè)發(fā)展面臨阻礙。
因而，中國(guó)液冷市場(chǎng)的最大的機(jī)會(huì)還是在于，通過(guò)本土企業(yè)的創(chuàng)新和實(shí)踐，形成產(chǎn)業(yè)標(biāo)準(zhǔn)，繼而推廣到全球市場(chǎng)。
趨勢(shì)上看，冷板式液冷中的冷板主要覆蓋CPU、GPU、DIMM等核心發(fā)熱部件，為進(jìn)一步提高冷板液冷覆蓋率，滿(mǎn)足數(shù)據(jù)中心高能效、高密度綠色發(fā)展需求，冷板液冷技術(shù)發(fā)展正逐步向全液冷演進(jìn)。
目前浪潮信息與英特爾聯(lián)合發(fā)布的全液冷冷板服務(wù)器參考設(shè)計(jì)，實(shí)現(xiàn)了對(duì)CPU、高功耗內(nèi)存、NVMe硬盤(pán)、OCP網(wǎng)卡、電源、PCIe轉(zhuǎn)接卡和光模塊等服務(wù)器主要發(fā)熱部件的冷板全液冷覆蓋，PUE降至接近于1的水平。同時(shí)，該產(chǎn)品針對(duì)不同部件的結(jié)構(gòu)、材質(zhì)、工作溫度等差異化需求，設(shè)計(jì)了諸多系統(tǒng)部件級(jí)液冷解決方案，包含PSU、內(nèi)存、硬盤(pán)、擴(kuò)展模塊等，靈活性更高。
例如，浪潮信息已All in液冷，其目的是希望客戶(hù)用上全棧液冷產(chǎn)品。這種策略其實(shí)也容易理解：在客戶(hù)真實(shí)場(chǎng)景中往往是多種服務(wù)器并存，針對(duì)不同業(yè)務(wù)需求提供不同液冷服務(wù)器，供客戶(hù)靈活選擇。同時(shí)，全液冷實(shí)現(xiàn)了系統(tǒng)極簡(jiǎn)，只用一套管理系統(tǒng)，并且除了硬件系統(tǒng)之外，浪潮信息還在通過(guò)數(shù)據(jù)中心的管理軟件對(duì)機(jī)房?jī)?nèi)外圍及各節(jié)點(diǎn)進(jìn)行統(tǒng)一控制，實(shí)現(xiàn)整個(gè)數(shù)據(jù)中心能效的最優(yōu)化及維護(hù)上的便利性。
這可能也是客戶(hù)遇到但尚未意識(shí)到的痛點(diǎn)，可盡可能減少客戶(hù)顧慮，推進(jìn)快速落地。
而更進(jìn)一步地，對(duì)于算力基礎(chǔ)設(shè)施供應(yīng)商而言，將可以通過(guò)設(shè)計(jì)開(kāi)放，為產(chǎn)業(yè)探索全液冷冷板解決方案提供新思路，推動(dòng)形成開(kāi)放標(biāo)準(zhǔn)，加速全液冷冷板技術(shù)的普及和規(guī)?；瘧?yīng)用，解決液冷產(chǎn)業(yè)化能力的最核心挑戰(zhàn)。
隨著綠色算力建設(shè)的推進(jìn)，液冷技術(shù)突破的瓶頸其實(shí)還遠(yuǎn)遠(yuǎn)沒(méi)有到來(lái)。
（本文首發(fā)鈦媒體，作者 | 楊麗）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論