圖片來源@視覺中國
生成式人工智能（GenAI）盛行，芯片是承托所有探索和可能性的基礎(chǔ)。
“現(xiàn)在我們買不到，云廠商內(nèi)部自己留著，我們跟云廠商也買不到。怎么談下一步合作？”一家中國互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)負(fù)責(zé)人近段時(shí)間表示。缺卡，不僅讓這家企業(yè)的AI業(yè)務(wù)受到影響，也給為之服務(wù)的云廠商提出了質(zhì)疑。
在中國，芯片需求非常旺盛。但眾所周知的芯片禁令影響，尤其是今年10月美國對華半導(dǎo)體出口新一輪禁令的施壓，英偉達(dá)“中國特供版”A800和H800等產(chǎn)品將受到影響。而放眼全球范圍內(nèi)，對用于訓(xùn)練和推理機(jī)器學(xué)習(xí)模型的GPU性能的需求增長，超過了整個(gè)行業(yè)的供給量，GPU也是稀缺資源。
亞馬遜云科技開創(chuàng)了云廠商自研芯片的先河，以至于后來的云服務(wù)商也會(huì)以它為參照。
包括微軟近期推出的AI加速計(jì)算的Maia 100芯片，谷歌云早先推出的 AI 張量處理單元TPU等，云廠商提供AI專用芯片或許能夠在GPU緊缺時(shí)滿足客戶一定訴求，如何滿足當(dāng)前市場對AI算力高漲的需求，對所有云廠商而言，都是一道必答題。
比如，亞馬遜云科技這兩年其明顯在加快自研芯片的腳步。從最悠久的虛擬化芯片Amazon Nitro，到基于ARM架構(gòu)的通用計(jì)算芯片Amazon Graviton，以及用于人工智能訓(xùn)練和推理的兩款專用芯片Amazon Trainium和Amazon Inferentia。
不久前的re:Invent全球大會(huì)上，亞馬遜云科技正式宣布兩款新型芯片Amazon Graviton 4和Amazon Trainium2。
亞馬遜云科技一直在強(qiáng)調(diào)其追求，即找到更好的方法讓云上業(yè)務(wù)負(fù)載獲得更強(qiáng)的性能和極致的性價(jià)比。
盡管在英偉達(dá)GPU“一卡難求”的大環(huán)境下，頭部的云廠商具備非常強(qiáng)的拿卡能力。在今年re:Invent大會(huì)另一個(gè)不容忽視的風(fēng)向是，“亞馬遜云科技正努力使自己成為云上提供英偉達(dá)GPU最好的云計(jì)算廠商。這是我們的訴求之一，”亞馬遜云科技大中華區(qū)基礎(chǔ)設(shè)施產(chǎn)品技術(shù)總監(jiān)郭峰告訴鈦媒體。
亞馬遜云科技宣布了與英偉達(dá)的幾項(xiàng)新合作：將提供首款搭載NVIDIA Grace Hopper超級芯片和Amazon UltraClusters技術(shù)的云AI超級計(jì)算機(jī)。同時(shí)，首款使用英偉達(dá)最新芯片GH200 NVL32的NVIDIA DGX云也將登陸亞馬遜云科技。而雙方合作開展的“Project Ceiba”合作項(xiàng)目，也被視為將會(huì)是世界上最大的云AI超級計(jì)算機(jī)，托管在亞馬遜云科技云上，由英偉達(dá)工程師團(tuán)隊(duì)使用。
亞馬遜云科技使用芯片和自研芯片的戰(zhàn)略意圖顯而易見：對于有些客戶基于“模型需要快速上線，采用很多已有的資源”的訴求，會(huì)選擇英偉達(dá)GPU，亞馬遜云科技會(huì)為用戶提供盡可能全面的選擇；
同時(shí)，用戶自身有長期發(fā)展的需求，亞馬遜云科技正提供新的SDK幫助用戶使用自研芯片，用于大模型或GenAI相關(guān)研發(fā)場景。亞馬遜云科技的策略是，堅(jiān)持自研芯片，且采用了其核心云服務(wù)器EC2的企業(yè)，一般也會(huì)采購其自研芯片支持的EC2實(shí)例，這是已經(jīng)被驗(yàn)證過且成功了的路子。根據(jù)官方公布的數(shù)據(jù)，“已經(jīng)有超過5萬客戶在使用Graviton。其中TOP100的Amazon EC2客戶，全部選擇了基于自研芯片Graviton的EC2實(shí)例。”
整體來看，亞馬遜云科技還在持續(xù)深化未來計(jì)算和AI能力平臺(tái)，包括云基礎(chǔ)設(shè)施相關(guān)的數(shù)據(jù)中心、存儲(chǔ)、芯片，圍繞生成式AI的端到端算力和數(shù)據(jù)基礎(chǔ)服務(wù)，以及前端應(yīng)用程序如Amazon Q等。如今，亞馬遜云科技已經(jīng)提供了超過600種類型的計(jì)算實(shí)例供廣泛客戶選擇；據(jù)PitchBook數(shù)據(jù)，全球估值超過10億美元初創(chuàng)獨(dú)角獸公司中有80%以上都將工作負(fù)載運(yùn)行在亞馬遜云科技上。
以客戶為視角，幫助客戶提供不同負(fù)載下的能力支撐，還有很大創(chuàng)新空間。想要重新定義計(jì)算實(shí)例，離不開計(jì)算的核心——芯片。目前在云互聯(lián)網(wǎng)廠商中，相對早地蹚過芯片設(shè)計(jì)流片的困難期，決定了一家企業(yè)在云市場競爭中的話語權(quán)。這也幾乎是當(dāng)前谷歌、微軟、阿里等頭部廠商都在做的事情。
想要自研芯片也并非一日之功。亞馬遜云科技在2013年決定自研，也是源自客戶對Amazon EC2提出的諸多訴求，這要求亞馬遜云科技需要持續(xù)增加新實(shí)例，以滿足各類業(yè)務(wù)需要。
當(dāng)時(shí)，亞馬遜云科技使用了針對X86的開源虛擬化Xen，允許多個(gè)虛機(jī)在一臺(tái)物理機(jī)上運(yùn)行。但有超過30%的處理因支持虛擬管理程序而浪費(fèi)掉了，這項(xiàng)開支促使亞馬遜云科技決定開發(fā)定制芯片，用于特定應(yīng)用程序的工作負(fù)載。
2013年，亞馬遜云科技與AMD開始合作，發(fā)布了Amazon EC2 C3實(shí)例。此時(shí)的亞馬遜云科技云規(guī)模已經(jīng)在不斷擴(kuò)大，亞馬遜云科技看到性能提升不足對未來架構(gòu)的限制。這也促使亞馬遜云科技與Annapurna Labs合作，并在2015年推出Amazon EC2 C4實(shí)例，對存儲(chǔ)和網(wǎng)絡(luò)的卸載功能優(yōu)化。與此同時(shí)，亞馬遜云科技斥資3.5億美元收購了Annapurna，這次收購也催生出后來的Project Nitro，即new Nitro，與此前跟Cavium合作推出的首款Nitro定制芯片作為區(qū)分。
此時(shí)，亞馬遜云科技引入了C5實(shí)例，用另一個(gè)虛擬化技術(shù)KVM取代了Xen，并將虛擬機(jī)管理程序與ASIC更緊密地結(jié)合在一起。
繼Nitro之后，亞馬遜云科技將Arm芯片開發(fā)擴(kuò)展到其他產(chǎn)品線，其中包括2018年首次推出的Graviton和Inferentia，以及2020年的Trainium?；贏rm設(shè)計(jì)的芯片這一舉措，打破了亞馬遜云科技對x86的依賴，開啟了新架構(gòu)時(shí)代，該架構(gòu)現(xiàn)在支持多種配置來支持?jǐn)?shù)據(jù)密集型工作負(fù)載。
今年新推的三款芯片和實(shí)例，根據(jù)官方信息鈦媒體整理如下：
Amazon Graviton4，平均性能比Graviton3提升30%，對某些工作負(fù)載的加速更明顯，數(shù)據(jù)庫應(yīng)用程序速度提升40%，大型Java應(yīng)用程序速度提升45%。目前基于Graviton4的EC2 R8g實(shí)例的預(yù)覽版已經(jīng)推出。
Amazon Trainium2，用于生成式AI和機(jī)器學(xué)習(xí)訓(xùn)練，針對訓(xùn)練具有數(shù)千億至數(shù)萬億參數(shù)的基礎(chǔ)模型進(jìn)行優(yōu)化，相較Trainium性能提升多達(dá)4倍，內(nèi)存提升3倍，能源效率（每瓦性能）提升多達(dá)2倍，并能在云上的EC2大規(guī)模集群中擴(kuò)展至10萬個(gè)芯片，最高提供65 exaflops的AI算力。
至于今年4月推出的Amazon Inferentia2芯片和Inf2實(shí)例，針對于大模型和生成式AI推理，與一代相比，Amazon Inferentia2的吞吐量提高4倍，延遲低至前者的1/10。
Amazon Graviton4 和Amazon Trainium（原型）
其實(shí)每一代芯片迭代都曾帶來大幅度的性能提升，像Nitro已經(jīng)迭代到第五代，為Amazon EC2加速實(shí)例創(chuàng)新奠定基礎(chǔ)。Graviton過去五年也經(jīng)歷四次重大迭代，基于Graviton的Amazon EC2實(shí)例種類達(dá)到150多個(gè)，已經(jīng)構(gòu)建的Graviton處理器數(shù)量超過200萬個(gè)。亞馬遜云科技長期以來堅(jiān)持的自研芯片戰(zhàn)略，已經(jīng)在客戶需求的反哺中一路升級。
自證不如請客戶來佐證。
以F1用上Graviton為例，F(xiàn)1幾年前將其CFD模擬遷移至亞馬遜云科技的高性能計(jì)算（HPC）平臺(tái)，并引入基于Amazon Graviton2處理器的Amazon EC2 C6gn實(shí)例。這不僅使CFD模擬時(shí)間大幅縮短，還使成本降低了30%。隨著基于Amazon Graviton3處理器的Amazon EC2 C7g實(shí)例的推出，F(xiàn)1又成為該實(shí)例首批使用的用戶之一。
因?yàn)镚raviton帶來的性價(jià)比提升，已經(jīng)吸引不少客戶前來使用，包括Datadog、DirecTV、Discovery、SAP、Snowflake、Sprinklr、Stripe、Zendesk、Freewheel，還有中國的涂鴉智能、大宇無限等企業(yè)。
為此，Graviton3的EC2 C7g、M7g、R7g實(shí)例也于近日在亞馬遜云科技中國（北京）區(qū)域和中國（寧夏）區(qū)域正式可用。這距離上一代Graviton2支持的EC2 M6g、C6g和R6g實(shí)例落地中國區(qū)已近三年。
不過，在GenAI趨勢下，更多企業(yè)客戶也在關(guān)注AI芯片。畢竟從采購芯片到訓(xùn)練大模型，實(shí)現(xiàn)推理應(yīng)用，已經(jīng)隔了好幾座成本高山。據(jù)英偉達(dá)報(bào)道，其二季度收入的22%由單一云服務(wù)商推動(dòng)，這其中自然包括亞馬遜云科技。
安迪·賈西在今年財(cái)報(bào)電話會(huì)上強(qiáng)調(diào)，由于現(xiàn)階段芯片需求量很高，英偉達(dá)等頭部芯片公司的GPU往往供不應(yīng)求，一些AI公司正在轉(zhuǎn)向選擇亞馬遜云科技自研芯片處理業(yè)務(wù)。
這從Anthropic、Databricks、Helixon、Money Forward，以及Amazon Search團(tuán)隊(duì)的選擇上可以理解，它們也通過亞馬遜云科技使用Trainium2，進(jìn)行大規(guī)模深度學(xué)習(xí)模型的訓(xùn)練工作。數(shù)據(jù)顯示，客戶目前可在數(shù)周就能訓(xùn)練完成一個(gè)具有三千億參數(shù)的大語言模型。
“每瓦特的性能”也是亞馬遜云科技公布的指標(biāo)之一。影響芯片性能提升的一個(gè)主要瓶頸是能耗問題，保證每瓦特情況下能夠輸出更好的計(jì)算能力，才能夠使計(jì)算環(huán)境更持續(xù)發(fā)展。
單看亞馬遜云科技當(dāng)前發(fā)布的最新芯片，在完成相同工作負(fù)載的前提下，已經(jīng)比同類型芯片或上一代自研芯片所耗能源已經(jīng)有倍數(shù)級的降低。
而當(dāng)業(yè)內(nèi)會(huì)認(rèn)為接下來將是GenAI應(yīng)用爆發(fā)之年，作為早一步感受到算力資源供給與需求變動(dòng)的云廠商也早已加快行動(dòng)。
（本文首發(fā)鈦媒體APP，作者 | 楊麗）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號后發(fā)表評論