2023 年 2 月，微軟向 OpenAI 投資了 100 億美元，你或許覺得這筆錢應該能花好一陣子。

但在今天，100 億美金幾乎才是 2024 年做大模型的起平線。撇開現(xiàn)金流充足的谷歌，OpenAI、Anthropic 和 xAI 分別獲得了約 130 億美元、70 億美元、60 億美元融資額，來「卷」新一代大模型。

這主要是由于做大模型所需要的算力一再擴張，尤其是隨著多模態(tài)融合成為新的 AGI 大模型路線。如果說去年做大模型的算力門檻是 1 萬張英偉達 H100 的算力集群，那么，今年這個數(shù)字變成了至少 10 萬張 H100，這是馬斯克籌集 60 億美元資金的主要用途。

據(jù) The Information 采訪的一位投資者，馬斯克在最近與潛在和現(xiàn)有 xAI 投資者的通話中表示，公司將把大部分資金用于租用 AI 芯片，并幫助其在 2025 年下半年達到 10 萬個 GPU，以便改進 Grok 背后的模型。

這位人士說，馬斯克暗示，他是僅有的幾位能籌集到足夠資金與領先的人工智能公司競爭的高管之一。

上個月，馬斯克在 X.com 上的現(xiàn)場音頻聊天中表示，xAI 將需要 10 萬個 Nvidia H100 GPU 來訓練 Grok 3.0。他表示，該公司目前正在大約 20,000 個 H100 芯片上訓練 Grok 2.0。

英偉達沒有公布過其芯片的成本，但研究公司 SemiAnalysis 的首席分析師 Dylan Patel 表示，租用 10 萬臺 H100 每年可能花費約 17 億美元；即將推出的被稱為 GB200 的 Nvidia AI 芯片可能比前代產品貴 50%。

能不能「借」到錢買算力是一方面，有了錢能不能買到算力又是另一方面。當前，英偉達最高端的 GPU 系列仍舊供不應求，云廠商能用來訓練大模型的算力集群有限。

馬斯克將目光鎖定在了三大云廠商之外的另一家——甲骨文 Oracle。

與亞馬遜云 AWS、谷歌云、微軟云 Azure 不同，甲骨文與 OpenAI 或 Anthropic 沒有業(yè)務往來，這可能使其對馬斯克作為合作伙伴更具吸引力。

同時，馬斯克也是甲骨文聯(lián)合創(chuàng)始人埃里森的老朋友，埃里森此前曾擔任馬斯克的另一家公司特斯拉的董事會董事，并出資幫助馬斯克接管了當時還被稱為 Twitter 的 X。據(jù)直接知情人士透露，XAI 已經是 Oracle 最大的 H100 客戶，使用了超過 15000 個芯片。

現(xiàn)在，馬斯克已經明確 xAI 將需要多達 10 萬個專用半導體來訓練和運行下一代 Grok。他告訴投資者，xAI 計劃將所有這些芯片串聯(lián)成一臺大型計算機，他稱之為「算力超級工廠」（gigafactory of compute）。馬斯克希望在 2025 年秋天之前讓這臺超級計算機投入運行，并將親自負責按時交付。他稱，這些連接起來的 H100 集群，建成后的規(guī)模將至少是目前最大 GPU 集群的四倍。

在「算力超級工廠」的計劃下，XAI 可能與甲骨文公司合作開發(fā)超級計算機，也可能選擇其他合作方或合作形式。一個細節(jié)體現(xiàn)在本輪融資的出資方包括紅杉、A16Z 等基金，唯獨沒有甲骨文的身影。相比之下，其他三大云廠商和大模型公司之間的合作則通過投資來「鎖定」云客戶。

無論如何，「算力超級工廠」給了 Grok 上一線牌桌的起點，這場 AI 背后的算力競賽，還將繼續(xù)加碼。

此前，扎克伯格表示，到 2024 年底，Meta 將擁有 35 萬臺 H100，其中一些將用于訓練公司的 Llama 開源大模型。微軟計劃在今年和明年為 OpenAI 提供容納數(shù)十萬個 GPU 的服務器。OpenAI 和微軟已經在討論到 2028 年開發(fā)一臺價值 1000 億美元的超級計算機。