這一研究由NVIDIA組建的一支23人的頂級團(tuán)隊(duì)完成，名為《AVO: Agentic Variation Operators for Autonomous Evolutionary Search》（AVO：用于自主進(jìn)化搜索的智能體變異算子）。
簡單來說，AVO（Agentic Variation Operators，智能體變異算子）是讓AI自己當(dāng)起了“程序員+架構(gòu)師+測試員”的合體，去探索人類工程師可能永遠(yuǎn)想不到的底層代碼優(yōu)化方案，最終在英偉達(dá)最新的Blackwell（B200）GPU上，寫出了比當(dāng)今最頂尖人類專家團(tuán)隊(duì)（如cuDNN和FlashAttention-4）編寫的代碼還要快10%以上的高性能計(jì)算內(nèi)核。
值得注意的是，其核心開發(fā)者許冰在X上表示，他一開始根本不懂GPU編程，也由此開啟了這一段“盲編碼”的探索——也許，“不懂”才是最大的優(yōu)勢，人類的認(rèn)知反而會(huì)成為進(jìn)化的局限。
想象一下，你有一套非常精密的計(jì)算程序（比如現(xiàn)在最火的AI模型中的“注意力機(jī)制”），這套程序要在顯卡（GPU）上跑得飛快。為了達(dá)到這個(gè)目標(biāo)，專業(yè)的程序員們通常要花費(fèi)幾個(gè)月甚至幾年時(shí)間，手動(dòng)調(diào)整代碼、優(yōu)化內(nèi)存訪問、設(shè)計(jì)特殊算法，最終才能比通用版本快個(gè)20%、30%。
但這些手工優(yōu)化有個(gè)大問題：太慢了、太依賴個(gè)人經(jīng)驗(yàn)了。硬件在變、算法在變，每次都需要重新優(yōu)化。
為了自動(dòng)化這個(gè)過程，科學(xué)家們想到了“進(jìn)化算法”：就像生物進(jìn)化一樣，隨機(jī)生成一批代碼，測試哪個(gè)跑得快，保留快的，變異出下一代，不斷重復(fù)。但這個(gè)方法有個(gè)致命缺陷：變異操作是“盲目的”——傳統(tǒng)進(jìn)化算法中的"變異"就是簡單的隨機(jī)修改、交換代碼片段。這就好比你想讓猴子打出莎士比亞的作品，純靠隨機(jī)敲鍵盤是不行的。
而且，傳統(tǒng)的進(jìn)化算法和“大模型輔助設(shè)計(jì)”思路，通常把AI（大語言模型）限定在一個(gè)固定的流程里。比如，人類設(shè)定好規(guī)則（“變異”和“交叉”），讓AI生成一堆代碼候選方案，然后由人類或另一個(gè)程序來篩選和測試。
AVO的革命性在于，它徹底顛覆了這個(gè)關(guān)系。 它不再把AI當(dāng)作流程中的一個(gè)“候選生成器”，而是將整個(gè)變異過程本身，交給一個(gè)自主的智能體循環(huán)來完成。這個(gè)智能體擁有更高的權(quán)限和更全面的視角，它可以：
基于這些信息，這個(gè)智能體可以自主完成提出修改、修復(fù)錯(cuò)誤、批判方案、驗(yàn)證結(jié)果等一系列完整動(dòng)作。這就像一個(gè)不知疲倦、知識淵博且具備批判性思維的全棧工程師，在持續(xù)地重構(gòu)和優(yōu)化代碼。
為了證明AVO的強(qiáng)大，研究團(tuán)隊(duì)選擇了一個(gè)公認(rèn)的“硬骨頭”作為測試場：注意力機(jī)制（Attention）的計(jì)算內(nèi)核。這是驅(qū)動(dòng)當(dāng)今所有大語言模型（如ChatGPT、Gemini）的核心組件，也是全球頂尖工程師和科學(xué)家投入巨資、激烈優(yōu)化的焦點(diǎn)。英偉達(dá)的cuDNN和Tri Dao團(tuán)隊(duì)的FlashAttention系列，就是這一領(lǐng)域的標(biāo)桿。
在讓AVO在最新的NVIDIA Blackwell (B200)顯卡上運(yùn)行7天后，實(shí)驗(yàn)的結(jié)果驚人：
傳統(tǒng)方法像是在填空題里選答案，而AVO像是在開放題中自由發(fā)揮，可以探索各種可能性。而且，AVO不是靠猜什么優(yōu)化有用，而是真正運(yùn)行代碼、測量性能，用數(shù)據(jù)驅(qū)動(dòng)進(jìn)化。同時(shí)，智能體會(huì)從每次嘗試中學(xué)習(xí)，失敗的嘗試也有價(jià)值，告訴它這條路不通。
AVO讓AI像真正的程序員一樣，會(huì)學(xué)習(xí)、會(huì)思考、會(huì)測試，最終寫出了比人類專家還快的代碼。這是AI優(yōu)化自身能力的重要一步。
從其進(jìn)化結(jié)果來看，對AI硬件優(yōu)化意味著：更快的大模型訓(xùn)練，如果注意力機(jī)制計(jì)算能加速10%，整個(gè)大模型訓(xùn)練都能更快；降低硬件門檻，同樣的硬件能跑更大的模型，或者同樣的模型能用更便宜的硬件；解放專家，不再需要頂尖優(yōu)化工程師花費(fèi)數(shù)月手工調(diào)優(yōu)。
從這一AI研究方向而言，這篇論文證明了一個(gè)重要觀點(diǎn)：AI不僅可以用來自動(dòng)化任務(wù)，還可以用來自動(dòng)化優(yōu)化本身。未來可能會(huì)有更多“AI優(yōu)化AI”的場景。
這篇論文全部23位作者涵蓋了AI編譯器、高性能計(jì)算、計(jì)算機(jī)視覺、生成式AI等多個(gè)頂級子方向——AI智能體編程先鋒（Terry Chen, 許冰）、 AI編譯器之父（陳天奇）、NVIDIA研究VP（Ming-Yu Liu）、 GPU內(nèi)核專家（John Tran, Andrew Kerr）、注意力機(jī)制專家（Ali Hassani）、學(xué)術(shù)界權(quán)威（Humphrey Shi, Luis Ceze），以及系統(tǒng)工程支撐團(tuán)隊(duì)。
這是一個(gè)從理論到工程、從學(xué)術(shù)到產(chǎn)品全鏈路覆蓋的頂級團(tuán)隊(duì)。AVO不是一篇試試看的探索性論文，而是NVIDIA精心布局的戰(zhàn)略級成果。
從更宏觀的視角看，AVO代表了AI研發(fā)范式的又一次進(jìn)化。它不再滿足于讓AI生成內(nèi)容或遵循指令，而是賦予其長期的、目標(biāo)導(dǎo)向的、具備反思能力的自主探索權(quán)。它也為我們打開了一扇門：未來，在芯片設(shè)計(jì)、編譯器優(yōu)化、算法創(chuàng)新等需要極度專業(yè)知識和創(chuàng)造力的領(lǐng)域，自主進(jìn)化的AI智能體可能成為人類最得力的“共研者”。它們可以不知疲倦地探索人類思維難以觸及的“微觀架構(gòu)”組合空間，加速我們邁向更強(qiáng)大、更高效計(jì)算未來的進(jìn)程。
或許，這項(xiàng)研究正像一顆投入湖面的石子，其漣漪將逐漸擴(kuò)散至整個(gè)計(jì)算產(chǎn)業(yè)的每一個(gè)角落。
論文地址 https://arxiv.org/pdf/2603.24517v1
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號后發(fā)表評論