破解算力問(wèn)題，降低模型所需的存算空間，有很多種途徑，是減少訓(xùn)練時(shí)算力，還是減少推理時(shí)算力？稀疏化、量化、壓縮、蒸餾等手段，都是方法之一。只是當(dāng)前鑒于不同方法的優(yōu)勢(shì)特征，各家模型企業(yè)及研究機(jī)構(gòu)都會(huì)選擇不同的策略。
以長(zhǎng)上下文任務(wù)為例，過(guò)去兩年，AI算法團(tuán)隊(duì)曾提出要以鍵值緩存（KV Cache）為中心的分離架構(gòu)設(shè)計(jì)，即根據(jù)不同計(jì)算特性將預(yù)填充服務(wù)器與解碼服務(wù)器分開(kāi)，在大batch size及隊(duì)列場(chǎng)景下需要更大的系統(tǒng)內(nèi)存帶寬。簡(jiǎn)而言之，對(duì)于許多推理時(shí)任務(wù)來(lái)說(shuō)，瓶頸在于內(nèi)存帶寬。
今日，谷歌發(fā)布了一項(xiàng)名為T(mén)urboQuant的算法，這項(xiàng)技術(shù)旨在解決上述提及的問(wèn)題：大模型運(yùn)行時(shí)的內(nèi)存消耗。其核心是讓AI在思考和回答問(wèn)題時(shí)，占用少得多的工作內(nèi)存，同時(shí)保持幾乎相同的智力水平，甚至速度更快。
根據(jù)官方描述，TurboQuant的推出預(yù)計(jì)會(huì)帶來(lái)多項(xiàng)利好：模型推理方面，百萬(wàn)Token上下文成本會(huì)明顯下降；向量數(shù)據(jù)庫(kù)領(lǐng)域，更容易做到實(shí)時(shí)索引和亞毫秒查詢(xún)；邊緣AI領(lǐng)域，手機(jī)和嵌入式設(shè)備的上下文推理更現(xiàn)實(shí)。此外，該思路同樣可擴(kuò)展到多模態(tài)領(lǐng)域的向量壓縮。
事實(shí)上，就在該技術(shù)發(fā)布當(dāng)日，美股存儲(chǔ)板塊如美光科技、閃迪等應(yīng)聲下跌。近年來(lái)，內(nèi)存(RAM)、固態(tài)硬盤(pán)(SSD)、硬盤(pán)驅(qū)動(dòng)器(HDD)等存儲(chǔ)產(chǎn)品受下游數(shù)據(jù)中心建設(shè)擴(kuò)張需求的激增，出現(xiàn)了一段時(shí)間的供應(yīng)短缺及價(jià)格推高。該市場(chǎng)反應(yīng)可以理解為，TurboQuant一旦廣泛應(yīng)用，或?qū)@著影響未來(lái)對(duì)AI推理服務(wù)器中內(nèi)存容量規(guī)格的需求判斷，重塑相關(guān)硬件的成本曲線。
要理解TurboQuant的價(jià)值，首先要明白大模型在生成文本時(shí)是如何工作的。它們并非一次性處理所有信息，而是像人類(lèi)閱讀一樣，一個(gè)字一個(gè)字地生成。在這個(gè)過(guò)程中，模型需要一個(gè)“臨時(shí)記事本”來(lái)記住之前所有對(duì)話的內(nèi)容，以免重復(fù)計(jì)算。這個(gè)“記事本”在技術(shù)上被稱(chēng)為鍵值緩存（KV Cache）。但問(wèn)題在于，對(duì)話越長(zhǎng)，這個(gè)“記事本”就越厚，占用的內(nèi)存就越多。以長(zhǎng)文本為例，在處理超長(zhǎng)文檔或復(fù)雜多輪對(duì)話時(shí)，KV Cache會(huì)迅速撐滿昂貴的高性能內(nèi)存，成為制約AI處理速度、推高運(yùn)行成本的主要瓶頸。
TurboQuant運(yùn)用了兩個(gè)結(jié)算的核心算法：PolarQuant主壓縮和QJL（量化Johnson-Lindenstrauss變換）殘差校正，目標(biāo)是壓縮KV Cache中的向量。
傳統(tǒng)量化方法類(lèi)似于用直角坐標(biāo)系（東、北方向）記錄一個(gè)點(diǎn)的位置。TurboQuant的第一步，是PolarQuant，改用極坐標(biāo)（角度和距離）來(lái)描述。研究發(fā)現(xiàn)，經(jīng)過(guò)特定的數(shù)學(xué)變換（隨機(jī)旋轉(zhuǎn)）后，高維向量的數(shù)值分布會(huì)變得非常規(guī)律和集中，就像一個(gè)固定的圓形網(wǎng)格。這樣一來(lái)，系統(tǒng)可以預(yù)先計(jì)算好一套最優(yōu)的壓縮碼本，無(wú)需針對(duì)每次對(duì)話進(jìn)行復(fù)雜的校準(zhǔn)，實(shí)現(xiàn)了在線實(shí)時(shí)壓縮。這一步用大部分比特對(duì)數(shù)據(jù)主體進(jìn)行了高質(zhì)量壓縮。
第一步壓縮后，會(huì)殘留微小的誤差。如果放任不管，在AI計(jì)算注意力（即決定關(guān)注對(duì)話中哪部分內(nèi)容）時(shí)，這些誤差會(huì)累積并導(dǎo)致結(jié)果出現(xiàn)偏差。TurboQuant的第二步創(chuàng)新在于，它用一個(gè)名為QJL的方法來(lái)處理這些殘差。QJL的特點(diǎn)在于，它僅用1個(gè)比特（即一個(gè)正負(fù)號(hào)）來(lái)表征殘差，并與高精度的原始查詢(xún)向量結(jié)合，最終能實(shí)現(xiàn)無(wú)偏的內(nèi)積估計(jì)。這意味著，盡管數(shù)據(jù)被大幅壓縮，但AI在計(jì)算“哪些信息更重要”時(shí)，得到的結(jié)果依然是準(zhǔn)確無(wú)誤的。
什么是QJL？簡(jiǎn)單說(shuō)，就是一種把高維向量“投影”到低維空間的方法，且能以數(shù)學(xué)證明保證距離關(guān)系不被破壞太多。QJL把這個(gè)投影結(jié)果進(jìn)一步壓縮到1比特，體積極小，但仍能作為無(wú)偏估計(jì)器。
根據(jù)谷歌官方博客闡述，TurboQuant帶來(lái)了接近理論極限的性能提升：
TurboQuant能夠以極低的內(nèi)存占用、近乎零預(yù)處理時(shí)間和最先進(jìn)的精度構(gòu)建和查詢(xún)大型向量索引。這使得谷歌規(guī)模的語(yǔ)義搜索速度更快、效率更高。當(dāng)然，TurboQuant的意義遠(yuǎn)不止于一項(xiàng)實(shí)驗(yàn)室突破。據(jù)博客所述，向量量化雖然目前主要解決的是Gemini等模型中的KV-cash瓶頸，但該技術(shù)同樣適用于需要在高維向量數(shù)據(jù)庫(kù)中進(jìn)行海量搜索的場(chǎng)景（如現(xiàn)代語(yǔ)義搜索引擎）。
相關(guān)論文將在ICLR 2026和AISTATS 2026發(fā)表。
相關(guān)鏈接：https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
相關(guān)論文鏈接：https://arxiv.org/pdf/2502.02617
（本文作者 | 楊麗，編輯 | 楊林）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論