谷歌推出壓縮算法TurboQuant，宣稱實(shí)現(xiàn)約6倍內(nèi)存節(jié)省
2026.03.26 10:53?
現(xiàn)約6倍內(nèi)存節(jié)省--鈦媒體快報(bào)】鈦媒體App 3月26日消息，谷歌近日推出了一種可能降低人工智能系統(tǒng)內(nèi)存需求的壓縮算法TurboQuant。根據(jù)谷歌介紹，TurboQuant壓縮技術(shù)旨在降低大語言模型和向量搜索引擎的內(nèi)存占用。該算法主要針對(duì)AI系統(tǒng)中用于存儲(chǔ)高頻訪問信息的鍵值緩存（key-value cache）瓶頸問題。隨著上下文窗口變大，這些緩存正成為主要的內(nèi)存瓶頸。TurboQuant可在無需重新訓(xùn)練或微調(diào)模型的情況下，將鍵值緩存壓縮至3bit精度，同時(shí)基本保持模型準(zhǔn)確率不受影響。對(duì)包括Gemma、Mistral等開源模型的測(cè)試顯示，該技術(shù)可實(shí)現(xiàn)約6倍的鍵值緩存內(nèi)存壓縮效果。此外，在英偉達(dá)H100加速器上的測(cè)試結(jié)果顯示，與未量化的鍵向量相比，該算法最高可實(shí)現(xiàn)約8倍性能提升。研究人員也表示，這項(xiàng)技術(shù)的應(yīng)用不局限于AI模型，還包括支撐大規(guī)模搜索引擎的向量檢索能力。谷歌計(jì)劃于4月的國(guó)際學(xué)習(xí)表征會(huì)議（ICLR 2026）上展示TurboQuant技術(shù)。（廣角觀察）&pic=https://images.tmtpost.com/uploads/images/2023/10/20231026171706975.png)
71
14
鈦媒體App 3月26日消息，谷歌近日推出了一種可能降低人工智能系統(tǒng)內(nèi)存需求的壓縮算法TurboQuant。根據(jù)谷歌介紹，TurboQuant壓縮技術(shù)旨在降低大語言模型和向量搜索引擎的內(nèi)存占用。該算法主要針對(duì)AI系統(tǒng)中用于存儲(chǔ)高頻訪問信息的鍵值緩存（key-value cache）瓶頸問題。隨著上下文窗口變大，這些緩存正成為主要的內(nèi)存瓶頸。TurboQuant可在無需重新訓(xùn)練或微調(diào)模型的情況下，將鍵值緩存壓縮至3bit精度，同時(shí)基本保持模型準(zhǔn)確率不受影響。對(duì)包括Gemma、Mistral等開源模型的測(cè)試顯示，該技術(shù)可實(shí)現(xiàn)約6倍的鍵值緩存內(nèi)存壓縮效果。此外，在英偉達(dá)H100加速器上的測(cè)試結(jié)果顯示，與未量化的鍵向量相比，該算法最高可實(shí)現(xiàn)約8倍性能提升。研究人員也表示，這項(xiàng)技術(shù)的應(yīng)用不局限于AI模型，還包括支撐大規(guī)模搜索引擎的向量檢索能力。谷歌計(jì)劃于4月的國(guó)際學(xué)習(xí)表征會(huì)議（ICLR 2026）上展示TurboQuant技術(shù)。（廣角觀察）
本文內(nèi)容僅供參考，不構(gòu)成投資建議，請(qǐng)謹(jǐn)慎對(duì)待。
投資日歷
更多
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論