1. 文 | 科技不許冷

過(guò)去兩年，全球科技界仿佛被卷入了一場(chǎng)名為Scaling Law的宗教狂熱。在OpenAI和NVIDIA的布道下，所有人的目光都鎖定在參數(shù)量的指數(shù)級(jí)增長(zhǎng)上。從175B到萬(wàn)億參數(shù)，從H100到Blackwell，似乎算力就是正義，規(guī)模就是真理。投資人和媒體熱衷于討論GPT-5何時(shí)通過(guò)圖靈測(cè)試，仿佛只要堆足夠多的卡，硅基生命就會(huì)在云端的數(shù)據(jù)中心里自然涌現(xiàn)。

然而，在云端算力狂飆突進(jìn)的背面，物理世界的工程界正面臨著一道嚴(yán)峻的高墻。

你一定有過(guò)這樣的體驗(yàn)：對(duì)著智能音箱喊一聲“關(guān)燈”，它卻還要反應(yīng)兩秒鐘，甚至因?yàn)閃i-Fi波動(dòng)回你一句“網(wǎng)絡(luò)連接中，請(qǐng)稍后再試”。在那個(gè)尷尬的瞬間，所謂的人工智能，表現(xiàn)得還不如一個(gè)五塊錢(qián)的物理開(kāi)關(guān)。

對(duì)于這種“云端依賴癥”，消費(fèi)者頂多抱怨兩句。但對(duì)于自動(dòng)駕駛、工業(yè)機(jī)器人、醫(yī)療急救設(shè)備這些“要命”的終端來(lái)說(shuō)，完全依賴云端的“超級(jí)大腦”既不現(xiàn)實(shí)，也不安全。

想象一下，一輛時(shí)速100公里的自動(dòng)駕駛汽車(chē)，在識(shí)別到前方有障礙物時(shí)，如果需要把數(shù)據(jù)上傳到千里之外的云計(jì)算中心，等待推理完成后再傳回剎車(chē)指令——光是數(shù)據(jù)在光纖里跑個(gè)來(lái)回的物理時(shí)間Latency，就足以釀成一場(chǎng)事故。更別提還有隱私泄露的風(fēng)險(xiǎn)：誰(shuí)愿意把自己家里的攝像頭畫(huà)面、個(gè)人的醫(yī)療病歷，毫無(wú)保留地傳到公有云上？

于是，2025年的技術(shù)風(fēng)向悄然逆轉(zhuǎn)。相比于云端那些遙不可及、每秒燒掉幾萬(wàn)美金電費(fèi)的“超級(jí)大腦”，工程界開(kāi)始死磕一個(gè)更性感、也更艱難的命題：端側(cè)AI。

而這并不是一次簡(jiǎn)單的“減配”，而是一場(chǎng)極度反人性的工程惡戰(zhàn)。我們要把那個(gè)吞噬幾千張顯卡算力的AGI，“暴力瘦身”塞進(jìn)一顆面積僅數(shù)平方毫米、功耗僅幾瓦的端側(cè)芯片中，同時(shí)還要保持它的“智商”不掉線。

今天，我們剝離具體的商業(yè)包裝，從底層架構(gòu)視角，來(lái)復(fù)盤(pán)這場(chǎng)發(fā)生在芯片與算法上的“腦科學(xué)”革命。

當(dāng)140GB撞上幾百兆的物理極限

在討論怎么做之前，我們必須先理解端側(cè)AI面臨的物理極限，那簡(jiǎn)直是一種令人絕望的算力悖論。

目前的通用大模型LLM是一個(gè)十足的“富貴病”患者，它對(duì)資源的索取是貪得無(wú)厭的。讓我們看一組數(shù)據(jù)：以一個(gè)70B即700億參數(shù)的模型為例，如果我們想要運(yùn)行它，僅加載模型權(quán)重Weights就需要占用約140GB的顯存。這還只是“靜態(tài)”的占用，模型在推理過(guò)程中產(chǎn)生的KV Cache更是內(nèi)存吞噬獸，且隨著對(duì)話長(zhǎng)度的增加呈線性增長(zhǎng)。

而在端側(cè)，現(xiàn)實(shí)是殘酷的。目前主流的車(chē)載芯片、智能家居SoC，甚至是你手中最新的旗艦手機(jī)，留給NPU的專用內(nèi)存往往只有幾GB，摳門(mén)一點(diǎn)的入門(mén)級(jí)芯片甚至只有幾百M(fèi)B。

要把140GB的龐然大物，塞進(jìn)幾百M(fèi)B的狹小空間里，這不僅是“把大象裝進(jìn)冰箱”，簡(jiǎn)直是“把整個(gè)國(guó)家圖書(shū)館的藏書(shū)，強(qiáng)行塞進(jìn)一個(gè)隨身攜帶的公文包里”。而且，用戶還提出了一個(gè)更變態(tài)的要求：你必須在0.1秒內(nèi)，從這個(gè)公文包里精準(zhǔn)地翻出任意一本書(shū)的第32頁(yè)。

這就是端側(cè)AI面臨的不可能三角：高智商、低延遲、低功耗，三者難以兼得。

為了打破這個(gè)悖論，行業(yè)目前普遍達(dá)成了一個(gè)共識(shí)：未來(lái)的AI架構(gòu)必須是“人格分裂”的——也就是“云-邊-端”三級(jí)分層架構(gòu)。

單一的云端不夠快，單一的端側(cè)不夠強(qiáng)。未來(lái)的智能系統(tǒng)會(huì)像人類的神經(jīng)系統(tǒng)一樣分工：云端是“大腦皮層”，部署千億級(jí)參數(shù)的Teacher Model，負(fù)責(zé)處理極其復(fù)雜的、不著急的長(zhǎng)尾問(wèn)題，比如寫(xiě)一篇論文或者規(guī)劃一次長(zhǎng)途旅行。端側(cè)是“脊髓”和“小腦”，直接運(yùn)行在傳感器旁邊的芯片上，負(fù)責(zé)高頻、實(shí)時(shí)、隱私敏感的任務(wù)，比如語(yǔ)音喚醒、急救避障。

但問(wèn)題來(lái)了：即便只做“脊髓”，現(xiàn)在的芯片也常常跑不動(dòng)。如何在極小的參數(shù)規(guī)模下保留大模型的涌現(xiàn)能力？這成為了算法工程師面臨的頭號(hào)難題。

三把手術(shù)刀下的暴力美學(xué)

要在端側(cè)跑通大模型，算法工程師們不得不干起外科醫(yī)生的活，對(duì)模型進(jìn)行一場(chǎng)精密的手術(shù)。這其實(shí)是一門(mén)關(guān)于“妥協(xié)”的藝術(shù)，在精度和速度之間尋找那個(gè)微妙的平衡點(diǎn)。目前的行業(yè)主流路徑，主要包含三把手術(shù)刀。

第一把刀是知識(shí)蒸餾。 這是端側(cè)模型保持高智商的關(guān)鍵。我們不需要端側(cè)模型去閱讀所有的原始互聯(lián)網(wǎng)數(shù)據(jù)，那需要海量算力，我們只需要它學(xué)會(huì)“怎么思考”。 所以，工程師讓云端的超大模型Teacher先學(xué)一遍，提煉出核心邏輯、特征分布和推理路徑，再“傳授”給端側(cè)的小模型Student。這就像是把一本百萬(wàn)字的學(xué)術(shù)巨著，由教授濃縮成了一本幾千字的“學(xué)霸筆記”。行業(yè)內(nèi)的一線實(shí)踐表明，通過(guò)這種方式，一個(gè)0.5B參數(shù)的小模型，在特定的垂直場(chǎng)景如座艙控制、家電指令中，其表現(xiàn)甚至能逼近通用的百億參數(shù)模型。它也許不會(huì)寫(xiě)詩(shī)，但它絕對(duì)聽(tīng)得懂“把空調(diào)調(diào)高兩度”。

第二把刀是極致量化。 這可以說(shuō)是工程界最“暴力”的美學(xué)。通用大模型通常使用FP16甚至FP32進(jìn)行運(yùn)算，精度極高，小數(shù)點(diǎn)后十幾位都保留著。但在端側(cè)，每一比特的存儲(chǔ)和傳輸都消耗電量。 工程師們發(fā)現(xiàn)，大模型其實(shí)極其“魯棒”，砍掉一些精度并不影響大局。于是，他們通過(guò)PTQ訓(xùn)練后量化或QAT量化感知訓(xùn)練，將模型權(quán)重從FP16直接壓縮到INT8甚至INT4。這意味著，原本需要16車(chē)道的高速公路，現(xiàn)在只需要4車(chē)道就能跑通。模型體積瞬間壓縮了4倍以上，推理速度成倍提升。但這其中的難點(diǎn)在于“校準(zhǔn)”——如何在壓縮精度的同時(shí)，不破壞模型的語(yǔ)義理解能力？這需要極其精細(xì)的數(shù)學(xué)調(diào)優(yōu)，防止某些關(guān)鍵的離群值被誤殺。

第三把刀是結(jié)構(gòu)剪枝。 神經(jīng)網(wǎng)絡(luò)中存在大量“冗余”的連接，就像人類大腦中有些神經(jīng)元并不活躍一樣。通過(guò)結(jié)構(gòu)化剪枝，可以直接剔除那些對(duì)輸出結(jié)果影響微乎其微的參數(shù)，從而在物理層面減少計(jì)算量。

推倒那堵阻擋數(shù)據(jù)的內(nèi)存墻

軟件層面的“瘦身”只是第一步，真正的硬仗在于硬件，也就是芯片架構(gòu)。

如果你去問(wèn)芯片設(shè)計(jì)師，大模型最讓他們頭疼的是什么？他們大概率不會(huì)說(shuō)是“計(jì)算”，而是“訪存”。在傳統(tǒng)的馮·諾依曼架構(gòu)下，計(jì)算單元和存儲(chǔ)單元是分離的。大模型跑起來(lái)時(shí)，數(shù)據(jù)就像早高峰的車(chē)輛，在內(nèi)存DRAM和計(jì)算單元之間瘋狂往返。

這就好比一個(gè)廚師切菜速度極快，但他每切一刀，都要跑去隔壁房間的冰箱里拿一根蔥。結(jié)果就是，廚師大部分時(shí)間都在跑路，而不是在切菜。這就是著名的“內(nèi)存墻”危機(jī)。在端側(cè)大模型推理中，甚至有超過(guò)80%的功耗不是花在計(jì)算上，而是花在“搬運(yùn)數(shù)據(jù)”的路上。

這種尷尬逼出了全新的架構(gòu)思路：DSA領(lǐng)域?qū)Ｓ眉軜?gòu)。

我們觀察到，像云知聲、地平線這些在端側(cè)深耕多年的硬科技企業(yè)，之所以能把芯片出貨量做到上億顆，核心就是不再迷信通用的CPU或GPU架構(gòu)，而是針對(duì)Transformer模型搞起了“特權(quán)設(shè)計(jì)”。

首先是存算一體化的探索。既然廚師跑路太累，那就把冰箱搬進(jìn)廚房，甚至直接把案板裝在冰箱門(mén)上。通過(guò)盡可能拉近存儲(chǔ)單元與計(jì)算單元的物理距離，甚至在SRAM中直接進(jìn)行計(jì)算，極大地減少了數(shù)據(jù)搬運(yùn)的“過(guò)路費(fèi)”。

其次是異構(gòu)計(jì)算調(diào)度。在SoC內(nèi)部，搞起了精細(xì)分工：CPU負(fù)責(zé)流程控制，DSP負(fù)責(zé)信號(hào)處理如降噪，而將最繁重的矩陣乘法運(yùn)算交給高度定制的NPU。

最關(guān)鍵的是算子硬化。針對(duì)大模型核心的Attention機(jī)制算法，芯片設(shè)計(jì)團(tuán)隊(duì)直接在硅片上“刻死”了加速電路。這種做法雖然犧牲了通用性，但在處理大模型推理時(shí)，效率高得嚇人。這種“算法定義芯片”的策略，使得端側(cè)方案在處理語(yǔ)音喚醒、指令識(shí)別時(shí)，能夠做到毫秒級(jí)響應(yīng)。這不僅是某一家企業(yè)的技術(shù)選擇，更是整個(gè)端側(cè)AI芯片行業(yè)為了突破摩爾定律瓶頸而達(dá)成的“妥協(xié)后的最優(yōu)解”。

從全知上帝到熟練工匠

除了在硬件上死磕，另一個(gè)更務(wù)實(shí)的路徑是：承認(rèn)AI的局限性，從“通用”走向“專用”。

通用大模型往往因?yàn)槭裁炊级瑢?dǎo)致什么都不精。它容易產(chǎn)生“幻覺(jué)”，一本正經(jīng)地胡說(shuō)八道。在寫(xiě)科幻小說(shuō)時(shí)這是創(chuàng)意，但在醫(yī)療診斷或工業(yè)控制中，這是災(zāi)難。

這時(shí)候，像商湯醫(yī)療這類廠商的“平臺(tái)化”策略就顯得非常聰明。面對(duì)醫(yī)療行業(yè)數(shù)據(jù)復(fù)雜、算力受限的痛點(diǎn)，他們沒(méi)有試圖做一個(gè)全知全能的“AI醫(yī)生”，而是搭建了一個(gè)流水線，生產(chǎn)各種專精的“特種兵”。

通過(guò)將技術(shù)封裝為“模型生產(chǎn)平臺(tái)”，讓醫(yī)院基于自己的高質(zhì)量數(shù)據(jù)，訓(xùn)練出針對(duì)特定病種的專用模型。這種思路本質(zhì)上是將AI從“全能博士”變成了“熟練技工”。

這種“小而美”的垂直智能體，需要的算力更少，但給出的診斷建議卻更靠譜。醫(yī)生不需要一個(gè)能寫(xiě)代碼、能畫(huà)圖的AI，他們需要一個(gè)能精準(zhǔn)讀懂CT片子、能快速整理病歷的助手。

同樣的邏輯也發(fā)生在云知聲的產(chǎn)業(yè)路徑中：不在通用大模型的紅海里燒錢(qián)，而是通過(guò)在醫(yī)療、家居等垂直領(lǐng)域的深耕，打磨端側(cè)技術(shù)與芯片，賺取數(shù)據(jù)反饋，進(jìn)而反哺基礎(chǔ)研究。

這殊途同歸的背后，是整個(gè)中國(guó)AI產(chǎn)業(yè)的集體覺(jué)醒：不再盲目追求參數(shù)規(guī)模的“大”，而是轉(zhuǎn)向追求應(yīng)用落地的“實(shí)”。

最后

在媒體的聚光燈下，大家熱衷于討論OpenAI的Sora如何震驚世界，或者為GPT-5何時(shí)通過(guò)圖靈測(cè)試而爭(zhēng)論不休，并總將AGI與‘毀滅人類’的宏大敘事綁定。

但在聚光燈照不到的角落，在深圳的華強(qiáng)北，在蘇州的工業(yè)園，在上海的張江，成千上萬(wàn)的工程師正在做著更枯燥、但或許更具顛覆性的工作：將AI的價(jià)格打下來(lái)，將AI的體積縮下去。

從云端到端側(cè)，從通用到垂直，這不僅是技術(shù)架構(gòu)的演進(jìn)，更是AI價(jià)值觀的回歸。

真正的“萬(wàn)物智能”，不是每個(gè)人都必須要時(shí)刻連接到一個(gè)全知全能的上帝般的云端大腦。而是萬(wàn)物——無(wú)論是你手邊的空調(diào)、車(chē)?yán)锏膬x表盤(pán)，還是醫(yī)院里的CT機(jī)，都擁有一顆雖然微小、但足夠聰明、足夠獨(dú)立的“芯”。

當(dāng)一顆幾十塊錢(qián)的芯片，能跑得動(dòng)擁有邏輯推理能力的大模型，且不再依賴那根脆弱的網(wǎng)線時(shí)，智能時(shí)代的奇點(diǎn)才算真正到來(lái)。

科技不應(yīng)該只是服務(wù)器里的幽靈，它應(yīng)該以最硬核、最靜默的方式，嵌入我們生活的每一塊玻璃、每一顆芯片里，靜水流深。