MindVLA-o1核心設(shè)計(jì) ，圖源GTC演講
這一次更新，整個(gè)架構(gòu)基于MoE（混合專家架構(gòu)），在擴(kuò)大模型容量的同時(shí)控制激活參數(shù)規(guī)模，被重新設(shè)計(jì)為三層：
首先是感知層。
理想設(shè)計(jì)了自監(jiān)督的3D ViT（3D Vision Transformer，三維視覺(jué)轉(zhuǎn)換器）視覺(jué)編碼器。訓(xùn)練時(shí)同時(shí)引入視覺(jué)與LiDAR（激光探測(cè)與測(cè)距）兩路數(shù)據(jù)——前者提供豐富的語(yǔ)義信息，后者提供準(zhǔn)確的三維幾何結(jié)構(gòu)，讓模型在同一表示空間中同時(shí)學(xué)習(xí)幾何與語(yǔ)義。
自監(jiān)督3D視覺(jué)編碼器架構(gòu)，圖源GTC演講
為進(jìn)一步提升場(chǎng)景理解能力，訓(xùn)練中還引入了前饋式3DGS（3D Gaussian Splatting，三維高斯?jié)姙R）場(chǎng)景表示：系統(tǒng)將場(chǎng)景分解為靜態(tài)環(huán)境與動(dòng)態(tài)物體分別建模，以“下一狀態(tài)預(yù)測(cè)”作為自監(jiān)督信號(hào)，驅(qū)動(dòng)模型同時(shí)學(xué)習(xí)深度信息、語(yǔ)義結(jié)構(gòu)與物體運(yùn)動(dòng)。
最終得到的3D ViT表示融合了空間結(jié)構(gòu)與時(shí)間上下文信息，為后續(xù)的思考與行動(dòng)層提供高質(zhì)量的三維世界表示。
針對(duì)3D感知，訓(xùn)練數(shù)據(jù)配比也完成重構(gòu)，大量融入3D數(shù)據(jù)和自動(dòng)駕駛圖文數(shù)據(jù)，主動(dòng)壓縮文史類數(shù)據(jù)比例，并加入未來(lái)幀預(yù)測(cè)生成和稠密深度預(yù)測(cè)任務(wù)，專門激發(fā)模型對(duì)3D空間的理解與推理能力。
其次是思考層。
思考層由三個(gè)相互配合的機(jī)制構(gòu)成：顯式推理、未來(lái)預(yù)測(cè)和快慢思考協(xié)同。
語(yǔ)言模型引入了 System-2式（慢思考系統(tǒng)）的顯式推理機(jī)制——區(qū)別于直覺(jué)式的快速反應(yīng)，模型能在復(fù)雜場(chǎng)景中進(jìn)行更深入的分析與決策。
在此基礎(chǔ)上，模型還內(nèi)嵌了Predictive Latent World Model（預(yù)測(cè)式隱世界模型），讓自動(dòng)駕駛不只理解“當(dāng)前發(fā)生了什么”，還能模擬“接下來(lái)會(huì)發(fā)生什么”。
由于直接生成未來(lái)圖像的計(jì)算成本過(guò)高，理想選擇在Latent Space（隱空間）中完成預(yù)測(cè)：系統(tǒng)首先將當(dāng)前視覺(jué)輸入編碼為一組Latent Tokens（隱變量令牌），作為場(chǎng)景的緊湊表示，再由世界模型基于這些令牌推演未來(lái)狀態(tài)。
預(yù)測(cè)式隱世界模型架構(gòu)，圖源GTC演講
這套世界模型經(jīng)歷了三階段訓(xùn)練：第一階段用海量視頻打底，讓模型學(xué)會(huì)在隱空間里表征未來(lái)；第二階段在MindVLA-o1框架內(nèi)強(qiáng)化未來(lái)推演能力；第三階段則將世界模型、多模態(tài)推理與駕駛行為三者拉到同一目標(biāo)下聯(lián)合優(yōu)化。
快慢思考機(jī)制也被整合進(jìn)同一模型：簡(jiǎn)單場(chǎng)景下，模型直接輸出Action Token（動(dòng)作令牌），不走推理鏈；復(fù)雜場(chǎng)景下，先經(jīng)過(guò)一段固定簡(jiǎn)短的CoT（思維鏈）模板，再輸出動(dòng)作。
在效率設(shè)計(jì)上，針對(duì)思維鏈采用小詞表加投機(jī)推理大幅提速；動(dòng)作令牌在同一Transformer內(nèi)以雙向注意力機(jī)制一次性并行輸出，思維鏈推理則在因果注意力機(jī)制下逐字解碼，兩者并存于同一模型中。
最后是行動(dòng)層。
行動(dòng)層采用三層遞進(jìn)設(shè)計(jì)：Action Expert（動(dòng)作專家模塊）負(fù)責(zé)生成軌跡，Parallel Decoding（并行解碼）保證輸出速度，Discrete Diffusion Refinement（離散擴(kuò)散優(yōu)化）負(fù)責(zé)精修質(zhì)量。
統(tǒng)一行為生成架構(gòu)，圖源GTC演講
具體來(lái)看，Action Expert從3D場(chǎng)景特征、導(dǎo)航目標(biāo)、駕駛指令中提取關(guān)鍵信息，結(jié)合多模態(tài)推理生成初始駕駛軌跡。軌跡生成后，Parallel Decoding讓所有軌跡點(diǎn)同時(shí)輸出，而非逐點(diǎn)生成，在長(zhǎng)序列軌跡預(yù)測(cè)場(chǎng)景中，效率優(yōu)勢(shì)尤為突出。
Discrete Diffusion Refinement隨后對(duì)并行生成的軌跡進(jìn)行多輪迭代優(yōu)化，類似逐步去噪，最終使軌跡在空間上連續(xù)、時(shí)間上穩(wěn)定，并滿足車輛動(dòng)力學(xué)約束——整個(gè)Diffusion（擴(kuò)散）過(guò)程通過(guò)ODE（常微分方程）采樣器壓縮至2-3步完成。
Diffusion模型還同時(shí)預(yù)測(cè)自車與周圍車輛、行人的軌跡，通過(guò)聯(lián)合建模提升復(fù)雜交通場(chǎng)景中的博弈能力。對(duì)于仍存在偏差的長(zhǎng)尾工況，則通過(guò)RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）加以修正：篩選大量接管數(shù)據(jù)建立人類偏好數(shù)據(jù)集，微調(diào)模型的采樣過(guò)程，使其逐步對(duì)齊人類駕駛行為，安全下限隨偏好數(shù)據(jù)的積累持續(xù)提升。
從看得到，到想得到，再到做得到，這是一場(chǎng)從感知層開(kāi)始的重建，最終落地于行動(dòng)層的執(zhí)行，形成一個(gè)完整的閉環(huán)。但對(duì)于實(shí)際應(yīng)用來(lái)說(shuō)，這還遠(yuǎn)遠(yuǎn)不是終點(diǎn)。
一套方案能夠在實(shí)驗(yàn)室里跑通，和能裝進(jìn)量產(chǎn)車?yán)锫涞兀莾杉耆煌氖隆?/p>
MindVLA-o1面對(duì)的第一個(gè)挑戰(zhàn)，是難以避免的算力難題。
模型搭載的3D ViT編碼器，復(fù)雜度遠(yuǎn)遠(yuǎn)超過(guò)主流的“2D方案”，對(duì)端側(cè)算力提出更高的要求。
李想與詹錕談?wù)擇R赫100芯片，圖源GTC演講
理想的解法是一顆自研芯片“馬赫100”。
它是中國(guó)首個(gè)采用數(shù)據(jù)流原生架構(gòu)的車規(guī)級(jí)5納米芯片，天然適配AI推理計(jì)算。在標(biāo)準(zhǔn)的大規(guī)模矩陣乘計(jì)算任務(wù)上，馬赫100性能較上一代提升約3倍；兩顆馬赫100實(shí)際運(yùn)行VLA大模型時(shí)的有效算力，是英偉達(dá)Thor-U的5到6倍。
在馬赫100上，理想成功部署參數(shù)規(guī)模達(dá)上一代6倍、計(jì)算量提升10倍的VLA模型，實(shí)現(xiàn)運(yùn)行幀率更高，推理速度更快，從傳感器輸入到車輛執(zhí)行輸出，整體延時(shí)僅200到300毫秒。
此外，馬赫100還取消了上一代XCU控制器，聯(lián)合星環(huán)OS整合替代，單顆BOM成本大幅低于外購(gòu)方案。
解決了算力難題，訓(xùn)練成本問(wèn)題成了第二個(gè)“攔路虎”。
3D ViT要大規(guī)模預(yù)訓(xùn)練，強(qiáng)化學(xué)習(xí)要在仿真環(huán)境里反復(fù)迭代。傳統(tǒng)的逐步優(yōu)化式重建太慢，無(wú)法支撐大規(guī)模并行訓(xùn)練。
為此，理想與NVIDIA團(tuán)隊(duì)共建了3D Gaussian Splatting渲染引擎及分布式訓(xùn)練框架，渲染速度提升近2倍，整體訓(xùn)練成本降低約75%。
在這個(gè)過(guò)程中，理想的世界模擬器也升級(jí)為前饋式場(chǎng)景重建，可以瞬時(shí)生成大規(guī)模高保真駕駛場(chǎng)景，模擬環(huán)境還能擴(kuò)展、編輯和生成新場(chǎng)景，不只是復(fù)現(xiàn)真實(shí)世界。
最后的難題，落在車端的部署。
高精度的模型跑不進(jìn)車端，能跑進(jìn)去的精度又不夠。為了讓模型匹配車端，傳統(tǒng)做法是大量實(shí)驗(yàn)反復(fù)調(diào)整模型結(jié)構(gòu)，但這通常需要數(shù)月時(shí)間。
為了達(dá)到更高的效率，理想一方面在模型上通過(guò)Sparse Attention（稀疏注意力）機(jī)制，進(jìn)一步提升稀疏化率，保障端側(cè)實(shí)時(shí)推理效率。
另一方面提出了軟硬件協(xié)同設(shè)計(jì)定律：
結(jié)合Roofline模型刻畫硬件計(jì)算能力和內(nèi)存帶寬的限制，在模型性能與硬件約束之間建立統(tǒng)一的分析框架，在約2000種架構(gòu)配置里尋找精度與推理延遲的最優(yōu)解。
經(jīng)過(guò)實(shí)驗(yàn)得出的最終結(jié)論相當(dāng)“反直覺(jué)”：算力受限的條件下，“更寬更淺”的模型比“更深”的模型更高效。
憑借這一成果，理想將架構(gòu)探索時(shí)間從數(shù)月縮短至幾天。
三道大山一一翻過(guò)去，VLA模型帶來(lái)的變化肉眼可見(jiàn)。
例如，今年1月理想更新的OTA 8.2車機(jī)系統(tǒng)，在世界模型中加入了毫秒級(jí)方向盤和電門動(dòng)作數(shù)據(jù)，讓VLA進(jìn)行行為強(qiáng)化學(xué)習(xí)——橫縱向控制不再機(jī)械跟隨預(yù)設(shè)參數(shù)，基于對(duì)當(dāng)前場(chǎng)景的綜合理解動(dòng)態(tài)輸出。
在人車混行路段、小路通行、窄路會(huì)車等七個(gè)典型城區(qū)場(chǎng)景里，它的表現(xiàn)格外突出：例如，在人車混行路段，車輛實(shí)時(shí)預(yù)測(cè)行人和非機(jī)動(dòng)車的運(yùn)動(dòng)意圖，橫向避讓與縱向調(diào)速同步規(guī)劃；在小路通行時(shí)，加減速更細(xì)膩，動(dòng)靜態(tài)障礙物都能合理避讓；在窄路會(huì)車，車速和橫向位置自動(dòng)調(diào)整，縱向減速平穩(wěn)沒(méi)有頓挫。
MindVLA-o1模型通過(guò)自研語(yǔ)言指令理解環(huán)境語(yǔ)義，圖源GTC演講
在一般場(chǎng)景下，VLA能力也有更多變化。例如，語(yǔ)言指令可以直接改變駕駛行為，“開(kāi)快點(diǎn)，我趕時(shí)間”這類說(shuō)法，模型能夠理解并執(zhí)行了。
據(jù)理想透露，截至2025年底，VLA月使用率80%，VLA指令使用次數(shù)1225.4萬(wàn)次。用戶最常用的三個(gè)指令是左右變道、直行、加減速。
最終，降本、加速、算力，三點(diǎn)合力使得MindVLA-o1模型具備量產(chǎn)條件，而不是停留在紙面。
在GTC上，MindVLA-o1的一個(gè)演示片段，無(wú)關(guān)自動(dòng)駕駛，而是駕馭一條機(jī)械臂，輕輕拿起一瓶養(yǎng)樂(lè)多，倒進(jìn)桌上的杯子里。
MindVLA-o1模型的三個(gè)不同演示場(chǎng)景，圖源GTC演講
為什么一個(gè)為自動(dòng)駕駛設(shè)計(jì)的模型，能夠操作機(jī)械臂？
理想的解釋是，同一套VLA模型可以驅(qū)動(dòng)不同形態(tài)的物理智能體，自動(dòng)駕駛與機(jī)器人控制共用同一套模型與數(shù)據(jù)體系。不同執(zhí)行器，本質(zhì)上對(duì)這套模型來(lái)說(shuō)卻是同一類問(wèn)題——理解環(huán)境、推理意圖、生成動(dòng)作序列。
截至2025年11月，理想一共累計(jì)近15億公里的駕駛數(shù)據(jù)。
如果我們進(jìn)一步深思，就會(huì)發(fā)現(xiàn)這樣的邏輯：理想正在用大規(guī)模的駕駛數(shù)據(jù)，做通用物理AI的預(yù)訓(xùn)練。
短短數(shù)年，當(dāng)人們?cè)俅螌徱暲硐脒@家公司，不難發(fā)現(xiàn)它已經(jīng)在通往具身智能的路上走了相當(dāng)遠(yuǎn)。
2025年，理想研發(fā)投入113億元，AI相關(guān)占比50%；2026年1月，理想將研發(fā)團(tuán)隊(duì)按“造硅基人”的邏輯重構(gòu)為四大體系——臟器、腦、軟件、硬件；2026年Q2，馬赫100將完成量產(chǎn)上車。
“人工智能就是在造人。Agent是數(shù)字化的人，具身是物理化的人，只是它是硅基的人，不是我們碳基的。”李想稱，L4自動(dòng)駕駛的汽車，會(huì)是生活中一個(gè)最重要的硅基人。
他表示，未來(lái)3到5年中高端汽車的競(jìng)爭(zhēng)，本質(zhì)上是具身智能的競(jìng)爭(zhēng)。過(guò)去，從功能機(jī)到智能手機(jī)的演進(jìn)，來(lái)自芯片和操作系統(tǒng)的改變，而在具身智能時(shí)代，改變對(duì)應(yīng)的是芯片和模型的Co-Design。
這份認(rèn)知驅(qū)動(dòng)著理想，從2022年自研芯片，到2023年構(gòu)建基座模型，一步步將能力向底層收攏。
如今，理想已經(jīng)搭建起一套從算力、感知到?jīng)Q策的完整體系，其定位也從“造車公司”，轉(zhuǎn)向“以汽車為載體的物理AI公司”。汽車不再只是產(chǎn)品，而是規(guī)?；涞嘏c持續(xù)訓(xùn)練的現(xiàn)實(shí)世界接口。
因此，MindVLA-o1的意義，遠(yuǎn)不止性能提升。它標(biāo)志著一種范式的轉(zhuǎn)變：模型開(kāi)始真正進(jìn)入三維世界，從對(duì)輸入的被動(dòng)響應(yīng)，轉(zhuǎn)向?qū)Νh(huán)境的主動(dòng)建模與推演。
自動(dòng)駕駛的邊界正在變得模糊，跨越界線，理想的物理AI之路，或許才剛剛開(kāi)始。
（本文頭圖來(lái)源于理想汽車官網(wǎng)。）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論