3月26日，記者從智源研究院獲悉，智源聯(lián)合生態(tài)合作伙伴共建的開源統(tǒng)一軟件棧眾智FlagOS近日取得重要技術(shù)突破，在六家廠商AI芯片、三種AI大模型（語言大模型、多模態(tài)大模型、具身大模型），及五個(gè)同構(gòu)+異構(gòu)（指同類型與不同類型芯片組合）的千卡集群上完成端到端訓(xùn)練（指從原始數(shù)據(jù)輸入到最終結(jié)果輸出的完整訓(xùn)練過程，無需中間環(huán)節(jié)的人工干預(yù)）全要素驗(yàn)證，將推動(dòng)AI算力從“普適”向“普惠”邁出實(shí)質(zhì)性步伐。
過去，企業(yè)購買不同廠商的芯片來訓(xùn)練大模型，但不同芯片接口、軟件生態(tài)互不兼容，無形中“鎖死”了大模型。為此，在北京市支持下，智源研究院牽頭研發(fā)了面向多種AI芯片的開源系統(tǒng)軟件棧FlagOS。作為國產(chǎn)AI超節(jié)點(diǎn)智算“北京方案”的核心功能載體，F(xiàn)lagOS如同一個(gè)在人工智能芯片上應(yīng)用的操作系統(tǒng)，旨在解決大模型訓(xùn)練和推理中的異構(gòu)計(jì)算、高速互聯(lián)和彈性穩(wěn)定等技術(shù)挑戰(zhàn)。
在硬件適配層面，眾智FlagOS成功完成了天數(shù)智芯、沐曦、寒武紀(jì)、海光、摩爾線程、昆侖芯六款主流AI芯片的端到端訓(xùn)練驗(yàn)證，在指定語言模型訓(xùn)練中，各芯片訓(xùn)練效果與國際主流平臺(tái)高度一致，使得可以在多樣化的硬件上獲得同等優(yōu)質(zhì)的訓(xùn)練體驗(yàn)，大幅降低了對單一硬件體系的依賴。
在規(guī)?；?xùn)練層面，眾智FlagOS更是實(shí)現(xiàn)了同構(gòu)與異構(gòu)千卡集群訓(xùn)練的全面突破，先后在海光、沐曦、摩爾線程三款芯片上完成同構(gòu)千卡端到端大模型訓(xùn)練，并在沐曦與英偉達(dá)、天數(shù)智芯與英偉達(dá)組成的兩大異構(gòu)千卡集群上實(shí)現(xiàn)高效混合訓(xùn)練，充分驗(yàn)證了統(tǒng)一軟件棧支撐多元AI算力大規(guī)模協(xié)同訓(xùn)練的核心能力。
其中，海光同構(gòu)千卡集群實(shí)現(xiàn)了320億參數(shù)多模態(tài)大模型的千卡訓(xùn)練，展現(xiàn)出極高的系統(tǒng)擴(kuò)展效率與穩(wěn)定性；沐曦同構(gòu)千卡集群在多款大模型訓(xùn)練中，同時(shí)實(shí)現(xiàn)了高性能與高精度的雙重突破，達(dá)到國際先進(jìn)水平；摩爾線程同構(gòu)千卡集群則成功完成具身智能大模型的全流程訓(xùn)練與優(yōu)化，驗(yàn)證了國產(chǎn)算力在該領(lǐng)域的可行性與穩(wěn)定性。
在異構(gòu)訓(xùn)練方面，沐曦與英偉達(dá)、天數(shù)智芯與英偉達(dá)的異構(gòu)千卡集群均實(shí)現(xiàn)高效混合訓(xùn)練，不僅打破了不同硬件之間的協(xié)同壁壘，還能讓企業(yè)根據(jù)算力成本、供應(yīng)鏈安全等實(shí)際需求，靈活配置混合算力集群，在保障訓(xùn)練效果的同時(shí)實(shí)現(xiàn)資源利用率最大化，為行業(yè)算力配置提供了全新思路。
業(yè)內(nèi)人士分析，此次眾智FlagOS的一系列成果，不僅是AI軟件棧技術(shù)領(lǐng)域的重要里程碑，更對我國整個(gè)AI多元算力生態(tài)形成強(qiáng)大賦能。智源研究院相關(guān)負(fù)責(zé)人表示，其將持續(xù)聯(lián)合產(chǎn)業(yè)生態(tài)合作伙伴深耕技術(shù)創(chuàng)新與生態(tài)建設(shè)，推動(dòng)多元算力的普及與應(yīng)用，讓優(yōu)質(zhì)AI算力資源實(shí)現(xiàn)更廣泛的落地，為我國AI產(chǎn)業(yè)發(fā)展注入持續(xù)動(dòng)力。<o:p></o:p>
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號(hào)后發(fā)表評論