創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO、零一萬(wàn)物CEO李開(kāi)復(fù)博士
鈦媒體App獲悉，11月5日上午，知名投資人、創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO李開(kāi)復(fù)博士帶隊(duì)創(chuàng)辦 AI 2.0大模型公司“零一萬(wàn)物”（01.AI），正式發(fā)布首款研發(fā)的最強(qiáng)開(kāi)源人工智能（AI）大模型系列，名為“Yi”。
此次 Yi 系列基礎(chǔ)模型的首個(gè)公開(kāi)版本包括兩款：Yi-6B（數(shù)據(jù)參數(shù)量為60億）、Yi-34B（340億），均是雙語(yǔ)（英文/中文）、支持開(kāi)源。其中，Yi-34B模型在多項(xiàng)評(píng)測(cè)基準(zhǔn)中全球領(lǐng)跑，基于超強(qiáng)Infra下模型訓(xùn)練成本實(shí)測(cè)下降40%，模擬千億規(guī)模訓(xùn)練成本可下降多達(dá)50%，并以更小模型尺寸的基準(zhǔn)結(jié)果超過(guò)LLaMA2-34B/70B、Falcon-180B等大尺寸開(kāi)源模型，以及百川智能（王小川創(chuàng)立）的Baichuan2-13B。
創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO、零一萬(wàn)物CEO李開(kāi)復(fù)表示，“零一萬(wàn)物堅(jiān)定進(jìn)軍全球第一梯隊(duì)目標(biāo)，從招的第一個(gè)人，寫(xiě)的第一行代碼，設(shè)計(jì)的第一個(gè)模型開(kāi)始，就一直抱著成為‘World's No.1’的初衷和決心。我們組成了一支有潛力對(duì)標(biāo) OpenAI、Google等一線大廠的團(tuán)隊(duì)，經(jīng)歷了近半年的厚積薄發(fā)，以穩(wěn)定的節(jié)奏和全球齊平的研究工程能力，交出了第一張極具全球競(jìng)爭(zhēng)力的耀眼成績(jī)單。Yi-34B可以說(shuō)不負(fù)眾望，一鳴驚人。”
“隨著團(tuán)隊(duì)到位，今年6、7月份開(kāi)始寫(xiě)第一行代碼，短短四個(gè)月做了非常自豪的產(chǎn)品。我們是‘不鳴則已，一鳴驚人’。所以‘一鳴驚人’之后，如果我們過(guò)半年甚至過(guò)一年回頭看，今天對(duì)我們來(lái)說(shuō)只是剛剛開(kāi)始，我們還會(huì)不斷的去開(kāi)發(fā)、推動(dòng)、宣布更多令人驚艷的成果。”李開(kāi)復(fù)表示。
鈦媒體App還了解到，后續(xù)，Yi系列也將推出專(zhuān)長(zhǎng)代碼和數(shù)學(xué)的訓(xùn)練模型。此外，目前零一萬(wàn)物已驚啟動(dòng)100B（1000億）參數(shù)的訓(xùn)練，有望近幾個(gè)月內(nèi)發(fā)布，未來(lái)還有望推出基于 AI 2.0 的超級(jí)應(yīng)用等技術(shù)產(chǎn)品。
據(jù)悉，早在今年3月19日，李開(kāi)復(fù)發(fā)文宣布入局 AI 大模型領(lǐng)域，親自籌辦新Project AI 2.0公司，稱(chēng)是一個(gè)致力于打造AI 2.0 全新平臺(tái)與AI-first生產(chǎn)力應(yīng)用的全球化公司。“這是一家由技術(shù)愿景驅(qū)動(dòng)、擁有卓越中國(guó)工程底蘊(yùn)的創(chuàng)新企業(yè)，在全球范圍號(hào)召世界級(jí)人才加入。”他表示。
隨后在7月初，李開(kāi)復(fù)創(chuàng)辦；額最新 AI 大模型創(chuàng)業(yè)公司“零一萬(wàn)物”，同時(shí)這也是創(chuàng)新工場(chǎng)“塔尖孵化”的第7家公司，總部位于北京，零一萬(wàn)物由李開(kāi)復(fù)博士親自掛帥、任CEO。該公司主要圍繞精進(jìn)模型、預(yù)訓(xùn)練框架技術(shù)等七個(gè)方向進(jìn)行研究，致力打造全新的 AI 2.0，理念就是AI-first，驅(qū)動(dòng)力是技術(shù)愿景，技術(shù)專(zhuān)家擁有多家中外科技大廠、博士學(xué)位等背景。
李開(kāi)復(fù)當(dāng)時(shí)表示，零一即01，代表的是數(shù)字世界，從零到一，乃至宇宙萬(wàn)物，寓意 “零一智能，萬(wàn)物賦能” 的雄心，并稱(chēng)這是李開(kāi)復(fù)“擼起袖子”親自帶隊(duì)，“塔尖孵化”了一家AI 2.0公司，歷經(jīng)了三個(gè)月的籌辦期。零一萬(wàn)物稱(chēng)，其認(rèn)為 AI 應(yīng)當(dāng)以人為本，Human（人類(lèi)）+ AI 將合作創(chuàng)造巨大的經(jīng)濟(jì)價(jià)值及社會(huì)價(jià)值。
此前在2023年中關(guān)村論壇上，李開(kāi)復(fù)就對(duì)鈦媒體App等表示，以GPT-4等大模型為代表的生成式 AI 熱度在全球蔓延，意味著AI 2.0時(shí)代已經(jīng)到來(lái)，它將帶來(lái)比移動(dòng)互聯(lián)網(wǎng)時(shí)代大十倍的機(jī)會(huì)，穿透各行各業(yè)極大地提振生產(chǎn)力。“我們預(yù)測(cè)，全新的 AI 2.0平臺(tái)將能有效幫助提升人類(lèi)生產(chǎn)力，創(chuàng)造巨大的經(jīng)濟(jì)價(jià)值及社會(huì)價(jià)值。”
“大模型的技術(shù)門(mén)檻很高，非常需要整合一個(gè)兼具科研能力和開(kāi)發(fā)實(shí)力的高效團(tuán)隊(duì)，制定貫徹公司的技術(shù)和產(chǎn)品戰(zhàn)略，從上到下一致執(zhí)行。”李開(kāi)復(fù)認(rèn)為，零一萬(wàn)物將專(zhuān)注打造AI 2.0時(shí)代的平臺(tái)及生產(chǎn)力應(yīng)用生態(tài)，創(chuàng)新工場(chǎng)愿景是把零一萬(wàn)物打造為一家向全球展現(xiàn)其研發(fā)及工程能力的世界級(jí)公司。
團(tuán)隊(duì)方面，此次零一萬(wàn)物公布了零一萬(wàn)物技術(shù)副總裁及AIInfra負(fù)責(zé)人戴宗宏，零一萬(wàn)物技術(shù)副總裁及Pretrained負(fù)責(zé)人黃文灝兩位專(zhuān)家。其中，公開(kāi)信息顯示，戴宗宏曾任職于阿里、華為，擔(dān)任華為云 AI 領(lǐng)域CTO；黃文灝則畢業(yè)于北京大學(xué)博士學(xué)位，曾在微軟研究院擔(dān)任高級(jí)研究員，并曾任職于北京智源 AI 研究院。
據(jù)介紹，此次發(fā)布的60億、340億參數(shù)量的Yi-6B、Yi-34B，兩者都以4K序列長(zhǎng)度進(jìn)行訓(xùn)練，并且在推理期間可以擴(kuò)展到32K（3.2萬(wàn)）量級(jí)，且支持開(kāi)源，模型對(duì)學(xué)術(shù)研究完全開(kāi)放，同步開(kāi)放免費(fèi)商用申請(qǐng)。
同時(shí)，開(kāi)源Yi系列大型模型還有兩個(gè)主要特點(diǎn)：一用更少的參數(shù)擊敗了具有上百億參數(shù)的模型；二支持全球最長(zhǎng)的上下文窗口，可達(dá)40萬(wàn)字符。
超長(zhǎng)上下文窗口是體現(xiàn)大模型實(shí)力的一個(gè)重要維度，擁有更長(zhǎng)的上下文窗口則能處理更豐富的知識(shí)庫(kù)信息，生成更連貫、準(zhǔn)確的文本，也能支持大模型更好處理文檔摘要/問(wèn)答等任務(wù)。要知道，目前大模型的諸多垂直行業(yè)應(yīng)用中（如金融、法律、財(cái)務(wù)等），文檔處理能力是剛需。如GPT-4可支持32K、約2.5萬(wàn)漢字，Claude 2可支持100K、約20萬(wàn)字。
而Yi-34B還將大模型上下文窗口長(zhǎng)度刷新到了200K，可處理約40萬(wàn)漢字超長(zhǎng)文本輸入。這相當(dāng)于能一次處理兩本《三體》小說(shuō)、理解超過(guò)1000頁(yè)的PDF文檔等場(chǎng)景。所以，零一萬(wàn)物不僅刷新了業(yè)界紀(jì)錄，同時(shí)也成為首家將超長(zhǎng)上下文窗口在開(kāi)源社區(qū)開(kāi)放的大模型公司。
在Hugging Face開(kāi)放單預(yù)訓(xùn)練模型排名中，Yi-34B以70.72分的成績(jī)?nèi)蚺琶谝?，超越了參?shù)量是其兩倍的LLaMA-70B和五倍的Falcon-180B。它不僅以較小的參數(shù)量登頂榜單，而且實(shí)現(xiàn)了跨數(shù)量級(jí)的逆襲，用百億級(jí)別的參數(shù)量擊敗了千億級(jí)別的大模型。特別是在MMLU（大規(guī)模多任務(wù)語(yǔ)言理解）和TruthfulQA（真實(shí)性基準(zhǔn)測(cè)試）兩個(gè)指標(biāo)上，Yi-34B都大幅領(lǐng)先于其他大模型。
目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開(kāi)源社區(qū)平臺(tái)正式上線，同時(shí)開(kāi)放商用申請(qǐng)，給開(kāi)發(fā)者在使用LLM的過(guò)程中提供更多、更優(yōu)質(zhì)的選擇。
而Yi-6B、Yi-34B的主要區(qū)分點(diǎn)在于，Yi-6B適合個(gè)人及研究用途，Yi-34B已經(jīng)具備大模型涌現(xiàn)能力，適合發(fā)揮于多元場(chǎng)景，滿足開(kāi)源社區(qū)的剛性需求。
在交流中，談及算力，李開(kāi)復(fù)表示，零一萬(wàn)物很早就意識(shí)到了GPU（圖形處理器）芯片的重要性，已經(jīng)租賃了大量算力，而且與國(guó)內(nèi)很多云廠商、GPU云等方向上合作。
談及大模型商業(yè)化話題時(shí)，李開(kāi)復(fù)表示，他認(rèn)為此前 AI 1.0商業(yè)化做的并不好，只是有博士、論文等，而資本市場(chǎng)最終要看企業(yè)能不能賺錢(qián)、收入是否能持續(xù)化。如今 AI 2.0時(shí)代，有更多的商業(yè)機(jī)會(huì)，一方面企業(yè)一定要AIl in AI、能夠?qū)崿F(xiàn)快速收入、產(chǎn)生好的利潤(rùn)，另一方面也要做對(duì)標(biāo)微信、美團(tuán)的超級(jí)App，才能推動(dòng)大模型的商業(yè)化發(fā)展。
李開(kāi)復(fù)曾公開(kāi)表示，以基座大模型為突破的AI 2.0時(shí)代，將掀起技術(shù)、平臺(tái)到應(yīng)用多個(gè)層面的革命。如同Windows帶動(dòng)了PC普及，Android催生了移動(dòng)互聯(lián)網(wǎng)的生態(tài)，AI2.0將誕生比移動(dòng)互聯(lián)網(wǎng)大十倍的平臺(tái)機(jī)會(huì)，將把既有的軟件、使用界面和應(yīng)用重寫(xiě)一次，也將誕生新一批AI-first的應(yīng)用，并催生由AI主導(dǎo)的商業(yè)模式。
李開(kāi)復(fù)還在今天透露，在完成 Yi-34B 預(yù)訓(xùn)練的同時(shí)，目前，零一萬(wàn)物已經(jīng)啟動(dòng)下一個(gè)千億參數(shù)模型的訓(xùn)練。
“零一萬(wàn)物的數(shù)據(jù)處理管線、算法研究、實(shí)驗(yàn)平臺(tái)、GPU資源和 AI Infra 都已經(jīng)準(zhǔn)備好，我們的動(dòng)作會(huì)越來(lái)越快”。李開(kāi)復(fù)表示，零一萬(wàn)物希望有更多的開(kāi)發(fā)者使用Yi系列模型，打造自己場(chǎng)景中的“ChatGPT”，引領(lǐng)下一代前沿創(chuàng)新和商業(yè)模型，探索走向通用 AI 時(shí)代。
（本文首發(fā)鈦媒體App，作者｜林志佳）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論