圖片來源@視覺中國
浪潮日前發(fā)布的巨量模型源1.0引起了業(yè)界專家的關注。據說該模型參數規(guī)模達到了2457億,訓練采用的中文數據集達5000GB。相比OpenAI 去年推出的GPT-3模型(1750億參數量,570GB訓練數據集),源1.0參數規(guī)模領先40%,訓練數據集規(guī)模領先近10倍。因此,浪潮源1.0也被稱為全球最大規(guī)模的人工智能巨量模型。
在源1.0發(fā)布當日,浪潮還同步舉行了一個研討會,來自國內自然語言理解領域的近20位專家、院士參加研討,就巨量模型的應用前景與挑戰(zhàn)都發(fā)表了個人看法。
就像上文提到的,源1.0是用5000GB的中文數據集訓練而來,所以源1.0本質上是一個偏向于中文語言的巨量模型,且其未來應用的突破點也主要會在NLP(自然語言處理)領域進行先期切入。
在傳統(tǒng)的人工智能語言模型訓練中,由于計算資源等各種條件限制,業(yè)界的語言模型往往針對某個小場景,通用性不強。而由于巨量模型采用的數據集夠大、形成的參數規(guī)模也夠大,最終模型的通用性也會比較高,是真正的“見多識廣”。
但由于巨量模型在前期訓練的過程中需要消耗的計算資源太大,所以一般業(yè)界做這種嘗試的并不多。此前,全球已經推出千億級巨量模型比較典型的是OpenAI 的GPT3模型,其參數模型達到了1750億。
據了解,源1.0參數量高達2457億,訓練采用的中文數據集達5000GB,相比GPT3 1750億參數集、570GB訓練數據,參數集規(guī)模提升了40%,訓練數據規(guī)模提升近10倍。
巨量模型訓練出來了,有什么價值,亮點在哪兒?我們拿AI作詩舉例。
一般情況下,讓人工智能寫一首詩之前,首先要有一個學習了大量唐詩宋詞的模型出來,人工智能才能自動填詞。但是由于這個小模型只學習過唐詩宋詞的語料,如果撰寫文章,這類模型則很難完成。巨量模型就不同了,由于它提前學習的海量預料中包含了唐詩宋詞、各種文體作文、甚至還是有明星八卦,所以無論問它什么,它好像都能從容作答。
現場,浪潮人工智能研究院首席研究員吳韶華展示了它為源1.0的設置的指代、推理、理解等多方位的問題,比如完形填空,讓AI在空白處填寫正確的成語,它回答的都分毫不差。吳韶華也說,除此之外,巨量模型在寫300-500字的主題創(chuàng)作上,也能夠順利完成。也就是說,有了巨量模型,在不久的將來,讓成熟的文檔自己寫稿的日子或許真的指日可待了。
在過去4個月里,一群浪潮AI專家,把近5年互聯網內容濃縮成2000億詞,讓AI在16天內讀完,終于煉成了“源1.0”。源1.0的成果得到了在座專家的一致肯定。不過對于源1.0的應用以及后續(xù)迭代上,大家也都毫不諱言。其中,受到關注最多的問題是,源1.0這樣的巨量模型怎么能夠跟產業(yè)場景結合,怎么能夠落地使用。
在場景落地上,巨量模型首要挑戰(zhàn)有兩個,一是能不能找到殺手級應用;二是,巨量模型中包含的千億參數怎么在低功耗的情況下落地。
對于第一個挑戰(zhàn),當前業(yè)界還沒有最佳實踐可循,巨量模型的市場化表現還有待觀察。與會專家拋磚引玉指出,希望可以在中文輸入法、語音翻譯質量(特別是方言場景)、謠言識別、智能客服、客戶端個性化推薦等場景上看到巨量模型有所作為。
不過也有專家指出,源1.0主要針對的是語言模型,但當前實際業(yè)務中,多模態(tài)模型需求是個趨勢,他們希望源1.0不僅是針對中文文本的模型,在視頻、圖片、聲音等多模態(tài)語境甚至是多語種語境中也能有所作為。
對于巨量模型低功耗落地的問題,浪潮信息副總裁劉軍回應稱,人工智能巨量模型在發(fā)展過程中,勢必會經歷“把一本書讀厚,再把一本書讀薄”的過程。浪潮人工智能研究院正在基于對巨量模型規(guī)律的了解和掌握,用一些科學和技術方法在保證模型效果的情況下,降低參數,進而降低使用功耗和在產業(yè)落地的門檻。“至于能不能降到像大家非常關心的在手機上用,我們今天不能保證,但是至少會朝著這個方向去做。”劉軍說。
從技術上來說,專家們也表達了對巨量模型的可解釋性和表現穩(wěn)定性上的期待,原因在于,在實際落地的過程中,巨量模型即使有90%的可靠性,另外10%的風險也會給實際應用帶來業(yè)務上的挑戰(zhàn)。
當然,源1.0模型的成功也讓學界和產業(yè)界都看到了巨量模型背后的奇妙之處。“為什么在學習了海量數據集之后,計算機可以自己解釋海量問題?它背后的計算肌理是否發(fā)生了變化?”這些問題都要留待更深入的研究。
“浪潮今天已經把這個模型訓練出來了,證明了效果,下一步會開放出來,讓學術界和產業(yè)界大家都去用。這樣使得我們在這方面的巨量人財物的投入能夠成為學術界和產業(yè)界前進助推劑。”劉軍總結。他相信,在學界和產業(yè)界的深入合作中,領先的智能模型、以及殺手級應用一定能夠成為推進社會智能化的一部分。(本文首發(fā)鈦媒體App,作者 | 秦聰慧)
快報
根據《網絡安全法》實名制要求,請綁定手機號后發(fā)表評論