萬興科技副總裁朱偉，圖片來源：萬興科技
“當(dāng)前大模型在文本和圖像領(lǐng)域已實(shí)現(xiàn)生產(chǎn)力商用，但在音視頻領(lǐng)域的應(yīng)用還存在數(shù)據(jù)集缺失、視頻內(nèi)容結(jié)構(gòu)及層級復(fù)雜、算力成本高等挑戰(zhàn)，其成熟應(yīng)用尚需周期。”萬興科技副總裁朱偉對鈦媒體App說道。
從2003年成立至今，萬興科技一直都在圍繞視頻做研發(fā)與投入，并且從去年開始加速大模型的研發(fā)。今年1月，萬興“天幕”音視頻多媒體大模型正式對外發(fā)布。
日前，鈦媒體App獨(dú)家透露了萬興“天幕”將于4月28日正式公測，文生視頻能力一鍵生成時(shí)長支持60秒+。在與朱偉的簡短交流中，他也是不止一次的強(qiáng)調(diào)稱，2024年將迎來AI視頻年。
據(jù)Gartner研究預(yù)測,到2030年,90%的數(shù)字內(nèi)容都將是AI生成，預(yù)計(jì)2032年,全球AIGC市場規(guī)模將由2022年的108億美元增加至1181億美元。同時(shí)，思科公司此前發(fā)布的報(bào)告內(nèi)容指出，未來82%的消費(fèi)互聯(lián)網(wǎng)流量是視頻流量。
如果從文本的角度來看，大模型的發(fā)展的確已經(jīng)很成熟，但是從視頻的角度來看是遠(yuǎn)遠(yuǎn)不夠的。目前，全世界有3.05億視頻創(chuàng)作者，43億視頻覆蓋群體，每天200億次以上的視頻播放量，視頻需求非常大。“視頻為王”時(shí)代的到來，也催生出對多媒體垂直大模型和應(yīng)用的需求。
根據(jù)硅谷知名風(fēng)投公司a16z調(diào)研結(jié)果顯示，在2023年以前，市面上尚不存在公開的視頻模型，但2023一年內(nèi)誕生的模型就達(dá)數(shù)十個(gè)，全球用戶數(shù)量超過百萬級。目前，市場上已投入使用并取得一定進(jìn)展的AI視頻模型數(shù)量達(dá)到21個(gè)。
朱偉透露，不管是文本模型、圖像模型還是視頻模型，國內(nèi)真正的原創(chuàng)大模型其實(shí)還不算多，甚至可以說很少。“特別是視頻大模型，包括我們在做的萬興’天幕’，也還沒有到L0最基礎(chǔ)的模型級別。”
可以肯定的一點(diǎn)是，今年視頻類應(yīng)用有望迎來爆發(fā)式增長，也就是說，AI視頻大模型的落地應(yīng)用會越來越多、越來越快。年初，Sora的出現(xiàn)，讓整個(gè)行業(yè)為之一振，朱偉也坦言，從模型基礎(chǔ)的級別來講，國內(nèi)與Sora的差距還比較大，需要投入更多的資源，去快速進(jìn)行技術(shù)迭代。“Sora作為行業(yè)標(biāo)桿，是我們正在努力看齊的目標(biāo)。”
對于視頻大模型而言，算法、算力與數(shù)據(jù)是三大難點(diǎn)。其中，由于開源的原因，算法框架現(xiàn)在大家都差不多。“我們研究過Sora，它整個(gè)技術(shù)框架并沒有什么顛覆性的創(chuàng)新，就是Transformer架構(gòu)”，朱偉指出，“為何會有那么好的效果，主要還是在算力與數(shù)據(jù)上大力出奇跡。”
他表示，Sora至少有500萬小時(shí)的視頻數(shù)據(jù)做訓(xùn)練，它要實(shí)現(xiàn)月或者是季的迭代，至少是萬卡集群以上的集群才能做訓(xùn)練，國內(nèi)目前到千卡集群的公司都不多，我們現(xiàn)在都是靠近千卡，還沒有超過千卡。據(jù)了解，萬興科技去年年底到今年，光在算力的投入上就將近一個(gè)億。
不過，在承認(rèn)與Sora之間的差距外，朱偉也并沒有表現(xiàn)出過多的焦慮。“它是做基礎(chǔ)模型的，萬興其實(shí)是以應(yīng)用為主的，我們不會在基礎(chǔ)模型上面去追趕它，因?yàn)楹苜M(fèi)錢也很費(fèi)力，最后效果也不會一下就會讓你獲得那么大回報(bào)，投入產(chǎn)出比不劃算，簡單來講就這么回事。”
就像前文所提及的那樣，生成視頻類的大模型，可以分成兩類或者分成兩個(gè)層級：第一個(gè)層級是做基礎(chǔ)模型，比如Sora這種。第二個(gè)層級是做垂類模型，它是通過一些基礎(chǔ)數(shù)據(jù)的訓(xùn)練以后，在這個(gè)基礎(chǔ)上，再做一些微調(diào)精調(diào)的訓(xùn)練。
對于垂類模型，朱偉認(rèn)為，如果想要從大模型時(shí)代脫穎而出的話，還是要堅(jiān)持“應(yīng)用為王”——通過一個(gè)爆款應(yīng)用，快速實(shí)現(xiàn)爆發(fā)式增長。
需要指出的一點(diǎn)是，當(dāng)前海內(nèi)外的技術(shù)都不算十分成熟，視頻模型其實(shí)還沒有到完全成熟的階段。即便是Sora生成的視頻已經(jīng)很驚艷，但是距離用戶最終輸出的，可以在社交平臺發(fā)布的視頻還有差距。因?yàn)橛脩粢曨l是帶有一定的故事，甚至帶有如片頭片尾、文字、轉(zhuǎn)場等，這種視頻的元素會比Sora生成的要多很多。
總的來看，視頻生成目前存在三大挑戰(zhàn)。第一是數(shù)據(jù)集欠缺，視頻內(nèi)容存儲和標(biāo)注成本高昂，視頻相關(guān)的訓(xùn)練數(shù)據(jù)集目前仍較欠缺。第二是算力成本高昂，視頻訓(xùn)練所需的算力遠(yuǎn)高于圖片、文字等其它內(nèi)容。第三則是生成效果不佳目前仍缺乏效果可用性較好的模型作為標(biāo)桿。
“我們希望萬興的每一款產(chǎn)品，都是‘技術(shù)+應(yīng)用’的結(jié)合，能夠解決某個(gè)細(xì)分領(lǐng)域的具體問題，讓產(chǎn)品用戶真正獲得價(jià)值。要把所有多模態(tài)的元素去很好地融合，最后讓用戶在剪輯視頻的時(shí)候出來的是一個(gè)高質(zhì)量的多媒體視頻，這個(gè)是萬興想要做到的。”
萬興“天幕”文生視頻《男孩的探險(xiǎn)之行》畫面截圖
通過應(yīng)用的方式，將大模型能力觸達(dá)到更多的市場和用戶，是朱偉在反復(fù)提及的事情。根據(jù)此前公開的業(yè)績顯示，2023年上半年萬興科技海外收入占比為90.23%，目前銷售客戶遍及全球200多個(gè)國家和地區(qū)。在談及大模型出海的相關(guān)話題時(shí)，朱偉認(rèn)為，沒有企業(yè)會真正把一個(gè)大模型直接出海，估計(jì)我們大概率也不會做這件事。
在他看來，大模型出海是指擁有大模型能力的產(chǎn)品出海，去解決海外用戶的問題，而不是做了一個(gè)好的視頻模型，最后這個(gè)模型直接出海。
至于國內(nèi)的應(yīng)用市場，朱偉也談到了目前發(fā)展上的一些難題，比如在C端的推廣上。“中國市場是規(guī)模最大的應(yīng)用市場，這個(gè)觀點(diǎn)我認(rèn)同，但它目前還不是一個(gè)很好的付費(fèi)市場。在國內(nèi)，我們今年開始借助大模型的能力開始做B端，而沒有去做C端，就是因?yàn)槲覀冇X得將大模型作為工具直接面向用戶收費(fèi)的這樣的一種模式，目前在國內(nèi)比較難走通。”（本文首發(fā)于鈦媒體APP，作者｜杜志強(qiáng)，編輯｜鐘毅）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號后發(fā)表評論