今年9月，阿里率先在國(guó)內(nèi)發(fā)布音畫(huà)同步的視頻生成模型萬(wàn)相2.5，極大提升視頻創(chuàng)作的效率，在權(quán)威大模型評(píng)測(cè)集LMArena上，萬(wàn)相圖生視頻位居國(guó)內(nèi)第一。

此次發(fā)布的萬(wàn)相2.6進(jìn)一步提升了畫(huà)質(zhì)、音效、指令遵循等能力，單次視頻時(shí)長(zhǎng)實(shí)現(xiàn)國(guó)內(nèi)最高的15s，萬(wàn)相2.6新增了角色扮演和分鏡控制功能，不僅能一鍵完成單人、多人、人與物合拍的視頻，還能自動(dòng)實(shí)現(xiàn)多鏡頭切換等專(zhuān)業(yè)任務(wù)，滿足專(zhuān)業(yè)影視級(jí)場(chǎng)景需求。

萬(wàn)相2.6是國(guó)內(nèi)首個(gè)支持角色扮演功能的模型，能參考輸入視頻中的角色外觀和音色、實(shí)現(xiàn)角色扮演，按照提示詞生成單人、多人、人與物合拍的視頻

據(jù)介紹，通義萬(wàn)相在模型結(jié)構(gòu)上集成了多項(xiàng)創(chuàng)新技術(shù)，可對(duì)輸入?yún)⒖家曨l進(jìn)行多模態(tài)聯(lián)合建模與學(xué)習(xí)，參考具有時(shí)序信息的主體情緒、姿態(tài)和多角度全面視覺(jué)特征，同時(shí)提取音色、語(yǔ)速等聲學(xué)特征，在生成階段作為參考條件控制，實(shí)現(xiàn)從畫(huà)面到聲音的全感官全維度一致性保持與遷移，目前萬(wàn)相可支持單人和多人的表演。

萬(wàn)相2.6可將用戶簡(jiǎn)單的提示詞轉(zhuǎn)換為多分鏡腳本，生成包含多個(gè)鏡頭的連貫敘事視頻，并且保持多鏡頭間的主體、場(chǎng)景等關(guān)鍵信息的一致性

在分鏡控制上，通義萬(wàn)相能通過(guò)高層語(yǔ)義理解，將原始輸入構(gòu)建為具備完整故事線與敘事張力的專(zhuān)業(yè)級(jí)多鏡頭段落，在多鏡頭絲滑切換的過(guò)程中保持核心主體、場(chǎng)景布局和環(huán)境氛圍統(tǒng)一建模，確保全片在內(nèi)容、節(jié)奏和氛圍上的高一致性。

萬(wàn)相2.6的角色扮演功能讓普通用戶也能在影視級(jí)畫(huà)面里表現(xiàn)精湛的演技。例如，用戶上傳一段個(gè)人視頻，并輸入一段科幻懸疑風(fēng)格的提示詞，萬(wàn)相2.6能快速完成分鏡設(shè)計(jì)、角色演繹、畫(huà)面配音等環(huán)節(jié)工作，生成一段鏡頭敘事完整、電影級(jí)運(yùn)鏡的短片，僅需幾分鐘就能幫用戶圓電影主角夢(mèng)。

面向廣告設(shè)計(jì)、短劇制作等專(zhuān)業(yè)場(chǎng)景，通過(guò)輸入連續(xù)提示詞，萬(wàn)相還能生成一段完整敘事的短片，讓人人都能當(dāng)導(dǎo)演。例如，輸入一段廣告創(chuàng)意的提示詞，萬(wàn)相2.6能生成一段包含人物角色和商品的廣告視頻，并且在多鏡頭切換的情況下保持主體、場(chǎng)景等關(guān)鍵信息的一致性。

即日起，所有人可直接在萬(wàn)相官網(wǎng)體驗(yàn)萬(wàn)相2.6，企業(yè)用戶還能通過(guò)阿里云百煉調(diào)用模型API，據(jù)悉，千問(wèn)APP也將于近期上線該模型，并提供更豐富的玩法。目前，萬(wàn)相模型家族已支持文生圖、圖像編輯、文生視頻、圖生視頻、人聲生視頻、動(dòng)作生成、角色扮演及通用視頻編輯等10多種視覺(jué)創(chuàng)作能力，已廣泛應(yīng)用于AI漫劇、廣告設(shè)計(jì)和短視頻創(chuàng)作等領(lǐng)域。

763人已贊賞 >

敬原創(chuàng)，有鈦度，得贊賞

贊賞支持

0

37

0

掃描下載App