在鈦媒體Pro專業(yè)用戶和付費用戶專享的“鈦坦白”在線課堂第36期，我們再次請來三位鈦客，探討如何從“偽VR”走向“真VR”。本期鈦客之一、七維科技VP李曉波，是中國圖像圖形學(xué)學(xué)會虛擬現(xiàn)實專業(yè)委員會委員，《新媒體系列叢書》顧問，從事虛擬現(xiàn)實、增強現(xiàn)實、虛擬仿真領(lǐng)域工作十余年，在眾多高校擔(dān)任虛擬現(xiàn)實項目實踐導(dǎo)師。
本文節(jié)選自李曉波在鈦坦白的分享。如果您還不是鈦媒體Pro用戶，希望查看鈦坦白所有干貨，進(jìn)入鈦坦白九個專業(yè)群交流，并查看更豐富的專業(yè)數(shù)據(jù)和信息，可點擊：http://m.chcmb.cn/pro 注冊。
以下根據(jù)李曉波在鈦坦白的分享實錄整理：
很高興能夠在今天晚上和大家分享我對VR的一些見解。剛才看了一下群里邊有很多業(yè)內(nèi)的專家，也有很多之前打過交道的投資人，也有之前沒打過交道的，非常感謝各位。今天我要講的是我對VR的一些看法，請各位大咖多多指點。
剛才在群里聊天的時候，有朋友問到說為什么叫七維科技？關(guān)于這個問題，我首先解答一下。我們七維科技在起名字的時候就有一個考慮：在九十年代，有物理學(xué)家提出說宇宙是十一維的空間。愛因斯坦認(rèn)為，宇宙是四維的，三維空間加上一維的時間，然后就是說還有七維的空間是我們感受不到，但是客觀存在的，所以我們就叫七維科技。因為本身我們也是做圖形圖像的，充滿著科幻感。
我個人是2007年開始從事虛擬現(xiàn)實這個行業(yè)，群里邊青瞳科技的祖厚超也在，他是我以前的同事，我本身從引擎開始做起來。從2007、2008年開始做3DVIA VIRTOOLS這個引擎，在2011年底的時候開始做Unity這個引擎在國內(nèi)整個的市場的推廣銷售和教育計劃，然后在2014年年底的時候，很有幸的能夠以合伙人的身份加入到七維科技里邊來，目前主要是從事七維科技的產(chǎn)品、市場和運營工作。
七維科技是一家以技術(shù)見長的公司，我們目前給自己的定位是一家圖形圖像和視頻處理技術(shù)的一家公司，所以我們公司從2012年之初就開始做大量的技術(shù)儲備工作，目前我們的技術(shù)儲備在全景的拼接縫合、實時渲染和面部的識別，還有一些slam技術(shù)以及holographic三維實時重建技術(shù)方面都有一定的知識量的積累。
目前我們的核心技術(shù)演化出來的產(chǎn)品以及服務(wù)的領(lǐng)域，包括Vibox這個產(chǎn)品主要是基于引擎的工具包，目前主要服務(wù)于影視內(nèi)容和VR直播領(lǐng)域，Vicam面向空間定位技術(shù)，還有Viface、ViCloud、ViCap以及我們自己在去年年底推出的一個Go！PanoS1全景相機，另外我們也在去年年底的時候跟阿里云、當(dāng)虹云共同推出了基于互聯(lián)網(wǎng)云端渲染的VR方面渲染的Go！Cloud。
全景視頻與VR視頻的關(guān)系
上周接到咱們鈦坦白這邊的題目叫做“從偽VR走向真VR”，其實大家都知道，我們目前從事相關(guān)的視頻領(lǐng)域，大家都在拍攝全景的視頻或者是360度立體的或者是180度立體的視頻，當(dāng)然在VR圈里面有很多的朋友們都認(rèn)為，全景視頻或者全景圖片只是一個圖片或者只是一段視頻，不是真正的VR，對于這個觀點我本身也是比較認(rèn)同的。
VR應(yīng)該具備的三個特點，一個是沉浸感，一個是交互性，一個是可構(gòu)想性，這是在VR這個概念誕生之初就具備的一些技術(shù)特點。凡是具備這個特點的我們都被稱之為VR，反觀我們現(xiàn)在的視頻，可能只具備了沉浸感，他的交互性、可構(gòu)想性并沒有那么強，所以全景視頻跟VR視頻還是有很大的差異的。
但實際上，全景視頻又是視頻領(lǐng)域向VR方向發(fā)展中一個必不可少的技術(shù)基礎(chǔ)，在了解什么是VR視頻的時候，我們肯定都要先去把全景視頻搞明白了。畢竟全景視頻是VR進(jìn)行沉浸感很重要的一步，現(xiàn)在國內(nèi)有很多公司，都在基于全景視頻上開發(fā)了大量的硬件和軟件，所以全景視頻作為一個走向真VR過程中間一個很基礎(chǔ)的技術(shù)還是非常重要的。
全景視頻可以分為幾大類——360度平面的視頻、 360度帶立體帶景深的視頻、180度立體，就是我們最早認(rèn)知的雙目180度平面拍攝的方法。很多都是基于這三種進(jìn)行的演化。但實際情況是，這三種視頻各有各的特色，而且拍攝的成本以及對播放器的要求也不太一樣，目前針對360度視頻，他全景的球的標(biāo)準(zhǔn)化建立起來可能比較容易。180度立體的話，因為有的做出來是180度，有的做出來是160度，有一些公司做出來的話是120度，所以就是在雙目180度這個部分，它的標(biāo)準(zhǔn)建立起來并不是那么的容易。所以說目前各大視頻平臺在去做這個全景視頻的時候可能首選的還是360度這種全景的視頻，這種更為規(guī)范和標(biāo)準(zhǔn)。
我們在拍攝360度視頻的時候，很難去引導(dǎo)觀眾的視角，我們在前面去進(jìn)行主事件的過程中，很多觀眾都在背身面對事件發(fā)生的過程，所以360度視頻的拍攝，或者直播的進(jìn)行更難去調(diào)整導(dǎo)演的鏡頭語言。反倒是說180度立體，因為它只有一個面，跟我們拍傳統(tǒng)視頻的鏡頭語言實際上差不多，所以可能入門的門檻會更低一些。
視頻實際上更多的分為兩類，一類是點播拍攝的視頻，另外一類就是直播的。拿直播舉個例子，因為過去一年多時間，我們做了大量的國內(nèi)VR的直播，實際上也發(fā)現(xiàn)了一個問題就是：360度的視頻，背后更多的都是觀眾席或者是一些次重要的畫面，前端的內(nèi)容對觀眾來說更加重要，后面的后端的內(nèi)容對于用戶來說有效價值會更低一些，所以我們也在調(diào)整我們的一些鏡頭和拍攝的一些方法，180度立體的面向于演藝、綜藝、體育可能是一個更加合適的方法。
360度立體的拍攝，更適合于對場景感要求更強的，比如旅游或者是VR全景電影這樣的情況下，這種情況對360度立體的需求可能會更加旺盛一些。而我們會認(rèn)為不管是360度立體還是360度全景或者是180度這種立體的拍攝方法，還要根據(jù)不同的場景和不同內(nèi)容的策劃，去完成最終的呈現(xiàn)方式，這個也是我們根據(jù)不同的項目和不同的標(biāo)的制作過程中間要去思考的一個點。
VR視頻采集所用的軟、硬件
在VR硬件的選擇過程中，我們也是分為大概兩大類，一類是基于傳統(tǒng)的相機，包括佳能、索尼這些相機上面做了一些改裝而形成的一些360度，或者是180度的拍攝。包括之前的林以斌的《help》也是針對四臺red dragon進(jìn)行的組合，另外一類就是目前像insta360、德圖、Z-cam還有我們自己都推出了全景相機，直接使用一臺主機進(jìn)行拍攝，內(nèi)置可能有一些軟件或者硬件，信號連接出來以后，再進(jìn)行外部的拼接方式，形成全景視頻。
下圖是我們在去年年初推出來的一款對標(biāo)Vahana一款軟件的一個全景實時拼接的軟件，名字叫GO!Pano Studio，可以兼容目前市面上主流的相機，包括索尼的A7、佳能的5D2，包括其他的一些相機組合，不但可以形成360度的拍攝，而且可以形成180度立體的拍攝。目前這個是我們在去年上半年推出的一個軟件。這個工具目前在國內(nèi)很多視頻網(wǎng)站、視頻平臺和廣電領(lǐng)域都有比較多的應(yīng)用。目前這個軟件也分為三個版本，一個是收費定制化的版本，還有一個是共享的版本，還有一個是免費的版本，這個主體的功能都是差不多，但是在定向推流和云服務(wù)這塊會有一些差別。
這個全景的軟件，我們?nèi)ツ曜隽舜罅縑R的直播。實際上，支持SDI和RTMP的推流，是目前做VR直播很重要的點，可以直接把流給推出去。另外就是在圖像的實時處理方面，包括亮度、色相等參數(shù)都可以進(jìn)行動態(tài)的調(diào)整，可以在直播過程中間直接去調(diào)整畫面，做一些實時的改變，另外我們在實時拼接方面支持自動的拼接，支持PTgui的導(dǎo)入，也支持手動的拼接，三種拼接的方法能夠快速適應(yīng)各種的相機，在去拍攝過程中間能夠提高效率，能夠節(jié)省大量的時間。
除了軟件產(chǎn)品以外，我們?nèi)ツ暝谲浖幕A(chǔ)上，開發(fā)了一個硬件產(chǎn)品，我們稱它為Go panoS1，這個產(chǎn)品主要的特點就是比較小，大概只有我們手拳頭這么大小，可以輸出4K的分辨率、30幀的畫面。最重要的是它本身是基于FPGA一體化拼接，就是內(nèi)置拼接模式，不需要再用外部軟件和硬件去進(jìn)行畫面的縫合，直接可以在機子里面推出一路信號直接是360度的畫面，這個就比較方便去使用和攜帶，目前我們給他一個定位是專業(yè)入門級的設(shè)備。去年眾籌完以后，大概在這個月會進(jìn)行量產(chǎn)。通過軟件+硬件就在前端形成了一個比較好的拍攝工具集，這個也是滿足了我們VR視頻基礎(chǔ)的采集的過程，就是不斷通過傳統(tǒng)的相機可以進(jìn)行實時的拼接，而且可以通過一體化的相機進(jìn)行一路信號的采集，完成圖像的采集過程。
VR視頻的交互方法
采集完以后，我們就進(jìn)入到了視頻的第二步——實時渲染，這個也是今天我們著重要去講的，就是我們的VIBOX這款產(chǎn)品。怎么解決VR視頻的交互性？那就是全景視頻。怎么在全景視頻里面去進(jìn)行交互？這個是我們在信號采集到以后第二個部分要做的工作。具體這個部分怎么做？下來我通過幾個案例給大家去簡單的展示一下。
大家看到的下面這張圖片是2015年的春節(jié)聯(lián)歡晚會的一個現(xiàn)場的畫面，就是撒貝寧和虛擬的陽陽進(jìn)行交互，虛擬的陽陽是在現(xiàn)場看不到的，而是通過我們電視畫面看到的。它本身是劉純燕進(jìn)行的配音，一個舞蹈演員穿著動作捕捉設(shè)備進(jìn)行的采集，這個也是最早的在視頻里面去進(jìn)行交互的一種方法。
下面這張圖片是2014年《我愛世界杯》的一個畫面，就是我們在世界杯決賽的時候做的德國隊和阿根廷隊的視頻，里邊包括球員、賽場、大巴、當(dāng)?shù)氐奶鞖忸A(yù)報都通過實時渲染技術(shù)和引擎技術(shù)進(jìn)行視頻，進(jìn)行三維模型引擎和傳統(tǒng)視頻信號的一個疊加過程，形成了一種利用VR或者AR技術(shù)和視頻進(jìn)行輕交互的一個模式，這個模式是在2014年和2015年我們都在逐步進(jìn)行的技術(shù)的積累。
通過這兩張照片，我們可能大概會有個印象，就是在傳統(tǒng)視頻里面，怎么樣和畫面的內(nèi)容去進(jìn)行交互，它的本質(zhì)實際上還是一個視頻采集和引擎相互整合的過程。反觀在VR領(lǐng)域，我們只是說在視頻的畫面上面，它的可視角度從以前的180度提高到現(xiàn)在的360度，它的整個在本質(zhì)的交互的技術(shù)的形成上面，我覺得差別并不是特別大，所以說還是一個引擎+視頻采集的這么一個技術(shù)的基礎(chǔ)。
有了這樣一個引擎的話，我們實際上就可以在視頻里面去進(jìn)行交互，包括通過控制器、手柄、鼠標(biāo)鍵盤，這個交互過程也是一個逐漸的發(fā)展，最早可能我們在傳統(tǒng)視頻里面去進(jìn)行交互的時候，更多的是通過手機的搖一搖，通過這些固定的交互的方式跟API接口的模組去進(jìn)行。但是現(xiàn)在VR大的引擎的概念引入以后，交互方式可能跟之前有比較大的差別，這個也是VR最重要的一個特征吧。
今天它的交互手段實際上變得越來越多種多樣，包括像HTC VIVE或者像Oculus通過控制器去進(jìn)行交互的方式，或者通過Leap Motion，通過手勢去進(jìn)行交互的方式，乃至于說通過這種像七鑫易維眼動進(jìn)行交互，包括現(xiàn)在受人關(guān)注的腦電波這種交互的模式，這種交互模式可能更適合于我們現(xiàn)在通過VR頭盔這種觀看的模式下去進(jìn)行交互的一個方式。
VR直播的交互方法
在理清楚VR視頻交互大概的技術(shù)基礎(chǔ)以后，實際上我們更多的還是在VR的實際應(yīng)用過程中間，去找到一個比較切實可行，可以落地的一個方向，過去的一年多的時間里都在做直播，所以說我們現(xiàn)在也在不停的探索怎么樣在VR的直播過程中間，去加入大量的交互，目前我們大概有一些思路在這里我也給大家分享一下。
當(dāng)然我說的VR直播，不是像傳統(tǒng)那么去進(jìn)行打賞，跟秀場主播去聊天的這么一個交互，更多的還是說在于本身我們VR所具備的一些場景化，所具備的一些體驗化的過程引起交互的過程，實際上，在去年的時候，我們在HTC VIVE上面上了一個應(yīng)用，原來最早叫糖狗VR，現(xiàn)在可能叫GoVR。
這張圖片里面我們更多的是把傳統(tǒng)的視頻，集成到現(xiàn)在通過Unity引擎開發(fā)場景化里面，把視頻進(jìn)行開窗的處理，然后在引擎化的這個場景過程里面，實際上還是遵循了傳統(tǒng)游戲，或者是傳統(tǒng)VR開發(fā)的過程，能夠去進(jìn)行場景化的交互。比如說我們在恐怖的場景里面觀影，我們要塑造的一個訴求點就是說，把我們這個恐怖的場景怎么樣通過VR或者是交互的方式，能夠讓它變得更加的恐懼，比如說大家看到了一個僵尸，我現(xiàn)場可能會虛擬出來一個真的僵尸，我們在扭動的過程中間，就可以看到僵尸在你的身邊，看到一個比較浪漫場景的時候，可能滿天會下滿了桃花這種比較浪漫的感覺，同時通過手柄、控制器可以和身邊的這些僵尸進(jìn)行交互，這個我覺得是VR場景化整合過程中間最起碼的一個交互的方式。
除了場景化里面集成視頻的交互方式以外，我們可能還有一種在全景視頻里邊去疊加我們虛擬場景的一個過程，下面這張圖片是我們?nèi)ツ暝谧鰵W洲杯《豪門盛宴》的現(xiàn)場照片。我們可以看到，除了現(xiàn)場拍攝的以外，天空、凱旋門、歐洲杯的獎杯、國旗、飄著絲帶都是實時虛擬上去的，我們在里面進(jìn)行了SDI信號的開窗，在全景視頻觀看的過程中間，加入了大量虛擬的場景，而且還可以看到傳統(tǒng)CCTV5里面播放的畫面。
在進(jìn)行VR視頻的交互的過程中間，主要有兩種模式，一種是在場景化里面去構(gòu)建視頻的窗口，另外一種就是在視頻的畫面中去疊加虛擬場景化的內(nèi)容。無論是怎么樣的一種選擇，一定是一個線性的視頻結(jié)構(gòu)加上非線性的引擎場景化整合的一個過程，這也是我們進(jìn)行VR視頻交互第二個技術(shù)的積累點，也是我們?nèi)ミM(jìn)行VR視頻交互很重要的一個基礎(chǔ)工作。
下面這張圖片，很好的解釋了視頻和場景化的之間的關(guān)系。我們看到左上角那張照片是我們實際拍攝全景的畫面，右邊是通過引擎制作出來的機器人和UFO的飛船，而進(jìn)行實時合成完以后，在視頻里面，我們可以看到一個UFO和一個機器人，而這個UFO和視頻因為他們是引擎做出來的，是可以進(jìn)行交互的。
猛然一看這個照片，可能很像傳統(tǒng)電視欄包裝的概念，實際上，傳統(tǒng)電視欄包裝用的引擎，也是最早VR的一種呈現(xiàn)方式。比如以前我們在看《春晚》的過程中間，漫天的花瓣的效果，實際上在現(xiàn)場很多人是看不到的，所以說在現(xiàn)在VR開發(fā)的過程中間，我們用到的unity、unreal更為普遍使用或者門檻更低的技術(shù)的話會更便于去掌握它，所以在前些年的時候，我們把不是那么方便或者門檻相對比較高的VIbox也進(jìn)行了移植，下來我給大家簡單介紹一下。
下圖是VIbox的基本的功能，當(dāng)然它是兼容傳統(tǒng)視頻拍攝實時播放的方式，也符合現(xiàn)在全景360度立體和180度立體下邊去進(jìn)行虛擬形象的植入或者是虛擬場景的植入，我們不但支持增強現(xiàn)實的一些植入，包括實時動物的一些數(shù)據(jù)，包括在做直播過程中間的藍(lán)箱，傳統(tǒng)的一些跟蹤，包括多機位的通信轉(zhuǎn)換，都可以去完成比較好的虛擬化場景和視頻的整合。
多機位切換的部分，實際上我們在去年阿里淘寶的造物節(jié)中間已經(jīng)嘗試過，就是讓觀眾自己來選擇直播的角度，去年我們做了三個機位，觀眾可以通過VR這種進(jìn)行注視的交互，去看藍(lán)色的三角形，或者橙色或者紅色的進(jìn)行不同機位的選擇，當(dāng)然觀眾自己選擇的話也是其中最基本的一個交互點。
這個是我們?nèi)ツ?月份，在發(fā)布會的時候所做的一個VR的直播，我們可以看到，在天空中間我們虛擬出來了一個大魚鯤整體形象，包括之后視頻里面還有很多的水，還有很多鯤游動的過程，都可以進(jìn)行很好的虛擬化場景的整合，也可以進(jìn)行一部分的輕交互。
用交互式VR和傳統(tǒng)視頻去進(jìn)行整合時怎么去實現(xiàn)VR視頻的交互？我認(rèn)為目前大概有幾種形式：一種是很簡單的圖文特效，比如說在傳統(tǒng)體育賽事直播過程中間，一面是180度的立體畫面，后面可能是直接縫合上去另外180度的虛擬畫面，包括左側(cè)可能是新疆隊的籃球球員，右側(cè)是遼寧隊的籃球隊員，每個人他比賽的數(shù)據(jù)都可以在現(xiàn)場去進(jìn)行一個實時的觀看，還可以進(jìn)行微信、微博這種通過數(shù)據(jù)去進(jìn)行的交互，這個也是美國NEXVR目前主要的實現(xiàn)方式。
還有一類可能是為我們現(xiàn)在VR視頻變現(xiàn)提供了一個比較好的方法，就是動態(tài)廣告植入，這個動態(tài)廣告植入實際上很像微軟的hololens，我們在觀看的時候產(chǎn)生的這種在真實場景里面去疊加虛擬場景的一個過程，虛擬的形象或者是虛擬物體的一個過程，當(dāng)然現(xiàn)在隨著slam技術(shù)越來越成熟，包括我們現(xiàn)在高通835也推出slam整體的解決方案，可以去進(jìn)行動態(tài)廣告的植入。我們看到桌子上是什么都沒有，但是通過VR觀看的過程中間，就可以虛擬上很多的內(nèi)容，這就是直播，當(dāng)然我覺得不單單是說在傳統(tǒng)的秀場直播過程中間，要去增加趣味性，在VR直播過程中間也要去增加趣味性，我個人也是不太喜歡這種純VR的場景，就是把人和現(xiàn)實完全隔離開的一個過程，可能現(xiàn)在我們也在嘗試著通過視頻采集和VIBOX場景化的整合，去虛擬出來趣味性強的東西，
以上我介紹了一下視頻的沉浸感跟交互性，其實也引出來我們現(xiàn)在整體的運營模式，我簡單發(fā)個圖給大家看一下。軟件層面，我們的Go pano studio、Go panoVIbox和支持后期縫合的Go pano stitch。硬件方面，我們有Go panoS1小型的入門級的相機，然后在重型上面有Go pano rig，支持索尼、佳能這種級別的相機。同時搭配我們現(xiàn)在整個云服務(wù)體系，還有我們?yōu)閮?nèi)容，VR內(nèi)容聚合平臺提供的播放器就形成了我們整體的一個從端到端的解決方案，從信號采集、實時拼接、實時渲染、編撰碼、云服務(wù)，再到達(dá)最終客戶用戶端的播放器的一個全流程。
對VR視頻未來交互的看法
我對VR視頻未來交互的看法，就是在微軟的holographic這種技術(shù)開始大量的普及和slam技術(shù)越來越成熟的情況下，不論是全景視頻，還是在全景視頻上疊加VR場景化所進(jìn)行的交互，都是真正VR交互發(fā)展過程中的一個中間狀態(tài)，最終要實現(xiàn)的還是類似于holographic這種帶有景深，能夠去實時的進(jìn)行三維體積采集的真正的VR形態(tài)。
真正的VR到來的時候，可能我們只需要簡單的采集設(shè)備，就可以去實踐我們跨越空間、跨越時間的交互，這個交互也不用再去做大量的建模，而是可以去實現(xiàn)實時的重建過程，類似于微軟發(fā)的這個視頻里面的展示的holographic，就是我在北京你在天津，我們可以共同在上海去實現(xiàn)一個場景的交互和瀏覽，不但可以看到我們的正面180度，而且可以圍繞我個人進(jìn)行360度瀏覽，進(jìn)行放大、縮小這么一個交互過程。
我自己認(rèn)為holographic是未來VR視頻發(fā)展的一個大的趨勢，所以我們目前在holographic三維體積采集的過程，也在做大量的這種技術(shù)的積累，同時也跟很多合作伙伴去進(jìn)行slam這種技術(shù)還有追蹤技術(shù)的合作，也希望在群里面的各位，如果對這種holographic這種體積采集的方向有興趣的朋友們，可以跟我們多交流，也希望能夠跟大家一起合作。
非常感謝鈦媒體能夠給我這個機會和群里面的310位朋友做交互，當(dāng)然這也是跟鈦媒體的第二次合作，去年5月底在深圳跟鈦媒體的趙總有過一些交流，也很高興能夠跟鈦媒體再次的合作，也希望大家都能夠更多的投入到VR這個行業(yè)里面去，畢竟現(xiàn)在VR還處于一個緩慢的上升期，也希望能夠跟各位多多合作，再次感謝鈦媒體，也感謝群里面的310位VR行業(yè)的從業(yè)人員跟朋友們，謝謝你們。
（本文獨家首發(fā)鈦媒體，根據(jù)七維科技VP李曉波在鈦坦白上的分享整理）
……………………………………
鈦坦白第36期，從“偽VR”到“真VR”2，今晚分享、交流繼續(xù)！
地點：鈦坦白 | VR AR（微信群）
報名聽課、交流：
鈦坦白目前有醫(yī)療健康、人工智能、文娛社交、VR/AR、區(qū)塊鏈、支付創(chuàng)新、體育、云計算、SaaS等九個專業(yè)群。
1、鈦媒體Pro專業(yè)版用戶，可以點擊鏈接http://m.chcmb.cn/pro，登錄賬號，在線免費、任意選擇自己要進(jìn)入的群，按提示操作；
2、非鈦媒體Pro專業(yè)版用戶，可以添加微信號taitanbai0，在通過好友后，發(fā)99元紅包給小鈦，你將有權(quán)利從九個群中任選一個群進(jìn)入，長期聽課、交流。請告訴小鈦你要進(jìn)入哪一個群，然后等待小鈦拉你入群~
推薦鈦客、贊助、合作：
請與鈦坦白負(fù)責(zé)人佳音聯(lián)系，郵箱jiayinge@tmtpost.com
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論