繼“讓機器聽懂你的聲音”，鈦坦白又請來六位鈦客，探討如何讓機器看懂這個世界。本文根據(jù)云從科技創(chuàng)始人周曦在鈦坦白的分享整理。
周曦是“中科院百人計劃”成員，中科院、上海交大博士生導(dǎo)師，曾任中國科學院重慶綠色智能技術(shù)研究院信息所副所長 、智能多媒體技術(shù)研究中心主任。曾在國際頂級會議、雜志上發(fā)表 60 余篇文章，被引用上千次。云從科技是中國科學院重慶研究院旗下的人工智能企業(yè)，專注于人臉識別等計算機視覺技術(shù)研發(fā)。核心技術(shù)源于四院院士、計算機視覺之父——Thomas S. Huang 黃煦濤教授。研發(fā)團隊曾于2007年到2016年7次斬獲智能識別類世界大賽冠軍，并參與了人臉識別國家標準起草與制定。
以下是周曦在鈦坦白的分享：
我跟圖像結(jié)緣是在中科大。最早我是在中科大做語音，后來在北京的微軟亞洲研究院語音識別組也呆了很長的一段時間，這段時間我“做了錯誤的判斷，做了正確的決定“——我覺得語音沒前途。
從語音識別轉(zhuǎn)做圖像識別
大家知道摩爾定律，我個人認為語音識別每18個月錯誤率應(yīng)該是能夠減半的，但是想實用還是非常難，而圖象識別的視頻跟圖像是個大得多的領(lǐng)域，所以我個人認為圖像這塊可以解決的問題要多得多。
從專業(yè)的信息分析來看，語音其實是一維信號，圖像是二維信號，視頻是三維信號，從信息上看圖像比語音要豐富。
從任務(wù)上來看，audio和speech是完全不同的，audio本身是有很多任務(wù)的，但speech就是人說話，其中的背景音等很多聲音對我們的意義有的時候不大，所以做語音這一行能做的任務(wù)就是把說話的內(nèi)容識別得更準確。實際上圖像和視頻也是完全是不同的，人臉識別大概對應(yīng)著語音識別，把圖像中的人找到再識別他是誰、他的情緒、年齡性別等，這只是浩瀚的圖象識別和視頻識別中的一小部分，對于我們來說有用的不僅僅是這一點。
舉個例子，比如說醫(yī)學上的應(yīng)用圖象處理，可以識別早期癌癥等疾病，為什么體檢后很多疾病沒有檢查出來？不是沒有拍到，是需要專業(yè)的知識，非常資深的醫(yī)生才能看得出來。我在想如果疾病尤其是癌癥早期就能夠看出來，基本是能夠治愈的，所以通過圖象識別和大數(shù)據(jù)更好地把有嫌疑的部分都找到，然后再請專業(yè)的人確認，這樣不就可以挽救很多人的生命嗎？再比如做工業(yè)視覺，生產(chǎn)線上的東西，是不是有瑕疵，有沒有裂縫，表面平不平，都可以通過圖像或視頻識別出來。又比如現(xiàn)在很火的自動駕駛，其實是可以通過圖象識別出所有路面的情況的，是不是有標志這些都是可以搞定的，對于圖像來說，其實識別宇宙萬物都是很有意義的，不止是識別人臉才有意義。
我看過一條新聞，國外有人在泳池下裝了一個攝象頭，能夠自動識別出游泳者是不是溺水。所以用圖像識別做一點點事都可以幫助到別人，我覺得挺有意思的，就把我之前做的語音識別那塊放棄了，開始做圖像識別。
選擇做人臉識別
做圖像識別其實我個人認為是一個正確的決定，但是我做了一個錯誤的判斷，其實語音最后也是能使用的，并且使用的非常好，現(xiàn)在大部分已經(jīng)做到了。很多的時候我感覺自己比較幸運，語音識別和圖像識別都屬于人工智能甚至機器學習這一個分支，也有一定的學科交叉，很多東西都是復(fù)用的。所以我到美國后，雖然圖像還沒到達這個階段，但是從語音轉(zhuǎn)到圖像，讓我在方法論，包括做系統(tǒng)這件事上還是遠遠的領(lǐng)先了一些人。
我記得當時圖像領(lǐng)域好像大部分都是單兵作戰(zhàn)，都是在一個電腦上跑，或者是在一個服務(wù)器上跑任務(wù)，而語音識別領(lǐng)域的人都認為，必然需要cluster服務(wù)器陣列，分布式的提交任務(wù)，我當時到UIUC時就發(fā)現(xiàn)，還沒有這個東西，那我馬上就自己搭了一個cluster服務(wù)陣列。有了這個服務(wù)器集群，我就感覺自己做的東西好像是正規(guī)軍，別人都是散兵游勇。其實語音有很多做得很好的算法跟思想，我在圖像識別上實踐過，果不其然，效果其實還是很不錯的。從2006年到2010年之間，拿了很多的世界冠軍，我就想，總要做點有意義的事吧，這個東西要使用，不管是檢查零件還是挽救溺水的生命，在各種場合下要能夠幫助到大家，才比較有意義。
這個時候我就想，圖像識別雖然能夠識別宇宙萬物，但是一定要具體到一件事情上才能幫助到別人。當時想了很久，人臉是圖像中很重要的一部分，把人臉做好可以做很多事，所以我們當時就選擇了做人臉識別。但是我后來發(fā)現(xiàn)，其實做人臉識別如果沒有商務(wù)推廣能力也是不行的，光做技術(shù)這一塊存在很大的問題。2013年底的時候，我發(fā)現(xiàn)芬蘭有一家小公司做刷臉支付，覺得很好玩，就率先在國內(nèi)做了刷臉支付，2014年是做出來了，在手機上可以使用了，其實并沒有什么用，因為根本沒有銀行或者人去用這個東西，我只是告訴別人可以這么玩，但是誰會真的用呢，哪個金融機構(gòu)會真的拿著這個去做事呢？
選擇成立公司，選擇做全產(chǎn)業(yè)鏈
我當時想了很久，如果我們永遠只是在學術(shù)圈里，還是幫不了人，做不了什么事，一定要有一個自己的公司，自己有能力，然后去做商務(wù)推廣，把這個東西往前推動，于是就有了云從。
開公司以后，我發(fā)現(xiàn)目前大量的人臉識別公司分為兩類：一類是只做前端的核心技術(shù)，另一類是只做后端的產(chǎn)品和服務(wù)。做全產(chǎn)業(yè)鏈需要很長的周期以及很大的投入，投資回報也比較長，但是技術(shù)和服務(wù)本來就是不能割裂的，一旦割裂我個人認為其實也會影響到客戶的體驗。舉個例子，比如說有些客戶要求改變攝象頭的高度就會影響到整個算法，如果沒有技術(shù)，是無法快速響應(yīng)客戶的要求的，我認為科技公司最重要的就是技術(shù)，即使做技術(shù)這塊在前期對公司來說負擔特別特別的大，但是只要有這樣的技術(shù)的積累，而且技術(shù)有創(chuàng)新，才能夠一步一個腳印的扎實的前進。
再其次，其實我覺得做全鏈的優(yōu)勢還在于我們自己掌握了產(chǎn)業(yè)鏈，能夠保持從軟件到硬件的適配性，以及使用環(huán)境的完美調(diào)試，我們可以將用戶的體驗維持在一個比較高的水平上。同時全產(chǎn)業(yè)鏈也能增強科技公司自身的議價能力，在這方面，我們的學習目標是華為。
如何更好地識別人臉？
云從科技從2013年就開始接觸了深度學習做圖象處理這一塊。我們對深度學習的網(wǎng)絡(luò)做了一些針對人臉的處理，主要方向是我們考慮到人臉識別最大的應(yīng)用是證件照和現(xiàn)場照的比對。
所以我們在做這項技術(shù)的時候，考慮到兩種不同類型的照片應(yīng)該用不同的方法去處理，所以就在深度學習基礎(chǔ)上，研發(fā)了一項技術(shù)叫雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)。其實目的很簡單，就是把看起來明明不相似，但是實際是同一個人的人臉，想辦法對應(yīng)起來，放到同一個空間去做比對或者去做識別。
通過這項技術(shù)的名字就能有一個稍微直觀的印象，就是雙層跟異構(gòu)。很多的時候，我們注冊的照片是證件照比較端正，現(xiàn)場照片往往過了好幾年，現(xiàn)場的光線、表情、角度等因素，都是比不過證件照的，所以需要用比較復(fù)雜的網(wǎng)絡(luò)去解開這個現(xiàn)場照。本身描述每個東西都是一個分布，同一個人也要滿足同一個分布，但是因為種種因素，同一個人的照片時間已經(jīng)隔得比較遠，我們不能強行把兩張照片圈在一起，那怎么辦呢？讓他們在兩個層上組成不同的分布，用線將他們連接起來，簡單地講接受注冊和測試時是不同的，我們要把證件照跟現(xiàn)場照之間的內(nèi)在關(guān)系找出來，這就是雙層。
異構(gòu)其實是和雙層是相輔相成的。大數(shù)據(jù)，大家都知道有一個特點，只要數(shù)據(jù)足夠多，就可以讓他自己學習，但是實際上光線、遮擋、表情等一些識別因素造成了差異?？梢酝耆屗约喝W習，我們也可以提前告訴他，可以省很多力。異構(gòu)就是不一樣的結(jié)構(gòu)化，數(shù)據(jù)是一種結(jié)構(gòu)，知識也是一種結(jié)構(gòu)，我們要把知識輸入到網(wǎng)絡(luò)里面去，映射到一個一個簇里面，讓他用更少的代價去解決這個事情。
講到雙層異構(gòu)深度神經(jīng)網(wǎng)絡(luò)，我要舉一個比較經(jīng)典的例子，叫三個蘋果。什么意思呢？比如說我們教一個孩子認識蘋果，大概有三個就夠了，告訴他圓圓的，上面有果蒂，摸起來是什么感覺，這就是蘋果。下一次他看見蘋果的時候問他，這是什么？他可能知道，也可能不知道，對吧。如果不知道，我們就可以再告訴他，這就是上次說的蘋果。這個小孩就會問了，顏色為什么不一樣？我們可以回答，上層是青蘋果，這次是紅蘋果。小孩子基本上就會知道，蘋果有不同的顏色。幾次之后，他就認識這個蘋果了。我們知道深度學習其實是基于大數(shù)據(jù)的，我們想要搞定蘋果需要多少個蘋果呢？通常要一千個或者是一萬個蘋果的訓(xùn)練數(shù)據(jù)。這時候訓(xùn)練結(jié)果才能達到識別率比如說90%或者是95%，也就是說，假如有一萬個蘋果就會有一千個或者是有五百個會識別錯，我們就要想想了，這一千個蘋果為什么會識別錯了。電腦不會告訴我們說這個是因為顏色不一樣，而是會告訴我，它是蘋果的概率是0.4，我們?nèi)绻验撝翟O(shè)在0.5以上的話，電腦就會告訴我這不是蘋果。
實際上現(xiàn)在人們也不知道如何糾正電腦，我們只能說，訓(xùn)練數(shù)據(jù)不夠，再找十萬張?zhí)O果的照片去訓(xùn)練，終于識別率能到98%，效果感覺好像還不錯。但在我看來，這并不是人工智能，和小孩子溝通的過程才叫人工智能，因為他理解我抽象出來的概念，通過顏色、形狀、材質(zhì)等幾個抽象出來的概念，他定義了一個新的事物，當他有不同的理解時，也會用到同樣的概念提出問題，來糾正他的認知，我們在一個很高層次上去做交互，這樣能夠舉一反三，一個一個點的求偏導(dǎo)和積分是沒有辦法交流的，我們和計算機根本沒法交流。
除了基本的初級象素信息外，我們其實要加入上層的概念信息跟屬性信息，這樣才能做到在更高的層面上去做交互，快速的舉一反三，迭代出這個問題的本質(zhì)。其實這整個邏輯，就把雙層和異構(gòu)基本上解釋得比較清楚了。但實際上這個問題只是解決了我們怎么樣去學習，怎么樣去讓深度學習更好地理解物體，理解人臉，更好地去識別。但是實際上圖象識別還會遇到很多的問題，比如說大量的運算。深度學習需要大量的運算，本身這個網(wǎng)絡(luò)夠復(fù)雜的話，我們?nèi)绾翁岣咚姆磻?yīng)速度呢？其實這一塊又涉及到很多工程上的問題。
所以我認為，圖象識別特別是人臉識別的門檻還是比較高的，因為這不是搞一個模型就能行的問題，人臉識別本身有十幾個模塊，我簡單點說，比如說從檢測、跟蹤、分割、關(guān)鍵點、旋正到質(zhì)量分析、光線彌補、角度補償、遮擋補償?shù)鹊?。要求對于任何一個模塊，針對每種場景做不同的適配，還是非常非常難的。比如關(guān)鍵點提取，如果應(yīng)用在手機前端，供應(yīng)商會要求模型大小在一兆以下，而整個人臉識別在服務(wù)器上超過一億個參數(shù)，我們怎么保證在一億以下呢？這個也是非常難的。同時我們有的時候還要求很快，比如說視頻中有很多人，要求在一毫秒之內(nèi)識別出所有的關(guān)鍵點。這個時候可能大家會問，為什么是一毫秒不是十毫秒、100毫秒，其實我想回答的是，因為本身這個系統(tǒng)里面還有很多的模塊要去運行，要滿足所有的運行時間加在一起達到實時，也就是我們所謂的一個視頻假設(shè)每秒有30幀，我們每幀要做到30毫秒的話是非常難的。
有時候又要求很準，比如說對關(guān)鍵點的識別偏一個象素，就會讓人感到睫毛安偏了，或者嘴又放歪了之類的，所以有的客戶要求模塊又要小，速度又要快，識別又要準，其實說白了，就要有不同的算法和模型，對應(yīng)不同的場景去解決這個的問題。一個模型和一套人臉識別的算法是解決不了各種各樣的需求的。所以模塊的豐富性，是非常重要的，十幾個模塊，每個模塊要有不同的場景，還要對應(yīng)所有的硬件。我們知道不同的手機型號、服務(wù)器，嵌入式識別這些都是不同的，光手機都有IOS和安卓兩個平臺，這就是我們常常說的，無數(shù)研究的精力放到這些硬件的適配上了。我們本身在做開發(fā)的時候，比如說安卓、IOS這樣的平臺，所有的模型都要重新編譯一遍更新一遍，其實這個活是非常累的，而且大家知道編譯碼肯定要有源碼的，所以說為什么像我們這樣的公司，都要有龐大的研發(fā)隊伍去做。很多人不理解為什么做一個人臉識別研發(fā)團隊要超過200人，原因就在這里。這還僅僅只是核心技術(shù)的一小塊，再加上不同的行業(yè)，比如說我們會做閘機，會做迎賓，會做銀行的生物認證平臺，等等不同的系統(tǒng)，我們要在不同的設(shè)備商之間去做這些事情，確實是非常非常的難，工作量非常非常的大。
人臉識別行業(yè)的發(fā)展態(tài)勢
我認為人工智能時代現(xiàn)在已經(jīng)開始萌芽，并且之后將會有一個飛速的發(fā)展，今后將成為未來一切商業(yè)的基礎(chǔ)。谷歌將人工智能領(lǐng)域的業(yè)務(wù)全部劃歸為Alphabet這個大家已經(jīng)比較清楚了，使得它擺脫了互聯(lián)網(wǎng)的標簽，也正是看到了人工智能的前景。從人臉識別的角度來說，未來幾年也是包括人臉識別在內(nèi)的人工智能技術(shù)產(chǎn)業(yè)爆發(fā)得非?？焖俚膸啄?。
無論是產(chǎn)品種類、產(chǎn)品規(guī)模還是生活方式，都會有爆發(fā)性的增長和改變，比如從去年開始，金融行業(yè)就在嘗試應(yīng)用人臉識別技術(shù)在遠程開戶在線支付等業(yè)務(wù)上，公安其實也會應(yīng)用到該技術(shù)，我們協(xié)助他們做卡口的布防，追逃這樣一些有意義的事情。之后在邊防、機場、鐵路還有智能商業(yè)這塊，我個人認為，人臉識別發(fā)展前景是非常大的，而且是非常有利的。
鈦坦白群友互動：
Q：想請教一下周總怎么看NEC的人臉識別技術(shù)，他們落伍了嗎？
周曦：我們在中科院做人臉識別的時候， NEC是最大的競爭對手，因為那個時候在深度學習還沒有起來之前，NEC的技術(shù)確實是非常厲害。但是當我們2014年、2015年將人臉識別技術(shù)產(chǎn)品化，在市場上去推的時候，跟競爭對手去做POC測試的時候，遇到NEC的次數(shù)是非常非常少的。
我們在2015年遇到過跟NEC去PK，感覺那個時候NEC用的還是傳統(tǒng)算法，在深度學習這塊確實人臉識別的算法比傳統(tǒng)算法要好很多，所以當時我們還是贏了NEC的，但是后來，到2016年我們基本上沒有碰到過NEC，所以我也不確定NEC的技術(shù)是否現(xiàn)在已經(jīng)更新到深度學習，并且效果也達到非常好的水平。
Q：周總，云從目前產(chǎn)品化進程主要分為哪幾類？或者說您那邊看好哪幾個行業(yè)？能否透露。
周曦：云從2015年的主攻方向是金融，取得了非常好的成績，目前是全國做人臉識別行業(yè)在銀行里面做得比較多的。今年跟明年，我們可能更加注重的是在安防領(lǐng)域，希望有一個比較大的突破。其次我這邊還看好比如智能商業(yè)、醫(yī)療或者是這樣的行業(yè)，我們因為精力有限，會一個一個行業(yè)的去做。
Q：想問一下，現(xiàn)在的人臉識別技術(shù)對于角度略大的側(cè)臉和墨鏡遮擋的情況能處理嗎？
周曦：說實話，角度大跟墨鏡這塊我們目前從算法角度來說是很難搞定的，因為他把眼睛的關(guān)鍵點基本上擋住了之后，對計算機識別來說也是有一定難度的，就比如說我們有的時候發(fā)現(xiàn)很多明星在機場他都會戴墨鏡，這個時候很少人把他給識別到，所以計算機也是一樣的。但是今后我們可能會做配合其它圖像識別技術(shù)，如步態(tài)還有一些身形或者還有其他的一些東西，可以綜合起來識別這個人，這個技術(shù)我們會在后續(xù)慢慢的去實現(xiàn)。
Q：周總您好，想請教的是，在生物識別領(lǐng)域，人臉識別作為一種技術(shù)實現(xiàn)手段，與指紋識別、虹膜識別、聲紋識別相比，人臉識別有哪些自己優(yōu)勢與不足？人臉識別比其他技術(shù)手段相比，更適合的應(yīng)用場景會出現(xiàn)在哪些地方？
周曦：我認為是這樣的，人臉識別技術(shù)必須要有一個比較長時間的積累，包括我們的競爭對手，他們也是有幾年的甚至是十年的積累，我們才能一起成為競爭對手的，包括像去年我所了解到的很多公司，有做人臉識別相關(guān)的研究，但是到今年我不知道什么原因，很多都已經(jīng)放棄了。我認為技術(shù)在短期至少在近一兩年里面，其實還是一個比較大的優(yōu)勢。當然之后，肯定是靠產(chǎn)品，產(chǎn)品比如說簡潔化、體驗性這一塊才能真正的去打動客戶，才能占領(lǐng)比較大的市場。
人臉識別的優(yōu)勢我跟大家簡單的講幾點：第一個就是它是非接觸式的，比如說我們現(xiàn)在大家說到的虹膜、指紋這塊，我的理解都是接觸式的，你必須得接觸設(shè)備，這個本身對人來說是侵入的，就不太好；還有一個優(yōu)勢，就是我們現(xiàn)在大部分人，所有的身份證二代的芯片里面只有一個人臉，我們在人臉上去做比對，去做認證的時候就非常方便，現(xiàn)在新的二代和三代身份證也有指紋了，但很多現(xiàn)在還沒有推廣起來。
人臉識別的劣勢其實也是有的，它是很大程度上受硬件的限制，比如說攝象頭，攝象頭如果很差，角度裝的很偏，對人臉都已經(jīng)不能很好的進行捕捉，人臉識別起來難度還是非常大的，他的正確率會隨著圖片質(zhì)量的下降而下降，導(dǎo)致在某些場景或者是某些場合下面是不能用的。
Q：現(xiàn)在人臉識別整個業(yè)界還有那些難題是暫時無法攻克的？
周曦：我覺得人臉識別目前有幾個需要突破的地方：第一個是識別率，這一塊我們希望達到跟指紋一樣，在百萬分之一的錯失率的下面達到90%以上，只要趕上指紋，人臉比指紋的優(yōu)勢就更加明顯的突出；另外，在硬件方面還是有很大的問題，因為本身我們要捕捉一個人臉他要達到一定的條件我們才能夠去做識別；在識別的過程中，受到更多的主觀性的影響，比如說光線，光線這塊其實我們目前在室外的人臉識別是遠不如室內(nèi)的人臉識別率那樣高的；當然角度這塊就不用說了，比如說我們拍的人臉當只露出一個眼睛或者根本沒有人臉只有額頭或者只有下巴的時候，對于我們做人臉識別來說，其實這個就非常的不靠譜了。
Q：感謝周總，貌似現(xiàn)在深度學習的人臉識別很多方面已經(jīng)超過人眼，那么還有那些方面深度學習還遠不如人眼的能力呢？
周曦：其實計算機僅僅在人臉識別上已經(jīng)遠超人類了，但是計算機目前還沒有解決的就是我剛剛說的，能夠通過綜合判斷去識別一個人，這是人比計算機厲害的地方。比如說人我們?nèi)プR別一個人，我們不光是他的人臉，還有他的穿著、身高、體型、步態(tài)所有的因素結(jié)合起來，我們識別一個人的話就會非常非常的準，但是計算機目前就做不到這一點。計算機沒有把這些所有其他的屬性包括一些因素都利用起來，去綜合識別，如果有一天能達到這種程度的話我認為他的效果會非常的好。
（本文獨家首發(fā)鈦媒體，根據(jù)云從科技創(chuàng)始人周曦在鈦坦白上的分享整理）
………………………………………………
鈦坦白第28期“AI已來，讓機器看懂這個世界”，六位鈦客的精彩分享已經(jīng)結(jié)束，干貨會陸續(xù)發(fā)布：http://m.chcmb.cn/tag/1508094
鈦坦白2017年，精彩分享繼續(xù)！
推薦鈦客、贊助、合作：請與鈦坦白負責人佳音聯(lián)系，郵箱jiayinge@tmtpost.com
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論
因為不確定性，語音識別得做很多而且不一定成功，人臉還l比較穩(wěn)定！