在鈦媒體Pro專業(yè)用戶和付費用戶專享的“鈦坦白”在線課堂第33期，我們再次請來三位鈦客分享對機器學習的思考 。本期鈦客之一、地平線機器人資深算法研究員羅恒，2011年博士畢業(yè)于上海交通大學，后師從于AI巨頭Yoshua Bengio從事博士后研究。學習期間，在學術期刊與國際會議上發(fā)表多篇論文，并被大量引用。2014年加入百度深度學習實驗室，參與深度學習在搜索中的應用、PaddlePaddle研發(fā)等工作?，F(xiàn)任地平線模型壓縮和加速方向負責人。
本文節(jié)選自羅恒在鈦坦白的分享。如果您還不是鈦媒體Pro用戶，希望查看鈦坦白所有干貨，進入鈦坦白九個專業(yè)群交流，并查看更豐富的專業(yè)數(shù)據(jù)和信息，可點擊：http://m.chcmb.cn/pro 注冊。
以下根據(jù)羅恒在鈦坦白的分享實錄整理：
大家晚上好，我是地平線機器人的羅恒，很高興能來鈦坦白和大家分享我對于應用深度學習的一些想法。
我所經(jīng)歷到的深度學習的復興
我的博士是在上海交通大學念的，剛開始的時候其實并沒有確定自己研究方向，只是對機器學習很感興趣，看了很多機器學習方面的書和論文，最感興趣的是“支持向量機”，感覺實際中有廣泛應用，同時又有非常完善的理論，所以花了一定的精力在讀相關的論文和書?？戳艘欢螘r間之后，發(fā)現(xiàn)Vapnik似乎已經(jīng)把所有他想要解決的問題都解決完了，很多識別的問題解決得不好，是由于沒有專家設計出合理的核和函數(shù)，而這不是SVM或統(tǒng)計學習理論所關心的問題。當時看到這兒，感覺好像已經(jīng)沒什么工作可做了。
在這個時候看到了Yoshua Bengio寫的一個關于深度學習的一個技術報告，覺得很有趣，因為角度完全不一樣。SVM考慮的問題都是如何限制模型的復雜度，如何來增強模型的推廣能力，而在Bengio的論文里討論的都是如何學習數(shù)據(jù)的表示，他認為如果我們能夠學習到關于數(shù)據(jù)的抽象表示，那么分類就會變得非常簡單，也就是說我們不需要去用一個像知識像機那么復雜的分類器，可能一個簡單的線性分類器就能實現(xiàn)我們的目標。
當時就覺得這個非常有潛力，這可能是一個全新的方向，那時候是2008年，關注神經(jīng)網(wǎng)絡、深度學習的人還比較少，我也從來沒有想到過后來會有這樣大的發(fā)展，當時覺得最大的可能也就是在學術界引起一波新的研究的熱潮，想不到深度學習后來會被廣泛應用到實際中，并且又一次引發(fā)了公眾對于人工智能的關注。
開始做深度學習研究的時候，面臨一個很大的困擾。別人問我在做什么，回答在做深度學習，那么下一個問題一定是“什么是深度學習”。甚至論文投出去有很多審稿人會覺得你怎么在做神經(jīng)網(wǎng)絡，這不都是已經(jīng)很古老的東西了嗎？沒想到，過了短短的五六年之后，再去開會的時候，當有人問我在做什么方向，我回答說做深度學習的時候，往往換回來的回應都是“怎么又是在做深度學習”，那時候好像所有人都在做深度學習了。
好不容易發(fā)了幾篇論文能夠畢業(yè)了，一次開會正好遇見Yoshua Bengio，他正好在招博士后，就去了他那里做博士后。其實當時覺得自己博士畢業(yè)后很大可能是去學術界，想先做博士后，回國找個學校教書。
做了兩年博士后之后，突然發(fā)現(xiàn)深度學習已經(jīng)變得非?；鸨?，不但是在學術界引起了非常大的轟動，甚至在工業(yè)界也開始有很多人關注起來，甚至很多深度學習的應用都已經(jīng)被應用到了工業(yè)系統(tǒng)里邊。所以2014年初離開加拿大回國，一方面很好奇工業(yè)界用深度學習到底怎么樣，想來看一看，另一方面也是學術界的工作其實不是太好找，工業(yè)界反倒工作很多，所以就加入了百度IDL深度學習研究院。在百度實際上就是做一些應用深度學習到搜索系統(tǒng)中的工作，也參與了Paddlepaddle開發(fā)，周一的時候于洋已經(jīng)介紹了Paddlepaddle的一些情況（相關文章：http://m.chcmb.cn/2584884.html），我和于洋認識好久了。
去年加入了地平線機器人，現(xiàn)在在地平線機器人做一些模型壓縮方面的工作，我們的想法就是希望能夠把硬件、芯片、算法到應用場景打通，把它們放在一起聯(lián)合優(yōu)化，其實這個也就好象做深度學習總是喜歡端到端來進行，end to end來訓練模型。我們希望能夠把從應用場景中的需求一直傳遞到軟件，傳遞到算法，傳遞到硬件，傳遞到芯片，能夠把它放在一起聯(lián)合優(yōu)化。
AI的泡沫
先簡單回顧下深度學習的發(fā)展。深度學習是源于上世紀60年代開始神經(jīng)網(wǎng)絡進一步的發(fā)展，它現(xiàn)在在機器視覺、自然語言理解、一些工業(yè)級的應用都產(chǎn)生了巨大的影響。近來還慢慢出現(xiàn)了一些受深度學習啟發(fā)的新應用方向，比如醫(yī)療圖像分析、自動駕駛。國內的情況是，自從百度在2013年的時候創(chuàng)建了深度學習研究院，這些年來一些大公司也都開始有一些部門從事深度學習相關的研究工作。
真正引起人工智能火爆的是去年出現(xiàn)的AlphaGo。一方面，我本人也下圍棋，當然我是普通的業(yè)余愛好者的水平，另外一方面，我自己也做機器學習，因此也常常會關注這方面的進展，但是其實在AlphaGo出現(xiàn)之前，總覺得電腦擊敗人類頂尖棋手是一個非常遙遠的事情。
我在大概2011年、2012年的時候，看到過Hinton的學生發(fā)表的一篇論文，里面開始用卷積神經(jīng)網(wǎng)絡來處理棋譜，把棋譜當成一張圖片輸入卷積神經(jīng)網(wǎng)絡，然后去預測下一步的位置。那篇論文估計也只是兩個學生的游戲之作，發(fā)表在不是很著名的會議上。我當時覺得這個想法很有意思，因為其實從下棋人的角度，很多時候他就是憑著大致的一個感覺，并沒有很多的計算，只是對棋的形狀的一種感覺，常?？梢宰龀鲆恍┲庇X上的判斷，而且很多時候這種判斷還比較準。
但是只是對棋行的把握是遠遠不夠的。所以當我聽說DeepMind在做圍棋的時候，就覺得可能會有突破（從本質上講，圍棋和DeepMind之前做的那些打游戲的任務，并沒有什么不同）。聽說能夠贏了樊輝（職業(yè)棋手）當時就覺得很震驚了，以往的圍棋軟件大概只能到業(yè)余棋手的水平，而業(yè)余棋手到職業(yè)棋手往往有一條非常巨大的難以跨越的鴻溝。而很快，AlphaGo就擊敗了李世石。李世石是大概十多年才一出的天才，從樊輝到李世石，這中間其實也有一條非常大的鴻溝。讓人沒有想到的是，對于AlphaGo來說，似乎這兩條巨大的鴻溝都不存在，只是不停的去訓練，機器就不斷的提升，輕松擊敗人類的天才，帶領人類看到前所未見的圍棋新境界。這當時對我是很大的震撼，而且從后來來看，其實對整個世界都有巨大的震撼。
AlphaGo一定會成為人工智能史上的里程碑，但是這并不意味著AI會迅速到來?，F(xiàn)在對于AI的火爆關注，里面存在相當?shù)呐菽?/strong>更何況，目前AlphaGo本身的細節(jié)其實只有DeepMind的少數(shù)人知道，前兩天田淵棟來地平線訪問也聊起過這個，他遇到黃士杰，聊起了他們新的進展。黃士杰的講法就是在Nature論文之后，又做了很大的改進，那么這很可能意味著沿著Nature那篇論文繼續(xù)往下做會遇到瓶頸。而且從應用AlphaGo的角度，如何應用到實際問題，會有什么樣的商業(yè)模式，都是完全不確定的。所以我個人懷疑現(xiàn)在的這種火爆的場面里面有相當?shù)呐菽某煞荽嬖凇?/p> 這些泡沫造成什么樣的影響呢？從去年到今年，出現(xiàn)了大量的AI相關的創(chuàng)業(yè)公司，然后突然之間做算法的，無論是做機器視覺、自然語言理解、語音識別，還是深度學習算法，突然出現(xiàn)了很多的高薪職位，然后不斷傳出新畢業(yè)的學生拿到了如何如何的高薪。除此之外，很多大公司也在紛紛的成立AI相關的部門、相關的研究院等等。 這次鈦坦白課程的題目是大概一個月前確定的，當時只是想講一些個人的看法，然后就很巧，前兩天迅雷的創(chuàng)始人陳浩寫了一篇文章，也討論了一些AI創(chuàng)業(yè)公司的事，還挺有意思的。他其中就提到了現(xiàn)在的很多AI的創(chuàng)業(yè)公司大多是由有技術背景甚至是研究背景的創(chuàng)始人創(chuàng)立的，都有很強的技術，但是對于應用場景、商業(yè)模式的考慮都很少，而且往往是有點拿著錘子找釘子的感覺。 從我的角度和我的感覺來說，是的，應用深度學習的門檻是在降低，而且是在非常迅速的在降低。但是隨著深度學習的進一步應用，可能會形成一些新的門檻。 說到職位的薪水，實際上在過去一二十年，編程人員也就是碼農都有很高的薪水，相對于社會其他的職位來說。為什么碼農能夠有比較高的薪水，一方面當然是從個人計算機到互聯(lián)網(wǎng)時代新的市場的出現(xiàn)，然后產(chǎn)生了很多超額利潤的公司，但是另外一方面也是在于程序員本身就是在不斷的自動化一些事情，不斷地提高生產(chǎn)效率。程序員寫了軟件，即使程序員下班了這個軟件其實還在工作，還在為公司掙錢，而不像傳統(tǒng)工人，當他休息的時候機器也就休息了。 從這個角度來說，深度學習以及神經(jīng)網(wǎng)絡從誕生的開始就一直是在試圖減少人的工作，使本來需要人的工作可以交由機器自動完成。 下面我先簡單回顧一下神經(jīng)網(wǎng)絡的歷史。上個世紀的60年代開始出現(xiàn)了感知器，當時的感知器就是一個單層神經(jīng)網(wǎng)絡，它的輸入實際上是需要專家來設計的特征，這個感知器起的基本上就是一個分類器的作用，試圖取代的就是人利用特征分類。目標就是將一個完整的識別任務拆成兩部分，專家設計好特征，這些特征是對分類有幫助的，然后我們給感知器數(shù)據(jù)，感知器能夠自動的去找到特征和類別之間的關系，最后自動化的進行分類。上個世紀的90年代，出現(xiàn)了多層感知器（由于反向傳播算法的出現(xiàn)），使得我們能夠訓練帶有隱藏層的感知器，那么這個時候的神經(jīng)網(wǎng)絡就已經(jīng)能夠開始學習一些簡單的特征了，依賴專家的程度開始減少。從2006年到現(xiàn)在，隨著最開始的非監(jiān)督預訓練以及后來大量的帶標簽的數(shù)據(jù)，還有一些神經(jīng)網(wǎng)絡的新的方法，深度學習開始能夠自動的學習越來越復雜的特征，同時比較好的完成分類識別。領域專家設計特征在構造分類器的過程中消失了。 最近一段時間李開復老師經(jīng)常會講，人工智能要到來了，未來很多職業(yè)將會消失，很多一些簡單的重復性的工作將會被人工智能取代。開復老師講的是未來的事情，是對未來的一些展望。我在這里就講講過去的事情，已經(jīng)發(fā)生了的人被機器取代。從深度學習誕生到現(xiàn)在，已經(jīng)取代了很多人的工作，而這些人都是一些專家，他們從事的都是一些相對高技術的工作。 剛才講到了開始的時候，神經(jīng)網(wǎng)絡的最初的形態(tài)感知器需要專家來設計特征，然后把特征交給神經(jīng)網(wǎng)絡，然后神經(jīng)網(wǎng)絡才決定如何來進行分類。那么隨著深度學習的發(fā)展，其實已經(jīng)取代了很多的專家，大家可能沒有很意識到，我這里就講幾個方面：首先就是機器視覺方面的一些專家，在深度學習出現(xiàn)以前，可能大量的機器視覺的研究人員，他們想方設法都是在設計各種各樣的特征，然后利用這些特征再去完成一個復雜的機器視覺的任務，如何去設計合理的特征，往往需要非常多的經(jīng)驗，甚至需要天賦在里面，而即使是設計好了很好的特征，當應用到一個新的場景的時候，往往需要做很多新的設計才能夠在新的場景下做得比較好。那么在深度學習出現(xiàn)之后，現(xiàn)在如果大家再去看一看新的機器視覺的文章，像這些設計特征的文章的數(shù)目已經(jīng)變得非常的少了，而大量的都是使用神經(jīng)網(wǎng)絡，使用深度學習方法，從數(shù)據(jù)中學習特征，那么這其實就降低了機器視覺使用的門檻，也實際上取代了這部分人的工作。由于深度學習的出現(xiàn)，之前的那些需要高超技巧的特征設計專家被取代了，現(xiàn)在只需要大量不需要太多技巧的數(shù)據(jù)標注人員，加上少量的有一些深度學習算法經(jīng)驗的人員。并且隨著深度學習的進展，無論是對標注人員還是深度學習算法人員的需求也在下降。 另外一個例子，就是廣告推薦系統(tǒng)。之前的這些系統(tǒng)也是依賴很多專家來設計各種各樣的特征，甚至一個好的廣告推薦系統(tǒng)，完全取決于特征工程做得如何。做特征工程的專家往往需要很強的統(tǒng)計、機器學習背景，同時又對業(yè)務邏輯、系統(tǒng)有深刻的理解。但是隨著深度學習的出現(xiàn)，大量的公司現(xiàn)在有個趨勢，就是使用神經(jīng)網(wǎng)絡，利用用戶的點擊數(shù)據(jù)，就能得到非常好的結果，遠遠超出了通過搞特征工程，加上一些線性模型的結果。 所以我想說的是，深度學習的出現(xiàn)，甚至人工智能的出現(xiàn)，可能并不是如大家所想象的那樣，先去取代那些簡單的重復性的勞動，而很有可能一開始就是要取代那些專家。無論是十年一出的圍棋天才，還是受過高等教育有著豐富經(jīng)驗的研究人員。 最后是一個正在發(fā)生的例子，從去年到今年開始有很多的醫(yī)療圖像分析的公司出現(xiàn)，這些公司收集了大量的數(shù)據(jù)，這些數(shù)據(jù)里就體現(xiàn)著很多不同的領域醫(yī)生的知識，體現(xiàn)著大量不同病情的表現(xiàn)，通過深度學習方法，這些公司都在努力從這些數(shù)據(jù)中學習這些知識。目前他們已經(jīng)取得了一些成功，未來很可能在醫(yī)療圖像分析領域機器會做得比人更好，這些機器不知疲倦、不會犯錯，自然會取代一部分人的工作。 回到深度學習本身，隨著深度學習的進一步發(fā)展，也會減少現(xiàn)在算法人員的工作。而這個其實就是整個學術界還有工業(yè)界從事深度學習的人每天的努力的方向。大家每天的工作其實就是如何使自己的工作能夠變得更加的簡單，更加的高效，更少人的干預，也就是說由于這些最優(yōu)秀的算法人員的努力，使得應用深度學習變得越來越容易，越來越簡單。 應用深度學習的哪些門檻在慢慢消失呢？首先是開發(fā)的門檻現(xiàn)在基本消失了，像我剛開始做深度學習研究的時候，代碼都要自己寫，我是在Matlab下面做實驗，有的時候如何使用Matlab也需要很多的技巧才能使得程序高效起來。而現(xiàn)在這些全部都不是問題了，當你需要應用深度學習的時候，不需要了解各種算法實現(xiàn)的細節(jié)，也不需要擔心性能的優(yōu)化，甚至不需要擔心編程語言，像比如說MXnet、TensorFlow還有Paddlepaddle都能支持各種各樣的語言的接口，你可以用你喜歡的語言做非常簡單的高層的、高效的深度學習應用的開發(fā)，而把后面的優(yōu)化、性能交給專家去考慮。同時，深度學習是一個非常開放的學術圈，大家都非常樂意公開論文實驗的代碼，往往一篇論文一出來，誰都可以利用他的代碼來完美的復現(xiàn)實驗，迅速地站上巨人的肩膀。深度學習系統(tǒng)的開發(fā)的門檻現(xiàn)在已經(jīng)基本消失了。 另外一個門檻過去網(wǎng)上討論的也很多，就是所謂的調參，這個的門檻現(xiàn)在也在消失之中，深度學習曾經(jīng)充滿了各種各樣的小技巧，為什么說是技巧呢？因為它從理論上講不清，同時有時候有效有時候沒有效，而何時應用又往往需要依賴于使用者的經(jīng)驗。不知道大家有沒有看過《Neural Networks: Tricks of the trade》，這本書就是專門講神經(jīng)網(wǎng)絡的一些訓練的技巧的，這本書出版過兩次，一次是1998年，那個時候是神經(jīng)網(wǎng)絡上一次火爆剛要結束的時候，還有一次是2012年，這是深度學習神經(jīng)網(wǎng)絡又一次興起的時候。 當年一篇論文出來，一個新的結果出來，別人想復現(xiàn)都非常困難，因為這里面牽扯著不同的代碼實現(xiàn)，還有大量的超參數(shù)，有時候是作者有意回避，有時候也是限于論文的篇幅，很難事無巨細的把所有的實現(xiàn)的細節(jié)都講進去，甚至有時候有些作者都沒有意識到真正起作用的東西可能就是在他忽略的一些細節(jié)里面。如今隨著一些Batch Normalization、Adam之類的新技術出現(xiàn)，訓練神經(jīng)網(wǎng)絡變得非常的容易。大概在我剛開始做深度學習的時候，那個時候一批新的數(shù)據(jù)，一個新的模型往往要折磨好久才能夠有結果，而現(xiàn)在隨著使用這些新的技術，我花在調參上的時間已經(jīng)微乎其微了。 最近幾年，深度學習的一些進展，比如說在ImageNet上的一些突破，其實就是在于一些新的網(wǎng)絡結構的設計，而且在實踐中大家也發(fā)現(xiàn)，除了數(shù)據(jù)之外，一個合理的設計良好的網(wǎng)絡，往往能夠帶來很大的收益。這個情況現(xiàn)在也正在慢慢的改變，首先就是網(wǎng)絡結構在慢慢的固定，大家可以發(fā)現(xiàn)，近一年來，已經(jīng)沒有太大的新的結構、新的突破出現(xiàn)了，基本上大家就會使用ResNet，其實表現(xiàn)的都很好，此外，似乎這些網(wǎng)絡也都有一定的普適性，也就是說盡管這些網(wǎng)絡都是針對ImageNet設計的，但是實際上在其他的一些數(shù)據(jù)集上，在其他一些視覺任務上表現(xiàn)的都不錯，另外一個好處就是這些網(wǎng)絡在各種的開源平臺上都有實現(xiàn)，而且有相應的實驗的結果，大家非常方便的可以拿來改造、復用。 我認為深度學習在將來可能出現(xiàn)的新門檻有四個： 1、利用模型Debug數(shù)據(jù)。現(xiàn)在所有的模型的行為基本依賴背后的數(shù)據(jù)，基本上是你給他什么樣的數(shù)據(jù)，他就記住什么樣的規(guī)則，也就是說如果數(shù)據(jù)中有問題，模型也會把這些問題都記住。所以如何使用模型來對數(shù)據(jù)做Debug，發(fā)現(xiàn)數(shù)據(jù)中的偏差，能夠糾正數(shù)據(jù)，這可能是一個新的門檻，也可能是大家新的努力的方向。 2、針對不同的計算平臺，優(yōu)化模型。和過去不一樣，過去可能我們只是讓模型跑在GPU上，或者跑在CPU上就很好，在未來可能需要把模型跑在各種各樣非常不同的計算平臺上，如何針對這些平臺來優(yōu)化模型，可能就會有很多新的方向出現(xiàn)，這也可能會形成一些門檻。 下面這張圖橫軸表示相應網(wǎng)絡的計算的次數(shù)，縱軸是在ImageNet上Top-1的準確率，圈大圈小就表示模型的參數(shù)的量。大家可以看到，總體的規(guī)律是隨著計算量的增加，隨著模型的變大，結果會越來越好，但是從這里也可以看出來，這里面有非常多的折中，也就是有時候可以用存儲換性能，有時候可以用計算換性能，如果是在不同的平臺上去訓練使用，可能會帶來一些新的網(wǎng)絡設計方面的問題。另外在這張圖上沒有表現(xiàn)出來，就是不同的結構又是有相同的準確率，但是收斂的情況會有不同，對于一些對訓練時間敏感的任務這些也需要考慮。 3、利用模型提升標注效率。這些年隨著AI公司的出現(xiàn)，還有這些大公司開始使用深度學習，需要大量的標注數(shù)據(jù)，從而出現(xiàn)了一批數(shù)據(jù)標注公司，目前的標注方式效率其實很低，大量使用人工，未來隨著對數(shù)據(jù)的進一步需求，這部分成本會凸顯出來。如何使用模型提升標注效率，甚至比如說未來能夠和Active learning結合，如何讓模型去選擇最需要標注的那部分數(shù)據(jù)來標注，這當然也是一個問題。此外現(xiàn)在也有一些利用GAN來能簡化標注過程，可能也是一個新的方向。 4、持續(xù)優(yōu)化一個復雜的系統(tǒng)。隨著深度學習使用的越來越多，未來可能我們會面臨一些復雜系統(tǒng)，比如像現(xiàn)在的一些搜索系統(tǒng)，一些廣告系統(tǒng)，甚至未來的自動駕駛系統(tǒng)、輔助駕駛系統(tǒng)，這里面都可能包含了大量的基于規(guī)則的決策過程，也包含了大量的深度學習的模型。這些模型的背后，剛才已經(jīng)提到過了，就是模型的行為模式實際上都是依賴于他背后的數(shù)據(jù)，這個里面實際上就存在一些問題，也就是說理想情況下，我們去做一個復雜系統(tǒng)，我們需要每個模塊之間的耦合比較小，每個單一的模塊我們都能夠對他進行抽象，我們能夠方便的測試他，而現(xiàn)在每一個模塊背后可能是非常多的數(shù)據(jù)，然后可能是很多訓練的超參數(shù)，如何能夠去測試、評估、優(yōu)化這樣一個復雜系統(tǒng)，可能也會帶來新的門檻。 此外一個新的復雜系統(tǒng)，這個系統(tǒng)的組件依賴于數(shù)據(jù)，這個系統(tǒng)當投入到使用之中，他會改變用戶、外界環(huán)境的行為模式，從而改變數(shù)據(jù)，而這個系統(tǒng)又是建立在數(shù)據(jù)之上的，所以會產(chǎn)生各種各樣的反饋的形式出現(xiàn)。那么如何能夠在這種情況下，持續(xù)優(yōu)化這個復雜系統(tǒng)，可能也會形成新的門檻。 1、羅博士，目前的深度學習檢測、跟蹤對小目標是不是存在天然性的缺陷，該怎么解決？ 羅恒：我不覺得深度學習檢測追蹤對小目標有什么天然性的缺陷，我覺得人本身看小目標也會有困難，我相信可能對于這些長遠的來看還是需要對于場景的理解，就是對于人來說，人很多時候，小的東西他看不清，但是他依賴環(huán)境，他能夠大概或者對于這個世界的知識他能夠揣測這大致是一個什么東西。 2、羅博士，我剛剛在paddle的docker內跑了一下個性化推薦的demo，結合現(xiàn)在K8S的大規(guī)模應用，基于docker的這種AI框架是不是會有更多的應用優(yōu)勢？ 羅恒：關于Docker，關于Paddle，還是要請于洋來回答了。 于洋：謝謝羅博士引薦，Docker或者K8S應該不只是會在AI領域里面有深遠影響，目前來看應該會在各種各樣的應用里，比如web應用，都會有廣泛影響。這看起來是目前發(fā)展的趨勢。相對于之前用hadoop搭一個hadoop集群，用web搭一個ngnix集群，用Docker和K8S是明顯的進步。目前主要的公有云平臺都是直接支持K8S的。 3、請教羅博士，像是一些小數(shù)據(jù)集調參基本上靠Trick，大數(shù)據(jù)集調參數(shù)基本上都是欠擬合。那調參數(shù)本身是不是變得沒啥價值了？如果是您的話，有哪幾個調參秘籍是必須要嘗試的，哪些東西是可以忽略的？ 羅恒：其實現(xiàn)在調參變得很好，基本上有了我今天提到那些新的技術的話，我覺得如果不是牽扯到網(wǎng)絡結構改變的話，好像沒有什么參數(shù)需要調了。 關于欠擬合這是比較大的問題，其實首先目前我們用到的神經(jīng)網(wǎng)絡的容量其實是很大的，那么如何很好的利用這個容量，這確實是一個問題，所以現(xiàn)在有很多做模型壓縮方面的工作，其實就是如何充分利用模型的容量。但是回到現(xiàn)實的問題中說，很多時候所謂的欠擬合，可能不見得是真正的欠擬合，我的理解欠擬合就是擬合得不夠好，我懷疑，這些欠擬合多半是數(shù)據(jù)中本身有自相矛盾的地方，所以模型左右振蕩左右振蕩，所以總是表現(xiàn)欠擬合，所以最好的辦法還是先去查查訓練數(shù)據(jù)是不是有我說的這些互相矛盾的。 4、不過看來看去，我還是覺得調參這個事情比較復雜。有沒有什么方法論可以推薦？ 羅恒：說實話現(xiàn)在真的感覺調參越來越不重要了。其實之前在百度的時候，對于這種比較稀疏的，然后分布非常不均勻的長尾的數(shù)據(jù)adagrad就運行得很好，其實我調來調去也沒有覺得有什么東西比adagrad更好。至于圖像，batch norm加上adam 就很好用。 其實沒什么方法可推薦，就是動手試一試，總有一個短暫的痛苦的過程，多試幾個之后，就會發(fā)現(xiàn)沒什么太多東西需要調。 5、謝謝羅恒博士的精彩分享，您博士后的找工作經(jīng)歷讓人覺得非常親切。在分享的開始，你提到了AI泡沫和幾年后眾多深度學習的人才找工作的可能性。對于那些想涉足深度學習的學生和企業(yè)，您有什么好的建議嗎？ 羅恒：我也說不好有什么建議，我感覺無論是想從事深度學習哪方面的工作，其實最簡單還是要自己動手，無論是動手做些實驗還是動手寫寫東西，但是我覺得最關鍵的還是不斷要問自己做的這個東西到底有什么用。 （本文獨家首發(fā)鈦媒體，根據(jù)地平線機器人資深算法研究員羅恒博士在鈦坦白上的分享整理） …………………………………… 鈦坦白第33期，AI已來之機器學習2，三晚上的分享已經(jīng)結束了 干貨會陸續(xù)發(fā)布：http://m.chcmb.cn/tag/1508094 孔夫子舊書網(wǎng)創(chuàng)始人、回收寶合伙人、轉轉公司3C事業(yè)部總經(jīng)理，將帶來精彩分享～ 地點：鈦坦白|文娛社交（微信群） 報名聽課、交流： 鈦坦白目前有醫(yī)療健康、人工智能、文娛社交、VR/AR、區(qū)塊鏈、支付創(chuàng)新、體育、云計算、SaaS等九個專業(yè)群。 1、鈦媒體Pro專業(yè)版用戶，可以點擊鏈接http://m.chcmb.cn/pro，登錄賬號，在線免費、任意選擇自己要進入的群，按提示操作； 2、非鈦媒體Pro專業(yè)版用戶，可以添加微信號taitanbai0，在通過好友后，發(fā)99元紅包給小鈦，你將有權利從九個群中任選一個群進入，長期聽課、交流。請告訴小鈦你要進入哪一個群，然后等待小鈦拉你入群~ 推薦鈦客、贊助、合作： 請與鈦坦白負責人佳音聯(lián)系，郵箱jiayinge@tmtpost.com應用深度學習的門檻是在降低嗎？
深度學習可能出現(xiàn)的一些新的門檻
鈦坦白群友互動：
鈦坦白第34期預告：二手“大”市場
快報
根據(jù)《網(wǎng)絡安全法》實名制要求，請綁定手機號后發(fā)表評論
流程