文 | superkai
一個刁鉆的角度，從暴雪游戲風(fēng)暴英雄來看波音737MAX8空難事件，你會恍然大悟，更能挖掘出諸多關(guān)于人工智能潛在的安全隱患問題。
3月10日，一架埃塞俄比亞航空公司的波音737 MAX 8客機墜毀，機上157人全部罹難。而在5個月前，2018年10月29日，已有一架載有189名乘客和機組人員的印尼獅子航空公司同型號客機墜毀。
由于兩者的相似性，中國民航局第一時間要求國內(nèi)航空公司停飛波音737 MAX 8，隨后各國紛紛跟進。在埃塞俄比亞航空墜毀的客機殘骸中找到的線索，還有衛(wèi)星網(wǎng)捕捉到的客機飛行軌跡，均表明事故與印尼獅航失事客機存在類似問題，本來不愿停飛波音737 MAX 8的美國態(tài)度突然轉(zhuǎn)變，也加入了停飛波音737 MAX系列客機的行列。
可靠的推測是，波音737 MAX 8客機的飛行控制系統(tǒng)出了問題。具體可能為防止飛機失速的機動特性增強系統(tǒng)MCAS（Maneuvering Characteristics Augmentation System）因傳感器故障誤以為飛機失速自動接管飛機強制飛機向下俯沖，導(dǎo)致慘劇發(fā)生。
關(guān)于事故原因，大家關(guān)注的問題是，MCAS系統(tǒng)的權(quán)限很高，如果沒有被關(guān)閉，能直接控制飛機，因傳感器故障執(zhí)行錯誤的操作時會跟人工操縱作對爭奪對飛機的控制權(quán)，從而展開“人機大戰(zhàn)”，最終導(dǎo)致機毀人亡。
智能系統(tǒng)如何會跟人類爭奪控制權(quán)，發(fā)生“人機大戰(zhàn)”，有人可能會有疑問，有一個方法可以親身體會到“人機大戰(zhàn)”這種憋屈，那就是去玩暴雪的游戲風(fēng)暴英雄。
在暴雪公司的MOBA游戲風(fēng)暴英雄中，有一個合作模式，可以讓玩家跟由電腦控制的敵方隊伍對戰(zhàn)。在這個模式還可以選擇電腦隊友，組建一支玩家跟由電腦控制的隊友混搭的隊伍游戲。另外，游戲進行中如有玩家掉線或因其它原因離開游戲，本來由玩家控制的英雄便會換成由電腦來控制，以保證游戲繼續(xù)進行。
由AI控制角色是游戲不可或缺的一個重要功能。那么，玩家跟由電腦控制的隊友混搭的隊伍的“人機協(xié)作”如何呢？其實也有“人機協(xié)作”變“人機大戰(zhàn)”的慘劇發(fā)生。
風(fēng)暴英雄今年重建開發(fā)團隊之后對游戲發(fā)布了一個升級補丁，其中的一項升級依說明就是對AI的優(yōu)化，實際結(jié)果卻是“負(fù)優(yōu)化”，本來之前游戲中AI的行為尚可，出了新補丁之后AI一下子變得非常“弱智”，行為不可理喻。之后暴雪對AI進行了一些修復(fù)，但至今仍未回到AI崩壞之前的水平。
我們已經(jīng)習(xí)慣了Windows系統(tǒng)不斷升級不斷出新漏洞不斷打補丁，但始終會有新問題出現(xiàn)。波音公司也即將對MCAS系統(tǒng)進行升級，但愿能徹底解決客機的安全問題，畢竟一旦出問題很可能會關(guān)系到飛機上一百多人的生命安全。
由于飛機的設(shè)計問題，波音新增了一個MCAS系統(tǒng)，這個系統(tǒng)正是兩起空難的根源。為什么會出現(xiàn)這樣的問題，在暴雪的游戲風(fēng)暴英雄中可以得到解答。
①人工智能必然越來越要求更多權(quán)限，越來越自作聰明
在游戲風(fēng)暴英雄中，玩家可以通過快捷鍵向由電腦控制的隊友下達(dá)各種指示。在早期版本中，玩家是叫電腦隊友干什么電腦隊友就干什么。但是隨著版本更新，電腦隊友變得越來越不聽話，經(jīng)常無視玩家的指示自行其是。
畢竟我們想要的是機器人而不是木頭人，木頭人是主人叫做什么就做什么技術(shù)成分不高，設(shè)計者想要的是更智能的機器人。
在一方面，這種改變看似是進步的。比如說，早期版本，玩家命令電腦隊友攻擊野怪，所有電腦隊友無論距離多遠(yuǎn)、正在做什么事都會趕過來，有時這種行為是一種不合理的耗費。而在現(xiàn)在的版本，玩家命令電腦隊友攻擊野怪，電腦隊友未必會響應(yīng)玩家的命令，如果相隔太遠(yuǎn)，或者正在做什么AI認(rèn)為更重要的事，AI會對玩家的命令不理不睬。
但在另一方面，這種改變同時帶來了新的問題。比如說，現(xiàn)在玩家想將所有電腦隊友都叫來一起打野怪中的首領(lǐng)，但很難湊齊人，總有AI不愿意聽話，繼續(xù)做自以為更恰當(dāng)?shù)氖虑椤?/p>
AI認(rèn)定地圖機制的優(yōu)先級高于打野怪，一旦地圖機制出現(xiàn)，AI便會放棄打野怪的任務(wù)趕去事件發(fā)生地點，就算野怪已經(jīng)被打剩一絲血盡可以打完野怪再趕去，這種情況下無論玩家怎樣再下命令讓AI打野怪AI也不會聽你的，就算玩家明知現(xiàn)在這樣的陣容搶地圖機制肯定搶不過AI還是會試圖趕去事件發(fā)生地點。諸如此類，有很多肯定錯誤的行動，AI堅持要去做，而拒不服從玩家正確的指令。
人工智能設(shè)計者總是試圖設(shè)計出比人類更聰明的人工智能，給人工智能行動的優(yōu)先級比人工控制更高。這樣會帶來很多問題。
想想看，家里請來一個保姆是怎樣的情形？如果不是鐘點工，你得給保姆家門鑰匙，也就是系統(tǒng)權(quán)限。你不在家的時候，家里發(fā)生什么事，你總不能要求保姆先打電話向你請示過才去做吧，你得給保姆一定的自主權(quán)。
再進一步，你的保姆常常會覺得自己比你更懂怎樣做家務(wù)，就算是你花錢請保姆來干活的，保姆也未必每一件事都聽你的。有時候保姆會違背你的意志自以為是地做事情，讓你很抓狂。
就是這樣的，人工智能設(shè)計者并不信任人類，認(rèn)為人類是有缺陷的，人工智能應(yīng)該能比人類做得更好。人工智能設(shè)計者給予人工智能比人類更高的權(quán)限優(yōu)先級。這是一切問題的根源。
波音空難事件也是這樣。波音公司更信任他們的自動控制系統(tǒng)，給予了自動控制系統(tǒng)比人類更高優(yōu)先級的控制權(quán)限。
別忘了，人類才是人工智能的領(lǐng)導(dǎo)者，人工智能歸根到底是服務(wù)于人類的。人類更喜歡自己來做決定，將生死大權(quán)抓在自己手上，這樣，出了事故也能將責(zé)任歸咎于某一個人身上，而非冰冷的機器。人工智能的設(shè)計原則，應(yīng)該是人類優(yōu)先才對。
②統(tǒng)一的人工智能系統(tǒng)比多個分散獨立的人工智能系統(tǒng)更好控制
在遭遇復(fù)雜的情況下，這時很難找到一種絕對正確的處理方法。就像行軍打仗，沒有絕對可行的制勝之道。就像玩風(fēng)暴英雄，也沒有穩(wěn)贏的打法?；蛘呔拖駧『ⅲ貏e是什么事都能干出來的熊孩子，一樣沒有絕對正確的方法。很多時候唯有隨機應(yīng)變，因地制宜。而且每一種處理方法各有利弊，需要權(quán)衡。
跟人一樣，人工智能做決策永遠(yuǎn)不斷會有新的平衡問題出現(xiàn)，尤其是復(fù)雜的機器、系統(tǒng)，遇到復(fù)雜的情況。平衡搞不好，就會顧此失彼。
觸發(fā)器滿足條件立即觸發(fā)是原罪。波音737 MAX 8客機的MCAS系統(tǒng)有一個缺陷，就是只要有一個傳感器的數(shù)據(jù)出現(xiàn)異常便馬上進行處理做出操作。而空客類似的保護系統(tǒng)需要兩個或三個傳感器同時報警，以防誤報情況發(fā)生。
在復(fù)雜的情況下，需要綜合各方面數(shù)據(jù)，才能作出恰當(dāng)?shù)奶幚?。但是，無論在什么領(lǐng)域中的應(yīng)用，在程序設(shè)計上，程序員通常都是設(shè)計成設(shè)置好觸發(fā)器之后一旦滿足條件立即觸發(fā)操作，這樣的程序簡單直接，但有致命的硬傷。
當(dāng)有某個觸發(fā)器接收到的數(shù)據(jù)有錯誤時，程序馬上作出的錯誤操作，有可能是無法挽回的致命錯誤。譬如波音空難。
另外，通常情況下，程序中會有多個觸發(fā)器，當(dāng)有多個任務(wù)同時進行，同時觸發(fā)多個觸發(fā)器作出操作時，就會彼此矛盾。
暴雪游戲風(fēng)暴英雄中AI的行為便是明眼可見很好的例子。在游戲中，經(jīng)常會看到電腦控制的英雄傻乎乎地原地打轉(zhuǎn)。這是為什么？
就是因為上面所說的，多個任務(wù)同時進行同時觸發(fā)多個觸發(fā)器作出操作造成彼此矛盾。AI接收到A事件打算趕往A地點，而同時又接收到B事件打算趕往B地點，兩個觸發(fā)器不斷觸發(fā)彼此矛盾的操作，AI并不會作出唯一的選擇，而是就只會在兩個選擇中不斷循環(huán)，結(jié)果什么都做不了。
直至某一個事件結(jié)束，AI終于不用作出選擇了，這時才會去做另一事件，如A事件結(jié)束AI就做B事件，或B事件結(jié)束AI去做A事件。
就好像，小明的爸爸叫小明掃地，小明的媽媽叫小明去買醬油，傻乎乎的小明準(zhǔn)備掃地時突然想到要買醬油就趕緊跑出家門，但出了家門又猛然想起要掃地緊忙又跑回家里，回到家門又想起要買醬油……如此如此，這般這般，陷入了無限的死循環(huán)。直至媽媽把掃地這活干完了，小明不用掃地了，這才安心出門去買醬油；或者爸爸把醬油買了，小明就老老實實地在家掃地了。
同時進行的事件總有輕重。比如說，小明想在家掃地，但這時突然發(fā)生地震，得趕緊跑出家門逃命。在AI程序設(shè)計上常常會見到這樣的低級錯誤：地震發(fā)生后小明馬上跑出家門，但一離開家小明又想到要掃地于是又回去了，剛一進家門又意識到地震了得趕緊跑出去逃命啊，于是小明就在家門口不斷進進出出，無限循環(huán)下去，結(jié)果被地震震死了……
在風(fēng)暴英雄游戲中這種情況可不少。當(dāng)核心被攻擊時，在外面的AI死活就是不回城救援，結(jié)果核心被爆游戲也就輸了。其實AI并不是完全沒有意識到要回去，而是當(dāng)AI想要回城的時候，同時又有別的事件發(fā)生，打斷了AI的回城，AI又去做別的事情了，這就是典型的撿芝麻丟西瓜。
AI并不是堅決不回城，而是在猶猶豫豫中始終無法作出回城的決心。
不恰當(dāng)?shù)腁I程序設(shè)計，很容易陷入撿芝麻丟西瓜、撿西瓜丟芝麻這樣不斷的死循環(huán)中。需要有一個決策的大腦，綜合各項情況作出恰當(dāng)?shù)木駬瘛?/p>
從另一方面來看，也就是必然需要一個統(tǒng)一的人工智能系統(tǒng)，而非多個分散獨立的人工智能系統(tǒng)。
波音737 MAX 8客機的一個癥結(jié)所在，就在于MCAS系統(tǒng)是獨立于自動駕駛系統(tǒng)之外的。由于傳感器的數(shù)據(jù)出現(xiàn)錯誤，MCAS系統(tǒng)將機頭往下壓，就算距離地面只有一米了還死不悔改。
如果MCAS系統(tǒng)是從屬于主自動駕駛系統(tǒng)的，自動駕駛系統(tǒng)可以綜合飛機各項數(shù)據(jù)分析，找到某項數(shù)據(jù)跟另一項數(shù)據(jù)存在的矛盾，處理方面的策略穩(wěn)妥一些，就不會死腦筋一味向下俯沖導(dǎo)致墜機慘劇發(fā)生了。
③人工智能如何正確理解人類的意圖是一個永遠(yuǎn)的難題
復(fù)雜的機器，完全由人工操縱是不可能的。人機協(xié)作是必需的。在人機協(xié)作中，必然要求人工智能正確理解人類的真實意圖。
比如說，飛機在飛行過程中，正面有一個障礙物體出現(xiàn)，這時飛機可以向上飛繞開，也可以向下、向左或向右，這些選擇都可以，但如果駕駛員想向上閃避，而人工智能想向下閃避，兩者造成了沖突，什么都干不了，眼睜睜看著飛機撞上去造成慘劇發(fā)生，這是不行的。
機師想拉升飛機，MCAS系統(tǒng)卻想將飛機往下壓，這樣的事故不應(yīng)發(fā)生。
在實際應(yīng)用中，應(yīng)該給予人類操縱者最高的權(quán)限，人工智能的地位不能凌駕于人類之上越權(quán)操作。人工智能畢竟不是真人，要想人工智能絕對正確地理解人類的意圖是不可能的，解決方法就是人類擁有最高領(lǐng)導(dǎo)權(quán)。
也可以這樣理解，你家的保姆不可能完全明白你的需求，你家的最高權(quán)限得在你手里，你不準(zhǔn)保姆做的事保姆可不能擅自行動，可否明白？
人機協(xié)作的過程中，如果人工智能不能正確理解人類的意圖，兩者之間的配合出現(xiàn)問題，有時還不如完全由人工智能控制的效果。
這在風(fēng)暴英雄中得到了很好的印證。在合作模式中，玩家選擇電腦隊友組建一支玩家跟由電腦控制的隊友混搭的隊伍跟由完全電腦控制的敵方隊伍對戰(zhàn)時，會遭遇很多這樣的問題。
比如說，地圖機制發(fā)生時，如果電腦控制的敵方隊伍先一步到達(dá)事件地點，己方的AI很可能就死活不愿前往事件地點了。這種詭異的現(xiàn)象，究竟是因何導(dǎo)致？
是這樣的，電腦隊友并不能確定玩家是否前往事件地點，事件地點已經(jīng)有了對面5個AI了，己方4個AI各自一盤算，4個AI是打不過5個AI的，就放棄前往事件地點了。
己方4個AI是有著各自的獨立靈魂的，常常有的AI試圖前往事件地點，而有的AI已經(jīng)放棄前往事件地點，兵力無法集結(jié)，寡不敵眾，于是乎當(dāng)然干不過對面5個AI啦，打的話只能是一個個去送死。而對面5個AI，因為是完全由AI控制的角色，卻能達(dá)成一致，統(tǒng)一向事件地點運動，在團戰(zhàn)中獲利。
還有這樣的情況，縱然玩家盡快或提前趕到事件地點，跟己方4個AI匯合，這時對面5個AI趕到，團戰(zhàn)開始，玩家為了躲技能往后閃避了一下，己方4個AI馬上自作聰明以為玩家要撤退了，都跟著往后逃跑了，于是乎，團戰(zhàn)崩盤了。
可以看到，玩家要想在搶地圖機制時搶贏對面5個AI，須要在地圖機制發(fā)生之前提早抵達(dá)事件地點，或者在地圖機制發(fā)生時比對面5個AI提前一步來到事件地點，同時別忘了發(fā)指令命令電腦隊友前往事件地點，在接戰(zhàn)時盡量不要為了躲技能往后閃避，這樣才有贏面。
所以說，一定要有一個統(tǒng)一的人工智能系統(tǒng)，不能是多個分散獨立的人工智能系統(tǒng)，波音737 MAX 8客機獨立于自動駕駛系統(tǒng)的MCAS系統(tǒng)就是禍根。人工智能永遠(yuǎn)不可能正確理解人類的真實意圖，在人機協(xié)作的過程中，人類需要享有絕對的最高控制權(quán)，人類才是領(lǐng)導(dǎo)者。
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論