文 | 大灣區(qū)人工智能應(yīng)用研究院
最近幾年,AI大模型的發(fā)展具有革命性,帶來(lái)了在眾多方面達(dá)到甚至超過人類智能水平的能力。其中,諸如ChatGPT或DeepSeek等大模型更是迅速積累了眾多個(gè)人用戶。
但最近美國(guó)麻省理工學(xué)院(MIT)的一項(xiàng)研究發(fā)現(xiàn),在企業(yè)管理和運(yùn)營(yíng)層面,真正能成功利用AI的企業(yè)少之又少,超過95%的企業(yè)在AI的試點(diǎn)運(yùn)用中失敗了。在與中國(guó)企業(yè)的溝通中,我們發(fā)現(xiàn)情況也非常類似。
為什么企業(yè)運(yùn)用AI大模型這么難?因?yàn)槠髽I(yè)一方面要利用大模型帶來(lái)的能力和效率,另一方面要控制它的應(yīng)用成本以及給企業(yè)帶來(lái)的風(fēng)險(xiǎn)。本文忽略成本問題,而專注于大模型的風(fēng)險(xiǎn),因?yàn)檫@是主要矛盾。
01 AI風(fēng)險(xiǎn)的微觀面
AI的風(fēng)險(xiǎn)包含宏觀風(fēng)險(xiǎn)和微觀風(fēng)險(xiǎn)。前者涉及技術(shù)安全、社會(huì)倫理到人類未來(lái)生存等諸多維度,比如算法偏見帶來(lái)的社會(huì)不平等加劇,AGI將來(lái)取代人類工作造成的大范圍失業(yè)問題,甚至科幻電影熱衷描繪的超級(jí)智能AI“覺醒”后失控,視人類為威脅,引發(fā)末日浩劫。這種宏觀風(fēng)險(xiǎn)需要社會(huì)和國(guó)家通過制度和監(jiān)管來(lái)解決,我們暫不討論。
本文主要聚焦微觀風(fēng)險(xiǎn),即企業(yè)在部署和應(yīng)用大模型過程中面臨的具體、迫切的問題:是否會(huì)帶來(lái)業(yè)務(wù)效果不佳、客戶體驗(yàn)惡化、品牌聲譽(yù)受損、數(shù)據(jù)安全威脅、知識(shí)產(chǎn)權(quán)侵蝕、法律合規(guī)出問題等風(fēng)險(xiǎn)。這種微觀風(fēng)險(xiǎn)可以概括為四個(gè)方面。
首先是大模型的幻覺問題,即大模型生成看似邏輯通順,實(shí)則錯(cuò)誤、虛構(gòu)或不符合指令要求的內(nèi)容。在訓(xùn)練數(shù)據(jù)覆蓋不足、輸入信息模糊或需要最新知識(shí)等情境下,大模型尤其容易產(chǎn)生幻覺。但這些情境只是誘因,更根本的原因在于其核心工作機(jī)制的固有特性。
大模型本質(zhì)上是統(tǒng)計(jì)模型而非知識(shí)庫(kù),其核心機(jī)制是基于統(tǒng)計(jì)的模式匹配——一個(gè)復(fù)雜的“自動(dòng)補(bǔ)全”過程。例如,當(dāng)用戶輸入“下班回家路上,我去超市買了一瓶”時(shí),模型會(huì)基于統(tǒng)計(jì)規(guī)律輸出“水”或“飲料”,因?yàn)檫@在數(shù)據(jù)中遠(yuǎn)比“書”更常見。這種設(shè)計(jì)決定了它只追求統(tǒng)計(jì)意義上的“合理”,而無(wú)法自主追求或驗(yàn)證內(nèi)容的真實(shí)性。
正因?yàn)榛糜X是大模型核心機(jī)制的直接產(chǎn)物,所以在現(xiàn)階段的技術(shù)范式下,無(wú)論如何嘗試改變模型的結(jié)構(gòu)、優(yōu)化輸入數(shù)據(jù)或調(diào)整提示詞,幻覺問題都無(wú)法被根除。因此,幻覺對(duì)于企業(yè)運(yùn)營(yíng)中精度要求高的場(chǎng)景是個(gè)巨大挑戰(zhàn),也是大模型在企業(yè)級(jí)應(yīng)用中最關(guān)鍵的風(fēng)險(xiǎn)之一。
其次是輸出安全與價(jià)值對(duì)齊的挑戰(zhàn)。大模型的海量預(yù)訓(xùn)練數(shù)據(jù)主要來(lái)自互聯(lián)網(wǎng),模型在學(xué)習(xí)海量知識(shí)的同時(shí),也吸收了數(shù)據(jù)中可能存在的偏見、歧視性言論或有害信息。在與客戶或公眾的交互中,模型可能會(huì)生成不當(dāng)、冒犯性或與企業(yè)價(jià)值觀相悖的內(nèi)容。這種“言論失當(dāng)”會(huì)直接損害企業(yè)的品牌聲譽(yù)和公眾信任。
另一方面,大模型可能被惡意用戶誘導(dǎo)或利用,生成虛假信息、仇恨言論、違法內(nèi)容或其他有害文本,使企業(yè)平臺(tái)成為不良內(nèi)容的滋生土壤,并可能引發(fā)監(jiān)管問題。
三是隱私與數(shù)據(jù)合規(guī)的風(fēng)險(xiǎn)。當(dāng)員工使用公開的第三方大模型服務(wù)時(shí),輸入的任何信息,例如會(huì)議紀(jì)要、財(cái)務(wù)數(shù)據(jù)、技術(shù)代碼或公司戰(zhàn)略,都可能在用戶協(xié)議的默認(rèn)條款下被服務(wù)商收集、存儲(chǔ)并用于其模型的后續(xù)訓(xùn)練。這相當(dāng)于將企業(yè)的內(nèi)部敏感數(shù)據(jù)拱手相讓。
更進(jìn)一步,大模型在訓(xùn)練過程中有可能會(huì)“記住”訓(xùn)練數(shù)據(jù)中的具體信息片段。在后續(xù)的交互中,模型可能在無(wú)意或被惡意提示詞引導(dǎo)的情況下,復(fù)現(xiàn)其“記住”的敏感信息(如個(gè)人身份信息、醫(yī)療記錄等),造成企業(yè)或客戶的隱私泄露。
最后是可解釋性的挑戰(zhàn)。大模型的決策過程很大程度上是一個(gè)“黑箱”,它無(wú)法提供一個(gè)人類可以理解的清晰歸因和解釋。其根源在于大模型的極端復(fù)雜性,輸入的信息首先被編碼為計(jì)算機(jī)能夠處理的高維向量,這些向量在萬(wàn)億級(jí)參數(shù)構(gòu)成的深層神經(jīng)網(wǎng)絡(luò)中,經(jīng)過大量的矩陣運(yùn)算和非線性變換得到輸出,很難從中倒推出一條清晰、可供人類理解的決策路徑來(lái)回答“為什么是這個(gè)結(jié)果”。
這在高風(fēng)險(xiǎn)、高合規(guī)的領(lǐng)域構(gòu)成了嚴(yán)峻挑戰(zhàn)。在金融風(fēng)控、醫(yī)療診斷等需要嚴(yán)格審計(jì)和問責(zé)的場(chǎng)景中,一個(gè)無(wú)法解釋其背后邏輯的決策,無(wú)論結(jié)果多么精準(zhǔn),都可能因其合規(guī)性與可靠性存疑而成為一顆“定時(shí)炸彈”,無(wú)法被真正信任和部署。
02 應(yīng)對(duì)風(fēng)險(xiǎn)的兩個(gè)方向
針對(duì)這些風(fēng)險(xiǎn),企業(yè)可以通過兩個(gè)方向做出努力:一是大模型的開發(fā)者從技術(shù)源頭提高模型本身的性能,減少幻覺、做好價(jià)值對(duì)齊,保護(hù)隱私,提高可解釋性。二是大模型的使用企業(yè)開展應(yīng)用層治理,通過提示詞工程、檢索增強(qiáng)生成(RAG)、內(nèi)容過濾器、可解釋性AI(XAI)等工具和方法,以及嚴(yán)格的管理手段和流程,主動(dòng)將風(fēng)險(xiǎn)控制在可接受范圍內(nèi)。
目前,市場(chǎng)上的大模型都在快速迭代中。針對(duì)幻覺問題,模型推理能力的持續(xù)提升、通過強(qiáng)化學(xué)習(xí)訓(xùn)練模型在面對(duì)不確定性時(shí)主動(dòng)承認(rèn)其知識(shí)邊界等做法,都有助于緩解這一問題。OpenAI新發(fā)布的GPT-5的深度推理模型相比前代o3,幻覺率已大幅降低65%。
針對(duì)輸出安全問題,更精細(xì)的指令微調(diào)(Instruction Tuning)和人類反饋強(qiáng)化學(xué)習(xí)(RLHF)等對(duì)齊技術(shù),可以更好地引導(dǎo)模型遵循人類設(shè)定的規(guī)范與價(jià)值觀,減少有害內(nèi)容的生成。
針對(duì)模型數(shù)據(jù)潛在的隱私泄露問題,開發(fā)者正結(jié)合差分隱私(Differential Privacy)技術(shù),在訓(xùn)練數(shù)據(jù)中加入“噪聲”以保護(hù)個(gè)體信息。
在可解釋性領(lǐng)域,以DeepSeek R1為代表的引導(dǎo)模型以思維鏈展示其推理過程的做法,是提升決策透明度的重要進(jìn)展。而Anthropic等公司研究的“機(jī)制可解釋性”等方法,正在嘗試從底層“看透”AI的內(nèi)部工作機(jī)理,理解其決策的根本原理。
需要注意的是,受限于大模型的底層技術(shù)原理——基于概率預(yù)測(cè)的統(tǒng)計(jì)特性、深度神經(jīng)網(wǎng)絡(luò)的黑箱本質(zhì),以及海量非結(jié)構(gòu)化數(shù)據(jù)訓(xùn)練的復(fù)雜性——這些風(fēng)險(xiǎn)可能始終無(wú)法被徹底根除。因此,大模型應(yīng)用企業(yè)需要長(zhǎng)期關(guān)注,在部署和應(yīng)用時(shí)進(jìn)行優(yōu)化工作,進(jìn)一步降低其風(fēng)險(xiǎn)。
在大模型應(yīng)用的企業(yè)層面,企業(yè)的整體思路可以是將大模型或由其驅(qū)動(dòng)的AI智能體(AI Agent),想象成一位新入職的數(shù)字化員工。這位特殊的AI員工可能像一個(gè)急于表現(xiàn)的實(shí)習(xí)生,在知識(shí)盲區(qū)時(shí)一本正經(jīng)地編造信息(幻覺問題);像一個(gè)缺乏經(jīng)驗(yàn)的新人,不經(jīng)意說(shuō)出冒犯性或不合規(guī)言論(輸出安全性問題);像一個(gè)保密意識(shí)薄弱的助理,無(wú)意泄露公司機(jī)密(隱私合規(guī)問題);甚至像一個(gè)有很好的商業(yè)直覺的高管,卻讓人無(wú)法理解其決策邏輯(可解釋性問題)。AI能犯的錯(cuò)誤,人類都有前科。企業(yè)可以把管理員工的豐富經(jīng)驗(yàn)遷移到管理AI上來(lái)。
對(duì)于防范幻覺(虛假信息)問題,企業(yè)是如何減少員工犯此類錯(cuò)誤的?無(wú)非是一方面選對(duì)人,聘任有真才實(shí)學(xué)、穩(wěn)重謹(jǐn)慎的員工;另一方面通過組織和流程減小或中和個(gè)人犯錯(cuò)的概率。
對(duì)于AI,我們可以選擇基礎(chǔ)能力更強(qiáng)的大模型。這一點(diǎn)很容易做到,大模型公司很多,但做得最好的就幾家。此外,像要求員工“用數(shù)據(jù)說(shuō)話”一樣,我們可以為AI提供參考資料,并要求它引用來(lái)源。例如,使用檢索增強(qiáng)生成(RAG)技術(shù),讓AI基于企業(yè)內(nèi)部知識(shí)庫(kù)生成回答;通過提示詞工程(即精心設(shè)計(jì)指令),設(shè)定明確的任務(wù)邊界、工作范圍和行為準(zhǔn)則;同時(shí),借鑒“開評(píng)審會(huì)”的思路,進(jìn)行交叉驗(yàn)證:讓多個(gè)模型處理同一問題,用集體智慧識(shí)別和修正個(gè)體錯(cuò)誤。
對(duì)于輸出安全(不當(dāng)言論)風(fēng)險(xiǎn),企業(yè)會(huì)對(duì)員工發(fā)放員工手冊(cè),進(jìn)行大量崗位培訓(xùn)和企業(yè)文化教育,并且嚴(yán)格審核對(duì)外發(fā)布的內(nèi)容。對(duì)于AI員工,企業(yè)也可以定制一份數(shù)字員工手冊(cè):為模型設(shè)置系統(tǒng)提示詞,定義其角色和行為紅線,進(jìn)行崗前培訓(xùn);通過專門設(shè)計(jì)的安全問答數(shù)據(jù)集進(jìn)行微調(diào)來(lái)做持續(xù)的企業(yè)文化熏陶;在內(nèi)容把關(guān)上,在輸入和輸出端部署過濾器,實(shí)時(shí)攔截不當(dāng)內(nèi)容,確保對(duì)外發(fā)布前嚴(yán)格檢查。
對(duì)于隱私合規(guī)、數(shù)據(jù)泄露風(fēng)險(xiǎn),企業(yè)會(huì)要求關(guān)鍵員工簽署嚴(yán)格的保密協(xié)議(NDA),制定分層的數(shù)據(jù)訪問權(quán)限,以“最小權(quán)限原則”等來(lái)降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)。對(duì)于AI可以用類似的邏輯來(lái)操作:選擇云服務(wù)商時(shí),簽署數(shù)據(jù)處理協(xié)議(DPA),確保輸入數(shù)據(jù)不用于模型再訓(xùn)練;遵循最小權(quán)限,非必要不提供敏感信息,必要時(shí)先脫敏處理(如替換姓名、金額);在數(shù)據(jù)敏感行業(yè)(如金融、軍工),還可采用私有化部署(自有服務(wù)器)或可信執(zhí)行環(huán)境(TEE)技術(shù),后者像在云端租用加密“保險(xiǎn)箱”,防止任何人窺探數(shù)據(jù)處理過程,兼顧安全與靈活性。
對(duì)于可解釋性風(fēng)險(xiǎn),有些經(jīng)驗(yàn)豐富的員工基于優(yōu)秀的業(yè)務(wù)直覺做出判斷,但要說(shuō)服領(lǐng)導(dǎo)、同事支持該決策,還需要補(bǔ)全背后的思考,拆解清楚其中的邏輯。
對(duì)于AI員工,可以要求模型在給出最終答案前,先輸出一步步的推理過程,即“思維鏈”,這有助于理解模型的決策邏輯。這就好比讓諸葛亮把草船借箭的整個(gè)推演過程——從觀察天氣到揣摩人心——邊想邊寫下來(lái)以便我們理解。
此外,借助注意力可視化技術(shù),能通過熱力圖中顏色的深淺,直觀看出LLM(大語(yǔ)言模型)在生成回應(yīng)時(shí)對(duì)各輸入詞匯的關(guān)注程度,也有助于直觀理解決策依據(jù)。這就好比通過熱力圖,我們能看出諸葛亮定下空城計(jì),其判斷依據(jù)正是高度集中于“司馬懿生性多疑”與“我方無(wú)兵”這兩條關(guān)鍵情報(bào)。
除了這些直觀的解釋方法外,企業(yè)還需要在管理上對(duì)AI員工有限授權(quán)、控制風(fēng)險(xiǎn)。在創(chuàng)意、文案初稿等主觀性強(qiáng)、風(fēng)險(xiǎn)低的領(lǐng)域,允許大模型相對(duì)自由發(fā)揮;但在金融風(fēng)控、醫(yī)療診斷等事關(guān)企業(yè)命脈的高風(fēng)險(xiǎn)領(lǐng)域,它的“錦囊妙計(jì)”只能作為人類專家的參考。
需要注意的是,我們必須清醒地認(rèn)識(shí)到上述解釋方法的局限性。例如,思維鏈本身也是模型生成的文本,是模型對(duì)人類推理過程的一種事后模擬或合理化的表達(dá),并不能完全客觀地反映模型內(nèi)在的真實(shí)推理邏輯。同樣,注意力可視化等技術(shù)也大多屬于局部解釋,只能讓我們管中窺豹。真正深入、全面的大模型可解釋性,還有待研究人員進(jìn)一步探索。
03 企業(yè)問責(zé)需明確
以上是通過類比管理人類員工來(lái)借鑒性地理解和啟發(fā)應(yīng)對(duì)大模型的風(fēng)險(xiǎn)。但AI員工和人類員工仍然有一個(gè)重要區(qū)別:大模型無(wú)法“背鍋”,責(zé)任永遠(yuǎn)在人。
如果模型出錯(cuò)導(dǎo)致客戶損失或公司聲譽(yù)受損,企業(yè)不能簡(jiǎn)單“開除”它來(lái)解決問題,大模型目前還無(wú)法成為責(zé)任主體。責(zé)任只能追溯到人類,如批準(zhǔn)使用的業(yè)務(wù)負(fù)責(zé)人、部署維護(hù)的技術(shù)團(tuán)隊(duì),或制定規(guī)則的管理層。因此,企業(yè)在引入大模型時(shí),需設(shè)計(jì)清晰的問責(zé)框架,將部署、使用和效果等納入具體員工或團(tuán)隊(duì)的KPI。
AI大模型的發(fā)明給企業(yè)帶來(lái)了前所未有的機(jī)會(huì)和風(fēng)險(xiǎn)。AI在很多方面趕上了甚至超過了人類,但也在其他方面給企業(yè)帶來(lái)了比人類更大的風(fēng)險(xiǎn)。
在現(xiàn)在這種狀態(tài)下,AI和人類各有優(yōu)缺點(diǎn)。所以,企業(yè)管理的最優(yōu)解是讓人和AI協(xié)同作戰(zhàn),通過組織、流程發(fā)揮各自的長(zhǎng)處,屏蔽各自的短處。
這是一個(gè)變化飛快的動(dòng)態(tài)過程,隨著AI的進(jìn)步,企業(yè)的組織和流程也需要隨之調(diào)整。企業(yè)需要加快步伐,跟上變化的節(jié)奏才不會(huì)被淘汰。







快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求,請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論