圖片來源@視覺中國

文 | 零點(diǎn)有數(shù)科技

ChatGPT是OpenAI最新的語言模型，與其他大型語言模型一樣，能夠以不同的樣式和目的生成文本，并且在準(zhǔn)確度、敘述細(xì)節(jié)和上下文連貫性方面表現(xiàn)更加優(yōu)異。目前來看，ChatGPT在很多領(lǐng)域都有廣泛的應(yīng)用前景，但任何工具的應(yīng)用都是有前提的，了解其背后的工作機(jī)制和局限之處，才能更好地利用這項(xiàng)技術(shù)。

01 ChatGPT概述

ChatGPT是OpenAI最新的語言模型，較其前身GPT-3有大幅提高。與其他大型語言模型一樣，ChatGPT能夠以不同的樣式和目的生成文本，并且在準(zhǔn)確度、敘述細(xì)節(jié)和上下文連貫性方面表現(xiàn)更加優(yōu)異。作為OpenAI最新一代的大型語言模型，ChatGPT的設(shè)計非常注重交互性。為了調(diào)優(yōu)ChatGPT，OpenAI使用了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的組合，其中強(qiáng)化學(xué)習(xí)的組件使其獨(dú)一無二。OpenAI使用了“人類反饋強(qiáng)化學(xué)習(xí)”（RLHF）的訓(xùn)練方法，該方法在訓(xùn)練過程中利用人類反饋，以最小化無用、失真或有偏見的輸出。

目前來看，ChatGPT在很多領(lǐng)域都有廣泛的應(yīng)用前景，并且它的操作簡單，對用戶非常友好。但任何工具的應(yīng)用都是有前提的，了解其背后的工作機(jī)制和局限之處，才能更好地利用這項(xiàng)技術(shù)，零點(diǎn)有數(shù)數(shù)據(jù)科學(xué)家將基于此談?wù)凜hatGPT在應(yīng)用時需要注意的幾個方面。

02 ChatGPT的局限之處

多場景問題一是標(biāo)注數(shù)據(jù)。諸如回答內(nèi)容存在事實(shí)性錯誤，對于確定的事實(shí)，其給出的答案無法達(dá)到高置信度，對于常識性的知識問題不能高效地給出符合日常認(rèn)知的答案。大模型訓(xùn)練所需語料涉及面非常廣，僅就人文學(xué)科而言，就存在非常龐雜的知識的語料，因此，在標(biāo)注過程中，相關(guān)任務(wù)對標(biāo)注人員的知識面、邏輯思考能力等都有極高的要求。在此基礎(chǔ)上，還需要針對更多語料中提及的知識進(jìn)行自動抽取，反復(fù)校驗(yàn)，才可一步步改進(jìn)。如下圖，關(guān)于古詩《登鸛雀樓》的提問，ChatGPT未能給出符合常識的回答，包括古詩的原文和作者信息。

二是數(shù)據(jù)理解。對于簡單的數(shù)據(jù)說明可以順利地進(jìn)行比較分析，但面對略復(fù)雜的語義理解要求回答比較困難，對于中文豐富的詞匯體系、語法和句法的特點(diǎn)，特別是涉及近義詞之間的差別和近義程度的區(qū)分，還需要補(bǔ)充更多更廣泛的訓(xùn)練數(shù)據(jù)、做進(jìn)一步的訓(xùn)練和優(yōu)化，才能修正相應(yīng)問題。示例如下圖。

三是數(shù)據(jù)分析能力。由于數(shù)據(jù)理解和分析能力暫未完善，ChatGPT目前無法正確有效地進(jìn)行數(shù)理邏輯計算。如下圖所示，針對四人四天喝四桶水，八人八天喝多少桶水的數(shù)據(jù)計算問題，并沒有一次性形成合理的計算邏輯鏈路，給出正確的計算結(jié)果。

答復(fù)的生成內(nèi)容不具備實(shí)時性‍

知識庫信息未能實(shí)時更新。由于ChatGPT目前的版本僅支持2021年之前的語料信息提問，其回答的內(nèi)容沒有進(jìn)行實(shí)時信息關(guān)聯(lián)。訓(xùn)練一個模型的人力成本較大、時間周期較長，短期內(nèi)難以有效地更新學(xué)習(xí)即時性的知識信息。

俄烏戰(zhàn)爭起始于2022年2月，而ChatGPT使用的最新訓(xùn)練數(shù)據(jù)只截止到2020年，因此對于最近發(fā)生的俄烏戰(zhàn)爭事件，無法給出具有時效性的情況分析。模型能力覆蓋廣，但專業(yè)深度仍有提高空間模型復(fù)雜度，豐富性和通用性足夠高，但對于某個專業(yè)領(lǐng)域方向的資深知識信息結(jié)構(gòu)認(rèn)知仍有提高空間。

在上述的問答中，ChatGPT對于網(wǎng)絡(luò)通信中的信息增益率公式只給出了概述性的描述，并未有效地展示公式的符合化表示及解釋說明。

03 ChatGPT場景應(yīng)用問題

盡管ChatGPT在不同場景中的應(yīng)用性較強(qiáng)，但同時也凸顯出一些值得關(guān)注的隱憂，從某種意義上而言，ChatGPT的出現(xiàn)，讓諸多領(lǐng)域面臨新的挑戰(zhàn)。教育教學(xué)在教育教學(xué)方面，最為直接的影響是學(xué)生在學(xué)習(xí)過程中，缺乏足夠的思考，直接詢問ChatGPT，輕松地獲取到相關(guān)的知識和解答，特別是在論文的寫作過程中，直接查詢或生成相關(guān)內(nèi)容，不僅不利于學(xué)生有效掌握相關(guān)知識，無法鍛煉問題研究能力，甚至?xí)纬蛇^度依賴，影響學(xué)生的創(chuàng)造力，不利于教育的發(fā)展。公共安全在公共安全領(lǐng)域，主要涉及社會治安和信息安全。就社會治安而言，利用ChatGPT可以模仿不同人員的對話習(xí)慣，再結(jié)合語音合成功能，進(jìn)而實(shí)現(xiàn)高仿真的人類交流和互動，相關(guān)功能如果應(yīng)用在詐騙等場合，助長違法犯罪，影響社會穩(wěn)定。就信息安全而言，數(shù)據(jù)治理面臨更大風(fēng)險，特別是關(guān)涉國家安全、商業(yè)機(jī)密、個人隱私等多方面的敏感數(shù)據(jù)。ChatGPT模型訓(xùn)練所使用的數(shù)據(jù)一般為大量可公開的數(shù)據(jù)和知識，但基于現(xiàn)有的技術(shù)研發(fā)數(shù)據(jù)管理體制，不一定能保證直接相關(guān)的敏感數(shù)據(jù)或基于公開數(shù)據(jù)研究所得的敏感數(shù)據(jù)不被泄露。倫理道德

在倫理道德方面，無論是個人還是社會或國家同樣受到一定的影響。從個人的角度來看，對于大多數(shù)未成年人，甚至部分成年人，尚未形成成熟且穩(wěn)定的心智，在使用ChatGPT的過程中，個人想法很容易被直接或間接地帶偏，進(jìn)而做出不合適的行為；從社會或國家的角度來看，ChatGPT如果作為一個文化沖擊的工具，對整個社會和國家產(chǎn)生不良影響。

以上這些方面，都亟待相關(guān)技術(shù)方在技術(shù)層面對相關(guān)內(nèi)容進(jìn)行完善，對各種使用方進(jìn)行權(quán)限的控制和監(jiān)控，同時相關(guān)職能部門應(yīng)從國家層面進(jìn)行立法，進(jìn)行合理的限制和管控。

04 關(guān)于ChatGPT算法的拓展構(gòu)想

站在數(shù)據(jù)智能垂直應(yīng)用的角度上，零點(diǎn)有數(shù)數(shù)據(jù)科學(xué)家基于豐富的業(yè)務(wù)經(jīng)驗(yàn)，從以下四個方面談了關(guān)于ChatGPT算法的拓展構(gòu)想：

一是行業(yè)訓(xùn)練數(shù)據(jù)優(yōu)勢。ChatGPT還需要進(jìn)一步整合各行業(yè)歷史沉淀數(shù)據(jù)，并將數(shù)據(jù)轉(zhuǎn)換為高質(zhì)量、有效的訓(xùn)練數(shù)據(jù)集，才能更好地提升行業(yè)應(yīng)用模型的精度。

二是強(qiáng)化推理能力?；趯I(yè)務(wù)場景的了解出發(fā)，對未知業(yè)務(wù)場景做從規(guī)則、向量表示推理到prompt的范式多層次學(xué)習(xí)推理過程。

三是線上更新機(jī)制。實(shí)時收集線上數(shù)據(jù)，并實(shí)時進(jìn)行模式化的更新，動態(tài)反饋更新至模型中，形成模型長期反饋更新學(xué)習(xí)的機(jī)制。

四是合理挖掘發(fā)現(xiàn)行業(yè)應(yīng)用場景。通過更深層次地將GPT技術(shù)與垂直行業(yè)的業(yè)務(wù)做融合，構(gòu)建行業(yè)化的GPT模型，并服務(wù)于業(yè)務(wù)實(shí)際需求。（本文首發(fā)鈦媒體APP）