在向量空間中，其匿名發(fā)布的信息可能與其真實身份極其接近，但事實截然相反。大語言模型此時就可以像人類一樣，利用這些明顯的矛盾排除高相似度的錯誤選項。
Step 4：校準（Calibrate）
對于真實世界的安全攻擊來說，必須遵循一條規(guī)律：寧可漏報，絕不誤報。因此，校準環(huán)節(jié)必須解答一個問題：大語言模型已經(jīng)找到了人，但這個結(jié)果是否值得相信？
套用到實際的應(yīng)用場景中很容易理解：出于好奇心，從一個人匿名發(fā)布的內(nèi)容推測這個人是誰，一旦判斷錯了不僅前功盡棄，還容易引起不必要的尷尬。
因此，讓大語言模型匹配匿名信息與真實身份，要么結(jié)果正確，要么沒有結(jié)果，絕不允許出現(xiàn)錯誤的匹配。
在大語言模型推理完成后，攻擊者就會得到許多匹配結(jié)果，一個匿名賬號對應(yīng)一個真實身份，暫且把它記作一對。成千上萬對匹配結(jié)果中，必然有錯有對。
為了解決向量相似度不靠譜和模型推理可能遺漏細微矛盾點等問題，研究團隊特意添加了一輪校準機制：
他們又設(shè)置了一個價格稍低的模型充當(dāng)裁判，并讓匹配結(jié)果中的每一對進行1v1的PK。作為裁判的模型要回答其中哪一對看起來更像是同一個人。
每一輪PK后，系統(tǒng)根據(jù)結(jié)果更新每一對匹配結(jié)果的評分。在經(jīng)過幾千次的比較后，最終得到一個極其可靠的置信度排名。
結(jié)果顯示，這種方法能夠極大程度上提高在99%以上精確率下的系統(tǒng)召回率，讓匹配關(guān)系更加可靠。
為了評估ESRC框架是否有效，Anthropic的研究團隊設(shè)計了三個模擬真實世界的場景，結(jié)果令人有些害怕。
首先是來自自主Agent的降維打擊。
研究團隊首先構(gòu)建了一個具備網(wǎng)絡(luò)搜索功能的大語言模型Agent，并試圖讓它將脫敏后的極客論壇賬號與真實LinkedIn職場身份進行關(guān)聯(lián)。
這個實驗與人肉搜索的過程幾乎完全一致，攻擊者只需要提供脫敏后的極客論壇檔案，該Agent就能自主生成搜索詞、調(diào)用搜索引擎并交叉比對從網(wǎng)頁中獲得的證據(jù)。
研究團隊設(shè)計的準確率要求是90%，在此基礎(chǔ)下該Agent竟然成功還原了67%的用戶身份，耗時只有短短幾分鐘。
更可怕的是，平均下來每位用戶的搜索成本只有1-4美元！
這就意味著，大規(guī)模、高定制化的“人肉搜索”在經(jīng)濟上已經(jīng)具備可行性。
接下來有人可能會想，真實的職場身份容易被發(fā)現(xiàn)，那如果是不同平臺的兩個匿名小號呢？
大模型給出的回復(fù)是：沒有區(qū)別。
為了模擬同一用戶在不同平臺的兩個匿名小號，研究團隊將Reddit用戶發(fā)布的帖子分為兩類：一類是綜合電影板塊，一類是小眾電影板塊。
但結(jié)果仍然令人驚訝：即便是沒有年齡、職業(yè)等容易形成強關(guān)聯(lián)的隱私數(shù)據(jù)，只有主觀的電影評價和審美偏好，ERSC框架也能將兩個小號精準關(guān)聯(lián)。
冰冷的數(shù)據(jù)顯示，同一個用戶只要在兩個匿名小號中共同提到過10部電影，被精準關(guān)聯(lián)的概率就已經(jīng)達到48.1%。
還有人會說，人的愛好和討論熱點是會變的，過去的賬號和現(xiàn)在的新賬號壓根不相關(guān)。
很可惜，模型終究還是成功跨越了時間長河。
研究團隊將1萬名用戶的評論以1年為期進行劃分，一年前的言論作為查詢集，一年后的言論作為候選池。
實驗證明，即便是完全不同時期的社會新聞和話題，大語言模型還是能見微知著，從寫作風(fēng)格、興趣甚至是人口統(tǒng)計特征，從包含數(shù)千名干擾者的候選池中準確找到用戶“過去的自己”。
無論是2008年的Netflix事件，還是Anthropic研究團隊的模擬實驗，我們會發(fā)現(xiàn)數(shù)據(jù)規(guī)模其實并不大。
一個最直觀且正確的想法是：通過精準匹配實現(xiàn)去匿名化的難度取決于候選池的大小。
若是將候選的真實身份擴充到百萬、千萬級，采用ERSC框架的攻擊手段是否還能生效？
傳統(tǒng)統(tǒng)計算法顯然不行，哪怕是幾百人的情況下都會崩潰，召回率直接歸零；
但基于大語言模型的ERSC攻擊不一樣，它展現(xiàn)出了恐怖的對數(shù)線性衰減特性，即便是百萬人，大語言模型仍然能在90%精確度的水平下保持35%的召回率。
更可怕的是，這種攻擊手段，用戶無法防御，平臺也無法防御。
對于用戶來說，傳統(tǒng)的隱私保護手段大多是為了結(jié)構(gòu)化數(shù)據(jù)而設(shè)計的。
我們可以把年齡模糊成年齡段，可以把定位服務(wù)關(guān)掉避免位置信息被獲取。
但生活和網(wǎng)絡(luò)中，一個人總得說話。哪怕是用最高級的文本凈化技術(shù)來脫敏，大語言模型仍然能從這些非結(jié)構(gòu)化文本和上下文語境中推斷出些許特征。
對于平臺來說，無法從API層面上封殺這種攻擊手段。
平臺看到黑客針對漏洞進行攻擊，可以用防火墻攔截；但如果平臺看到用戶的請求是“幫我看看這兩段電影評價哪個寫的更好”呢？
攻擊手段恰恰就包含在這些看起來完全正常的用戶請求之中，模型提供商根本無法判斷調(diào)用者是在進行去匿名化攻擊還是在正常工作。
至此，網(wǎng)絡(luò)安全領(lǐng)域的防御成本和攻擊成本的非對稱性已經(jīng)被徹底逆轉(zhuǎn)。
以前，我們面對互聯(lián)網(wǎng)總是會想：我不過是個普通人，誰會閑的沒事扒我的馬甲？
隱藏在商業(yè)世界中的變現(xiàn)邏輯恐怕不會這么想。
如果我們把目光拉回到剛剛過去的春節(jié)，國內(nèi)幾家頭部大模型平臺無一例外地推出了AI助手的激勵政策。
無論是元寶派的現(xiàn)金紅包，還是千問的免費奶茶，幾家平臺砸下數(shù)十億現(xiàn)金的猛烈營銷使得其產(chǎn)品在春節(jié)期間的日活數(shù)據(jù)飆升，但假期一過，留存率卻相當(dāng)慘淡。
按照過往的互聯(lián)網(wǎng)運營思維來看，這當(dāng)然談不上是什么成功的拉新活動。各家的錢都沒少燒，ROI卻不見起色，用戶薅完羊毛心滿意足地轉(zhuǎn)身離去，產(chǎn)品還是沒多少人主動用。
但是，看完這篇論文，我卻感到細思極恐。
或許，這不是一次失敗的拉新營銷，而是一場披著春節(jié)外衣的大規(guī)模微數(shù)據(jù)收割行動。
回想一下春節(jié)假期里人們都用AI做了什么？
了解拜年話術(shù)、查詢年夜飯菜譜、制定旅行規(guī)劃、訂購?fù)赓u奶茶、甚至是編寫復(fù)工請假理由。
這些非結(jié)構(gòu)化的自然語言，在用戶看來只是閑聊，在傳統(tǒng)算法面前只是幾句廢話。
但在普遍擁有ESRC能力的AI公司看來，這些信息就意味著價值，而大語言模型正是發(fā)現(xiàn)價值的顯微鏡。
AI公司并不需要用戶高度留存，相反，只要用戶點開對話框，哪怕只用了幾分鐘聊了幾句，大語言模型就能從簡短而模糊的需求中精確提取出年齡、常住地、職業(yè)、家庭結(jié)構(gòu)、消費能力甚至性格等高價值信息。
在AI公司手里，ESRC框架的攻擊手段正是精準描繪用戶畫像的最強武器。
過去，字節(jié)可能需要分析過去一個月用戶看過的抖音短視頻、騰訊可能要分析用戶在微信看過的一千篇歷史文章、阿里可能要分析用戶在淘寶購買的上百個產(chǎn)品，才能模模糊糊拼湊出用戶大概是個什么樣的人。
而如今，憑借著大語言模型已經(jīng)溢出的語義理解和推理能力，僅靠幾次不經(jīng)意之間的對話碎片，AI就可以輕松在海量數(shù)據(jù)中完成精準的“去匿名化”定位。
這些被提取出來的高質(zhì)量用戶標簽，正是實現(xiàn)精準的廣告投流、跨平臺數(shù)據(jù)變現(xiàn)以及未來模型的訓(xùn)練最寶貴的資產(chǎn)。
而我們，沒有反抗的余地。
總之，無論如何我們都只能接受一個事實：長期以來，支撐互聯(lián)網(wǎng)自由表達的匿名機制，在LLM面前已經(jīng)失去了意義。
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論