近日，美國AI獨角獸Anthropic掌門人Dario Amodei在《技術的青春期》一文中闡述了AI發(fā)展所帶來的風險和挑戰(zhàn)。
他指出，隨著AI的快速進步，人類可能很快就會獲得幾乎無法想象的力量，但是當下的社會、政治和技術體系是否具備駕馭這種力量的成熟度，卻是一個未知的問題。
他強調，盡管存在不確定性，我們必須采取果斷而謹慎的行動來應對可能的風險，并且認為，如果我們采取正確的措施，就有可能克服這些挑戰(zhàn)。
文章近2萬多字，Amodei試圖從AI模型自身風險、個人和組織風險，國家層面風險，以及經濟和社會層面的風險等多個維度展開論述。
Amodei認為AI模型存在一定的自主性（Autonomy）風險。同時，他批判了兩類極端立場：一類是認為“AI不會有問題”：AI只是被訓練來執(zhí)行指令，就像掃地機器人不可能突然想殺人，因此AI造反是科幻；
還有一類是認如果將“盡可能地獲得權力”作為關鍵策略，那么AI就會概括出同樣經驗以尋求權力作為完成任務的手段，這種傾向也會應用到現實世界中。一旦AI獲得自主意識且足夠智能，它們將削弱甚至毀滅人類。
他認為，出現這種立場，其實是忽視了大模型訓練中帶有的“人格面具”以及模型生成的不可預測性。
他列舉了Anthropic內部的測試：在訓練中暗示Claude“公司是邪惡的”，出于“應懲處邪惡之人”的想法，Claude出現了欺騙行為；當告知Claude不要作弊時，卻在實際訓練時允許或獎勵這種行為，這導致Claude認為自己是“壞人”，并做出相應破壞行為。這說明模型訓練過程極其復雜，數據、環(huán)境、獎勵機制等都會存在大量“陷阱”，導致大模型出現不可估量的后果。
Amodei指出，應對自主性風險，實現對齊和可解釋性是最為有效的：
這個篇章Amodei將AI風險從個人或組織上升至國家層面，像AI武器、監(jiān)控系統(tǒng)、輿論影響、外交與軍事戰(zhàn)爭等。
不過，Amodei贊同了美國對中國進行的芯片出口管制，“我們絕對不應該向中國出售芯片、芯片制造工具或數據中心。”
在他看來，芯片是發(fā)展AI的最大瓶頸，芯片出口管制是簡單卻非常有效的措施。中國在尖端芯片的量產能力比美國落后數年，而打造數據中心強國的關鍵時期可能就在未來幾年。
Amodei認為，強大的AI有望大幅提升國家外交、軍事戰(zhàn)略、研發(fā)、經濟戰(zhàn)略以及許多其他領域的效率。
例如，一些即便自身不開發(fā)前沿模型，但如果能通過本國數據中心大規(guī)模運行大模型的國家，也存在算力濫用的風險。
Amodei認為AI將帶來經濟的大幅增長，包括科學研究、生物醫(yī)學創(chuàng)新、制造業(yè)、供應鏈、金融體系效率等方面的進步，“持續(xù)保持10%至20%的年均GDP增長率是有可能的。”
不過他也預測，盡管AI將加速經濟增長，但也可能在短期內對勞動力市場帶來巨大沖擊。
他判斷的依據在于：一是AI發(fā)展速度之快，遠超此前任何一次革命；二是隨著AI越來越接近于人類的一般認知能力，AI不是取代特定的工作，而是取代人類的一般認知勞動。
Amodei還注意到，AI還在影響那些有一定內在know-how的人，因為AI正朝著能力階梯逐級發(fā)展，同時AI也能快速彌補短板，它每次發(fā)現問題能夠很快被修正。
他認為，勞動力市場或許有足夠的韌性來適應如此巨大的沖擊。但即便最終能夠適應，上述因素也表明，短期帶來的沖擊影響面將是前所未有的。
此外，Amodei還擔憂AI還將帶來財富過于集中，比如一個數據中心“天才之國”。目前AI數據中心已經占美國經濟增長的很大一部分，大型科技公司也越來越專注于AI或AI基礎設施建設。
作為一家在AI編程領域頗有影響力的公司，Anthropic的AI編程工具Claude Code和模型Claude 3.7 Sonnet擅長編碼任務。
同樣在這篇文章中，Amodei指出AI編碼目前承擔了Anthropic的大部分編碼工作，顯著加快其構建下一代AI系統(tǒng)的節(jié)奏，或許只需要一兩年，新一代AI就能自主構建下一代AI。而此前兩年，AI模型幾乎無法編寫一行代碼。
不過，在他看來，“編寫所有代碼”和“端到端完成軟件工程師的工作”是截然不同兩件事。因為后者的工作遠不止編寫代碼，還包括測試、環(huán)境、文件安裝、IT云部署、產品迭代等。（作者 | 楊麗，編輯 | 蓋虹達）
全文地址：https://www.darioamodei.com/essay/the-adolescence-of-technology#humanity-s-test
快報
根據《網絡安全法》實名制要求，請綁定手機號后發(fā)表評論