OpenAI“用AI解釋AI”最新發(fā)布:GPT-4解釋GPT-2,讓機(jī)器以自動(dòng)化方式完成AI研究
鈦媒體App 5月10日消息,OpenAI在官網(wǎng)發(fā)布博客文章《語言模型可以解釋語言模型中的神經(jīng)元》(Language models can explain neurons in language models)。他們調(diào)用GPT-4來計(jì)算出其它架構(gòu)更簡(jiǎn)單的語言模型上神經(jīng)元的行為,這次針對(duì)的是發(fā)布于4年前的開源大模型:GPT-2。目標(biāo)是用AI來幫助我們理解AI,簡(jiǎn)單來講,就是希望能夠使用自動(dòng)化的方式,讓機(jī)器完成AI研究。據(jù)悉,這項(xiàng)工作也是OpenAI對(duì)齊研究的第三支柱的一部分:希望對(duì)齊研究本身實(shí)現(xiàn)自動(dòng)化。并且這一方向(對(duì)齊)還有望隨著人工智能的發(fā)展速度而擴(kuò)展。
OpenAI表示,它的工作方式包括在每個(gè)神經(jīng)元上運(yùn)行3個(gè)步驟:第一步,生成解釋使用GPT-4。第二步,使用GPT-4進(jìn)行模擬;即用GPT-4模擬這個(gè)GPT-2的神經(jīng)元接下來會(huì)做什么。第三步,對(duì)比評(píng)估打分;即根據(jù)模擬激活與真實(shí)激活的匹配程度為解釋打分。通過這樣的方法,OpenAI 對(duì)每個(gè)神經(jīng)元的行為作出了初步的自然語言解釋,并對(duì)這種解釋和實(shí)際行為的匹配程度進(jìn)行了評(píng)分。成果顯示,最終OpenAI對(duì)GPT-2中307200個(gè)神經(jīng)元全部進(jìn)行了解釋,并將這些解釋匯編成數(shù)據(jù)集,與工具代碼一起在GitHub上發(fā)布。
不過,OpenAI還表示,目前GPT-4的解釋效果并不佳,尤其要解釋比GPT-2更大的模型時(shí)表現(xiàn)效果很差。但是,OpenAI相信可以使用機(jī)器學(xué)習(xí)技術(shù)進(jìn)一步提高產(chǎn)生解釋的能力:比如通過反復(fù)產(chǎn)出解釋,并根據(jù)激活情況修改解釋;使用更大的模型作出解釋;以及調(diào)整已解釋模型的結(jié)構(gòu)等。
本文內(nèi)容僅供參考,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求,請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論