鈦度圖聞·一百四十六期
策劃制作｜鈦媒體視覺中心，編輯｜劉亞寧，作圖｜初彥墨
2024年剛開年，OpenAI推出的文生視頻工具Sora再次風(fēng)靡全球，成為了OpenAI繼ChatGPT之后新的生成式AI標(biāo)桿。AI重塑世界，也可能會(huì)讓環(huán)境資源付出巨大的代價(jià)。
據(jù)《紐約客》雜志引援國(guó)外研究機(jī)構(gòu)報(bào)告，ChatGPT每天要響應(yīng)大約2億個(gè)請(qǐng)求，在此過程中消耗超過50萬(wàn)度電力，也就是說(shuō)，ChatGPT每天用電量相當(dāng)于1.7萬(wàn)個(gè)美國(guó)家庭的用電量。而隨著生成式AI的廣泛應(yīng)用，預(yù)計(jì)到2027年，整個(gè)人工智能行業(yè)每年將消耗85至134太瓦時(shí)（1太瓦時(shí)=10億千瓦時(shí)）的電力。
除了耗電，和ChatGPT或其他生成式AI聊天，也會(huì)消耗水資源。加州大學(xué)河濱分校研究顯示，ChatGPT每與用戶交流25-50個(gè)問題，就可消耗500毫升的水。而ChatGPT有超過1億的活躍用戶，這背后消耗的水資源無(wú)疑是令人震驚的。
訓(xùn)練一個(gè)大模型，科技巨頭每年都消耗了多少能源？本期鈦媒體·鈦度圖聞帶你關(guān)注。
在大模型的訓(xùn)練中，語(yǔ)料信息的規(guī)模是很重要的。一般來(lái)說(shuō)，語(yǔ)料規(guī)模越大，其蘊(yùn)含的信息就越豐富，模型所形成的參數(shù)越大，具有更好的泛化能力。為了獲得智能水平更高的大模型，AI模型的語(yǔ)料規(guī)模和參數(shù)規(guī)模越來(lái)越大。
從參數(shù)規(guī)模上看，大模型先后經(jīng)歷了預(yù)訓(xùn)練模型、大規(guī)模預(yù)訓(xùn)練模型、超大規(guī)模預(yù)訓(xùn)練模型三個(gè)階段，參數(shù)量實(shí)現(xiàn)了從億級(jí)到百萬(wàn)億級(jí)的突破。2017年，谷歌首次提出6500萬(wàn)參數(shù)的Transformer模型，自此大模型就開始走上了一條快速發(fā)展之路。
2018年，谷歌發(fā)布基于Transformer的BERT，BERT學(xué)習(xí)了16GB的語(yǔ)料，形成3.4億個(gè)參數(shù)；2019年，OpenAI推出了15億參數(shù)的GPT-2，同年，谷歌推出T5模型，參數(shù)達(dá)到110億。從十億級(jí)到百億級(jí)，大模型在一年內(nèi)實(shí)現(xiàn)躍升。2020年，OpenAI推出了1750億參數(shù)的GPT-3；2021年，谷歌推出Switch Transformer架構(gòu)，其參數(shù)量擴(kuò)展到了1.6萬(wàn)億；同年，北京智源人工智能研究院也推出參數(shù)量在萬(wàn)億級(jí)別的模型“悟道”。2022年，清華大學(xué)、阿里達(dá)摩院等機(jī)構(gòu)的研究人員提出的“八卦爐”模型，其具有174萬(wàn)億個(gè)參數(shù)，可與人腦中的突觸數(shù)量相媲美。如今，大模型參數(shù)量已實(shí)現(xiàn)百萬(wàn)億級(jí)的突破。
目前，人工智能公司很少公開談?wù)摯竽Ｐ偷挠?xùn)練成本，但相關(guān)研究估計(jì)這些模型的訓(xùn)練成本可高達(dá)數(shù)百億美元。斯坦福大學(xué)發(fā)布的《2023年人工智能指數(shù)報(bào)告》，基于已有大模型披露的硬件和訓(xùn)練時(shí)間，對(duì)其訓(xùn)練成本進(jìn)行了估算。
2019年，OpenAI發(fā)布的大語(yǔ)言模型GPT-2參數(shù)量為15億，它的訓(xùn)練成本約為5萬(wàn)美元左右；到了2020年，訓(xùn)練1750億參數(shù)量的GPT-3的費(fèi)用大概是180萬(wàn)美元。GPT-3比GPT-2的參數(shù)量擴(kuò)大了117倍，其訓(xùn)練費(fèi)用也增加了36倍。大型語(yǔ)言和多模態(tài)模型如“吞金獸一般”，變得越來(lái)越大，也越來(lái)越貴。
訓(xùn)練大模型需要大量的能源，比傳統(tǒng)的數(shù)據(jù)中心要消耗更多的電力。OpenAI曾發(fā)布報(bào)告指出，自2012年以來(lái)，AI訓(xùn)練應(yīng)用的電力需求每3到4個(gè)月就會(huì)翻一倍。華為AI 首席科學(xué)家田奇也曾給出數(shù)據(jù)，AI算力在過去10年至少增長(zhǎng)了40萬(wàn)倍。AI大模型可謂是“耗電巨獸”。
研究顯示，訓(xùn)練谷歌于2022年發(fā)布的大語(yǔ)言模型PaLM需要消耗3436兆瓦時(shí)的電量，約等于11.8萬(wàn)美國(guó)普通家庭日耗電量（美國(guó)普通家庭日均耗電量約為29千瓦時(shí)）；就算訓(xùn)練參數(shù)量為3.4億的BERT模型，也需要消耗1.5兆瓦時(shí)的電量，相當(dāng)于觀看1875小時(shí)的流媒體。
據(jù)了解，AI服務(wù)器和芯片是產(chǎn)生能耗最主要的地方。通用型服務(wù)器只需要2顆800W服務(wù)器電源，而AI服務(wù)器則需要4顆1800W高功率電源，AI服務(wù)器對(duì)于電源的需求大大提升。荷蘭一位學(xué)者表示，到2027年，新制造的人工智能設(shè)備的用電量將與荷蘭、瑞典、阿根廷等國(guó)的用電量一樣。
除了耗電，由于算力設(shè)備的冷卻需求，AI消耗的水資源數(shù)量也驚人。
谷歌環(huán)境報(bào)告顯示，2022年谷歌的用水量達(dá)到了56億加侖水（約212億升水），相當(dāng)于8500個(gè)奧運(yùn)會(huì)規(guī)格的游泳池，這些水被用來(lái)為該公司的數(shù)據(jù)中心散熱。不僅如此，在微軟的美國(guó)數(shù)據(jù)中心訓(xùn)練GPT-3使用的水量相當(dāng)于填滿一個(gè)核反應(yīng)堆的冷卻塔所需的水量，大約70萬(wàn)升。而用戶在使用生成式AI工具時(shí)也需要耗水。研究顯示，ChatGPT每與用戶交流25-50個(gè)問題，就可消耗500毫升的水。研究人員預(yù)計(jì)，到2027年，全球范圍內(nèi)的AI需求可能會(huì)需要消耗掉66億立方米的水資源，幾乎相當(dāng)于美國(guó)華盛頓州全年的取水量。
除了消耗大量的電力和水資源，AI大模型還是碳排放大戶。斯坦福大學(xué)報(bào)告顯示，OpenAI的GPT-3模型在訓(xùn)練期間釋放了502公噸碳，是目前大模型中有據(jù)可查耗能最嚴(yán)重的，它的碳排放量是Gopher模型的1.4倍， 是BLOOM模型的20.1倍，約等于8輛普通汽油乘用車一生的碳排放量，人均91年的碳排放量。
隨著科技日新月異，未來(lái)AI大模型會(huì)層出不窮。不可否認(rèn)的是，生成式AI的出現(xiàn)給社會(huì)生活帶來(lái)了巨大的助力，但AI給人類帶來(lái)效率提升的同時(shí)也可能引發(fā)能源危機(jī)。所以，科技巨頭們還需從算法和模型優(yōu)化、硬件優(yōu)化、訓(xùn)練和計(jì)算技巧等方面入手，讓AI功耗在一定程度上降低。
數(shù)據(jù)來(lái)源：斯坦福大學(xué)《2023年人工智能指數(shù)報(bào)告》、《AI專題：重新思考對(duì)AI能源使用的擔(dān)憂》、中國(guó)政府網(wǎng)等公開資料整理。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論
Al行業(yè)也是利益驅(qū)動(dòng)，應(yīng)該提倡回歸大自然，減少科技污染