圖片來源@視覺中國
文丨光錐智能,作者丨陳思,編輯丨羅寧
在龍華烈士墓前,
擺滿了鮮花,
延年和李大釗相遇了。
他們的對話令人動容:
“先生,他們愛我”
“延年,因為你愛他們”
這是一位網(wǎng)友在觀看電視劇《覺醒年代》之后寫的一段紀(jì)念先烈的文章節(jié)選。相信看過此劇的人都會對劇中陳獨秀的兩個兒子陳喬年、陳延年就義前的微笑印象深刻。
![]()
這一幕的出現(xiàn)讓無數(shù)觀眾落淚。
為了紀(jì)念烈士,有人找到了陳延年烈士真實的照片,利用人工智能技術(shù)為照片上色,并讓他露出“真實的”微笑:
![]()
有網(wǎng)友在看到這張照片后說:當(dāng)百年前就義的烈士看到今日之中國,想必也會這樣欣慰地微笑吧。
使用AI修復(fù)烈士照片的這位網(wǎng)友名叫“大谷Spitzer”,你或許曾看過他的一些其他修復(fù)作品:
![]()
他曾經(jīng)修復(fù)過李大釗于1924年9月22日在莫斯科大劇院演講時的影像,這也是李大釗同志目前唯一留存的視頻錄像,相當(dāng)珍貴。
![]()
從視頻截圖可以看出,經(jīng)過AI修復(fù)的影像不僅清晰度高,對人物細節(jié)的渲染也十分到位,比如上圖中李大釗同志的頭發(fā)與胡須的細節(jié),在AI修復(fù)后顯得非常細致。
可能你會有疑問,大谷是如何做到的?或者說,AI技術(shù)是如何讓原本黑白的影像變得鮮活起來?
照相技術(shù)誕生之初,照片都是黑白的,到了1940年代彩色照片才流行起來。所以在早些年如果你想將黑白照片變成彩色,需要手工進行,費時費力。因為當(dāng)時用的是水彩、油畫、蠟筆產(chǎn)色,所以起來并不是那么真實。
如今,人工智能技術(shù)大行其道,甚至可以毫不費力地完成這項工作。
17歲英國少年Finnian Anderson和18歲芬蘭少年Oli Callaghan攜手合作,開發(fā)了Colorise Bot,用戶只需要在Twitter上傳照片和視頻并@Colorise Bot,就能在幾秒內(nèi)上色。
![]()
(原圖與修復(fù)后地效果 | 來源:原作者博客)
作者之一的Finnian Anderson在博客上的一篇文章揭示了這項技術(shù)背后的秘密。
受內(nèi)存及性能限制,他們沒有選擇TensorFlow進行底層框架搭建,而是使用Caffee搭建了原始網(wǎng)絡(luò),然后用開源數(shù)據(jù)集ImageNet中的圖像對模型進行訓(xùn)練。
根據(jù)他們發(fā)布在GitHub上的內(nèi)容可以知道,他們引用的是加州伯克利大學(xué)的 Richard Zhang 等人開發(fā)出來的著色方法。其原理簡單來說,就是給出一張黑白圖片,然后預(yù)測圖片上物體可能的顏色,不一定能完全還原物體本身的顏色,但合理即可。
比如蘋果,紅色、青色都是人們普遍認知里合理的顏色,在訓(xùn)練過程中,如果模型給蘋果上色的結(jié)果是這兩種或者與之接近的,那么都可視為成功。
![]()
(訓(xùn)練結(jié)果 | 來源:原作者GitHub)
當(dāng)然,模型對物體顏色的預(yù)測也是被大量的圖片數(shù)據(jù)“喂”出來的,就比如上圖中的汽車,原本的顏色可能是藍色或者黑色,但是因為模型在識別了大量汽車的圖片后學(xué)會了汽車可以有紅色、黑色、白色、銀色等等,因此給上圖里的汽車染成紅色也是合理的。
不過,大谷使用的開源AI上色項目有別于上面這一種。
根據(jù)大谷的微博,它使用的上色工具有兩種:DeOldify和Deep Exemplar-Based Colorization。雖然都可以用來上色,但是這兩種工具的原理有所不同。
前者使用的是一種名為NoGAN的新型GAN訓(xùn)練方法。大致的原理可以理解為,同時訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò),一個叫鑒別器,另一個叫生成器。鑒別器會使用大量真實的彩色圖片訓(xùn)練,而生成器則會根據(jù)輸入的黑白圖像隨意上色,鑒別器根據(jù)學(xué)會了的彩色圖片來判斷上色的真實性。
比如,鑒別器學(xué)會了樹葉可以是綠色的、黃色的、紅色的,干枯后可以是黑色的;這個時候生成器給一張樹葉圖片染成了藍色,那鑒別器就會判斷這個結(jié)果是假的,生成器要重新給圖片上色,直到出現(xiàn)合理的色彩。
而后者的原理就相對簡單了,給定參考彩色圖像,卷積神經(jīng)網(wǎng)絡(luò)會直接將灰度圖像映射到輸出彩色圖像。
![]()
(圖片來源:Deep Exemplar-Based Colorization論文)
如上圖所示,目標(biāo)圖像是最左邊的黑白圖像,如果給神經(jīng)網(wǎng)絡(luò)一個穿紅衣服的女士的圖像為參考,那么輸出的結(jié)果里,人物的衣服顏色也是紅色,膚色甚至也會更接近參考圖像人物的膚色。
由于大谷的圖像、視頻修復(fù)里采用了不止一種開源項目,因此本文對于其原理就不做過多分析了,上述結(jié)論想必已經(jīng)能夠部分解答讀者們的疑問。
此外,大谷還采用了一些開源的輔助工具,比如曠視科技和北大共同推出的,用來給視頻補幀的RIFE,它可以讓老視頻變得更加流暢;以及用于去除視頻噪點和模糊的BasicSR等等。
如前文所述,AI修復(fù)的圖像色彩只是“合理”,未必與真實的情況相符。不過,這也并不耽誤AI還原色彩對歷史學(xué)家的幫助。
愛爾蘭國立大學(xué)教授John Breslin和Sarah-Anne Buckley將數(shù)字技術(shù)與歷史研究結(jié)合在一起,他們將很多歷史照片由黑白變成彩色。教授們使用的AI工具是前文提到的DeOldify,在訓(xùn)練時,DeOldify會分析大量普通彩色照片,看看各種顏色與不同的形狀、紋理是如何匹配的。
當(dāng)軟件面對黑白照片時,它會努力搞清對象的顏色是什么,比如草、樹、海洋的顏色,根據(jù)紋理判定它們是綠色或者藍色。
當(dāng)然AI也有局限性,愛爾蘭的一草一木有自己的特質(zhì),美國軟件有時無法正確識別。
![]()
Breslin解釋說,世界許多地區(qū)的房屋可能鋪有陶瓦,呈現(xiàn)橙色或褐色,愛爾蘭一般用石板瓦,呈現(xiàn)灰色或者黑色。此時,同為歷史學(xué)者的Sarah-Anne Buckley就會參與進來,手動修正顏色和陰影。
Constance Markievicz是愛爾蘭歷史上比較有名的政治家,他的眼睛到底是什么顏色呢?AI無法判斷。怎么辦?1890年代至1950年代,曾有很多移民前往美國,Constance Markievicz是其中之一,歷史學(xué)家查看紐約埃利斯島留下的乘客紀(jì)錄,斷定眼睛的顏色是藍色。
即使學(xué)者們?nèi)绱藝烂C,還是有很多同行不認可,他們認為像DeOldify這樣的軟件只是帶來誤導(dǎo),不能增強照片效果。Breslin并不認同,他認為自從有攝影以來人們一直就在做同樣的探索,而且即使用AI上色也并不是想取代原照片。
Jordan Lloyd是一名視覺歷史學(xué)家,他為出版商、私人客戶提供服務(wù),給老照片上色,不過不是用計算機上色。雖然AI也能完成同樣的工作,但無法達到Jordan Lloyd的要求。他說:“諾曼底紀(jì)念活動時,我曾發(fā)布一張照片,將登陸D-Day登陸的照片變成彩色。History Channel也曾展示照片,自動著色,雖然是同一張照片,但看起來很糟糕。” DeOldify、DeepAI和Algorithmia能在幾秒內(nèi)將黑白照片變成彩色,Jordan Lloyd卻要花幾十個小時才能處理一張照片。
對于Jordan Lloyd來說AI不足為懼,因為它老是出錯,顏色不準(zhǔn)確。更糟糕的是連計算機專家也不明白AI為何會出錯。DeOldify聯(lián)合創(chuàng)始人Jason Antic指出:“這是一個‘黑盒’,AI從數(shù)據(jù)中抽取任何可能的規(guī)則。”
![]()
DeOldify算是很先進的,它用一百萬張黑白照片訓(xùn)練過,這些黑白照是從彩照轉(zhuǎn)化而來的。盡管如此,DeOldify還是錯誤連連,部分是因為灰度圖缺乏彩色照片獨有的關(guān)鍵數(shù)據(jù)。
前文提到的論文作者,來自加州伯克利大學(xué)研究人員Richard Zhang說:“著色實際上是很有難度的,因為我們要從1D轉(zhuǎn)到3D。”色相,飽和度和亮度決定了我們對彩色的感知,但灰度圖里只有亮度。許多不同的顏色可能有相同的亮度,即使它們在現(xiàn)實中非常不同,在黑白照片中也會呈現(xiàn)出相同的灰度。
為了解決這一問題,計算機專家嘗試用對象識別軟件增強算法。Richard Zhang說:“對于照片的某些部分,我們可以確定顏色是什么。例如,我們知道天空一般是藍色的,蔬菜是綠色的,山一般是褐色的。如果不確定,比如襯衫的顏色,上色系統(tǒng)就只能猜測。”
正因如此,Jason Antic并不認為AI會成為研究歷史的重要工具。他認為,圖片的色彩與時間、地點、環(huán)境都有關(guān),這些AI不太可能知道。
谷歌機器學(xué)習(xí)專家Emil Wallner倒是樂觀一些,他認為最終AI能做到準(zhǔn)確識別。他在郵件中回復(fù)稱:“最難的部分在于開發(fā)一個機器學(xué)習(xí)模型,它能識別圖片中的圖案,它要尋找相關(guān)聯(lián)的歷史信息并推理,看看是否可以利用信息來判斷照片中某物的顏色。”Emil Wallner相信開發(fā)這樣的算法是可能的,只是要提供一些環(huán)境信息給AI。
所以說,用AI給黑白照片上色很有趣,但離完美還很遙遠。
搞明白了上色的原理,那如何讓靜態(tài)照片動起來呢?
說到這里就不得不提到一家名為MyHeritage的公司。
當(dāng)用戶進入MyHeritage網(wǎng)站并上傳照片后,MyHeritage Photo Enhancer會增強照片,然后讓它動起來,動畫中的人物甚至可以微笑、眨眼、移動。

(光錐智能作者用自己的照片測試的結(jié)果)
據(jù)了解,該網(wǎng)站采用的是一種名叫Deep Nostalgia的技術(shù),它能讓靜態(tài)照片中的人移動起來,就像視頻一樣。
有意思的是,這家公司本身是做基因檢測技術(shù)的,但為什么會忽然做起來動態(tài)老照片的活計?
或許MyHeritage創(chuàng)始人、CEO Gilad Japhet能解答,他說:“使用Deep Nostalgia技術(shù),看到珍貴的家族照片活起來,你會發(fā)出驚嘆??吹阶嫦鹊哪樤谝曨l動畫中活起來,你會忍不住遙想當(dāng)年他們在現(xiàn)實中是怎樣的,這樣你與家族歷史就能以新的方式聯(lián)系起來。”
不過遺憾的是,Deep Nostalgia并不是一項開源技術(shù),目前在MyHeritage網(wǎng)站也只能免費試用5張圖片,我們在這里無法深度解答它作用的原理。
但是根據(jù)一些網(wǎng)友的分析,Deep Nostalgia極有可能脫胎于曾經(jīng)在網(wǎng)絡(luò)上風(fēng)靡一時,且最終臭名昭著的深度換臉開源模型:DeepFake。
DeepFake火爆的源頭是有人利用這項技術(shù),將《神奇女俠》女主角蓋爾加朵的臉,換成了某色情片女主角的臉,并上傳到了互聯(lián)網(wǎng)。
當(dāng)時大多數(shù)網(wǎng)友對這項技術(shù)的態(tài)度是:堅決抵制!因為它對于人們的隱私造成了非常大的威脅,甚至后來一度發(fā)生過有人利用DeepFake和AI語音合成偽造政壇高管發(fā)言的案件。
說回DeepFake的技術(shù)原理,整個流程分為三部:數(shù)據(jù)提取、訓(xùn)練、合成。
還是以前面蓋爾加朵的案例講解。可以簡單理解為,模型先從別的視頻、圖像里把蓋爾加朵的臉“摳”出來,據(jù)說這個模型會給人臉標(biāo)記36個關(guān)鍵點坐標(biāo),根據(jù)這些坐標(biāo)能計算人臉的角度,最終摳出來的人臉是擺正后的人臉。
然后再根據(jù)算法,對人臉進行各種角度的變換和扭曲,以適配最終合成的角色的臉,最后融合到目標(biāo)圖像或視頻里。當(dāng)然,這其中還有更復(fù)雜的技術(shù)細節(jié),這里就不再多贅述了。
如果Deep Nostalgia確實脫胎于DeepFake,那么其背后的技術(shù)原理應(yīng)該不會有太大差別,只希望MyHeritage等擁有同樣技術(shù)的公司能夠?qū)⑺迷谡?,不要重蹈DeepFake的覆轍。
今年父親節(jié),一位網(wǎng)友給自己的父親送上了一份特殊的禮物。
他通過百度飛槳PaddleGAN生成對抗網(wǎng)絡(luò)復(fù)原了爺爺?shù)膭討B(tài)老照片,并實現(xiàn)了微笑、眨眼等各種表情,仿佛在與兒子交流,訴說這些年的思念,彌補了父親沒能見到爺爺最后一面的遺憾。
![]()
在國外的社交平臺上,也有網(wǎng)友用類似的技術(shù)修復(fù)已過世的親人的照片,同樣帶來了滿滿的感動。

正如Gilad Japhet所說,當(dāng)我們看到膚色鮮艷、表情生動的革命先烈,或者已故的家族長輩以這樣的方式出現(xiàn)在我們面前時,我們對他們的懷戀會更深一層,與他們的聯(lián)系也仿佛更加緊密了一些。
科技如何向善?或許這是一種正確的打開方式。
參考資料
https://www.digitaltrends.com/features/colorize-bot-twitter/
https://www.usatoday.com/story/tech/2021/02/25/deep-nostalgia-technology-animates-faces-still-photos/6814516002/
https://www.cnn.com/style/article/old-ireland-color-photos-breslin/index.html
https://scienceline.org/2021/01/ai-cant-color-old-photos/
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求,請綁定手機號后發(fā)表評論