利用光學(xué)成像看到事物（來(lái)源：Unsplash）
《圣經(jīng)》舊約·創(chuàng)世紀(jì)篇里面有一句著名的話：神說(shuō)要有光，于是就有了光（Optics）——從光開(kāi)始上帝創(chuàng)造了萬(wàn)有。
光是人類感知世界的信息載體，也是人類的希望。
早在遠(yuǎn)古時(shí)代，古埃及人與美索不達(dá)米亞人第一次將石英晶體磨光制成寧路德透鏡（Nimrud lens），翻開(kāi)了人類光學(xué)成像歷史的第一頁(yè)，距今已3000多年的歷史。
過(guò)去十多年來(lái)，隨著微納加工工藝的快速進(jìn)步、光傳感器（芯片）的多功能化、信息計(jì)算能力提升等新一代技術(shù)的不斷演進(jìn)，一個(gè)新興多學(xué)科交叉技術(shù)“計(jì)算光學(xué)成像”應(yīng)運(yùn)而生，悄無(wú)聲息中顛覆了人類與機(jī)器感知世界的方式。
計(jì)算光學(xué)成像以具體應(yīng)用任務(wù)為準(zhǔn)則，改變傳統(tǒng)光學(xué)成像所見(jiàn)即所得的設(shè)計(jì)理念，通過(guò)多維度獲取或編碼光場(chǎng)信息（如角度、偏振、相位等），為傳感器設(shè)計(jì)遠(yuǎn)超人眼的感知新范式，同時(shí)結(jié)合數(shù)學(xué)和信號(hào)處理知識(shí)，深度挖掘光場(chǎng)信息，在空間分辨率、成像速度、靈敏度、數(shù)據(jù)通量等一系列維度取得了前所未有的突破，廣泛應(yīng)用于手機(jī)智能攝影、汽車自動(dòng)駕駛、生物醫(yī)學(xué)成像、深空探測(cè)、VR/AR等領(lǐng)域。
2014年和2017年諾貝爾化學(xué)獎(jiǎng)中，瑞典皇家科學(xué)院授予了美國(guó)、德國(guó)、瑞士、英國(guó)共六位科學(xué)家，分別表彰他們?yōu)榘l(fā)展超分辨率熒光顯微鏡、冷凍電鏡技術(shù)所作的貢獻(xiàn)，讓人類得以細(xì)窺納米世界。“計(jì)算光學(xué)成像”的理念在其中承擔(dān)著重要作用。
今年1月11日，阿里達(dá)摩院2023十大科技趨勢(shì)發(fā)布，計(jì)算光學(xué)成像、生成式AI（人工智能）、存算一體等技術(shù)成功入選。更早之前的12月下旬，彭博發(fā)布的一篇Opinion文章中提到，計(jì)算光學(xué)成像中的“元光學(xué)”（Meta-Optics）技術(shù)有望在今年引起廣泛關(guān)注，并在未來(lái)十年內(nèi)產(chǎn)生變革。
實(shí)際上，相比其他大眾認(rèn)知性較強(qiáng)的技術(shù)領(lǐng)域，由于計(jì)算光學(xué)成像太專業(yè)化了，因此技術(shù)較“冷門”，很少有媒體關(guān)注到，但卻已經(jīng)在潛移默化中應(yīng)用在幾乎日常生活中涉及光學(xué)的方方面面。而且該技術(shù)對(duì)于人類觸及“見(jiàn)所未見(jiàn)”事物過(guò)程非常重要，大大提升了信息獲取能力，突破傳統(tǒng)光學(xué)成像極限，帶來(lái)很多更具創(chuàng)造力和想象力的應(yīng)用，促進(jìn)了基礎(chǔ)學(xué)科和應(yīng)用學(xué)科發(fā)展，有望進(jìn)一步顛覆傳統(tǒng)成像體系。
1月中旬，2022第五屆“達(dá)摩院青橙獎(jiǎng)”獲得者、清華大學(xué)自動(dòng)化系助理教授吳嘉敏接受了鈦媒體App的獨(dú)家專訪。作為達(dá)摩院十大科技趨勢(shì)項(xiàng)目特邀專家，吳嘉敏非常詳盡地向我們介紹和闡述“計(jì)算光學(xué)成像”為何會(huì)成為2023年趨勢(shì)性技術(shù)，以及該技術(shù)未來(lái)將如何推動(dòng)技術(shù)發(fā)展與變革。
2022年7月11日，在長(zhǎng)達(dá)20年的開(kāi)發(fā)、100億美元的高昂投入和150萬(wàn)公里的太空艱險(xiǎn)旅行之后，美國(guó)宇航局（NASA）發(fā)布了旗下詹姆斯·韋伯太空望遠(yuǎn)鏡（JWST）拍攝到的非常珍貴的第一張全彩圖像，展示了從地球上看到的一些最遙遠(yuǎn)星系的深空區(qū)，凸顯了JWST驚人的觀測(cè)能力。
這一事件入選了2022《Science》（科學(xué)）雜志年度十大科學(xué)突破。
詹姆斯·韋伯太空望遠(yuǎn)鏡在各個(gè)方面幾乎都達(dá)到了人類在傳統(tǒng)光學(xué)工藝上的極限，“計(jì)算光學(xué)成像”技術(shù)有望在未來(lái)帶來(lái)新的突破，拓展人類對(duì)宇宙的認(rèn)知邊界，同時(shí)極大地降低成本。
光學(xué)成像系統(tǒng)主要由光源、光學(xué)鏡頭組、光探測(cè)器三部分組成。其中，傳統(tǒng)光學(xué)成像建立在幾何光學(xué)基礎(chǔ)上，利用光學(xué)鏡頭將三維場(chǎng)景目標(biāo)發(fā)出或者透/反/散射的光線聚焦在表面上，探測(cè)器像素和樣品之間通過(guò)建立一種直接的一一對(duì)應(yīng)關(guān)系來(lái)獲取圖像，圖像的強(qiáng)度由光探測(cè)器離散采集，并經(jīng)過(guò)圖像處理器計(jì)算處理后形成可顯示的圖像。
不過(guò)，傳統(tǒng)光學(xué)成像這類基于人類視網(wǎng)膜“所見(jiàn)即所得”的技術(shù)原理，忽略了諸多光本身的高維信息，導(dǎo)致其受強(qiáng)度成像機(jī)理、探測(cè)器技術(shù)水平、光學(xué)系統(tǒng)設(shè)計(jì)、成像衍射極限等等因素的限制，以及單視角、相位丟失、光譜積分、二維平面成像等因素的制約。
此外，當(dāng)前傳統(tǒng)光學(xué)成像在硬件功能、成像性能方面接近物理極限，在眾多領(lǐng)域已無(wú)法滿足應(yīng)用需求。例如，在手機(jī)攝影領(lǐng)域，無(wú)法在保證成像效果的同時(shí)縮小器件重量和體積，出現(xiàn)令人詬病的“前劉海”和“后浴霸”的情況；在顯微成像領(lǐng)域，無(wú)法同時(shí)滿足寬視場(chǎng)和高分辨率的需求；在監(jiān)控遙感領(lǐng)域，難以在光線較暗、能見(jiàn)度較低、距離極遠(yuǎn)的復(fù)雜環(huán)境中獲得清晰圖像等。
那么，突破“所見(jiàn)即所得”的一一映射，到對(duì)高維光場(chǎng)的耦合編碼與計(jì)算重構(gòu)，克服常規(guī)成像的局限性，以更低的成本獲得更多更高質(zhì)量的高維信息（諸如深度、光譜、偏振等等），是計(jì)算光學(xué)成像——“借你一雙慧眼”能夠出現(xiàn)的重要原因。
1873年，德國(guó)科學(xué)家恩斯特·阿貝(Ernst Abbe)提出了基于波動(dòng)光學(xué)的衍射極限。即光學(xué)系統(tǒng)的分辨率存在上限。在很長(zhǎng)一段時(shí)間里，衍射極限限制了高分辨率成像。隨后，多位科學(xué)家利用計(jì)算成像技術(shù)，巧妙地通過(guò)波前編碼技術(shù)或時(shí)域稀疏特性，繞過(guò)了光學(xué)衍射極限，實(shí)現(xiàn)了在活細(xì)胞內(nèi)的納米級(jí)觀測(cè)，并獲得了2014年的諾貝爾化學(xué)獎(jiǎng)。
2016年，基于超表面的概念，哈佛大學(xué)的科學(xué)家Federico Capasso研制了首個(gè)在可見(jiàn)光范圍內(nèi)有效聚焦的超透鏡（Metalens），開(kāi)辟了平面光學(xué)（Flat Optics）領(lǐng)域，能夠?qū)崿F(xiàn)對(duì)復(fù)雜光場(chǎng)的超精細(xì)調(diào)制，有望極大地縮小成像系統(tǒng)的尺寸與成本。
2022年10月，英國(guó)《自然》雜志發(fā)表了吳嘉敏助理教授擔(dān)任第一作者的研究成果，研究團(tuán)隊(duì)提出了一種集成式的掃描光場(chǎng)成像傳感器，稱為元成像傳感器，進(jìn)一步發(fā)展了數(shù)字自適應(yīng)光學(xué)架構(gòu)，無(wú)需額外的硬件修改即可實(shí)現(xiàn)適用于通用應(yīng)用的高速像差校正三維攝影。
這些研究成果背后，是計(jì)算光學(xué)成像技術(shù)帶來(lái)的巨大應(yīng)用實(shí)踐。
吳嘉敏對(duì)鈦媒體App表示，相比傳統(tǒng)光學(xué)成像，計(jì)算光學(xué)成像是將數(shù)字化、信息化深度融合在光學(xué)設(shè)計(jì)里面，軟硬件一體化，通過(guò)計(jì)算為光學(xué)成像注入了新的“生命”。
“從理念上來(lái)說(shuō)，傳統(tǒng)光學(xué)成像最核心的設(shè)計(jì)理念是‘人眼在設(shè)計(jì)’，我們把Sensor（傳感器）當(dāng)作人眼來(lái)設(shè)計(jì)的光學(xué)系統(tǒng)。而計(jì)算光學(xué)最重要、最核心的是改變了這樣一個(gè)設(shè)計(jì)，是讓機(jī)器更好地感知這個(gè)世界；從原理上來(lái)說(shuō)，把數(shù)字化融入到光學(xué)成像過(guò)程當(dāng)中，在感知成像的過(guò)程中就開(kāi)始進(jìn)行計(jì)算編碼，數(shù)字化建模整個(gè)成像過(guò)程，在光電轉(zhuǎn)換以后再通過(guò)計(jì)算重構(gòu)恢復(fù)想要獲得的高維信息，甚至可以選擇去完成特定的智能任務(wù)，比如圖像分類，人臉識(shí)別。把計(jì)算與成像過(guò)程完全融合在一起。”吳嘉敏表示，計(jì)算光學(xué)成像的核心作用，是能夠解決很多普通光學(xué)無(wú)法處理的瓶頸和難題。
由于計(jì)算光學(xué)成像研究?jī)?nèi)容覆蓋范圍廣，包括無(wú)透鏡成像 （FlatCam）、元光學(xué)成像等，目前還沒(méi)有一個(gè)比較明確的分類方法。按照計(jì)算成像技術(shù)所解決的應(yīng)用問(wèn)題來(lái)分類，可以大致分為以下三類：
對(duì)于元光學(xué)技術(shù)，吳嘉敏進(jìn)一步解釋稱，元光學(xué)技術(shù)起初是材料科學(xué)概念，作用是減少、減薄光學(xué)成像系統(tǒng)。通過(guò)一些非常極小的微納光學(xué)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)高維光場(chǎng)的超精細(xì)調(diào)控，從而實(shí)現(xiàn)最終需要的成像結(jié)果。
他舉了一個(gè)例子。元光學(xué)與深度學(xué)習(xí)技術(shù)的融合可以實(shí)現(xiàn)超薄甚至小于1mm的成像鏡頭，或者在一些AR/VR（虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)）設(shè)備上，利用元光學(xué)技術(shù)可以對(duì)不同偏振光進(jìn)行不同調(diào)控，進(jìn)而實(shí)現(xiàn)裸眼三維顯示等。
吳嘉敏認(rèn)為，很多時(shí)候我們其實(shí)感知不到計(jì)算光學(xué)成像技術(shù)在外觀上的改變，更多時(shí)候這項(xiàng)技術(shù)其實(shí)已經(jīng)集成在現(xiàn)有的設(shè)備，潤(rùn)物細(xì)無(wú)聲地融入到我們?nèi)粘Ｉ钪械姆椒矫婷妗?/p>
“其實(shí)光是我們的手機(jī)上，就已經(jīng)有大量的技術(shù)背后都已經(jīng)用到了計(jì)算成像的許多方法，比如高性能的手機(jī)攝影，弱光成像，大變焦范圍，以及支付級(jí)別的高精度人臉識(shí)別等等。”吳嘉敏對(duì)鈦媒體App表示。
不過(guò)，當(dāng)前計(jì)算光學(xué)成像技術(shù)仍需克服諸多挑戰(zhàn)：首先，需以任務(wù)為導(dǎo)向重新設(shè)計(jì)多樣化的光學(xué)系統(tǒng)，計(jì)算光學(xué)其實(shí)讓我們多了大量的可能性，未來(lái)大家可能會(huì)見(jiàn)到各種各樣稀奇古怪的成像設(shè)備；其次，為了實(shí)現(xiàn)對(duì)大規(guī)模的量產(chǎn)，需要研發(fā)更穩(wěn)定更低成本的微納加工工藝；最后，計(jì)算成像對(duì)算力要求非常高，大規(guī)模計(jì)算重構(gòu)是計(jì)算成像發(fā)展的必然趨勢(shì)。
從無(wú)人系統(tǒng)手機(jī)攝影，到工業(yè)檢測(cè)安防監(jiān)控，甚至顯微觀測(cè)天文遙感，計(jì)算光學(xué)成像將融入到人們生活的方方面面，具有廣泛的應(yīng)用價(jià)值。
吳嘉敏表示，計(jì)算光學(xué)成像是一個(gè)光學(xué)、信息科學(xué)、計(jì)算科學(xué)、微納加工等多學(xué)科交叉的技術(shù)，使其在功能、性能、可靠性、可維護(hù)性等方面獲得顯著提高，有助于實(shí)現(xiàn)光學(xué)成像設(shè)備的高性能、微型化、智能化，更直接地以工業(yè)規(guī)模生產(chǎn)為產(chǎn)品提供視覺(jué)技術(shù)。
盡管該技術(shù)非常重要與專業(yè)，但整個(gè)計(jì)算成像相關(guān)產(chǎn)業(yè)仍處于發(fā)展早期，正在慢慢地從學(xué)術(shù)界進(jìn)入產(chǎn)業(yè)界的大規(guī)模應(yīng)用，許多最具價(jià)值潛力的技術(shù)大部分都是院校、科研機(jī)構(gòu)、以及蘋果、谷歌等科技巨頭完成的。
根據(jù)“3D視覺(jué)第一股”奧比中光股份（688322.SH）發(fā)布的招股書顯示，截至2021年12月30日，全球已掌握核心技術(shù)并實(shí)現(xiàn)百萬(wàn)級(jí)面陣3D視覺(jué)傳感器量產(chǎn)的企業(yè)僅有蘋果、微軟、索尼、英特爾、華為、三星和奧比中光等極少數(shù)企業(yè)。但同時(shí)，奧比中光2022年前9個(gè)月?tīng)I(yíng)收僅2.45億元，同比下降21.17%，扣非后凈虧損達(dá)2.43億元。
不過(guò)，計(jì)算光學(xué)成像技術(shù)與AI、腦科學(xué)、VR/AR設(shè)備等其他產(chǎn)業(yè)結(jié)合，可能會(huì)爆發(fā)出很大的商業(yè)潛力。據(jù)多家媒體報(bào)道，美國(guó)科技巨頭蘋果公司計(jì)劃發(fā)布首款自研AR頭戴式設(shè)備，預(yù)計(jì)會(huì)引爆新一輪產(chǎn)業(yè)熱點(diǎn)。
對(duì)于VR/AR與計(jì)算成像的結(jié)合，吳嘉敏對(duì)鈦媒體App表示，AR技術(shù)背后的全息感知同樣非常重要，因此內(nèi)部包括了大量的計(jì)算光學(xué)成像技術(shù)應(yīng)用，希望以此實(shí)現(xiàn)精準(zhǔn)、可靠的光線追蹤與全息交互，讓消費(fèi)者戴上AR設(shè)備時(shí)，能真正做到身臨其境。
對(duì)于儀器科學(xué)與計(jì)算成像的結(jié)合，吳嘉敏表示，很多先進(jìn)的光學(xué)成像技術(shù)都會(huì)首先應(yīng)用在先進(jìn)儀器中推動(dòng)基礎(chǔ)科學(xué)研究，腦科學(xué)就是一個(gè)非常典型的例子，在各國(guó)腦計(jì)劃的推動(dòng)下，過(guò)去十年間神經(jīng)光子學(xué)高速發(fā)展。而計(jì)算光學(xué)成像技術(shù)在其中的重要作用，是幫助人類更好的探索大腦內(nèi)部的精細(xì)活動(dòng)。“例如我看到一張圖像，我今天跟你說(shuō)話，我說(shuō)的每一句話，大腦里面的神經(jīng)元是怎么編碼的，這些是我們研究的重點(diǎn)之一。”
事實(shí)上，吳嘉敏還有另外一個(gè)身份，就是擔(dān)任清華大學(xué)-IDG/麥戈文腦科學(xué)研究院的研究員，其所在團(tuán)隊(duì)主要研究計(jì)算成像技術(shù)在腦科學(xué)的技術(shù)轉(zhuǎn)化，尤其是開(kāi)發(fā)活體介觀顯微成像實(shí)現(xiàn)在哺乳動(dòng)物上大規(guī)模高精度的神經(jīng)記錄，探究大腦的神經(jīng)編碼機(jī)制與許多腦疾病機(jī)理等。
而推動(dòng)產(chǎn)業(yè)化發(fā)展，對(duì)于計(jì)算光學(xué)成像技術(shù)來(lái)說(shuō)至關(guān)重要。
吳嘉敏提到，目前國(guó)內(nèi)正在同步推進(jìn)在計(jì)算成像領(lǐng)域的產(chǎn)業(yè)化發(fā)展，包括儀器的產(chǎn)業(yè)化、以及在安防、工業(yè)檢測(cè)、機(jī)器人等領(lǐng)域的應(yīng)用，以及在算力需求下做藥物篩選、醫(yī)療診斷的高通量成像觀測(cè)等等。
“做儀器方面的產(chǎn)業(yè)化，一方面是能夠顯著降低系統(tǒng)成本，提升系統(tǒng)魯棒性，另外一方面能夠突破傳統(tǒng)儀器的局限，在性能上實(shí)現(xiàn)數(shù)量級(jí)的提升，這些都可以通過(guò)計(jì)算光學(xué)成像方法實(shí)現(xiàn)。”吳嘉敏對(duì)鈦媒體App表示。
從光學(xué)成像系統(tǒng)的組成架構(gòu)與總的發(fā)展趨勢(shì)來(lái)看，光電探測(cè)器、信號(hào)處理技術(shù)與新型計(jì)算光學(xué)成像理論與方法已經(jīng)逐漸呈現(xiàn)出多點(diǎn)突破蓄勢(shì)待發(fā)的生動(dòng)景象，有望對(duì)未來(lái)精密光學(xué)儀器的底層機(jī)理與構(gòu)架形態(tài)產(chǎn)生重大影響，最終催生高端精密光學(xué)儀器顛覆性和換代性的重大產(chǎn)業(yè)變革。
達(dá)摩院十大科技趨勢(shì)預(yù)測(cè)中指出，未來(lái)，計(jì)算光學(xué)成像將進(jìn)一步顛覆傳統(tǒng)成像體系，帶來(lái)更具創(chuàng)造力和想象力的應(yīng)用，在移動(dòng)終端、無(wú)人系統(tǒng)、工業(yè)檢測(cè)、天文遙感、顯微儀器、醫(yī)療檢測(cè)等領(lǐng)域具有廣泛的應(yīng)用價(jià)值。（本文首發(fā)鈦媒體App，作者｜林志佳）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論
中國(guó)科技啊
由于計(jì)算光學(xué)成像太專業(yè)化了，因此技術(shù)較“冷門”，很少有媒體關(guān)注到，但卻已經(jīng)在潛移默化中應(yīng)用在幾乎日常生活中涉及光學(xué)的方方面面。而且該技術(shù)對(duì)于人類觸及“見(jiàn)所未見(jiàn)”事物過(guò)程非常重要，大大提升了信息獲取能力，突破傳統(tǒng)光學(xué)成像極限，帶來(lái)很多更具創(chuàng)造力和想象力的應(yīng)用，會(huì)進(jìn)一步顛覆傳統(tǒng)成像體系。
大有可為,拭目以待