圖片來源@視覺中國
想象一下這樣的場景，對動物大聲喊叫，然后就能從回音中分辨出它是狗還是馬。也許你會以為這樣的事情離我們很遙遠，但是一個科學團隊已經(jīng)完成了這種攝影效果。
近期發(fā)表在 Optica 期刊上的一篇新論文中，英國、意大利和荷蘭的研究人員描述了一種全新的制作動畫 3D 圖像的方法：通過捕捉光子的時間信息，而不是其空間坐標。
研究人員通過調(diào)整光線反射到一個探測器上的時間，來提取出一個場景的三維圖像，這項被稱為時間成像的新技術(shù)展示了一種機器學習的重要用途。
時間成像系統(tǒng)比普通成像具有一定的優(yōu)勢。例如，新系統(tǒng)取像會非?？欤赡芤悦棵?1000 幀的速度工作；而且這種粗略而快速的 3D 成像可能具有多種應(yīng)用，如用作自動駕駛汽車的攝像頭，以提高尋路的準確性和應(yīng)急速度，以及用于移動設(shè)備和健康監(jiān)視器發(fā)展 360° 感知能力；最重要的是，這種收集時間數(shù)據(jù)的單點探測器體積小、重量輕且價格便宜。
單像素成像
照片和視頻通常是通過使用數(shù)字傳感器捕獲光子（光的組成部分）來制作的，即環(huán)境光會反射物體，鏡頭將它聚焦在由微小的光敏元件或像素組成的屏幕上。圖像是由反射光產(chǎn)生的亮斑和暗斑形成的圖案。
以最普通的數(shù)碼相機為例，它由數(shù)百像素組成，這些像素通過檢測光在每個空間點的強度和顏色來形成圖像。
同時，可以通過在物體周圍放置若干個攝像機，并從多個角度對物體進行拍攝，或者利用光子流掃描物體，并在三維中重建它來生成 3D 圖像。但無論使用何種方式，圖像都是通過收集場景的空間信息來構(gòu)建的。
近幾十年來，研究人員發(fā)明了一種更巧妙的方法，僅利用單個像素探測器即可捕捉到圖像。為了做到這一點，他們不是把物體暴露在均勻的光照下，而是暴露在不同的光照模式下，這些閃光類似于包裝上的方形條形碼。
每個圖案都會反射出物體的不同部分，因此像素測量的光強度會隨圖案的變化而變化。通過跟蹤這些變化，研究人員可以重建物體的圖像。
人工智能驅(qū)動的新型相機
現(xiàn)如今，格拉斯哥大學的數(shù)據(jù)科學家 Alex Turpin 和物理學家 Daniele Faccio 及他們的同事，發(fā)明了一種方法來生成具有單個像素但是沒有圖案化閃光的 3D 圖像。他們利用閃電般快速的單光子探測器，以均勻的閃光照亮了一個場景，并簡單地測量了反射時間。
探測器的精度為四分之一納秒，可以計算出到達的光子數(shù)量與時間的函數(shù)關(guān)系，研究人員僅憑這些信息即可重建場
這是一種新奇的方法，因為原則上場景中物體的排列和時間信息之間沒有一一對應(yīng)的關(guān)系。例如，從探測器 3 米遠的任何表面反射的光子，無論朝向表面的任意方向，都將在 10 納秒內(nèi)到達。
而所謂的飛行時間相機可以增加深度，通過精確計算從物體反射到不同像素的閃光時間來制作 3D 圖像。
新型的 3D 成像設(shè)備從一個簡單、廉價的單點檢測器開始，這種探測器被調(diào)整為充當光子的秒表。與測量顏色和強度空間分布的相機不同，探測器僅記錄由瞬間激光脈沖產(chǎn)生的光子從任意給定場景中的每個物體反彈并到達傳感器所需的時間。物體距離越遠，每個反射光子到達傳感器所需的時間就越長。
有關(guān)場景中反射的每個光子的時間信息（研究人員稱為時間數(shù)據(jù)）都收集在一個非常簡單的圖表中。
然后，借助復雜的神經(jīng)網(wǎng)絡(luò)算法將這些圖轉(zhuǎn)換為 3D 圖像。研究人員對算法進行了訓練，向它展示了團隊在實驗室中移動和攜帶物體的數(shù)千張常規(guī)照片，以及同時由單點檢測器捕獲的時間數(shù)據(jù)。同時，他們還使用了一個非飛行時間的攝影機來拍攝場景的真實 3D 圖像。
最終，這種神經(jīng)網(wǎng)絡(luò)已經(jīng)足夠了解時間數(shù)據(jù)與照片的對應(yīng)關(guān)系，從而僅憑時間數(shù)據(jù)就可以創(chuàng)建高度準確的圖像。它與飛行時間相機相比，時間圖像模糊且缺乏細節(jié)。然而，卻清楚地揭示了人們的形態(tài)。
新型成像系統(tǒng)或?qū)⒁l(fā)相機革命
加州大學伯克利分校的計算機科學家兼電氣工程師 Laura Waller 表示：“乍一看，這種模棱兩可的方法似乎使問題無法解決。單像素成像，當我第一次聽到這個概念時，我想，這應(yīng)該行得通。但仔細一想，這應(yīng)該不起作用。”
格拉斯哥大學計算科學學院數(shù)據(jù)科學研究員 Alex Turpin 博士說：“如果我們只考慮空間信息，而單點探測器沒有空間信息，所以單像素成像是不可能的。然而，這樣的探測器仍然可以提供有價值的時間信息。與傳統(tǒng)圖像制作不同的是，我們的方法能夠完全將光與過程分離。”
而且為了能實現(xiàn)這一目的，Alex Turpin及其同事采用了一種稱為神經(jīng)網(wǎng)絡(luò)的機器學習程序，在使用數(shù)據(jù)集訓練神經(jīng)網(wǎng)絡(luò)后，該程序能夠自行對場景中移動的人進行成像。
與傳統(tǒng)的攝像機不同的是，收集時間數(shù)據(jù)的單點探測器體積小、重量輕且價格便宜，這意味著它們可以輕松地添加到現(xiàn)有系統(tǒng)中，例如被用作自動駕駛汽車的攝像頭，以提高尋路的準確性和剎車反應(yīng)速度。
另外，它們可以增強移動設(shè)備中現(xiàn)有的傳感器，例如 Google Pixel 4，該傳感器已經(jīng)具有基于雷達技術(shù)的簡單手勢識別系統(tǒng)，甚至可以用下一代技術(shù)來監(jiān)視醫(yī)院患者胸腔的上升和下降，提醒著患者的呼吸變化或跟蹤運動，從而用符合數(shù)據(jù)安全的方式了來確保他們的安全。
Alex Turpin 博士補充說：“我們對自己開發(fā)的系統(tǒng)的潛力感到非常興奮，我們期待著繼續(xù)挖掘其潛力。我們的下一步目標是開發(fā)一個獨立的、便攜式的即裝即用系統(tǒng)，我們迫切希望開始研究我們的選擇，并通過商業(yè)合作伙伴的幫助進一步開展研究。”
