一夜之間，機器夜間識別的難題就被攻克了！

一篇AI與熱物理學結合幫助機器在夜間成像的文章登上了Nature的封面。

(資料圖)

文章的一作是畢業(yè)于浙江大學的Fanglin Bao，現(xiàn)在為普度大學研究員。

作者甚至認為，這項技術能夠加速第四次工業(yè)革命的進程！

這項名為HADAR的技術，由來自普度大學和密歇根州立大學的研究人員研發(fā)而出。

讓機器能像白天一樣識別周圍的環(huán)境，完成測距等一系列任務，對于自動駕駛等行業(yè)來說是革命性的突破。

長久以來，機器夜視很難做到像日天那樣清晰。

對于夜間機器感知問題的處理，最先進的辦法是利用熱成像技術來重現(xiàn)環(huán)境。

但是夜視攝像機成像一般是單色的，而使用熱成像技術拍攝，則會因為捕捉到太多不必要的熱信號，導致成像時出現(xiàn)許多「噪音」，導致物體「重影」。

具體來說，因為物體和環(huán)境不斷發(fā)射和散射熱輻射，場景的物理屬性，即溫度（T，物理狀態(tài)）、發(fā)射率（e，材料指紋）和紋理（X，表面幾何形狀）混合在光子流中而無法被清晰的識別。

這就是熱成像結果中缺乏紋理相關的重影效應「Ghost Effect」的來源。

以一個燈泡為例，人眼只有當燈泡關閉時才能看到燈泡表面的幾何紋理。

因為當燈泡打開時，反射所呈現(xiàn)的紋理在直接發(fā)射的光線中會完全消失，這是我們日常經(jīng)驗中熟悉的場景。

研究團隊首先提出了一種被稱為「TeX分解」和「TeX視覺」的基礎技術來解決重影效應。

該方法能有效地從雜亂的熱信號中恢復紋理。

再訓練算法來識別已知材料（如玻璃、木材或織物）的獨特發(fā)射光譜。

通過識別場景中的這些已知特征，該算法可以表征它觀察到的對象。

然后，剩下的任務就是處理環(huán)境信號和「噪音」，不讓它們從目標物體上反射并進入相機。

再通過逆向工程來評估噪聲信號如何反射和散射，這個算法就可以填充有關每個對象紋理的信息，從而為圖像提供更高水平的細節(jié)。

具體的過程如下圖所示。

完成的效果和現(xiàn)有的熱能視覺解決方案一對比，不知道高到哪里去了。

在TeX技術的基礎上，研究人員進一步研發(fā)出了熱輔助檢測和測距（HADAR）技術，基本上攻克了機器夜間識別的問題。

簡單來說，TeX技術主要是解決成像的問題，而HADAR是一個識別系統(tǒng)，在TeX優(yōu)秀成像的基礎上更精確地完成復雜的識別，測距等任務。

HADAR是一種機器感知范式的徹底轉變， 它與之前的主動發(fā)出雷達、激光的成像手段不同。

它不主動發(fā)出任何信號，只接受來自環(huán)境中的熱信號。

大氣透射窗口（Atmospherical transmittance window）和場景溫度決定了HADAR的工作波長。

研究人員表示，HADAR可能代表了未來機器視覺技術的重要方向和特征。

因為隨著自動駕駛、無人機之類技術的發(fā)展，來自不同機器的信號可能會越來越多地相互干擾，而HADAR能夠非常好地解決這些問題。

此外，HADAR將熱光子流作為輸入，記錄高光譜熱立方體圖像，通過TeX分解處理重影，并生成TeX視覺以實現(xiàn)改進的檢測和測距。

研究團隊也在論文中分享了他們搭建的兩個原型系統(tǒng)作為實例：

第一個原型系統(tǒng)

低端HADAR原型基于商用FLIR熱成像相機，并配備了定制設計的光譜模塊（見下圖）。

他們在夜晚的戶外場景中放置了一輛汽車、一個人和一個愛因斯坦剪影（模擬一個幾何形狀的人），來說明HADAR如何解決幻影制動問題。

上圖顯示，RGB光學成像（a）和稀疏的LiDAR點云（c；Velodyne Puck VLP-16）都無法區(qū)分真實尺寸的愛因斯坦卡板。

此外，由于汽車反射率低，LiDAR難以檢測黑色汽車，而光學相機在黑暗中無法看到物體。

HADAR在相應的材料區(qū)域（皮膚-織物）檢測到人體，并清楚地將其與紙板區(qū)分開來，克服了幻影制動問題。

更多關于HADAR檢測和語義的詳細信息，見下圖。

HADAR利用物理背景進行真實世界感知的優(yōu)勢將在自主導航和野生動物監(jiān)測中得到充分利用。

因為除了視覺外，還需要識別多種物理屬性，以確保安全性或者用于科學研究的有效性。

第二個原型系統(tǒng)

研究人員的高端應用HADAR原型基于一臺推掃式高光譜成像儀。

他們使用越野場景來展示TeX視覺如何通過物理背景看到紋理，并且HADAR在夜晚的測距性能優(yōu)于熱測距技術，其準確度可與白天的RGB立體視覺相媲美。

下圖展示了在夜晚的真實TeX視覺，包括材料識別和紋理恢復。

下圖顯示了夜晚TeX視覺、夜晚熱視覺和白天RGB視覺的立體視覺度量統(tǒng)計。

下圖b中基于RGB深度度量標準化的度量比較清楚地表明，HADAR夜晚測距技術優(yōu)于熱測距技術，并與白天RGB立體視覺相匹配，可簡寫為「TeX_night > RGB_day > IR_night」。

有關通用HADAR測距技術，見下圖。

而業(yè)界對這個研究持非常樂觀的態(tài)度：

HADAR能夠確定場景中物體的組成，如果它能與傳統(tǒng)成像技術結合，那么，不論白天黑夜，它都可以為我們提供更多關于場景的獨特信息。

但要指出的是，這個研究目前僅在靜止的圖像上進行，需要進一步提升收集測量值速度，以及處理運動模糊問題。

想要將這個研究應用在現(xiàn)實中，還有很多挑戰(zhàn)。

Fanglin Bao

Fanglin Bao博士2011年6月在浙江大學獲得物理學學士學位，并于2016年6月在浙江大學獲得光學博士學位。目前研究的是張量網(wǎng)絡、神經(jīng)網(wǎng)絡及其在量子物理中的應用。

Xueji Wang

Xueji Wang 就讀于美國普渡大學電氣與計算機工程學院，研究方向為熱輻射、光偏振表面態(tài)等，并在CLEO會議上發(fā)表了兩篇文章。

LipingYang

Liping Yang是地理信息科學（GIScience）和地理空間人工智能（GeoAI）助理教授。現(xiàn)專注于技術圖表圖像分析的計算機視覺和機器學習算法開發(fā)。

關鍵詞：