汽車實(shí)現(xiàn)自動(dòng)駕駛首先需要能夠“看見”周圍環(huán)境，并對(duì)環(huán)境內(nèi)的各種靜態(tài)、動(dòng)態(tài)物體有一定的認(rèn)知，這個(gè)過程便是自動(dòng)駕駛的“感知”，感知需要依賴安裝在車體上的各種傳感器實(shí)現(xiàn)，例如攝像頭、激光雷達(dá)、毫米波雷達(dá)等等。

(資料圖片)

目前主流的感知方案有兩種，一種是以Waymo為代表的多傳感器融合方案，即同時(shí)使用攝像頭和雷達(dá)采集信息，分別利用攝像頭和雷達(dá)特點(diǎn)，處理各自擅長(zhǎng)的數(shù)據(jù)類型和任務(wù)，并將處理結(jié)果進(jìn)行融合得到統(tǒng)一的感知結(jié)果；一種是以Tesla為代表的純視覺路線，即僅使用攝像頭作為傳感器進(jìn)行信息采集，構(gòu)建純計(jì)算機(jī)視覺網(wǎng)絡(luò)進(jìn)行感知結(jié)果輸出，類似于人眼的感知模式。

先來看下這幾種不同傳感器的能力特性：

（1）激光雷達(dá)：主動(dòng)傳感器，通過發(fā)射紅外激光并接收反射光的方式判斷物體距離，視距范圍一般在30～200米，對(duì)于特別近的物體很難探測(cè)到，空間分辨率較高（角度精度可達(dá)0.1度），速度測(cè)量精度較低，在黑暗中魯棒性好，但在雨、雪、霧天氣下魯棒性差，能對(duì)物體進(jìn)行大致分類，但無法識(shí)別如車道線、交通標(biāo)識(shí)等二維結(jié)構(gòu)。

（2）毫米波雷達(dá)：主動(dòng)傳感器，與激光雷達(dá)工作原理類似，區(qū)別是使用無線電波而不是激光，視距范圍比激光雷達(dá)更大，尤其是對(duì)近距離物體的探測(cè)，毫米波雷達(dá)可以實(shí)現(xiàn)在1米范圍內(nèi)探測(cè)到物體，但毫米波雷達(dá)的空間分辨率較低，隨著距離增加，對(duì)于小特征的分辨能力降低，不過毫米波雷達(dá)利用多普勒頻移可以直接測(cè)量速度，同時(shí)在黑暗、雨、雪、霧天氣下均能保持良好的魯棒性，此外，毫米波雷達(dá)對(duì)物體的分類性能較差，同樣也無法識(shí)別二維結(jié)構(gòu)。

（3）攝像頭：被動(dòng)傳感器，通過被動(dòng)感光成像來進(jìn)行識(shí)別感知，理論上單攝像頭無法準(zhǔn)確識(shí)別物體距離，立體攝像頭可以測(cè)量距離，但范圍有限，不過實(shí)際上特斯拉通過識(shí)別算法已經(jīng)逐步實(shí)現(xiàn)了僅通過攝像頭測(cè)量物體深度，空間分辨率取決于攝像機(jī)的參數(shù)，在分辨維度上多于激光雷達(dá)和毫米波雷達(dá)，可以同時(shí)識(shí)別到物體顏色等信息，通過物體在圖像上時(shí)空信息可以計(jì)算速度，同時(shí)對(duì)物體的分類多樣性更強(qiáng)，且能夠識(shí)別車道線等二維結(jié)構(gòu)，但是攝像頭目前在黑暗、雨、雪、霧等惡劣環(huán)境條件下的魯棒性很差。

總體來說，激光雷達(dá)看得遠(yuǎn)看得清，但看不見近處，是個(gè)遠(yuǎn)視眼，擁有夜視能力，但對(duì)惡劣天氣無能為力，同時(shí)只能看見三維結(jié)構(gòu)，看不見二維平面結(jié)構(gòu)；毫米波雷達(dá)是能看遠(yuǎn)也能看近，但越遠(yuǎn)越看不清楚，是個(gè)近視眼，不僅擁有夜視能力，且擁有惡劣天氣條件下能看見的超能力，不過同樣看不見二維平面結(jié)構(gòu)；而攝像頭僅憑自身能力很難準(zhǔn)確判斷距離，但有算法加持，可以發(fā)展出這項(xiàng)能力，且攝像頭能看見更多的信息，包括車道線等二維結(jié)構(gòu)、物體分類、顏色等，是個(gè)超級(jí)眼，但在光線不佳、有雨雪霧等惡劣環(huán)境下，能力存在短板。

鑒于以上各傳感器的特性，目前多傳感器融合路線的思路是各取所長(zhǎng)，通過激光雷達(dá)在各種光照條件下探測(cè)距離并完成物體形狀分類，通過毫米波雷達(dá)探測(cè)附近物體距離并保障自動(dòng)駕駛感知在惡劣天氣條件下的魯棒性，通過攝像頭識(shí)別物體細(xì)致分類及車道線、交通標(biāo)識(shí)、信號(hào)燈等參與交通必須掌握的信息。

一般是通過“后融合”方式將不同傳感器的感知結(jié)果進(jìn)行融合，即每個(gè)傳感器各自獨(dú)立處理生成目標(biāo)數(shù)據(jù)，當(dāng)所有傳感器完成目標(biāo)數(shù)據(jù)生成后，再由主處理進(jìn)行融合。

而純視覺路線僅使用攝像頭作為感知傳感器，其思路是縱深發(fā)展，通過攝像頭采集到更多層次的數(shù)據(jù)信息，并通過持續(xù)進(jìn)步的強(qiáng)大算法，從數(shù)據(jù)中挖掘到需要的結(jié)果。

下面我們分別從工程成本、技術(shù)復(fù)雜度、發(fā)展?jié)摿θ齻€(gè)維度來對(duì)比下這兩條感知路線。

工程成本

相比于激光雷達(dá)和毫米波雷達(dá)，攝像頭的成本是最低的，單目相機(jī)的價(jià)格一般低于100美元，而激光雷達(dá)的價(jià)格現(xiàn)在大約在5000美元以內(nèi)，有專家預(yù)測(cè)未來幾年隨著激光雷達(dá)的普及，成本會(huì)降至500美元以下，但也仍然高于攝像頭的成本，因此純視覺方案的系統(tǒng)成本是要遠(yuǎn)低于多傳感器融合方案的。

技術(shù)復(fù)雜度

多傳感器融合方案的復(fù)雜度主要體現(xiàn)在“融合”層面，由于不同傳感器特性不同，所采集的數(shù)據(jù)類型也有很大差異，無論是前融合還是后融合的思路，都需要將不同模態(tài)的數(shù)據(jù)統(tǒng)一映射到同一個(gè)專門為融合設(shè)計(jì)的時(shí)空平面，這里面需要考慮融合錯(cuò)位、信息丟失等問題，同時(shí)還需要解決當(dāng)不同傳感器感知結(jié)果不同時(shí)，應(yīng)該選擇信任誰的問題。

而純視覺方案的復(fù)雜度主要體現(xiàn)在感知算法層面，由于都是通過攝像頭采集的同模態(tài)數(shù)據(jù)，在數(shù)據(jù)融合層面困難度比多傳感器方案要小得多，但是由于攝像頭自身能力的局限性，需要設(shè)計(jì)更為復(fù)雜的算法模型，從攝像頭數(shù)據(jù)中識(shí)別到目標(biāo)信息，例如對(duì)距離的計(jì)算、在惡劣環(huán)境下的識(shí)別能力等。

發(fā)展?jié)摿?/strong>

小鵬汽車副總裁吳新宙曾經(jīng)表示，視覺的潛力是沒有止境的，它真的是一個(gè)寶藏，長(zhǎng)期來看，視覺是無所不能的，但是這個(gè)能力的增長(zhǎng)是有一個(gè)過程的。

基于各類傳感器的特性，對(duì)于自動(dòng)駕駛的目標(biāo)任務(wù)，攝像頭的能力具有不可替代的部分，例如對(duì)二維結(jié)構(gòu)的感知能力，在行車過程中，對(duì)車道線、交通標(biāo)識(shí)等二維結(jié)構(gòu)的識(shí)別是必不可少的，相反雷達(dá)系統(tǒng)相比攝像頭的能力優(yōu)勢(shì)是有可能通過算法解決掉的，例如是對(duì)距離的識(shí)別、在夜間及惡劣天氣下的魯棒性問題。

其中視覺方案對(duì)距離的識(shí)別問題特斯拉目前已經(jīng)找到解決方案，通過建立BEV鳥瞰坐標(biāo)系，利用Transformer神經(jīng)網(wǎng)絡(luò)能力可以將地面坡度、曲率等參數(shù)內(nèi)化進(jìn)訓(xùn)練網(wǎng)絡(luò)，解決了視覺方案僅能基于地面平面假設(shè)進(jìn)行距離計(jì)算導(dǎo)致的準(zhǔn)確度不夠的問題，隨著算法的持續(xù)訓(xùn)練迭代，純視覺方案識(shí)別距離的能力會(huì)逐步逼近甚至超越雷達(dá)系統(tǒng)。

針對(duì)攝像頭夜視能力差的問題，特斯拉提出了直接基于“光子”作為神經(jīng)網(wǎng)絡(luò)輸入的視覺感知處理的方案，“光子”是攝像頭采集數(shù)據(jù)最原始的形式，傳統(tǒng)的視覺方案中會(huì)采用ISP（圖像信號(hào)處理）模塊來對(duì)攝像機(jī)采集到的原始圖像數(shù)據(jù)進(jìn)行加工，得到質(zhì)量更好的圖像，是模仿人眼的成像原理，但這個(gè)步驟會(huì)導(dǎo)致一部分原始信息丟失，直接采用“光子”數(shù)據(jù)可以最大限度的保留原始信息，因此在黑夜中，即使是行人微弱的反光，也會(huì)被記錄到光子的變化，這使得攝像頭獲得了超越人眼的夜間視距，發(fā)展成熟后可以解決純視覺方案的夜間魯棒性問題。

而對(duì)于雨雪霧等惡劣天氣下的魯棒性問題，激光雷達(dá)也并不能夠解決，毫米波雷達(dá)雖然受干擾較小，但由于毫米波雷達(dá)自身特性，導(dǎo)致其精度會(huì)隨著距離衰減明顯，因此也只能適用于近場(chǎng)問題，相較之下，視覺路線最具解決這個(gè)問題的潛力，視覺的基本思路是對(duì)人眼的模擬，人類在惡劣天氣下開車時(shí)，會(huì)根據(jù)少量可見的線索對(duì)其他汽車或行人的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，盡量規(guī)避風(fēng)險(xiǎn)，理論上視覺算法足夠強(qiáng)大時(shí)是可以達(dá)到人類在惡劣天氣下的感知能力，特斯拉在視覺感知網(wǎng)絡(luò)中引入了時(shí)空記憶能力，使得感知不僅基于瞬時(shí)事件，還能結(jié)合之前時(shí)刻的事件去處理，這提升了神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)能力，再加上對(duì)“光子”的感知，使得純視覺方案在惡劣天氣下的感知能力有大幅提升，最新的特斯拉FSD9.0在惡劣天氣下的表現(xiàn)也證實(shí)了這一點(diǎn)。

同時(shí)，相比多傳感器融合的感知架構(gòu)，純視覺感知架構(gòu)更具有美感，融合架構(gòu)涉及多模態(tài)耦合，系統(tǒng)節(jié)點(diǎn)多，結(jié)構(gòu)比較冗雜，而視覺架構(gòu)使用統(tǒng)一結(jié)構(gòu)的數(shù)據(jù)作為輸入，完成端到端學(xué)習(xí)，輸出目標(biāo)任務(wù)結(jié)果，整體結(jié)構(gòu)非常簡(jiǎn)約整潔，這使得純視覺路線的算法效率和系統(tǒng)運(yùn)行效率都要更勝一籌。

綜合上述幾個(gè)維度來看，筆者認(rèn)為由于大部分公司視覺算法還不夠成熟，且自動(dòng)駕駛的安全性至關(guān)重要，因此短期需要雷達(dá)來補(bǔ)余能力，但隨著視覺算法的日漸成熟，多傳感器融合方案可能僅是過渡方案，純視覺方案才是終局。