谷歌自動駕駛商業化了嗎（谷歌用Waymo自動駕駛汽車打造3D數字城市）

2023-07-02 17:10:40

前不久，谷歌公布了一系列與AR導航、沉浸式立體地圖相關的更新，讓我們進一步了解谷歌3D地圖的發展路徑，包括基於海量街景數據合成3D，以及後續會在街景相機上加入LiDAR模組，來實現3D定位等等。

相比於Niantic、Snap等初創公司，谷歌LBS AR、3D地圖領域更具優勢，僅背靠谷歌地圖、谷歌地球就擁有大量的環境和定位數據，因此擴展3D地圖布局將更加順利。

不僅如此，谷歌已經開始從多方面著手收集3D的環境數據。比如，谷歌母公司Alphabet旗下的自動駕駛汽車項目Waymo，近期就公布了圖像合成模型NeRF的衍生版本：Block-NeRF，其特點是可通過自動駕駛汽車的傳感器來收集街區的環境數據，並根據這些數據來合成大規模的3D場景。

關於Block-NeRF

據了解，NeRF簡單來講就是神經輻射場，原理是使用MLP神經網絡隱式的學習一個靜態3D場景，並通過靜態圖像，去渲染大規模3D場景的任意角度。

與此前谷歌的其他NeRF模型相比，Block-NeRF採用自動駕駛汽車Waymo用傳感器收集的路面數據，來生成區域神經輻射場，並組合成3D場景。Block-NeRF不局限於車輛經過的路面場景，也可以3D重建完整的大規模環境。比如，Waymo利用Block-NeRF渲染了舊金山阿拉莫廣場街區（約半平方公裡），其中包括35個街區NeRF模型。

經過三個月時間，Waymo捕捉280萬張圖片。一些場景甚至需要超過13小時車程（1330次駕駛）收集的數據。Waymo表示：我們構建了迄今為止最大的神經輻射場，可渲染出舊金山的完整街區。

Block-NeRF的亮點是比NeRF方案渲染的環境規模更大，其規模可跨越城市多個街區，因此有潛力渲染城市規模的3D場景。實際上，Block-NeRF是將多個街區分解為單獨的NeRF，並分別訓練這些分區NeRF，然後通過進行組合而生成完整場景。

分區訓練NeRF的好處是，可分解渲染時間，可快速擴展至任意大渲染規模，而且每一塊NeRF都可以獨立更新。

因此，利用Block-NeRF生成的3D場景可任意角度查看，而且可以調整一天任意時間的光影等元素變化。

等等，怎麼聽上去像這麼像是一個三維建模引擎，傳統的引擎是基於虛擬場景建模，而Block-NeRF則是基於真實場景來建模，同樣是建模，也見證了不同公司的不同視角。

很顯然，在面向LBS AR/MR的交互場景下，基於Block-NeRF的潛力無窮大。未來的AR將不局限於Local模式，基於真實世界的虛擬場景錨定將呈現完全不同的體驗。

方案特點

隨著技術發展，神經輻射場在給定一組相機姿態圖像後，可實現照片級保真的3D重建和新視圖合成。不過，早期的方案主要針對小規模場景、目標物體為中心進行重建，難以實現城市級的規模化3D重建（重建大場景時容易導致明顯的偽影和低視覺保真度）。

大規模3D場景重建有多種用途，可用於自動駕駛、航空測量等領域。比如地圖映射，為真實場景創建高保真的3D地圖，以幫助機器人定位、導航和躲避障礙。此外，大規模場景建模也可用於閉環機器人模擬。

對於自動駕駛系統來講，可生成任意視圖的3D場景可提升導航的穩定性，因為3D場景模型記錄了場景中可能出現的變化（比如環境照明條件、相機曝光、天氣和時間變化、汽車和行人運動），因此在實際導航時，即使路面信息變化，車輛的軌跡也不容易被改變。

不過，這種動態變化的3D場景無法依賴一次性採集的環境數據，為了體現場景中不同區域的變化，這些區域分別需要獨立的數據源。因此，Waymo在NeRF基礎上進行擴展，將一個場景分為多個block/區域，並通過外觀嵌入和學習姿態細化，以此開發了Block-NeRF模型，來計算動態環境變化。

相比於統一的NeRF模型，Block-NeRF更加模塊化，其好處是降低渲染時間和對算力的依賴，在擴展3D場景規模時，無需重新訓練整個網絡。也就是說，只需要獨立渲染每一個Block-NeRF的分區，然後根據它所在的位置，合稱為3D場景。

這些NeRF模塊可並行渲染和訓練，在計算過程中可實現場景的平滑合成。同時，還優化了外觀代碼，以匹配環境光照條件，動態調整亮度權重。

而為了讓Block-NeRF在不同環境中也能穩定捕捉數據，Waymo更改了幾種架構設計，並為每個獨立的NeRF加入外觀嵌入、學習姿態細化和可控曝光功能。此外，為了提升NeRF模塊的組合效果，還引入了一個專門的拼接匹配程序。

為了覆蓋目標環境，Waymo會在每個交叉口放置一個Block-NeRF，可覆蓋相關街道75%面積。這意味著兩個相鄰街區常常有50%試圖重疊。這些NeRF模塊的尺寸和布局可自定義，只要確保完整覆蓋整個場景即可。

兩個合成數據集

為了展示研究成果，科研人員分別創建了基於舊金山阿拉莫光場和使命灣合成的3D場景。據悉，阿拉莫廣場面積960x570米，數據分別捕捉於6月、7月和8月，共由35個Block-NeRF組成，經過了38到48次數據收集訓練，訓練每個Block-NeRF分別使用了6.5萬到10.8萬張圖像數據，累計採集時間為13.4小時（1330次數據採集）。