應用到道路場景圖像的低保真分類器和高保真分類器的製作方法
2023-06-15 15:51:42 1
本發明涉及圖像處理系統，並且更具體地涉及道路場景圖像的對象分類、檢測和/或定位的系統。
背景技術：
輔助駕駛和自主駕駛技術的希望和潛力依靠快速和準確分類、檢測和/或定位迎面而來的對象和/或周圍對象的能力。已經用於支持提供快速和準確分類、檢測和/或定位信息的各種技術包括無線電檢測與測距(雷達)子系統和光檢測與測距(雷射雷達)子系統、聲音導航與測距(聲納)子系統以及圖像分析技術。關於圖像分析技術，安裝在車輛上的攝像機可以捕捉用於數字處理的迎面而來的和/或周圍道路和/或環境場景的圖像。
多年來，應用於圖像分析的技術改進——例如使用卷積神經網絡(cnn)——在圖像分析的準確性上取得了令人印象深刻的改進。然而，如cnn應用的技術開發和部署兩者的計算強度大，在快速和準確地提供分類、檢測和/或定位信息和/或靈活以及相應地改進分析技術的要求方面產生問題。能夠保持準確性上的改進同時成功控制計算需求的創新能夠被用於改進分析開發。此外，這樣的創新可以在輔助和自主駕駛方面為提供檢測、分類和/或定位信息和/或在通過其它技術提供的類似信息中提供冗餘和/或填充空白帶來收益。
技術實現要素：
根據本發明的一方面，提供一種系統，包含：
位於處理器集合上的低保真分類器，低保真分類器可操作用於在確定描述被分類對象的候選區域時從跨越圖像的下採樣版本的區域集合中選擇候選區域，圖像來自捕捉道路場景的固定於機動車輛上的攝像機；
位於處理器集合上的高保真分類器，高保真分類器可操作用於驗證圖像的高保真版本的小片中的被分類對象的描述，小片是從候選區域映射的，其中高保真分類器表明描述。
根據本發明的一個實施例，其中：
包含第一卷積神經網絡(cnn)的低保真分類器是利用下採樣訓練集合訓練的，下採樣訓練集合包含對象圖像的多個被標記的下採樣版本，對象在表徵被分類對象的類別中，被標記的下採樣版本具有與區域集合中的區域的尺寸相稱的尺寸；以及
包含第二cnn的高保真分類器是利用高解析度訓練集合訓練的，高解析度訓練集合包含類別中的對象的圖像的多個帶標記的高保真版本。
根據本發明的一個實施例，該系統進一步包含解析度模塊，解析度模塊可操作用於產生下採樣訓練集合中的下採樣版本，至少一些下採樣版本被下採樣至最低解析度，在最低解析度的下採樣版本的熵保持在閾值以上，該閾值是相對於該類別中的對象的圖像中的熵所限定的。
根據本發明的一個實施例，該系統進一步包含下採樣模塊，下採樣模塊在處理器集合上實施並且可操作用於以下採樣因子產生來自固定在機動車輛上的攝像機的圖像的下採樣版本，下採樣因子被確定用於在下採樣版本中保留來自攝像機的圖像中的熵的預定百分比。
根據本發明的一個實施例，其中熵的預定百分比來自以百分之八十為中心並且在百分之八十以上和以下擴展百分之五的範圍。
根據本發明的一個實施例，該系統進一步包含：
窗口模塊，窗口模塊可操作用於：
針對區域集合而從下採樣版本中分離由完全滑過下採樣版本的至少一個窗口來框定的重疊區域，並且
將重疊區域應用到低保真分類器；以及
映射模塊，映射模塊可操作用於將來自圖像的下採樣版本的候選區域映射到圖像的高保真版本的小片，以使候選區域和小片分別在下採樣版本和高保真版本中覆蓋圖像的共有扇區。
根據本發明的一個實施例，其中：
至少一個窗口包含具有第一尺寸的第一窗口，第一尺寸與第二窗口的第二尺寸不同，第一尺寸和第二尺寸兩者對應於不同的比例，在圖像的下採樣版本中以該比例潛在地描述和檢測類別中的對象；
區域集合包含第一重疊區域的第一區域子集合以及第二重疊區域的第二區域子集合，第一重疊區域具有與第一尺寸相稱的尺寸，第二重疊區域具有與第二尺寸相稱的尺寸；
下採樣訓練集合包含第一下採樣版本的第一下採樣子集合以及具有第二下採樣版本的第二下採樣子集合，第一下採樣版本具有與第一尺寸相稱的尺寸，第二下採樣版本具有與第二尺寸相稱的尺寸。
根據本發明的一個實施例，該系統進一步包含：
成像子系統，成像子系統包含雷達檢測與測距(radar)子系統和光檢測與測距(lidar)子系統中的至少一個；以及
多級圖像分類系統，多級圖像分類系統包含攝像機以及位於處理器集合上的低保真分類器和高保真分類器兩者；以及
實施在處理器集合上的聚合模塊，聚合模塊可操作為使低保真分類器應用於來自攝像機的圖像的下採樣版本的全部範圍，與應用到區域集合相同，以提供冗餘並且提供通過成像子系統提供的分類信息中缺失的遺漏分類信息。
根據本發明的一個實施例，該系統進一步包含：
圖像隊列，圖像隊列可操作用於使攝像機捕捉的迎面而來的道路場景的一系列圖像順序排隊；
位於處理器集合內的至少一個圖像處理單元(gpu)，至少一個圖像處理單元實施低保真分類器和高保真分類器中的至少一種；並且其中
低保真分類器和高保真分類器兩者的參數被設置為相對於至少一個圖像處理單元的計算能力限定低保真分類器和高保真分類器的計算要求，實現以提供對一系列圖像中的分類信息的實時訪問的預定速率處理一系列的圖像。
根據本發明的一方面，提供一種用於對象分類和定位的方法，包含：
將圖像下採樣為圖像的下採樣版本；
提取覆蓋下採樣版本的重疊區域的集合，重疊區域通過具有與該區域的尺寸相等尺寸的滑動窗口來限定；
從重疊區域集合中選擇潛在區域，包含第一卷積神經網絡(cnn)的低保真分類器針對潛在區域表明對象存在的概率，對象屬於低保真分類器的可分類對象的類別；
將從下採樣版本中選擇的潛在區域映射到圖像的高解析度版本的扇區中；以及
通過將扇區應用到包含第二cnn的高保真分類器來確認對象的存在，其中應用扇區表明存在。
根據本發明的一個實施例，該方法進一步包含：
以圖像尺寸的集合來裁剪對象圖像的集合，根據檢測類別的集合利用分配給圖像的標籤分類圖像集合中的圖像；
下採樣圖像集合以產生帶標籤圖像的下採樣集合；
利用帶標籤圖像的下採樣集合訓練低保真分類器；以及
利用圖像集合和為了訓練的目的而選擇的可比圖像中的至少一個訓練高保真分類器。
根據本發明的一個實施例，該方法進一步包含：
收集訓練圖像集合，圖像集合描述位於各種位置的行人和包含在圖像集合內的環境；
並且根據檢測類別集合中的共有類別標記訓練集合。
根據本發明的一個實施例，該方法進一步包含計算最大因子，利用最大因子下採樣圖像，以產生下採樣版本，同時保持下採樣版本中的熵與圖像中的熵的比率位於預定閾值水平以上。
根據本發明的一個實施例，該方法進一步包含針對至少一個另外的潛在區域搜索還未應用低保真分類器的重疊區域集合中的區域，同時通過將該扇區應用到高保真分類器來確認對象的存在。
根據本發明的一個實施例，該方法進一步包含：
通過固定到機動車輛的攝像機以滿足預定閾值的幀速率捕捉迎面而來的道路場景的一系列圖像；以及
通過在一系列圖像中的單獨圖像上以同樣滿足預定閾值的處理速率應用權利要求10來處理一系列的圖像，預定閾值為機動車輛的預定自主響應提供足夠的時間，預定自主響應針對一系列圖像中的分類信息。
根據本發明的一個實施例，該方法進一步包含：
從下採樣版本中分離縮放區域集合，縮放區域集合中的縮放區域具有與滑動窗口的尺寸不同的尺寸並且與縮放滑動窗口的縮放尺寸相稱；
從縮放區域集合中選擇縮放區域，低保真分類器針對該縮放區域表明被低保真分類器分類的縮放對象存在的概率；
將縮放區域映射到高解析度版本的縮放扇區；以及
通過將縮放扇區應用到高保真分類器來確認縮放對象的存在，其中應用縮放扇區產生存在的概率。
根據本發明的一方面，提供一種圖像分析系統，包含：
位於至少一種存儲介質上的至少一個資料庫，至少一個資料庫包含：
第一數據集合，第一數據集合包含具有標籤集合的標籤的裁剪的下採樣圖像；
第二數據集合，第二數據集合包含具有標籤集合的標籤的裁剪的高解析度圖像；以及
處理器集合，處理器集合實施：
第一卷積神經網絡(cnn)，第一卷積神經網絡可操作用於在第一數據集合上被訓練以與標籤集合相關地分類來自重疊區塊集合的區塊，重疊區塊跨越道路場景圖像的下採樣版本，該區塊尺寸與下採樣圖像的尺寸相稱；以及
第二卷積神經網絡，第二卷積神經網絡可操作用於在第二數據集合上被訓練以與標籤集合相關地以高保真度重新分類覆蓋該區塊的道路場景圖像的區域。
根據本發明的一個實施例，該系統進一步包含解析度模塊，解析度模塊可操作用於產生位於第一數據集合中的下採樣圖像，第一數據集合包含下採樣到極限解析度的完全下採樣圖像，極限解析度被計算為能夠相對於初始裁剪圖像保持熵的至少預定百分比的解析度的下限，對應下採樣圖像是從初始裁剪圖像產生的。
根據本發明的一個實施例，該系統進一步包含處理器集合，處理器集合實施：
下採樣模塊，下採樣模塊可操作用於將道路場景圖像下採樣為低解析度的圖像；
應用模塊，應用模塊可操作用於：
通過將低解析度圖像的重疊區塊應用到低保真分類器來徹底檢查由低解析度圖像捕捉的全部視野；
記錄潛在區塊的集合，低保真分類器在該潛在區塊內標識可根據標籤集合分類的對象的潛在描述；以及
確定模塊，確定模塊可操作用於：
將潛在區塊集合投射到道路場景圖像的高保真版本上以產生候選區域集合；以及
通過將高保真分類器應用到候選區域的集合來確定被確認的區域集合。
根據本發明的一個實施例，該系統進一步包含：
攝像機，攝像機可操作為安裝在機動車輛上以捕捉一系列道路場景圖像；
位於處理器集合內的圖像處理單元(gpu)，圖像處理單元實施第一卷積神經網絡以利用gpu的平行處理能力，使第一卷積神經網絡以為預定自主車輛響應提供時間的速率處理一系列的道路場景圖像，預定自主車輛響應針對被處理的一系列道路場景圖像中的分類信息。
附圖說明
為了容易地理解本發明的有利之處，通過參照附圖中示出的具體實施例呈現了更具體的說明。理解這些附圖僅描述典型的示例並且因此不認為限制範圍，通過使用附圖，利用另外的特徵和細節描述和說明了本發明，其中：
圖1是根據示例的配備有用於捕捉輔助和/或自主駕駛技術中所使用的信息的各種技術的機動車輛的描述，該機動車輛包括用於捕捉迎面而來的道路場景的圖像的攝像機；
圖2是根據示例的描述卷積神經網絡(cnn)中的前饋示例的示意性框圖；
圖3a是根據現有技術的描述將cnn應用於圖像的冗長詳盡的滑動窗口方法以及用於減少實施時間的分段網格法的示意性框圖；
圖3b是根據現有技術的描述選擇性方法的示意性框圖，該方法在應用cnn時使用環境信息，該方法跳過應用cnn的圖像部分以減少計算和時間；
圖4是根據示例描述產生被分類對象的裁剪標記圖像的低保真數據集合的示意性框圖，利用該低保真數據集合訓練實施cnn的低保真分類器，低保真分類器作為多級圖像分析系統的第一級；
圖5是根據示例描述利用不同比例和解析度的圖像的低保真數據集合訓練低保真分類器的示意性框圖；
圖6是根據示例描述用作多級圖像分析系統中第二級的高保真分類器的訓練的示意性框圖，利用被分類對象的裁剪標記高保真圖像的高保真數據集合來訓練高保真分類器；
圖7是根據示例的描述下採樣模塊的示意性框圖，下採樣模塊對圖像分析系統分析的道路場景測試圖像進行下採樣；
圖8是根據示例的將不同比例的滑動窗口應用於道路場景下採樣部分以分離應用於低保真分類器的圖像的部分區段的示意性框圖；
圖9是根據示例描述多級圖像分析系統的示意性框圖，其中實施第一cnn的低保真分類器將道路場景下採樣圖像的候選區塊識別為被高保真分類器確認的潛在描述被分類對象，高保真分類器實施第二cnn，第二cnn被應用到候選區塊的高保真版本，產生道路場景圖像中被分類對象的描述的分類、檢測和定位；
圖10是根據示例的描述映射模塊的示意性框圖，映射模塊可操作用於將來自道路場景的下採樣圖像的區塊映射到圖像高保真版本的對應扇區內；以及
圖11是根據示例的利用多級圖像分析系統快速、準確和全面分類、檢測和定位圖像中的對象的步驟的流程圖，多級圖像分析系統建立在實施一對cnn的低保真分類器和高保真分類器上。
具體實施方式
容易理解的是，如本發明附圖中總體描述和示出的本發明的部件可以以各種不同的配置設置和設計。因此，如附圖中所表示的下列更具體的說明並非意在限制要求保護的範圍，而僅僅是某些示例的表示。通過參照附圖更好地理解當前描述的示例，其中相同的部分全部由相同的附圖標記指代。在一些示例中，附圖中元件的具體示例可以由後面帶字母的標識數字識別，其中對於相同標識數字而言，在不同的圖中字母可以變化，表明具有相同或不同屬性的元件的不同示例。僅在說明書中利用數字引用的這樣的元件可以更普遍地指代一類這種元件和/或該類的代表示例。
參照圖1，示出了機動車輛10。然而，本發明也可以應用於其它車輛10。車輛10可以配備能夠感測和記錄信號的各種類型的工具，信號反應各種對象、標誌、信號和/或與駕駛車輛10相關的類似物。這種設備的非限制性示例可以包括無線電檢測與測距(雷達)子系統12和光檢測與測距(雷射雷達)子系統14。雷達子系統12、雷射雷達子系統14或兩者以及潛在地另外的子系統可以是更廣義的成像子系統的一部分。可以明白的是，車輛10可以裝備其它這樣的設備，例如聲音導航與測距(聲納)子系統。另外地，車輛10配備有攝像機16。
雖然單個攝像機16示出位於車輛10車頂前緣附近，但可以在任何數量的位置處安裝任何數量的攝像機16，例如但不限於在車輛內部儀錶板上，以捕捉迎面而來的道路場景和/或周圍環境的圖像。這樣的攝像機16可以是利用數字圖像傳感器的數字攝像機，例如但不限於電荷耦合器件(ccd)和/或互補金屬氧化物半導體(cmos)。進一步地，攝像機16可以是能夠以幀頻捕捉圖像的視頻攝像機。
在一些示例中，幀頻可以超過每秒十四幀，潛在地超出每秒多幀，從而提供容許對輔助和/或自主駕駛技術的圖像特性中的信息作出響應的足夠新的圖像。此外，攝像機16可以響應於可見範圍內和外兩者的各種波長和/或可以與它捕捉的圖像一起捕捉顏色信息。如安裝的攝像機裝置16的內部分解圖中示出的，攝像機可以設置有光學系統18，例如但不限於，控制焦點、視野、放大倍率和/或類似參數的透鏡的單眼系統。
可以分析通過這樣的攝像機16捕捉的圖像以呈現信息，例如分類、檢測和/或定位與輔助和自主駕駛系統相關的圖像中所描述的對象的信息。在一些示例中，這些信息可以與其它子系統的信息結合，子系統是例如但不限於雷達子系統12和/或雷射雷達子系統14，從而提供冗餘、填補空白和/或改進統計準確性。此外或可選地，為了實施信息輔助和/或自主駕駛系統，可以單獨使用來自攝像機16的這樣的信息。然而，在駕駛系統中應用這樣的信息之前，可以通過處理從圖形中提取該信息。
參照圖2，示出了應用卷積神經網絡(cnn)20處理來自攝像機16的圖像22a。雖然若干不同的方法——從基於規則的方法到不同類型的機器學習方法——已經被用於圖像分析，但近些年來所沉浸的最準確的方法涉及使用cnn20。在圖2中描述了處於處理來自攝像機16的數字或數位化圖像22a的各個階段的示例cnn20。
cnn20可以在具有一個或多個卷積層26a-n的卷積部分24和神經網絡部分28之間細分。在卷積部分24內的卷積層26n可以包括一個或多個子層。這樣的子層的示例可以包括但不限於卷積子層30n、子採樣子層32n和/或非線性子層34n，不一定是處理順序。歸一化層提供這種子層另外的非限制性示例。卷積子層30n、子採樣子層32n和非線性子層34n中的每一個可以各自包括一個(但通常多於一個)的卷積神經元/節點36a-n、非線性神經元/節點38a-n和/或子採樣神經元/節點40a-n。
以說明卷積部分24內的前饋的方式，示出了示例圖像22a。通過cnn20處理的圖像22a提供為了實施輔助和/或自主駕駛的目而被分類、檢測和/或定位的停車標誌、重要對象的低解析度描述。向cnn20的輸入層42a提供圖像22a。
為了便於說明，示出具有交叉鑲嵌的黑和白的簡單灰度圖像22a。在另外的示例中，圖像22可以具有多個通道，如彩色圖像的情況。例如但並非限制，圖像22可以是紅-綠-藍(rgb)圖像22或者針對yuv顏色空間編碼的圖像22。在這樣的示例中，可以認為單獨的圖像22是三維矩陣，其中前兩個維度被分配給像素的行和列，並且第三個維度被分配給顏色通道。能夠明白的是，第三個維度同樣可以用於其它類型的信息，例如使用多個攝像機16從多個角度捕捉道路場景情況下的立體信息。
關於第一卷積層26a，在第一卷積子層30a，第一子層30a內的每個卷積神經元/節點36a-n的不同單獨子層過濾器或內核46a-n可以與圖像22a-n卷積，第一子層30a的維度的二維權重/值比圖像22a的維度的那些更小。神經元/節點36a-n的示例數量可以包括但不限於從四到四十的數值。在cnn20的訓練過程期間，每個過濾器46a-n可以近似於被分類對象集合中的對象的約一個或多個特徵，cnn20針對被分對象進行訓練。由於可以通過將圖像22a與第一層過濾器46卷積而使用卷積確定功能之間的相似處，因此可以產生特徵圖，該特徵圖表明在第一層過濾器46內表示的特徵在圖像22a的不同區域內出現的各種程度。
雖然可以在卷積神經元/節點36a-n應用不同形式的卷積，但在與圖2描述的灰度圖像22a一致的一些示例中，第一層過濾器46a-n中的每個權重/值可以乘以基礎值，該基礎值用於渲染其覆蓋的圖像22a，並且乘積可以在所得特徵圖中的單個單元內加和。因此，所得特徵圖內的每個像素可以視為圖像22一部分的點積，該部分維度等於應用到其上的第一層過濾器46a-n的那些維度。
在計算第一層過濾器46a-n和圖像22a的第一部分的點積之後，可以通過使第一層過濾器46相對於基礎圖像22a水平、豎直或兩者滑動一個或多個像素，以及計算關於圖像22a新的對應部分的另一點積來繼續卷積，新的對應部分可以與第一部分重疊。對應卷積神經元/節點36可以繼續計算點積，將點積在所得的特徵圖中以行和列排序直至第一層過濾器46已經應用於所有基礎圖像22a或在圖像22包括多個信息通道情況下的所有矩陣22a。因此，在不填充並且第一層過濾器46a-n針對每個點積僅滑動一個像素的情況下，所得矩陣會使它的前兩個維度等於基礎圖像/矩陣的維度減去第一層過濾器46的維度在每個維度再加一。
因此，相對於圖像22a的維度，較小的第一層過濾器46可以利用圖像22中相對高的局部信號相關性，而不需要承擔整個大範圍的低的相關性。此外，由於小的第一層過濾器46在圖像22a上滑過，識別特徵的能力定位不變。通過提供多個第一層過濾器46a-n，可以針對若干不同特徵產生特徵圖。在圖像22具有產生三維或更多維度矩陣的多個圖像通道的示例中，第一層過濾器46a-n以及後續層過濾器46na-nn也可以設置為具有第三維度或更多。這樣的三維過濾器46可以針對圖像22的每個圖像通道提供單獨的二維過濾器。
在一些示例中，可以包括非線性子層32a以將非線性函數應用於卷積子層30a所產生的矩陣的數值中。所得的非線性容許另外的卷積層26b-n作出貢獻，在前饋過程是純線性的情況下可以不這樣做。可以應用的這種函數的非限制性示例包括s形函數和/或雙曲正切函數。
也可以應用第一子採樣子層34a中的子採樣神經元/節點40a-n。在一些示例中，這樣的神經元/節點40a-n可操作用於實施最大值池(max-pooling)，其中所得矩陣的單元集合被單個單元代替，該單個單元具有與單元集合中單元的最大值相等的值。然而，可以實施其它形式的池，例如但不限於平均值池。池化為單個單元的單元數量可以包括但不限於四個到一個、九個到一個、十六個到一個等。不但可以使用子採樣子層34減少存儲，它還可以提供局部的不變性和抗擾性。
在圖2中示出了來自第一卷積層26a下遊的卷積非線性映射以及子採樣特徵圖48a-n的集合，採樣特徵圖48a-n具有比初始圖像22a的維度更小的維度。在該點上，cnn20可以通過包括多個卷積層26a-n來提供深度學習的優勢。這些卷積層26a-n可以分層設置，以通過越來越高水平或更抽象的特徵的存在來確定卷積子層30內的後續過濾器46。
關於卷積層26之間的神經元/節點的激活，由先前的卷積層26產生的特徵圖48可以激活後續卷積層26內的卷積神經元/節點。在一些示例中，來自先前的卷積層26的每個特徵圖48可以激活後續卷積層26的單獨的卷積神經元/節點36。此外或可選地，在第一卷積層26a之後，所得的特徵圖48可以在後續卷積層26內結合。
可以在單個卷積神經元/節點30實施這樣的結合，其中對應過濾器46可以具有至少三個維度，其中描述特徵圖48數量的一個維度被組合。可以認為這樣的過濾器46具有容積。可以使用超過三個維度，例如但不限於如圖像通道的屬性。結合先前特徵圖所產生的特徵圖48可以描述來自各種先前過濾器46的特徵可以在圖像22的不同區域內被結合的程度。在來自先前卷積層26的所得特徵圖48被結合的情況下，來自先前卷積層26的所有的特徵圖48在後續特徵圖48中可以結合和/或先前特徵圖48的一個或多個子集可以在一個或多個後續特徵圖48中結合。在諸多示例中，擴展後續卷積層26內的卷積神經元/節點36的數量是有幫助的。然而，對於一些後續卷積層26而言，減少數量也是有幫助的。
卷積層26的數量可以變化，非限制性示例數量包括二到二十的數量，潛在地使卷積部分24成為深度網絡。隨著處理進展通過卷積層26，所得特徵圖48可以變得越來越小，接近它們卷積的過濾器46的大小。最後，在一些示例中，特徵圖48的迭代的高度、寬度或兩方面的維度可以與它們所應用的過濾器46的那維度相等，產生標量和/或向量。同樣地，在一些示例中，子採樣子層32的結果是標量或向量。這樣的標量和/或向量可以是卷積部分24的輸出以及分類器/神經網絡部分28的輸入。
如同卷積部分24，層54a-n(也可以被稱作隱藏層54a-n)的數量可以變化，非限制性示例數量包括二到十二的數量。同樣地，如同卷積部分24內的非線性子層34，神經網絡部分28內的隱藏層54a-n可以應用非線性函數。在神經網絡部分28內，兩個相鄰的子層54可以完全連接，以使第一子層54a中的每個神經元/節點52的輸出可以適當地計算權重和通信以激活第二子層54b內的每個神經元/節點52。
在這樣的示例中，應用到第二子層54b內的每個神經元/節點52的輸入的權重/值可以取決於第一子層54a內的初始神經元/節點52、被激活的第二子層54b內的神經元/節點52和/或兩者。此外，偏置權重/值58可以被應用到一個或多個子層54。在一些示例中，一個或多個偏置值58也可以被應用在一個或多個卷積層26內。因此，在分類器部分28內從一個層54進展到另一個層54會引起後續層54中每個神經元/節點52處的非線性加權求和，偏置值58被加和到該和。除全連接層54之外或可選地，層54也可以以其它方式連接，例如但不限於，利用高斯類型連接。
通過神經網絡部分28處理的結果可以被記錄在輸出層58內。輸出層58可以提供若干輸出節點60a-n，其中每個輸出節點60提供概率值，該概率值表明圖像22a描述位於類別/類集合的對應類/類別中的對象、標誌、信號或類似項，cnn20針對該類別/類訓練或cnn20針對其正在被訓練。例如，分配給停車標誌的類別/類的輸出神經元/節點60a顯示檢驗符號，概率值的符號表明圖像22a描述停車標誌，而在其它輸出神經元/節點60n內的「x」表明可能沒有描述與該輸出神經元/節點60n相關的對象。
可以明白的是，cnn20的前饋所涉及的計算數量是相當大的。幸運的是，大部分計算是對浮點值執行簡單的乘法和求和運算。此外，許多這些運算可以平行執行。因此，在一些示例中，具有大量浮點值運算的cnn20可以有利地在一個或多個圖像處理單元(gpu)62上實施，圖像處理單元可以具有一個或多個核，以利用這種處理器的平行處理和每秒高浮點運算(flops)能力。然而，如下文關於下列附圖更具體地說明的，當除了提供分類功能之外，cnn20被用於提供檢測和/或定位功能時，cnn20的計算強度會大大增加。
參照圖3a，描述了道路場景圖像的部分66。然而，與圖2中處理的圖像不同，在圖2中可分類對象——即，停車標誌——佔該圖像主要部分，圖像部分66內受關注的可分類對象包括佔據圖像部分66更小扇區的交通燈68a-b以及行人70a。因此，當作為整體處理時，來自這種可分類對象的信號會被圖像中的其它元素超越和/或另外不被檢測到。
而且，為實施輔助和/或自主駕駛系統，不僅對象的檢測和/或分類是重要的，而且對象在圖像中的位置也是重要的。例如，行人70是否在車輛10路線的即將到達的部分內和/或接近該部分，該部分是被捕捉圖像的部分，或者行人70安全地停留在邊緣，這是至關重要的。然而，關於單個輸入圖像，cnn20的結構具有關於佔圖像主要部分的對象的檢測和分類的準確度的跟蹤記錄，但cnn20的設計不適合定位對象。以重疊方式平鋪在整個輸入圖像上的過濾器46特有的位置不變性(這非常有助於分類)使對象在圖像中的相對位置變模糊。
通過帶圓圈的數字1表示的第一種方法將滑動窗口72a應用於圖像上方，應用該方法以克服定位對象中的這種限制，如圖3a中描述的關於圖像部分66的描述。該窗口72提取和/或分離圖像的扇區74，滑動窗口72重疊在該扇區上方。為了實施對象檢測和/或分類以及上文關於圖2所描述的前饋路線，提取和/或分離的扇區74之後可以應用於cnn20。
之後滑動窗口72一次一個像素地水平或豎直滑動，並且之後提取和/或分離要處理的圖像的另一扇區74，以使後續扇區74覆蓋先前的扇區74，如通過圖像上的扇區74的剩餘輪廓示出的。滑動窗口72a繼續該處理直至它已徹底覆蓋該圖片。以這種方式，無論對象位於圖像中的什麼位置，都可以被檢測和分類。而且，與將窗口72a放置在其先前邊界的相對側相反，通過逐個像素地滑動，由這樣的邊界分割的對象的描述不會被遺漏。同樣地，通過持續跟蹤應用到cnn20的分離扇區74的坐標，被檢測和分類的對象的圖像中的相對位置可以由檢測對象所在的扇區74的坐標獲得。
可以明白的是，將每個重疊的扇區74單獨應用於cnn20會使利用cnn20處理圖像的現有計算強度運算增加若干數量級。在考慮到圖3a中描述的圖像部分66可能沒有組成道路場景的全部圖像時，該大量計算增加會進一步突出。而且，根據透視規律，由於被檢測的可分類對象的比例會基於對象相對於攝像機16的距離而減小或增大，因此通常需要應用多個不同尺寸的窗口72a-n，每個窗口都單獨提取要被處理的自身的扇區74的組。
例如，圖3a中示出的第一窗口72a可以大到足夠檢測和分類行人70a，但它對於檢測和分類交通燈68a、b而言太大。第二窗口72b可以被應用於檢測交通燈68a、b，但它對於檢測行人70a而言太小。因此，需要應用多個窗口72a-n。
因此，該第一種方法雖然詳盡，但其不僅計算強度大，而且非常耗時，如通過時鐘圖標表明的。相比之下，人眼和大腦可以在十分之一秒內處理道路場景的要點，給駕駛人員時間以針對道路場景中的對象作出反應和/或響應。輔助和/或自主駕駛系統同樣需要在這樣的時間尺度獲得信息，從而對迎面而來的道路場景中重要的快速接近對象作出響應。每秒處理十五到三十張圖像(圖3a中示出的了該圖像的僅一部分66)，根據第一方法對於滿足輔助和/或自主駕駛系統的需要而言是不可行的。
參照圖3b，示出了第二方法，通過帶圓圈的數字二表示。根據第二方法，環境信息依靠減少應用到cnn20的圖像提取和/或分離區域74a-n所用的位置、密度和/或比例。例如，從圖像提取和/或分離的扇區74的數量和/或不同比例在圖像的上部區域可以大大減少，上部區域通常被天空佔據。此外，這種方法可以專注於車輛正前方的區域，或緊鄰的側方區域，給更靠近邊緣的區域減少的注意力。
然而，雖然該第二方法可以大大加快圖像處理速度，但如此做會有不可接受的代價——使圖像視場內的許多空白點漏報，即，在對象實際上存在時錯誤地確定對象不存在。例如，在車輛下坡前進的情況下，圖像的部分通常會集中到描述道路場景的空中，道路場景的上部是重要的。通過另一示例的方式，對於對象從側方緩慢接近而言不重要的周邊部分在對象從側方快速接近的情況下是非常相關的。在另外的反映中，可以產生若干其它示例。
同樣地，甚至是在這樣的背景方法分離和/或提取應用於cnn20描述可分類對象的區塊74的情況下，被提取部分的大小不足以和/或無法恰當地定位以分離足夠量的被描述區域。例如，圖3b描述了一系列的區塊74c-f，該區塊是從圖像部分66分離的，其中例如但不限於來源於圖像部分66內先前圖像處理和/或相關位置的環境信息表明對應於鄰近車道或相鄰的路緣以及人行道。第一組三個區塊74c-e的處理恰好表明行人不存在，如通過複選標記符號和減號示出的。
然而，最右側區域74f產生漏報，如通過禁止圓圈示出的。最右側區塊74f對於捕捉描述行人的圖像部分66的區域而言不僅看起來太小，而且它也定位不當，導致不能捕捉到行人的頭部、胸部、後側手臂以及後側腿。最右側區塊74f內的分類進一步因交通燈柱76的存在而複雜化。而恰當地設置尺寸和定位的圖像會產生正確位置處的行人70a的陽性檢測和分類，第二方法產生危險的漏報。即使第二方法能夠檢測和分類行人70，不當定位區塊74f會提供令人誤解的位置信息。
雖然圖3b中的第二方法可以使用於提供分類、檢測和/或定位信息的圖像處理速率加速到足夠快地容許響應，但如此做會具有不可接受的準確性的代價。可以例如通過雷射雷達子系統14來檢測行人70a。然而，攝像機16和成像系統未能提供請求的冗餘度和/或實現統計水平確定性所需的用於提供完整性以及用於填充其它子系統12、14的空白的能力，該統計水平確定性是輔助和/或自主駕駛系統所需的。
如同圖3b，示出了第三方法，其中通過應用網格80將圖像或圖像的部分66細分成不同的網格單元78。應用於圖3a中圖像部分66的網格80包括四行和四列，產生十六個網格單元78。在第三方法中，網格單元78可以完全跨越圖像，以考慮該圖像整體。同樣地，在該第三方法中，cnn20的輸出層58內的輸出60可以等於網格單元78的數量，每個輸出60表明行人70是否存在於對應網格單元78內。在圖像處理期間，可以利用應用到不同網格單元78的不同過濾器46來同時處理網格單元78，以加速處理。通過在分類器的神經網絡部分28中應用全連接層，可以通過其它網格單元78的環境信息獲知一個網格單元78的輸出60。
在訓練期間，與使用對象的裁剪圖像相反，其中訓練網絡以分類、檢測和/或定位該對象，在與第三方法類似的方法中，訓練發生在更大環境的圖像上，在該環境中如行人的一個或多個可分類對象可以佔據訓練圖像的僅一小部分，該部分與一個或多個網格單元78相配。可以按照圖像所描述的可分類對象以及圖像所描述的網格單元是哪個網格單元78兩者來標記這樣的圖像。此外，開銷會涉及通過移動和/或重新配置初始訓練數據集合中的圖像產生不同的帶標記的數據集合，以使其中的可分類對象可以出現在不同的網格單元78內。
當應用到測試圖像時，對應輸出60表明可分類對象存在的網格單元78可以用作應用到一個或多個另外的分類器的候選區。可以利用包括裁剪圖像的圖像來訓練應用到單個網格單元78的第二分類器，裁剪圖像由可分類對象佔主要部分。可以按照圖像描述的可分類對象來標記這樣的訓練圖像，其需要分類標籤的不同系統。
同樣地，在如行人70的對象位於網格單元78的交叉處的情況下，第三方法是有問題的。例如，雖然第八個網格單元78f覆蓋了所示行人70a的大部分，但它也通過排除行人70a的腿而將行人70a截斷。網格單元78與所示對象之間的這種不一致在對象分類、檢測和/或定位上產生問題。如圖3b所示的另一示例問題，如果所示的可分類對象——例如行人70a——是不同的比例，例如行人70a延伸到第八個網格單元78f之外，那麼分類器不能很好地訓練用於分類、檢測和定位所示對象。
因此，為了利用cnn20最新實現的精確性來改進輔助和/或自主駕駛，需要新的方法。這樣的方法需要同時準確、詳盡並且以容許輔助和/或自主駕駛及時響應的速度提供分類、檢測和定位信息。這樣的方法應該不在乎可分類對象的描述的相對位置和/或比例而以同等的可靠性執行。儘管達到可接受精確度所用的訓練圖像數量大，但該方法應該在低開銷以及易於微調的訓練時間下訓練。
通過提供滿足這些要求的示例性方法的簡要概況的方式，可以實施分層、多級方法。這種方法中的級別可以包括低保真分類器和高保真分類器兩者。低保真分類器可以實施在處理器集合上，在本發明中也可以稱作處理器集。如本發明所使用的，術語集合和子集合可以包括任何數量的元素，包括單個元素。低保真分類器可操作為從跨越圖像的下採樣版本的重疊區域集合中選擇一個或多個候選區域，重疊區域集合在本發明中也稱作區域集合。
可以由固定在機動車輛上的捕捉道路場景的攝像機16來提供圖像。在確定描述如行人70或交通標誌的被分類對象的候選區域時，低保真分類器可以選擇一個或多個候選區域，低保真分類器針對被分類對象而進行訓練。這樣的多級方法也可以包括高保真分類器，高保真分類器也可以實施在處理器集合上。
高保真分類器可操作用於驗證一個或多個小片中的被分類對象的描述。可以從低保真分類器選擇的候選區域將小片映射到高保真版本的圖像。高保真分類器也可以被訓練用於分類、檢測和/或定位被分類的對象，但其具有更高的保真度。因此，高保真分類器驗證從候選區域映射的小片中的被分類描述，高保真分類器在候選區域中表明描述。
在這樣的方法中，低保真分類器可以包括利用下採樣訓練集合訓練的第一cnn20。下採樣訓練集合可以包括對象圖像的多個被標記的下採樣版本，該對象位於表徵被分類對象的類別中。被標記的下採樣版本可以具有與區域集合中的區域的尺寸相稱的尺寸。類似地，高保真分類器可以包括第二cnn20。利用高解析度訓練集合來訓練該第二cnn20，高解析度訓練集合包含在該類別中的對象的圖像的多個被標記的高保真版本。
在一些示例中，下採樣訓練集合中的至少一些下採樣版本可以被下採樣到最低解析度，在該解析度時下採樣版本中的熵保持高於閾值，該閾值是相對於該類別中對象的初始圖像中的熵所限定的。在一些但不一定是所有這樣的示例中，熵的預定百分比可以來自於以百分之八十為中心並且在百分之八十以上和以下擴展百分之五的範圍。
關於測試圖像，與用於訓練第一和第二cnn20的圖像相反，在一些示例中，下採樣模塊也可以實施在處理器集合中。下採樣模塊可操作為以下採樣因子產生來自固定在機動車輛上的攝像機16的圖像的下採樣版本。在該示例中，下採樣因子可以被確定用於在下採樣版本中保留來自攝像機圖像中的預定百分比的熵。
此外或可選地，一些示例可以包括窗口模塊，窗口模塊可以實施在處理器集合上。窗口模塊可操作用於從測試圖像的下採樣版本中分離重疊區域。為了產生區域集合，這樣的重疊區域可以具有窗口所框定的尺寸，該窗口滑動完全跨越下採樣版本。之後窗口模塊和/或低保真分類器可以將區域集合的重疊區域應用到低保真分類器。關於高保真分類器，一些示例可以包括映射模塊，映射模塊可操作用於將來自圖像下採樣版本的一個或多個候選區域映射到圖像高保真版本中的一個或多個小片中。如此，候選區域和小片可以在下採樣版本和高保真版本中分別覆蓋圖像的共有扇區。
能夠明白的是，與本發明所公開的元素相關說明的多數結構和功能可以通過模塊來設置。模塊可以採用完全硬體實施例、完全軟體實施例(包括固件、常駐軟體、微代碼等)或軟體與硬體方面結合的實施例的形式。而且，當前所述主題的若干方面可以採用嵌入在任何有形表達介質中的電腦程式產品的形式，該電腦程式產品具有計算機可用的程序代碼。
關於軟體方面，可以使用一種或多種計算機可用或計算機可讀介質的任何組合。例如，計算機可讀介質可以包括可攜式計算機軟盤、硬碟、隨機存取存儲器(ram)裝置、只讀存儲器(rom)裝置、可擦除可編程只讀存儲器(eprom或快閃記憶體)裝置、只讀光碟存儲器(cdrom)、光學存儲裝置和磁性存儲裝置中的一種或多種。在選定的實施例中，計算機可讀介質可以包含任何非暫態介質，該非暫態介質包含、存儲、傳送、傳播或傳輸由指令執行系統、裝置或設備所使用或與其結合使用的程序。
可以通過一種或多種程式語言的任何組合來編寫用於實施本發明的運算的電腦程式代碼，程式語言包括如c++的面向對象的程式語言以及如「c」程式語言的常規程序的程式語言或類似程式語言。與軟體一起實施的模塊方面可以在微處理器、中央處理單元(cpu)和/或諸如此類上執行。模塊的任何硬體方面可以被實施用於與軟體方面交互。
能夠明白的是，上述概括並非詳盡了該方法涉及的創新點。下文說明了該方法的若干另外方面。與下列附圖相關地更詳細地說明該新方法中所使用的用於實施訓練低保真分類器的數據集合。
參照圖4，示出了存儲在一個或多個資料庫84a內的第一數據集合82a的方面，其用於滿足上文說明的要求的多級分層方法中的第一級的訓練。資料庫84可以存儲在一個或多個物理存儲介質中，例如但不限於本發明下文所說明的那些。該第一級可以是實施為cnn20的低保真分類器。在本發明中也被稱作下採樣訓練集合82a和/或下採樣集合82a的第一數據集合82a可以由圖像對象的版本86組成。
下採樣訓練集合82a可以包括描述類別的集合中的對象的圖像88a-n的多個裁剪的帶標記的下採樣圖像/版本86a-n，低保真分類器針對該類別而訓練以執行分類、檢測和/或定位功能。在圖4中，訓練圖像90a視野中與道路場景圖像90a的裁剪部分88a相關的區塊(section)92a、區域region)92a或區(zone)92a相關的尺寸描述了被分類對象94a(為了說明的目的而擴大了裁剪部分88a)，被分類對象94a即停車標誌94a。在一些示例中，可以通過將被分類對象94框定在訓練圖像90內以在圖像90中佔主要部分來實現裁剪。
同樣在圖4中描述的是，可操作用於下採樣98a訓練圖像90a和/或下採樣98b裁剪部分88a的解析度模塊96。在圖4所示的示例中，解析度模塊96可以相對於每個維度通過四的下採樣因子來下採樣98。然而，能夠明白的是，與給定的一個維度或兩個維度相關的因子可以改變。
通過給出用於確定這種因子的指導示例的方式，第一數據集合82a內的下採樣圖像86a-n可以包括完全下採樣圖像86，完全下採樣圖像86下採樣98到極限解析度。解析度模塊96可以將極限解析度應用和/或計算為相對於初始裁剪圖像88a能夠保持熵的至少預定百分比的解析度的下限，對應下採樣圖像86a/n由初始裁剪圖像88a產生。在一些示例中，該極限解析度可以取決於下採樣被裁剪圖像88的大小或比例。
換言之，本發明所應用的方法可以包括計算最大因子，利用該最大因子能夠下採樣圖像88以產生下採樣圖像/版本86，同時將下採樣圖像/版本86的熵與初始圖像88中的熵的比率值保持在預定閾值水平之上和/或保持熵的絕對值，該絕對值依賴於比例。如通過下採樣圖標(該圖標具有從圓形周邊向內輻射的箭頭)示出的，在一些但不一定是全部這樣的示例中，熵的預定百分比可以來自以百分之八十為中心並且在百分之八十以上和以下擴展百分之五的範圍。
此外，為了訓練的目的，每個裁剪的下採樣圖像86a-n可以標記為具有分類所示對象94的對應標籤100a-n。雖然圖4中的全部標籤100a標識相同的類，即停車標誌，但標籤100a可以來源於更廣泛的標籤集合102a。該更廣泛的標籤集合102a可以包括在更廣泛的檢測類別集合中的若干不同類型對象94的標籤100。這種類的示例可以包括行人70、行人70的不同類型(如兒童)、動物、車輛、交通標誌、道路標記、路緣邊界和/或與輔助和/或自主駕駛系統的決策程序相關的任何其它對象。
因此，收集圖像82a的訓練集合可以包括收集描述位於各種位置行人70的圖像88的集合以及圖像82a的集合內所包括的環境。在這樣的示例中，可以根據檢測類別集合中的共有類別來完成標記訓練集合82a的圖像。在描述不同相對距離、描述不同尺寸的儘可能多的被分類對象94中，可以針對檢測對象集合中對象的一個或多個類別利用不同圖像、或版本、尺寸或比例來訓練低保真分類器和/或高保真分類器。收集圖像82的訓練集合可以包括針對不同類別和/或在檢測類別集合的相同類別內以一個或多個圖像尺寸的集合來裁剪被分類對象94圖像88的集合。因此，圖4描述了以不同圖像尺寸或比例裁剪下採樣圖像/版本86a/n。
不同圖像尺寸或比例可以對應於不同解析度。因此，在一些示例中，可以針對不同版本/圖像尺寸或比例來產生不同圖像/版本86，對於共有的檢測類別通過進一步下採樣104以進一步降低解析度。圖4描述了第一下採樣版本86a，該版本被進一步下採樣104以產生裁剪圖像88a的進一步下採樣版本86n。進一步下採樣版本86n可以代替下採樣圖像100a的新的部分106a處描述的相同停車標誌94a的描述，該部分對應於與攝像機16更大的相對距離並且通過透視規律相應地減小。
參照圖5，進一步說明了使用低保真數據集合82a來訓練低保真分類器108a。低保真分類器108a可以包含cnn20a。低保真分類器108a是利用cnn20實施的低保真分類器108的簡單象徵並且為了便於說明，僅在三的過濾器深度情況下僅利用單個卷積層26來說明。然而，在低保真分類器108的實際實施中，關於圖2所述的cnn20的全部可能性——包括神經網絡部分28——對於低保真分類器108都是開放的。
可以利用被標記圖像82a的下採樣集合以及其中的許多裁剪的下採樣標記的圖像/版本86a-n來實現低保真分類器108a的訓練。裁剪的下採樣標記的圖像/版本86a-n的數量可以從幾千變到幾百萬。因此，用於圖像分類、檢測和/或定位的cnn20的先前應用需要從幾天到幾周以及甚至是在超級計算機上的幾個小時的測量的訓練時間。
圖像/版本86被應用到低保真分類器108a的速度確定低保真分類器108a的不同配置是否可行和/或更新配置、重新訓練和/或微調低保真分類器108a是否可行。通過使用下採樣的圖像/版本86，將圖像/版本86前饋110到低保真分類器108a所需的計算量可以降低幾個數量級，例如但不限於從幾百萬降低到幾千。作為結果，將數據集合82a應用到低保真分類器108a的時間可以從幾周減少到幾個小時，容許在更寬泛的可能結構中實施低保真分類器108a、重新訓練和/或微調以產生更準確的結果。
通過說明的方式，來自下採樣集合82a的第一下採樣圖像/版本86a可以被前饋110a穿過過低保真分類器108a，從輸入層42b到輸出層58b。雖然圖5中示出了僅單個輸出60aa，但如關於圖2所述，輸出層58b可以包括任何數量的輸出60aa-an。每個輸出60可以對應於來自類別集合的不同類別，低保真分類器108針對該類別進行訓練。而且，每個輸出60可以表明關於被前饋110到低保真分類器108的圖像/版本86是否描述了被分配給輸出60的類別內的被分類對象94的可能性。
在圖5提供的說明中，第一圖像/版本86a已經被前饋110a穿過低保真分類器108。然而，被分配給交通信號或更具體地是停車信號的被描述對象94a的類別的輸出60aa沒有表明第一下採樣圖像/版本86a描述了停車標誌94a。如上文所述，可以根據檢測類別的集合利用分配給圖像/版本86的標籤100來分類圖像82a集合中的圖像/版本86。
因此，可以利用標籤100將監督學習方法實施到用於訓練低保真分類器108a的機器學習。例如，可以通過將輸出60aa與標籤100a比較112a來發現和使用不正確的結果進一步訓練低保真分類器108a，通過「x」字符將輸出60aa表示為未發現說明的概率，標籤100a對應於第一版本/圖像86a。不正確結果60aa表明低保真分類器108a的元件——例如但不限於過濾器46-1a到46-1n、隱藏層54以及偏置值56——需要進一步另外的調整。可以通過應用錯誤方法的向相反方向的傳播114——這裡被稱作反向傳播114——來確定這樣的調整。
可以包括一個或多個gpu62的一個或多個處理器可以通過應用優化方法跨越低保真分類器108a從輸出層58b到輸入層42a地實施反向傳播114a。優化方法可以涉及執行函數。在一些示例中，可以通過最小化或最大化執行函數來訓練低保真分類器108a，以示例而並非限制的方式，執行函數可以是由標籤100a表明的結果與輸出60aa的實際概率之間的平方差的一半，如在最小二乘法中的情況。在一些示例中，1和0的二進位數值可以分別分配給相關對象的描述以及缺乏這樣的描述或反過來，如通過對應標籤100示出的。
如關於圖2所說明的，可以將平滑的非線性函數40a-n、52a-n應用於貫穿低保真分類器108a的所有權重/值，執行函數的導數可以用於表明方向和調整權重/值以最小化執行函數的相對量。因此，可以將優化方法作為梯度下降/上升方法來實施，例如隨機梯度下降/上升法。然而，由於執行函數高的空間維度，低保真分類器108a中的大量可調整權重/值使微分問題複雜化。
反向傳播114根據低保真分類器108a中的各種可調整權重/值的偏導數來提供微分執行函數的方法。按照反向傳播114，為了發現與給定可調整權重/值相關的執行函數的偏導數，可以應用鏈式規則。在應用鏈式規則發現給定可調整權重/值的偏導數時，與給定可調整權重/值相關的偏導數乘以任何輸入的偏導數，產生給定可調整權重/值和輸出60aa之間的執行函數。
在計算可調整的權重/值的偏導數中，通過從輸出層58b向輸入層42b的逐層反向工作，因此反向傳播114可以重新使用來自前一層的偏導數的計算。更具體地，當應用鏈規則並且尋找目標可調整權重/值和輸出60之間的所有中間偏導數的乘積時，反向傳播114可以使用偏導數的這些計算。換言之，針對層中的每個神經元/節點的可調整權重/值，為了防止明顯超出最終答案，通過計算調整來繼續反向傳播114，該調整通常通過速率因子來縮放。
反向傳播114可以開始於最靠近輸出層58b的層，例如隱藏層54。可以通過計算下一個最接近的層中的每個神經元/節點中的權重/值來繼續反向傳播114，直到到達輸入層42b。之後所計算的調整可以應用於重新計算的它們的對應可調整權重/值和執行函數。之後，反向傳播114迭代該過程直至執行函數被充分減小和/或放大。由於該過程的迭代性質，通過利用用於訓練的下採樣圖像/版本86實現的計算和時間的節省針對訓練所用的每個圖像/版本86乘以所需迭代數以及訓練集合82a中的圖像/版本86的數量。
而神經網絡部分28內的每個神經元/節點會涉及在卷積部分24的卷積子層30內相對於單個可調整權重/值取動作函數的偏導數，每個神經元/節點36根據其相應的過濾器46呈現具有多維變量矩陣的動作函數。當對卷積子層30應用反向傳播114時，可以相對於對應過濾器46的每個索引的可調整權重/值取卷積函數的偏導數。
一經減小或放大執行函數之後，另一圖像/版本86n可以被前饋110b穿過低保真分類器108a，以提供進一步的訓練。如所示的，另一圖像/版本86n可以具有不同比例。如通過第一和第二圖像/版本86a/n的兩個放大示例示出的，比例不同也是相對於所示的被分類對象94a的解析度的不同。
首先，可以隨機選擇低保真分類器108a內的各種可調整權重/值，可以基於其它網絡訓練來初始化各種可調整權重/值和/或可以基於各種圖像處理技術來初始化各種可調整權重/值。同樣地，在一些示例中，可以通過無監督學習過程來確定一個或多個層。可以以類似的方式來訓練高保真分類器，如參照下列附圖中所說明的。
參照圖6，在高保真分類器116a的訓練環境中說明了高保真分類器116a，高保真分類器可以用作多級圖像分析系統中的第二級。其中如上文所述，低保真分類器108訓練所針對的下採樣圖像86a-n在訓練過程期間提供速度和靈活性並且在以第一級別分類、檢測和/或定位第一道路場景圖像中的對象94期間提供速度和廣泛的覆蓋範圍，而高保真分類器116可以被訓練用於以第二級別提供改進的精確性，以實現沒有或基本上沒有遺漏和沒有假警報的準確性目標。同樣地，由於利用高保真分類器116提供另外的準確性，可以針對關於低保真分類器108所選定的候選區域的高召回率和/或靈敏度訓練低保真分類器108，信任高保真分類器116以移除不相關的候選區域。
如同低保真分類器108a，高保真分類器116a可以實施cnn20。同樣地，圖6中的高保真分類器116a是簡單的符號並且因此為了便於說明在僅三個過濾器46-2a到46-2n情況下僅利用單個卷積層26說明。再次地，實際的高保真分類器116可以實施關於圖2說明的用於cnn20的任何可能的組合，包括神經網絡部分28。由於高保真分類器116發揮不同的作用，高保真分類器116和低保真分類器108的具體結構可以變化或不變。
此外，由於不同的作用，利用第二cnn20的高保真分類器116a可操作用於在第二數據集合82b上訓練，第二數據集合82b與被用於訓練低保真分類器108a的第一數據集合82a不同。第二數據集合82b——在本發明中也被稱作高解析度訓練集合82b或簡單地稱為圖像集合82b——可以包括圖像88a-n。這些圖像88a-n也可以被裁剪。然而，相對於被用於訓練低保真分類器108a的第一數據集合82a中的圖像/版本86a-n，這些圖像88a-n也可以保持在更高的解析度和/或保真度。在針對多種不同尺寸和/或比例而訓練高保真分類器116a的一些示例中，更小尺寸/比例的圖像88的解析度可以小於第一數據集合82a中的更大比例的圖像/版本86的解析度。然而，在共有尺寸/比例下，第二數據集合82b中圖像被設置為比第一數據集合82a中的那些更高的解析度。
在一些示例中，第二數據集合82b中的圖像88a-n可以包括與用於產生第一數據集合82a相同的圖像88a-n，但沒有下採樣98和/或具有較少的下採樣98。此外或可選地，第二數據集合82b可以包括新的和不同的但可比的圖像88，為了訓練高保真分類器116a而選擇該圖像88。為了繼續並且使高保真分類器更好地檢驗低保真分類器108a所選擇的候選區域，第二數據集合82b中的圖像88可以利用標籤100來標記，標籤100來自與關於第一數據集合82a所用的那些標籤相同的標籤集合102a。
當在第二數據集合82b上訓練時，高保真分類器116a可以與標籤集合102相關地在高保真下重新分類道路場景圖像區域，該區域覆蓋區塊、可能的區域和/或由低保真分類器108a選定的候選區域。以這種方式，可以使用高保真分類器116a確認根據標籤集合102a分類的對象94的描述。由於增加的解析度，高保真分類器116a的訓練時間會增加，但仍可以在相對容易的情況下通過低保真分類器108a作出調整和微調。
為了說明訓練過程，示出了來自第二數據集合82b的示例圖像88a。第二數據集合82b可以存儲在與第一數據集合82a相同的資料庫集合84a或不同的資料庫集合84b中。如同在低保真分類器108a的說明中說明的圖像/版本86a/n，針對停車標誌94a的可分類對象94利用標籤100a標記圖像88a。
圖像88a可以被前饋110c通過高保真分類器116a從輸入層42c到達輸出層58c，這可以提供圖像88a描述被分配給輸出層58c的一個或多個節點60ba-bn的一個或多個可分類對象94的概率。如同低保真分類器108a，如果該概率和通過標籤100a表明的數值之間的差在可接受量以上，那麼可以應用上述反向傳播114b過程。可以實施和/或迭代反向傳播114，直至解決任何顯著的差。在該點，來自數據集合82b的接下來的圖像88可以被前饋110通過高保真分類器116a並且重複該過程。再次地，裁剪的被標記圖像88a-n的數量可以從幾千變到幾百萬。
在第二數據集合82b和/或候選扇區/區域/範圍中的高解析度可以提供另外的信息，利用該信息以改進在道路場景圖像上實施檢測、分類和/或定位的準確性。然而，由於來自道路場景圖像的候選區域的數量被低保真分類器108a限制，在沒有導致過高量的計算和/或時間的情況下，為了實施輔助和/或自主駕駛應用，高保真分類器116a可以被包括在多層多級系統中。因此，一經低保真分類器108a和高保真分類器116a被訓練，就可以為了實施輔助和/或自主駕駛應用而應用低保真分類器108a和高保真分類器116a分類、檢測和/或定位圖像中被分類的對象94。
參照圖7，示出了下採樣模塊118。下採樣模塊118可以實施在處理器集合和/或不同的處理器集合上。下採樣模塊118通過將圖像122下採樣98為圖像122的下採樣圖像/版本120來產生來自固定在車輛上的攝像機116的圖像122的下採樣版本120，攝像機116捕捉迎面而來的道路場景。一經下採樣，就可以利用圖像分析系統的低保真分類器108a來分析下採樣圖像/版本120。
如同下採樣訓練集合82a，在一些示例中，確定關於任何或全部維度的因子以用於保持下採樣版本120a的熵相對於來自攝像機16的圖像122a的熵的預定百分比、比率或絕對值，下採樣模塊118可以利用該因子下採樣98c道路場景圖像122a。再次地，熵的預定百分比可以來自以百分之八十為中心並且在百分之八十以上和以下擴展百分之五的範圍。在一些示例中，可以將該因子確定的儘可能的高，同時將下採樣版本120a中的熵保持在一定比例或絕對值的預定閾值之上。
在圖7示出的示例中，初始道路場景圖像122a具有1280乘以960的解析度尺寸，但任何數量的不同解析度是可行的。由於利用因子四下採樣98c道路場景圖像122a，下採樣版本120a具有320乘以240的解析度。然而，再次地，對於下採樣版本120a而言，任何數量的不同下採樣因子和/或解析度是可行的。為了道路場景圖像122a和下採樣版本120a兩者中捕捉的視野的快速和廣泛和/或詳盡的初步分析，下採樣版本120a可以被反饋到低保真分類器108a的輸入層42b。
如所示的，捕捉的視野可以變化。以示例但並非限制的方式，在圖7中示出了相對於七十度和八十度的方位角的視角限定的可能的視野。其它非限制性示例可以包括十五度和三百六十度。也可以利用相對於豎直維度成類似的各種視野角度來限定可能的視野。
同樣在圖7中示出了下採樣版本120a的一部分124a，該部分描述一些迎面而來的道路場景。在一些示例中，整個下採樣版本120a可以作為一系列重疊的子區域反饋到低保真分類器108a的輸入層42b。在其它示例中，下採樣版本120a的任何數量的不同重疊部分124可以被反饋到不同示例的低保真分類器108a以同時處理。不同重疊部分124可以在每個尺寸上重疊多個像素，該尺寸對應於低保真分類器108a中的最大過濾器46在對應尺寸上的多個單元，以使整個下採樣版本120a被處理，如同在單個示例低保真分類器108a上並且沒有分割地處理，分割是如同關於圖3b所述的現有技術的方法中的。所示部分124a是九十六個像素乘以九十六個像素的尺寸，但任何數量的不同尺寸是可行的。
參照圖8，示出了提取的重疊區域126-1a到126-1n、126-2a到126-2n、126-3a到126-3n、126-4a到126-4n(在本發明中也被稱作區塊和/或範圍)的集合，其覆蓋下採樣版本120a。為了便於說明，示出了下採樣版本120a的部分124a而並非是整個下採樣版本。然而，為了說明的目的，可以將下採樣版本120a的部分124a看作是下採樣版本120a的代表。
重疊區域126-1a到126-1n、126-2a到126-2n、126-3a到126-3n、126-4a到126-4n可以由一個或多個滑動窗口128a-n限定，滑動窗口128a-n具有與不同組的重疊區域126-1a到126-1n、126-2a到126-2n、126-3a到126-3n、126-4a到126-4n的尺寸相等的尺寸。一些示例可以包括位於與低保真分類器108a相同的處理器集合或另一處理器集合上的窗口模塊130和/或應用模塊132。窗口模塊130可操作用於從下採樣版本120a中分離重疊區域126-1a到126-1n、126-2a到126-2n、126-3a到126-3n、126-4a到126-4n，如能夠針對區域集合——在本發明中也稱作重疊區域集合、重疊區塊集合和/或縮放區域集合——利用至少一個窗口128a-d完全跨越下採樣版本120a滑動134來框定。
窗口模塊130可以將重疊區域126-1a到126-1n、126-2a到126-2n、126-3a到126-3n、126-4a到126-4n應用136到低保真分類器108a。類似地，在可選示例中，應用模塊132可以通過將低解析度圖像120a的重疊區域126-1a到126-1n、126-2a到126-2n、126-3a到126-3n、126-4a到126-4n應用136到低保真分類器108a來徹底檢查134低解析度圖像120a捕捉的全部視野。由於區域集合的每個區域126被應用136到低保真分類器108a，因此在它被前饋110通過低保真分類器108a時與過濾器46-3a到46-3n卷積138。
為了產生應用136於低保真分類器108a的區域集合，窗口模塊130和/或應用模塊132可以使窗口128從第一區域126以預定步長滑動134跨過下採樣版本120a和/或下採樣版本120a的部分124a。該步長可以是水平、豎直或兩者都有的一個像素。然而，只要步長間存在足夠的重疊以使被分離區域126內的可分類對象94居中並且準確地定位該對象，每個步長中不同數量的像素也是可行的。在一些示例中，可以使用環境信息來改變下採樣版本120a和/或它的部分124a的不同區域的步長。區域(region)126、區(zone)126和/或區塊(section)126可以被分離和/或包括在來自每個位置的區域集合中，滑動窗口128存在於該位置。因此，在給定窗口尺寸的區域集合內的區塊126的數量可以等於下採樣版本120a和/或它的部分124a尺寸減去窗口128的對應尺寸在每個維度上再減去一所得的乘積。
因此，通過因子四下採樣98可以將應用到低保真分類器108a的區域的數量從尺寸為1280乘960的道路場景圖像122a的1228800減少到76000，或減少兩個數量級，其中在圖像邊界應用零填充。如果尺寸為九十六乘九十六的部分124被應用到多個示例低保真分類器108a，被應用136的區域126的數量可以減少到9216。可以明白的是，這樣的減少大大加速了分類、檢測和/或定位可分類對象94的過程。在多個不同尺寸或比例的滑動窗口128a-n被應用到下採樣版本120a和/或部分124a時，尤其如此。
在這樣的示例中，第一窗口128a可以具有第一尺寸集合，第一尺寸集合與第二窗口128b的第二尺寸集合不同。第一窗口128a、第二窗口128b和/或另外的窗口128c、n可以各自滑動134跨越下採樣版本120a和/或部分124a。在該示例中，第一尺寸和第二尺寸和/或任何另外滑動窗口128c、n的尺寸可以對應於不同比例，在圖像122a的下採樣版本120a中可以以該比例潛在地描述和檢測該類別的集合。換言之，窗口模塊130和/或分離模塊132可以從下採樣圖像120a或它的部分中分離縮放區域的集合，其中縮放區域集合中的縮放區域126具有與第一滑動窗口128a的尺寸不同的尺寸並且與縮放滑動窗口128b的縮放尺寸相稱。
在該示例中，區域集合可以包括不同尺寸/比例的多個子集合，例如具有與第一尺寸相稱的尺寸的第一重疊區域126-1a到126-1n的第一區域子集合，以及具有與第二尺寸相稱的尺寸的第二重疊區域126-2a到126-2n的第二區域子集合。同樣地，在一些但並非全部這樣的示例中，下採樣訓練集合82a可以包括第一下採樣版本86的第一下採樣子集合，該子集合具有與第一尺寸相稱的尺寸。下採樣訓練集合82a也可以包括具有第二下採樣版本86的第二下採樣子集合，該子集合具有與第二尺寸相稱的尺寸。如關於下列附圖中所說明的，低保真分類器108a可以從潛在描述可分類對象94的區域集合選擇一個或多個候選區域。
參照圖9，示出了多層多級圖像分析系統140。圖像分析系統140可以包括低保真分類器108a，低保真分類器108a之後是高保真分類器116a。在一些示例中，多級圖像分類系統140可以包括攝像機16連同處理器集合142上的低保真分類器108a和高保真分類器116a兩者。在一些示例中，一個或多個gpu62b可以被包括在處理器集合142內，處理器集合142實施低保真分類器108a和/或高保真分類器116a。
如關於第一幅圖所說明的，可操作為安裝在機動車輛10上的攝像機16可以如此安裝以捕捉一系列的道路場景圖像122。這樣的攝像機16可以以滿足預定閾值的幀速率捕捉迎面而來的道路場景的一系列的圖像122。預定閾值可以包括上文關於圖1討論的任何示例。
此外，系統140可以包括圖像隊列144，圖像隊列144可以被實施為(但不限於)緩衝器集合，圖像隊列144可操作為使由攝像機機16捕獲的迎面而來的道路場景的一系列圖像122按順序排隊。同樣，在一些示例中，該系統可以包括下採樣模塊118，其可操作用於將道路場景圖像122下採樣98d為低解析度圖像/版本120。在一些示例中，圖像隊列144可以排隊直接來自攝像機16的圖像122。在其它示例中，如圖9所示的示例，圖像隊列144可以存儲圖像122的下採樣版本120。此外，一些示例可以提供直接來自攝像機16的圖像122的圖像隊列144的部分以及下採樣版本120的另一部分。
一經道路場景圖像122a或它的部分124a的下採樣版本120b被前饋110d通過低保真分類器108a，低保真分類器108a就可以從重疊區域集合選擇一個或多個可能的區域146a-n，該重疊區域集合是由窗口模塊130和/或聚合模塊132分離/提取的。
可以利用卷積神經網絡(cnn)20實施的低保真分類器108a可以被訓練或可操作用於在第一數據集合82a上訓練，以相對於標籤集合102a分類一個或多個區塊144，區塊144來自道路場景圖像122的跨越下採樣版本120或它的一部分124的重疊區塊126a-n的集合。因此，低保真分類器108a可以選擇一個或多個可能的區域，低保真分類器108a針對該區域表明存在屬於可被低保真分類器108a分類的對象類別的對象94存在的概率。在一些示例中，應用模塊132可操作用於記錄潛在區域146a-n的集合，其中低保真分類器108a識別根據標籤集合102a可分類的對象94的潛在說明。在低保真分類器108a針對多種尺寸或比例進行訓練的示例中，低保真分類器108a可以從縮放區域集合中選擇縮放區域146n，其中低保真分類器108a表明可被低保真分類器108a分類的縮放對象94存在的概率。
之後，多級系統140可以將低保真分類器108a選定的一個或多個可能的區域1446a-n或候選區域146a-n前饋110e通過高保真分類器116a。在將候選扇區146a-n應用於可以實施第二cnn20的高保真分類器116a表明一個或多個候選扇區146a-n中存在一個或多個可分類對象94的情況下，高保真分類器116a可以確定一個或多個對象94的存在。在候選區域146a-n包括多個尺寸/比例和/或針對多個尺寸/比例而訓練高保真分類器116a的示例中，高保真分類器116a可以確認縮放對象94的存在，其中應用110e候選縮放扇區146n產生縮放對象94存在的概率。在一些示例中可以包括確定模塊148，確定模塊148可操作為通過將高保真分類器116a應用到候選區域146a-n的集合來確定被確認的區域集合。
多級系統140可以是多層的，以在候選區域146a-n被應用到高保真分類器116a之前先使低保真分類器108a選擇候選區域146a-n。然而，在低保真分類器108a已經發現至少一個候選區域146的一些示例中，低保真分類器108a可以繼續搜索低保真分類器108a還未針對一個或多個另外的候選區域146而應用到的重疊區域集合中的區域126。同時，高保真分類器116a同時可以通過將對應於先前發現的至少一個候選區域的一個或多個扇區應用於高保真分類器116a來確認一個或多個對象94的存在或描述。
此外，圖像分析系統140可操作為通過在一系列圖像中的單個圖像122上應用上述技術以同樣滿足預定閾值的處理速率來處理一系列的圖像。如所述的，預定閾值可以設置為針對機動車輛10對一系列圖像中的分類信息的預定輔助和/或自主響應提供足夠的時間。低保真分類器108a和高保真分類器116a中的一個或兩個的參數可以被設置為相對於至少一個gpu62b和/或處理器集合142的計算能力而限制低保真分類器108a和/或高保真分類器116a的計算要求。
這樣的參數可以包括但不限於卷積層26的數量、一個或多個卷積層26的深度、應用在單獨卷積神經元/節點36的過濾器46的尺寸、隱藏層54的數量、一個或多個隱藏層54的深度、輸出層58的深度和/或其它這種參數。可以控制這些參數，以實現以提供對一系列圖像中的分類信息的實時訪問的預定速率處理一系列圖像。在該示例中，處理器142集合中的gpu集合62b可實施第一和/或第二cnn20以利用gpu62b的並行處理能力。再次地，這樣的能力可以使第一和/或第二cnn20以一定速率處理一系列的道路場景圖像，該速率為針對處理的一系列道路場景圖像中的分類信息的預定輔助和/或自主車輛響應提供時間。
在一些示例中，由多級系統140提供的一系列道路場景圖像122的分類、檢測和/或定位信息可以自身被用於輔助和/或自主駕駛應用。在其它示例中，由多級系統140提供的分類、檢測和/或定位信息可以與來自一個或多個另外的設備(上文關於圖1所說明的)的信息結合用於輔助和/或自主駕駛應用。在這樣的示例中，可以使用處理器集合142或一些其它處理器集合上實施的聚合模塊150。聚合模塊150可操作用於使低保真分類器108a應用於來自攝像機16的圖像122下採樣版本120的詳盡覆蓋範圍，與對區域集合的應用相同，以向來自另外的成像子系統——如雷達子系統12和/或雷射雷達子系統14——的信息提供冗餘。此外和/或可選地，來自多級系統140的信息可以提供另一成像子系統提供的分類信息缺少的遺漏的分類、檢測和/或定位信息和/或改進其統計可靠性。
參照圖10，示出了另外的基礎設施，可以依靠該設施連接多級系統140中的低保真分類器108a和高保真分類器116a。可以使用這樣的基礎設施來克服不同的解析度，低保真分類器108a和高保真分類器116a針對該不同解析度進行訓練。這樣的基礎設施可以包括映射模塊152。映射模塊152可操作用於將從下採樣版本120或它的一部分124a中選擇的可能區域146映射154到圖像122或它的一部分158的高解析度版本的扇區156a(在本發明中也被稱作小片156a和/或區域156a)。可以採用許多不同的方法來映射154，例如但不限於當滑動窗口128提取相應的候選區域146時考慮滑動窗口128的位置並將其在多個維度上的位置乘以下採樣因子。
當針對不同的尺寸/比例訓練多級系統140時，映射模塊152可以將下採樣版本120或它的一部分124中的縮放區域126映射154到高解析度版本122的縮放扇區156。在一些示例中，關於前述附圖介紹的確定模塊148可操作用於將潛在區域146集合投射到道路場景圖像122的高保真版本上，從而產生候選區域集合，該候選區域集合被前饋110通過高保真分類器116a。
以示例方式，描述行人70的可分類對象94b的特定扇區156a可以利用對應卷積138通過過濾器46和其它運算被前饋110f通過高保真分類器116a。在輸出層58d，被訓練用於提供扇區156a描述可分類對象94b的概率的節點60ca可以穿過閾值，該閾值表明檢測，通過校驗符號表明。作出檢測的輸出層58d中的具體節點60ca可以用於提供分類信息，即檢測對象94b是行人70，其可以是分配給具體輸出節點60ac的類別。而且，用於將區塊126映射154到具體扇區156a的相同的信息可以被用於確定初始圖像122中被描述對象94b或行人70的位置160。
參照圖11，流程圖200示出了利用多級圖像分析系統140來快速、準確和全面分類、檢測和/或定位圖像122中的可分類對象94的步驟。這樣的系統140可以利用圍繞一對cnn20構建的低保真分類器108a和高保真分類器116a來構建。流程圖示出了根據示例的系統、方法和電腦程式產品的潛在實施方式的結構、功能和/或運算。在這方面，流程圖中的每個框可以代表模塊、段或代碼部分，其包含用於實施特定邏輯函數的一種或多種可執行指令。也可以注意到的是，可以由執行特定功能或動作的專用的基於硬體的系統或專用的硬體和計算機指令的組合來實施流程圖的每個框以及流程圖中框的組合。
在涉及電腦程式指令的情況下，可以向通用計算機、專用計算機或其它可編程數據處理裝置的處理器提供這些指令以產生機器，以使通過計算機或其它可編程數據處理裝置的處理器執行的指令，產生用於實施流程圖和/或框或多個框中規定的功能/動作的方式。這些計算機編程指令也可以存儲在計算機可讀介質中，計算機可讀介質可以指示計算機以特定方式工作，以使存儲在計算機可讀介質中的指令生產製品，包括實施流程圖和/或框或多個框中規定的功能/動作的指令方式。
也應指出的是，在一些可選的實施方式中，框中所述的功能可以不按照所示的順序發生。在特定實施例中，相繼示出的兩個框實際上可以基本上同時執行，或根據所涉及的功能，有時框可以以相反的順序執行。可選地，可以省略特定步驟或功能。
與圖11一致的方法200中的操作可以以訓練操作202和測試操作204來分組。一些示例可以僅涉及訓練操作202，其它可以僅涉及測試操作204，同時另外的其它示例可以涉及202、204兩者。在涉及202、204兩者的示例中，可以通過以一個或多個不同的比例裁剪208一個或多個不同對象94的圖像88來開始206該方法200。之後利用所附的對應標籤100下採樣210被裁剪的圖像88。
可以作出確定212，該確定關於下採樣版本86的熵相對於初始圖像88是否減少到預定數值和/或比率。如果答案是否，方法200可以返回以進一步下採樣210一個或多個先前被下採樣的版本86。如果答案是肯定的，方法200可以通過在下採樣圖像/版本86的所得的下採樣數據集合82a上訓練214低保真分類器108a來繼續。此外，可以在高解析度數據集合82b上訓練216高保真分類器116a，高解析度數據集合82b由被裁剪的初始圖像88組成。
方法200可以通過下採樣218測試圖像122而繼續到測試操作204。當具有與區域126相稱的尺寸的窗口128滑動穿過下採樣測試圖像120時，可以在低保真分類器108a上測試下採樣測試圖像120的每個區域126。可以作出確定222，該確定是關於低保真分類器108a是否選擇候選區域126作為潛在描述可分類對象94。如果答案是否，方法200可以繼續測試下採樣版本102的另外的區域126。然而，如果答案是肯定的，那麼方法可以檢索224與候選區域146對應的高解析度圖像122的一個或多個扇區156。與候選區域146對應的每個高解析度扇區156可以在高保真分類器116a上測試226，這可以確認或不確認所描述的被分類對象94的存在，並且該方法結束228。
在不脫離其精神或本質特徵的情況下，本發明可以具體化為其它具體形式實施。所描述的示例在所有方面被認為僅是說明性的而不是限制性的。因此，本發明的範圍由所附權利要求書表明，而不是由上述說明表明。在權利要求的等同含義和範圍內的所有改變將被包括在其保護範圍內。