區域標註方法、裝置和電子設備與流程

2023-07-23 09:12:39 3

本申請涉及圖像處理領域，且更具體地，涉及一種區域標註方法、裝置、電子設備、電腦程式產品和計算機可讀存儲介質。

背景技術：

物體檢測是指利用計算機分析通過成像器件獲取的視頻圖像，以完成目標物體的檢測和分類識別等操作。例如，希望諸如車輛之類的交通工具在行駛過程中能夠不斷檢測和識別周圍的車輛、行人等物體。這樣，可以及時幫助或提醒駕駛人員改變駕駛策略，從而減少交通事故。

目前最常使用的是基於機器學習模型的檢測方式。為了保證機器學習模型的準確性，需要預先採用大量的行駛環境的圖像信息作為訓練樣本來對該模型進行離線訓練。在行駛環境中往往存在諸如交通工具、行人等各種目標物體，在離線訓練之前需要在訓練樣本中將這些目標區域區分並標註出來。目前，訓練樣本中目標區域的標註主要依賴於用戶手工完成，也就是說，用戶需要在大量圖像信息中手動地找到各種目標物體個體，並對每個個體的大小、位置等進行標註。由於訓練樣本庫一般需要達到幾十萬的規模，所以採用這種手動標註方式非常耗時，人力成本非常高，且不具擴展性。

因此，現有的區域標註技術是效率低下的。

技術實現要素：

為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種區域標註方法、裝置、電子設備、電腦程式產品和計算機可讀存儲介質，其能夠自動地在行駛環境中標註目標物體的目標區域。

根據本申請的一個方面，提供了一種區域標註方法，包括：在生成用於訓練機器學習模型的訓練樣本的過程中，獲取成像器件所採集的行駛環境的圖像信息；獲取存在於所述行駛環境中的目標物體的目標位置信息，所述目標位置信息與所述圖像信息在時間上同步；以及根據所述目標位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標物體的目標區域。

根據本申請的另一方面，提供了一種區域標註裝置，包括：圖像獲取單元，用於在生成用於訓練機器學習模型的訓練樣本的過程中，獲取成像器件所採集的行駛環境的圖像信息；位置獲取單元，用於獲取存在於所述行駛環境中的目標物體的目標位置信息，所述目標位置信息與所述圖像信息在時間上同步；以及區域標註單元，用於根據所述目標位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標物體的目標區域。

根據本申請的另一方面，提供了一種電子設備，包括：處理器；存儲器；以及存儲在所述存儲器中的電腦程式指令，所述電腦程式指令在被所述處理器運行時使得所述處理器執行上述的區域標註方法。

根據本申請的另一方面，提供了一種電腦程式產品，包括電腦程式指令，所述電腦程式指令在被處理器運行時使得所述處理器執行上述的區域標註方法。

根據本申請的另一方面，提供了一種計算機可讀存儲介質，其上存儲有電腦程式指令，所述電腦程式指令在被處理器運行時使得所述處理器執行上述的區域標註方法。

與現有技術相比，採用根據本申請實施例的區域標註方法、裝置、電子設備、電腦程式產品和計算機可讀存儲介質，可以在生成用於訓練機器學習模型的訓練樣本的過程中，獲取成像器件所採集的行駛環境的圖像信息；獲取存在於所述行駛環境中的目標物體的目標位置信息，所述目標位置信息與所述圖像信息在時間上同步；並且根據所述目標位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標物體的目標區域。因此，與如現有技術中對目標區域進行人工標註的情況相比，可以自動地標註行駛環境中目標物體的目標區域，提高了區域標註的效率。

附圖說明

通過結合附圖對本申請實施例進行更詳細的描述，本申請的上述以及其他目的、特徵和優勢將變得更加明顯。附圖用來提供對本申請實施例的進一步理解，並且構成說明書的一部分，與本申請實施例一起用於解釋本申請，並不構成對本申請的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。

圖1圖示了根據本申請實施例的區域標註方法的流程圖。

圖2圖示了根據本申請實施例的行駛環境的示例應用場景的示意圖。

圖3圖示了根據本申請實施例的由成像器件所採集的行駛環境的圖像信息的示意圖。

圖4圖示了根據本申請實施例的獲取目標位置信息步驟的流程圖。

圖5圖示了根據本申請實施例的第一示例的標註目標區域步驟的流程圖。

圖6圖示了根據本申請實施例的第二示例的標註目標區域步驟的流程圖。

圖7圖示了根據本申請實施例的目標區域標識結果的示意圖。

圖8圖示了根據本申請實施例的區域標註裝置的框圖。

圖9圖示了根據本申請實施例的電子設備的框圖。

具體實施方式

下面，將參考附圖詳細地描述根據本申請的示例實施例。顯然，所描述的實施例僅僅是本申請的一部分實施例，而不是本申請的全部實施例，應理解，本申請不受這裡描述的示例實施例的限制。

申請概述

如上所述，在現有技術中，訓練樣本中目標區域的標註主要依賴於用戶手工完成，因此存在操作複雜且效率低的問題。

具體來說，現有的目標區域標註方法需要用戶基於人眼識別來尋找圖像信息中的各種目標物體個體，並使用滑鼠圈選的方式對每個個體的大小、位置等進行標註。在通常情況下，這種目標物體標註方法是簡單且有效的。然而，用於對機器學習模型進行離線訓練的樣本庫往往包括大量的圖像信息，如果每一幅圖像都需要用戶人眼分辨、手動標識，則必定耗時耗力，且由於人工操作可能出現漏標或錯標，因此，現有的目標區域標註可能不夠準確，從而導致後續的機器學習結果產生錯誤。

針對該技術問題，本申請的基本構思是提出一種新的區域標註方法、裝置、電子設備、電腦程式產品和計算機可讀存儲介質，其可以在標註過程中，通過結合成像器件設置在其上的當前物體的當前位置信息和目標物體的目標位置信息、以及成像器件的參數信息，自動在成像器件所採集的圖像信息中將目標物體的目標區域標註出來，無需用戶手工操作，從而降低了標註成本、提高了標註速度。

本申請的實施例可以應用於各種場景。例如，本申請的實施例可以用於對交通工具所處的行駛環境中目標物體的目標區域進行標註。例如，該交通工具可以是不同的類型，其可以是車輛、飛行器、太空飛行器、水中運載工具等。下面，將以車輛作為交通工具的示例來繼續描述。

需要說明的是，儘管在本文中以交通工具為例對本申請的實施例進行了說明，但是本申請不限於此。本申請的實施例同樣可以應用於諸如對可移動機器人、固定監控攝像頭等各種在線電子設備所處的行駛環境中目標物體的目標區域進行標註。

示例性方法

圖1圖示了根據本申請實施例的區域標註方法的流程圖。

如圖1所示，根據本申請實施例的區域標註方法可以包括：

在步驟S110中，在生成用於訓練機器學習模型的訓練樣本的過程中，獲取成像器件所採集的行駛環境的圖像信息。

為了保證機器學習模型的準確性，需要生成大量的其中標註有目標物體所佔據的目標區域的行駛環境的圖像信息作為訓練樣本，用於預先對該模型進行離線訓練。

為此，首先，可以通過裝備於當前物體的固定位置上的一個或多個成像器件來採集該當前物體所處的行駛環境的圖像信息。在該行駛環境中，除了存在當前物體之外，還可能存在一個或多個目標物體。

例如，該成像器件可以是用於捕捉圖像信息的圖像傳感器，其可以是攝像頭或攝像頭陣列。例如，圖像傳感器所採集到的圖像信息可以是連續圖像幀序列(即，視頻流)或離散圖像幀序列(即，在預定採樣時間點採樣到的圖像數據組)等。例如，該攝像頭可以是如單目相機、雙目相機、多目相機等，另外，其可以用於捕捉灰度圖，也可以捕捉帶有顏色信息的彩色圖。當然，本領域中已知的以及將來可能出現的任何其他類型的相機都可以應用於本申請，本申請對其捕捉圖像的方式沒有特別限制，只要能夠獲得輸入圖像的灰度或顏色信息即可。為了減小後續操作中的計算量，在一個實施例中，可以在進行分析和處理之前，將彩色圖進行灰度化處理。

這樣，通過該當前物體在行駛環境中不斷移動，可以經由成像器件來採集包括目標物體的行駛環境的大量圖像信息。下面，為了便於理解，將以車輛在道路路面中行駛作為示例應用場景來對本申請的實施例進行詳細描述。

圖2圖示了根據本申請實施例的行駛環境的示例應用場景的示意圖。

如圖2所示，該行駛環境是適於車輛行駛的道路路面。在該道路路面上存在作為當前物體的當前車輛V0，其上裝備有成像器件(例如，攝像頭)。此外，在該道路路面上還存在多個目標車輛(位於該當前車輛V0不同方位處的3個目標車輛V1-V3)。

例如，該當前車輛V0可以是其上裝備有攝像頭的一數據採集車輛，數據採集車輛在道路路面中移動，以不斷採集該道路路面及其上目標車輛的圖像信息。在實踐中，這樣的道路路面通常可以在一個封閉的環境內獲得，例如自動駕駛示範園。當然，在滿足本申請中公開的各種要求的情況下，該道路路面也可以是向公眾開放的實際路面。另外，儘管這裡僅僅以車輛作為目標物體的示例進行描述，但是，本申請不限於此。例如，目標物體也可以為以下各項中的至少一個：行人、動物、警示牌、信號燈、和隔離墩等，只要能夠獲取到與其相關的位置信息等信息即可。

然後，可以獲取所述成像器件所採集的當前物體所處的行駛環境的圖像信息，以用於後續處理。

圖3圖示了根據本申請實施例的由成像器件所採集的行駛環境的圖像信息的示意圖。

如圖3所示，可以獲取該當前車輛V0上的攝像頭採集到的其行駛方向中的道路路面的圖像信息。在攝像頭採集到的圖像中，包括位於該當前車輛V0左前方的目標車輛目標車輛V1、正前方的目標車輛V2、和右前方的目標車輛V3。當前車輛V0並未出現在該幅圖像中，這是因為它是本車，不在自身成像器件的視線內。

需要說明的是，儘管這裡以攝像頭採集當前車輛V0的行駛方向中的圖像信息為例進行說明，但是，本申請不限於此。相反地，攝像頭也可以通過不同的成像角度和設置來採集其他方向中的圖像信息。例如，行駛方向的相反方向中的圖像信息、與行駛方向呈一定夾角方向中的圖像信息、乃至360度全向的圖像信息等。

在步驟S120中，獲取存在於所述行駛環境中的目標物體的目標位置信息，所述目標位置信息與所述圖像信息在時間上同步。

在獲取成像器件所採集的行駛環境的圖像信息之前、之後、或與之同時地，可以另外地獲取目標物體的目標位置信息。

圖4圖示了根據本申請實施例的獲取目標位置信息步驟的流程圖。

如圖4所示，步驟S120可以包括：

在子步驟S121中，確定所述成像器件採集所述圖像信息的採集時間。

例如，圖像信息中可以包括含有採集時間之類的各種屬性信息。通過該屬性信息即可確定出所述圖像信息的採集時間。

在子步驟S122中，獲取所述目標物體在所述採集時間的目標位置信息。

例如，可以直接從所述目標物體接收實時通信信息，所述實時通信信息包括所述目標位置信息。

為此，可以使得在整個行駛環境中的所有車輛都具備如下能力：1、定位能力，例如，每個車輛可以使用全球定位系統(GPS)、慣性測量單元(IMU)等手段來對自身進行實時定位，使其可以在任何時刻都確認自己的位置；2、通信能力，用於向外界傳輸自己的實時位置信息，例如，該通訊能力可以通過車聯網(V2X)技術(具體地，專用短程通信系統DSRC或用於車輛的長期演進LTE-V等)來實現，也可以通過移動通信(例如，4G等)、電子車牌或者任何其它手段來實現。顯然，在目標為行人、動物、信號燈等其他物體的情況下，可以通過各種可能的移動終端(諸如，手機、信標發生器等)來使其具備上述能力。

更進一步地，為了提高後續定位的準確性，所述實時通信信息還可以包括以下各項中的至少一個：所述目標物體的標識信息、顏色信息、號牌信息、尺寸信息、型號信息、參考點位置信息、和時間戳信息，所述參考點位置信息指示出所述目標位置信息所確定的點在所述目標物體的整體空間中的特定位置。

其中，所述標識信息指示出所述目標物體的身份，用於在行駛環境中存在多個目標物體時進行彼此區分；所述顏色信息指示出所述目標物體的外圍輪廓的顏色；所述號牌信息指示出所述目標物體的牌照號碼，也可以用於確定其身份使用；所述尺寸信息指示出所述目標物體的外圍尺寸；所述參考點位置信息指示出所述目標物體的定位器件(例如，GPS、IMU等)安裝在所述目標物體的哪個位置上；而所述時間戳信息指示出所述目標物體在向外單播、組播或廣播自身的目標位置信息時的時間點。優選地，在整個行駛環境中的當前物體和各個目標物體具有已同步校準、或能夠被同步校準的時鐘信號。

因為在道路路面上行駛的每一輛車都有對外界報告自己位置的能力，所以我們可以獲得每一輛車的一個一元組或多元組，將其作為一個車輛信息單元。例如，該車輛信息單元可以包括車輛的標識信息、位置信息、和時間戳信息、以及可選的其他信息。具體地，該車輛信息單元可以是具有以下形式的多元組(Vn,T,Pn)，其中Vn代表車輛n本身的編號，是唯一的；T代表某個具體的時間點；Pn代表車輛n在時間T時的位置，在絕對坐標的情況下，例如Pn可以包括緯度坐標和經度坐標，在相對駕駛園區內某一基準遠點的相對坐標的情況下，Pn也可以包括橫坐標和縱坐標，當然在三維場景下，還可以進一步包括海拔坐標或高度坐標。

由此，可以根據各個車輛發送的該多元組中的時間戳信息T來可確定出在與圖像信息的採集時間相同時間點上採集的目標位置信息Pn。

替換地，除了直接從所述目標物體接收目標位置信息之外，還可以通過其他手段來獲得該目標位置信息。例如，還可以從單獨的定位系統中獲取所述目標物體的目標位置信息。在一個示例中，可以通過衛星系統來實時定位各個目標物體的位置及其顏色、型號等信息。或者，在每個車輛與地面的基站設備進行通信的過程中，各個車輛可以向多個基站設備發送用於定位的信標數據，使得能夠根據所述多個基站設備各自所接收到的信標數據的信號參數、以及所述多個基站設備的位置數據來確定所述車輛在運動時的實時位置數據。這樣，也可以將目標物體的目標位置信息等各種信息與圖像信息進行同步處理，以用於在圖像信息中對目標物體的目標區域進行標識。

在步驟S130中，根據所述目標位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標物體的目標區域。

在獲得時間同步的圖像信息和目標位置信息之後，可以通過各種方法來將兩者結合以檢測所述行駛環境中的目標物體及其區域。

圖5圖示了根據本申請實施例的第一示例的標註目標區域步驟的流程圖。

如圖5所示，在第一示例中，步驟S130可以包括：

在子步驟S131中，獲取所述當前物體的當前位置信息，所述當前位置信息與所述圖像信息在時間上同步。

與步驟S120中類似地，也可以直接從所述當前物體或其他定位系統接收在與圖像信息的採集時間相同時間點上採集的當前物體的當前位置信息P0。

在子步驟S132中，根據所述目標位置信息和所述當前位置信息來計算所述目標物體與所述當前物體之間的相對位置信息。

在子步驟S133中，根據所述相對位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標區域。

在目標位置信息和當前位置信息是由目標車輛和當前車輛的定位器件所生成的情況下，該位置信息實際上可能僅僅是一個位置點信息，其代表定位器件所在的位置點，而非車輛的一個整體區域。在使用定位系統的情況下，該位置信息也同樣可能僅僅是車輛的一個參考點(例如，中心或重心)所在的位置點。

在一個簡單的示例中，可以直接根據該點位置信息來執行標註操作。

首先，在子步驟S132中，可以根據所述目標位置信息和所述當前位置信息來確定所述目標物體的參考點與所述當前物體的參考點之間的點相對位置信息，所述目標物體的參考點是所述目標位置信息所確定的在所述目標物體的整體空間中的點，而所述當前物體的參考點是所述當前位置信息所確定的在所述當前物體的整體空間中的點。

例如，該參考點可以是在使用定位器件(GPS模塊)對車輛進行定位時該定位器件所在的位置點，也可以是在使用定位系統進行定位時該車輛的一個參考點。

例如，可以通過以下公式來計算該點相對位置信息：

其中，假設Ph0為當前車輛V0的橫坐標或緯度坐標；Phn為目標車輛Vn的橫坐標或緯度坐標；Pl0為當前車輛V0的縱坐標或經度坐標；Pln為目標車輛Vn的縱坐標或經度坐標。由此，通過上述公式可以計算出目標車輛Vn與當前車輛V0之間的相對位置代表目標車輛Vn相對於當前車輛V0的橫坐標或緯度坐標；代表目標車輛Vn相對於當前車輛V0的縱坐標或經度坐標。也就是說，某一目標車輛的點絕對位置減去當前車輛的點絕對位置，就可以得出兩者之間的一個點相對位置。

然後，在子步驟S133中，可以根據所述點相對位置信息和所述成像器件的參數信息來確定所述目標物體的參考點在所述圖像信息中的位置點；以及在所述圖像信息中標註所述位置點，作為所述目標區域。

例如，一旦確定出目標車輛的定位器件與當前車輛的定位器件在世界坐標系下的點相對位置，就可以根據攝像頭的參數矩陣，將其轉換為圖像坐標系中的一個或多個像素點位置。在攝像頭的參數確定的情況下，再考慮一些補償因素，比如車身當時的俯仰角，車頭朝向等等，就可以確定與之對應的像素點。由此，在圖像中對該像素點進行圈選，以對目標車輛的目標區域進行標註。

更進一步地，由於已知車輛與本車之間的距離，可以根據該距離在經驗上適當地對圈選區域進行放大，以儘可能接近實際情況地全選到目標車輛所佔據的整個目標區域。

由於不同型號的車輛可能尺寸相差較大，為了更加準確，還可以根據從目標車輛接收到的尺寸信息、型號信息來更加準確地對圈選區域進行放大。此外，由於一個車輛的輪廓顏色基本一致，所以還可以以轉換得到的一個或多個像素點位置為中心，對具有相同顏色的區域進行圈選，作為目標區域。

替換地，除了使用點位置信息之外，還可以使用從目標車輛獲得的其他信息來計算一個目標車輛整體空間的區域位置信息，用於執行標註操作。

首先，在子步驟S132中，可以根據所述目標物體的尺寸信息、參考點位置信息、和所述目標位置信息、以及所述當前位置信息來確定所述目標物體的整體空間與所述當前物體的參考點之間的區域相對位置信息，所述參考點位置信息指示出所述目標位置信息所確定的點在所述目標物體的整體空間中的特定位置，所述當前物體的參考點是所述當前位置信息所確定的在所述當前物體的整體空間中的點。

例如，在從目標車輛Vn接收到參考點位置信息(例如，指示出其定位器件安裝在目標車輛Vn上的哪個位置)的情況下，可以進一步結合該目標車輛的尺寸信息，從而計算得到該目標車輛的整體空間的外圍輪廓的絕對位置信息。例如，該目標車輛的尺寸信息可以是從目標車輛直接接收的，也可以是根據從目標車輛接收到的型號信息而確定的。

在已知該目標車輛的整體空間各個點的絕對位置信息之後，可以通過上面相同的公式來計算出目標車輛的整體空間與當前車輛的參考點之間的區域絕對位置。

然後，在子步驟S133中，根據所述區域相對位置信息和所述成像器件的參數信息來確定所述目標物體的整體空間在所述圖像信息中的位置區域；以及在所述圖像信息中標註所述位置區域，作為所述目標區域。

例如，一旦確定出目標車輛的整體空間與當前車輛的定位器件在世界坐標系下的區域相對位置，就可以根據攝像頭的參數矩陣，將其轉換為圖像坐標系中的像素區域位置。由此，在圖像中對該像素區域進行圈選，以對目標車輛的目標區域進行標註。

在該第一示例中，首先計算目標車輛與當前車輛在世界坐標系下的相對位置，然後根據成像器件的參數信息將它轉換到圖像坐標系中，以在圖像中對目標車輛的目標區域進行標註。然而，本申請不限於此。例如，在第二示例中，也可以首先根據成像器件的參數信息將圖像中各個像素轉換到世界坐標系中，再計算目標車輛與當前車輛在世界坐標系下的相對位置，從而確定該圖像中與目標車輛相關聯的所有像素。

圖6圖示了根據本申請實施例的第二示例的標註目標區域步驟的流程圖。

如圖6所示，在第二示例中，步驟S130可以包括：

在子步驟S134中，根據所述成像器件的參數信息來確定所述圖像信息中每個像素相對於所述當前物體的相對位置關係。

例如，可以首先對在步驟S110中獲取的圖像信息進行預處理。簡單來講，就是確定其每一個像素對應於當前車輛的相對位置。首先，確定各個像素在圖像坐標系下的像素位置，然後，根據轉換矩陣，計算各個像素點在世界坐標系下相對於當前車輛的相對位置關係。在攝像頭的參數確定的情況下，再考慮一些補償因素，比如車身當時的俯仰角，車頭朝向等等，就可以確定每一個像素的相對位置。

在子步驟S135中，獲取所述當前物體的當前位置信息，所述當前位置信息與所述圖像信息在時間上同步。

在子步驟S136中，根據所述目標位置信息和所述當前位置信息來計算所述目標物體與所述當前物體之間的相對位置信息。

在子步驟S137中，根據所述相對位置關係和相對位置信息來在所述圖像信息中標註所述目標區域。

第二示例中的步驟S135和S136與第一示例中的步驟S131和S132基本相同，由此省略其詳細描述。

在步驟S137中，與第一示例中的步驟S133相似地，例如，一旦在步驟S136中確定出目標車輛的參考點(例如，定位器件)與當前車輛的參考點(例如，定位器件)在世界坐標系下的點相對位置，就可以根據在步驟S134中預先計算得到的各個像素點在世界坐標系下相對於當前車輛的相對位置關係來確定出圖像中的哪一個或多個像素點對應於目標車輛的參考點。由此，在圖像中對該像素點進行圈選，以對目標車輛的目標區域進行標註。

當然，後續也可以根據各種其他參數對圈選區域進行適當放大，以儘可能接近實際情況地全選到目標車輛所佔據的整個目標區域。

替換地，一旦在步驟S136中確定出目標車輛的整體空間與當前車輛的參考點在世界坐標系下的區域絕對位置，就可以根據在步驟S134中預先計算得到的各個像素點在世界坐標系下相對於當前車輛的相對位置關係來確定出圖像中的哪個像素區域對應於目標車輛的目標區域。

接下來，可選地，在步驟S140中，基於其中標註有所述目標區域的圖像信息來生成所述訓練樣本。

例如，可以將圖像信息和相關聯的標註信息打包在一起，以生成訓練樣本，以供機器學習模型的後續訓練使用。

在上述的實施例中，可以在標註過程中，通過結合成像器件設置在其上的當前物體的當前位置信息和目標物體的目標位置信息、以及成像器件的參數信息，自動在成像器件所採集的圖像信息中將目標物體的目標區域標註出來。然而，為了實現輔助駕駛等目的，不但希望將目標區域標註出來，而且還希望將整個行駛環境中的可行駛區域都標註出來，並且基於上述標註結果來生成用於機器學習模型的訓練樣本。

因此，在一個實施例中，在步驟S140之前，還可以包括：確定所述行駛環境的環境邊界；根據所述環境邊界和所述目標區域來標註所述行駛環境上的可行駛區域。

例如，可以由用戶基於人眼來識別尋找到的道路路面的邊界位置信息，其可以包括圖像上的坐標輸入或圈選輸入等。然後，可以根據用戶輸入的邊界位置信息來在圖像信息中標註出所述道路路面的路面邊界。例如，所述路面邊界可以為以下各項中的至少一個：路沿、隔離帶、綠化帶、護欄、車道線、和其他車輛的邊緣。最後，例如，可以根據所述路面邊界確定所述道路路面上的路面區域，並且從所述路面區域中去除所述目標區域，以獲得所述可行駛區域。

由此可見，採用根據本申請實施例的區域標註方法，可以在生成用於訓練機器學習模型的訓練樣本的過程中，獲取成像器件所採集的行駛環境的圖像信息；獲取存在於所述行駛環境中的目標物體的目標位置信息，所述目標位置信息與所述圖像信息在時間上同步；並且根據所述目標位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標物體的目標區域。因此，與如現有技術中對目標區域進行人工標註的情況相比，可以自動地標註行駛環境中目標物體的目標區域，提高了區域標註的效率。

下面，將通過一個具體的實驗來說明本申請實施例的效果。

圖7圖示了根據本申請實施例的目標區域標識結果的示意圖。

參考圖7，可以看出，通過結合成像器件設置在其上的當前車輛V0的當前通信信息(V0,T,Ph0,Pl0)和目標車輛V1-V5的目標位置信息(Vn,T,Phn,Pln)、以及成像器件的參數信息，可以自動在成像器件所採集的圖像信息中將目標車輛V1-V5的目標區域框選出來，以用於輔助駕駛目的。更進一步，還可以將目標車輛與當前車輛的距離標記出來，以便直觀地了解到兩者之間的遠近情況。

因此，利用根據本申請實施例的區域標註方法，可以實現圖像數據標註的自動化處理，由此獲得的好處包括：1、大大降低數據標註的成本；2、將數據標註的質量提升到一個新的水準，極大減少漏標、誤標；3、加速數據處理速度。

示例性裝置

下面，參考圖8來描述根據本申請實施例的區域標註裝置。

圖8圖示了根據本申請實施例的區域標註裝置的框圖。

如圖8所示，所述區域標註裝置100可以包括：圖像獲取單元110，用於在生成用於訓練機器學習模型的訓練樣本的過程中，獲取成像器件所採集的行駛環境的圖像信息；位置獲取單元120，用於獲取存在於所述行駛環境中的目標物體的目標位置信息，所述目標位置信息與所述圖像信息在時間上同步；以及區域標註單元130，用於根據所述目標位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標物體的目標區域。

在一個示例中，所述圖像獲取單元110可以獲取所述成像器件所採集的當前物體所處的行駛環境的圖像信息，所述成像器件裝備於所述當前物體的固定位置上。

在一個示例中，所述位置獲取單元120可以包括：時間確定模塊，用於確定所述成像器件採集所述圖像信息的採集時間；以及目標位置獲取模塊，用於獲取所述目標物體在所述採集時間的目標位置信息。

在一個示例中，所述位置獲取模塊可以從所述目標物體接收實時通信信息，所述實時通信信息包括所述目標位置信息。

在一個示例中，所述實時通信信息還可以包括以下各項中的至少一個：所述目標物體的標識信息、顏色信息、號牌信息、尺寸信息、型號信息、參考點位置信息、和時間戳信息，所述參考點位置信息指示出所述目標位置信息所確定的點在所述目標物體的整體空間中的特定位置。

在一個示例中，所述區域標註單元130可以包括：當前位置獲取模塊，用於獲取所述當前物體的當前位置信息，所述當前位置信息與所述圖像信息在時間上同步；相對位置計算模塊，用於根據所述目標位置信息和所述當前位置信息來計算所述目標物體與所述當前物體之間的相對位置信息；以及區域標註模塊，用於根據所述相對位置信息和所述成像器件的參數信息來在所述圖像信息中標註所述目標區域。

在一個示例中，所述相對位置計算模塊可以根據所述目標位置信息和所述當前位置信息來確定所述目標物體的參考點與所述當前物體的參考點之間的點相對位置信息，所述目標物體的參考點是所述目標位置信息所確定的在所述目標物體的整體空間中的點，而所述當前物體的參考點是所述當前位置信息所確定的在所述當前物體的整體空間中的點，並且所述區域標註模塊可以根據所述點相對位置信息和所述成像器件的參數信息來確定所述目標物體的參考點在所述圖像信息中的位置點；以及在所述圖像信息中標註所述位置點，作為所述目標區域。

在一個示例中，所述相對位置計算模塊可以根據所述目標物體的尺寸信息、參考點位置信息、和所述目標位置信息、以及所述當前位置信息來確定所述目標物體的整體空間與所述當前物體的參考點之間的區域相對位置信息，所述參考點位置信息指示出所述目標位置信息所確定的點在所述目標物體的整體空間中的特定位置，所述當前物體的參考點是所述當前位置信息所確定的在所述當前物體的整體空間中的點，並且所述區域標註模塊可以根據所述區域相對位置信息和所述成像器件的參數信息來確定所述目標物體的整體空間在所述圖像信息中的位置區域；以及在所述圖像信息中標註所述位置區域，作為所述目標區域。

在一個示例中，所述區域標註單元130可以包括：關係確定模塊，用於根據所述成像器件的參數信息來確定所述圖像信息中每個像素相對於所述當前物體的相對位置關係；當前位置獲取模塊，用於獲取所述當前物體的當前位置信息，所述當前位置信息與所述圖像信息在時間上同步；相對位置計算模塊，用於根據所述目標位置信息和所述當前位置信息來計算所述目標物體與所述當前物體之間的相對位置信息；以及區域標註模塊，用於根據所述相對位置關係和相對位置信息來在所述圖像信息中標註所述目標區域。

在一個示例中，所述相對位置計算模塊可以根據所述目標位置信息和所述當前位置信息來確定所述目標物體的參考點與所述當前物體的參考點之間的點相對位置信息，所述目標物體的參考點是所述目標位置信息所確定的在所述目標物體的整體空間中的點，而所述當前物體的參考點是所述當前位置信息所確定的在所述當前物體的整體空間中的點，並且所述區域標註模塊可以根據所述相對位置關係和相對位置信息來在所述圖像信息中標註所述目標區域包括：根據所述相對位置關係和所述點相對位置信息來確定所述目標物體的參考點在所述圖像信息中的位置點；以及在所述圖像信息中標註所述位置點，作為所述目標區域。

在一個示例中，所述相對位置計算模塊可以根據所述目標物體的尺寸信息、參考點位置信息、和所述目標位置信息、以及所述當前位置信息來確定所述目標物體的整體空間與所述當前物體的參考點之間的區域相對位置信息，所述參考點位置信息指示出所述目標位置信息所確定的點在所述目標物體的整體空間中的特定位置，所述當前物體的參考點是所述當前位置信息所確定的在所述當前物體的整體空間中的點，並且所述區域標註模塊可以根據所述相對位置關係和相對位置信息來在所述圖像信息中標註所述目標區域包括：根據所述相對位置關係和所述區域相對位置信息來確定所述目標物體的整體空間在所述圖像信息中的位置區域；以及在所述圖像信息中標註所述位置區域，作為所述目標區域。

在一個示例中，在一個示例中，所述區域標註裝置100還可以包括：樣本生成單元140，用於基於其中標註有所述目標區域的圖像信息來生成所述訓練樣本。

上述區域標註裝置100中的各個單元和模塊的具體功能和操作已經在上面參考圖1到圖7描述的區域標註方法中詳細介紹，並因此，將省略其重複描述。

如上所述，本申請的實施例可以應用於對其上裝備有成像器件的諸如交通工具、可移動機器人、固定監控攝像頭之類的各種在線電子設備所處的行駛環境中目標物體的目標區域進行標註。並且，根據本申請實施例的區域標註方法和區域標註裝置可以直接實現在上述在線電子設備上。但是，考慮到在線電子設備往往處理能力有限，所以為了獲得更好的性能，也可以將本申請的實施例實現在能夠與在線電子設備進行通信以從其接收各種所需信息的並能向其傳送訓練好的機器學習模型的各種離線的電子設備中。例如，該離線的電子設備可以包括諸如終端設備、伺服器等。

相應地，根據本申請實施例的區域標註裝置100可以作為一個軟體模塊和/或硬體模塊而集成到該在線或離線的電子設備中，換言之，該電子設備可以包括該區域標註裝置100。例如，該區域標註裝置100可以是該電子設備的作業系統中的一個軟體模塊，或者可以是針對於該電子設備所開發的一個應用程式；當然，該區域標註裝置100同樣可以是該電子設備的眾多硬體模塊之一。

替換地，在另一示例中，該區域標註裝置100與該在線或離線的電子設備也可以是分立的設備，並且該區域標註裝置100可以通過有線和/或無線網絡連接到該電子設備，並且按照約定的數據格式來傳輸交互信息。

示例性電子設備

下面，參考圖9來描述根據本申請實施例的電子設備。該電子設備可以是其上裝備有成像器件的諸如交通工具、可移動機器人之類的在線電子設備，也可以是能夠與在線電子設備進行通信以向其傳送訓練好的機器學習模型的離線的電子設備。

圖9圖示了根據本申請實施例的電子設備的框圖。

如圖9所示，電子設備10包括一個或多個處理器11和存儲器12。

處理器11可以是中央處理單元(CPU)或者具有數據處理能力和/或指令執行能力的其他形式的處理單元，並且可以控制電子設備10中的其他組件以執行期望的功能。

存儲器12可以包括一個或多個電腦程式產品，所述電腦程式產品可以包括各種形式的計算機可讀存儲介質，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(RAM)和/或高速緩衝存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬碟、快閃記憶體等。在所述計算機可讀存儲介質上可以存儲一個或多個電腦程式指令，處理器11可以運行所述程序指令，以實現上文所述的本申請的各個實施例的區域標註方法以及/或者其他期望的功能。在所述計算機可讀存儲介質中還可以存儲諸如圖像信息、位置信息、目標區域、訓練樣本等各種內容。

在一個示例中，電子設備10還可以包括：輸入裝置13和輸出裝置14，這些組件通過總線系統和/或其他形式的連接機構(未示出)互連。

例如，該輸入裝置13可以是成像器件，用於採集圖像信息，所採集的圖像信息可以被存儲在存儲器12中以供其他組件使用。當然，也可以利用其他集成或分立的成像器件來採集該圖像信息，並且將它發送到電子設備10。此外，該輸入設備13還可以包括例如鍵盤、滑鼠、以及通信網絡及其所連接的遠程輸入設備等等。

該輸出裝置14可以向外部(例如，用戶或機器學習模型)輸出各種信息，包括確定出的行駛環境的目標區域、訓練樣本等。該輸出設備14可以包括例如顯示器、揚聲器、印表機、以及通信網絡及其所連接的遠程輸出設備等等。

當然，為了簡化，圖9中僅示出了該電子設備10中與本申請有關的組件中的一些，省略了諸如總線、輸入/輸出接口等等的組件。除此之外，根據具體應用情況，電子設備10還可以包括任何其他適當的組件。

示例性電腦程式產品和計算機可讀存儲介質

除了上述方法和設備以外，本申請的實施例還可以是電腦程式產品，其包括電腦程式指令，所述電腦程式指令在被處理器運行時使得所述處理器執行本說明書上述「示例性方法」部分中描述的根據本申請各種實施例的區域標註方法中的步驟。

所述電腦程式產品可以以一種或多種程序設計語言的任意組合來編寫用於執行本申請實施例操作的程序代碼，所述程序設計語言包括面向對象的程序設計語言，諸如Java、C++等，還包括常規的過程式程序設計語言，諸如「C」語言或類似的程序設計語言。程序代碼可以完全地在用戶計算設備上執行、部分地在用戶設備上執行、作為一個獨立的軟體包執行、部分在用戶計算設備上部分在遠程計算設備上執行、或者完全在遠程計算設備或伺服器上執行。

此外，本申請的實施例還可以是計算機可讀存儲介質，其上存儲有電腦程式指令，所述電腦程式指令在被處理器運行時使得所述處理器執行本說明書上述「示例性方法」部分中描述的根據本申請各種實施例的區域標註方法中的步驟。

所述計算機可讀存儲介質可以採用一個或多個可讀介質的任意組合。可讀介質可以是可讀信號介質或者可讀存儲介質。可讀存儲介質例如可以包括但不限於電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任意以上的組合。可讀存儲介質的更具體的例子(非窮舉的列表)包括：具有一個或多個導線的電連接、可攜式盤、硬碟、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或快閃記憶體)、光纖、可攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。

以上結合具體實施例描述了本申請的基本原理，但是，需要指出的是，在本申請中提及的優點、優勢、效果等僅是示例而非限制，不能認為這些優點、優勢、效果等是本申請的各個實施例必須具備的。另外，上述公開的具體細節僅是為了示例的作用和便於理解的作用，而非限制，上述細節並不限制本申請為必須採用上述具體的細節來實現。

本申請中涉及的器件、裝置、設備、系統的方框圖僅作為例示性的例子並且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領域技術人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設備、系統。諸如「包括」、「包含」、「具有」等等的詞語是開放性詞彙，指「包括但不限於」，且可與其互換使用。這裡所使用的詞彙「或」和「和」指詞彙「和/或」，且可與其互換使用，除非上下文明確指示不是如此。這裡所使用的詞彙「諸如」指詞組「諸如但不限於」，且可與其互換使用。

還需要指出的是，在本申請的裝置、設備和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為本申請的等效方案。

提供所公開的方面的以上描述以使本領域的任何技術人員能夠做出或者使用本申請。對這些方面的各種修改對於本領域技術人員而言是非常顯而易見的，並且在此定義的一般原理可以應用於其他方面而不脫離本申請的範圍。因此，本申請不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特徵一致的最寬範圍。

為了例示和描述的目的已經給出了以上描述。此外，此描述不意圖將本申請的實施例限制到在此公開的形式。儘管以上已經討論了多個示例方面和實施例，但是本領域技術人員將認識到其某些變型、修改、改變、添加和子組合。