點雲數據標註方法、模型訓練方法、電子設備及存儲介質與流程

2024-04-12 19:20:08 1

1.本技術涉及機器學習技術領域，特別是涉及一種點雲數據標註方法、模型訓練方法、電子設備及存儲介質。


背景技術：

2.在訓練高精度的點雲3d目標檢測模型的過程中，需要大量的點雲標註數據，一些現有方法中，完全由人工對全部待標註數據進行標註，以得到點雲標註數據，耗費大量人力物力。


技術實現要素：

3.本技術至少提供一種點雲數據標註方法、模型訓練方法、電子設備及存儲介質，以解決上述問題。
4.本技術第一方面提供了一種點雲數據標註方法，所述方法包括：獲取待標註的當前幀點雲數據，其中所述當前幀點雲數據位於連續的多幀點雲數據中已標註的相鄰兩幀點雲數據之間；
5.對所述當前幀點雲數據進行柵格化處理，以得到所述當前幀點雲數據的主幹特徵；
6.獲取對所述相鄰兩幀點雲數據中每一幀進行標註所得到的至少一個真值框，並對所述至少一個真值框進行處理，以得到已標註的所述相鄰兩幀點雲數據中每一幀的真值特徵；
7.將所述當前幀點雲數據的主幹特徵和已標註的所述相鄰兩幀點雲數據的真值特徵進行拼接融合處理，以得到融合特徵，從而依據所述融合特徵得到所述當前幀點雲數據的檢測框，實現標註。
8.其中，所述連續的多幀點雲數據中已標註的每兩個相鄰幀點雲數據間隔相同幀數的點雲數據。
9.其中，所述主幹特徵通過第一三維張量表徵，所述真值特徵通過第二三維張量表徵，所述第二三維張量的二維張量的大小與所述第一三維張量的二維張量的大小相等；
10.將所述當前幀點雲數據的主幹特徵和所述相鄰兩幀點雲數據的真值特徵進行拼接融合處理，包括：沿著大小相等的所述二維張量，對所述當前幀點雲數據的主幹特徵和已標註的所述相鄰兩幀點雲數據的真值特徵進行拼接融合。
11.其中，所述至少一個真值框對應於至少一個檢測類別；對所述至少一個真值框進行處理，以得到已標註的所述相鄰兩幀點雲數據的真值特徵，包括：獲取所述至少一個真值框所在的三維空間中的預設興趣區域與所述第二三維張量的二維張量之間的尺寸比例關係；
12.依據所述尺寸比例關係、所述至少一個真值框中的每一個的中心點在所述預設興趣區域中的初始坐標以及所述至少一個真值框中每一個對應的檢測類別，確定所述至少一
個真值框中每一個的中心點在所述第二三維張量內的映射坐標，以得到至少一個所述映射坐標；
13.給至少一個所述映射坐標中的每一個賦值，從而得到所述真值特徵。
14.其中，所述初始坐標包括中心點x軸坐標、中心點y軸坐標以及中心點z軸坐標；給至少一個所述映射坐標中的每一個賦值，包括：賦值所述真值框的真值框長度、真值框寬度、真值框高度、真值框朝向、中心點z軸坐標以及所述真值框對應的已標註的相鄰幀點雲數據距離所述當前幀點雲數據的時間間隔。
15.其中，對所述相鄰兩幀點雲數據中每一幀進行標註，包括：將所述相鄰兩幀點雲數據中每一幀輸入到預標註模型中，以輸出至少一個標註框；
16.對所述至少一個標註框進行修正，以得到所述至少一個真值框。
17.其中，依據所述融合特徵得到所述當前幀點雲數據的檢測框，進一步包括：對所述檢測框進行修正。
18.本技術第二方面提供了一種模型訓練方法，包括：
19.獲取點雲數據標註的檢測框；其中，所述點雲數據標註的檢測框是利用上述第一方面中的點雲數據標註方法而得到的；
20.通過所述點雲數據標註的檢測框對模型進行訓練操作處理，以得到訓練後的目標模型。
21.本技術第三方面提供了一種電子設備，包括相互耦接的存儲器和處理器，所述處理器用於執行所述存儲器中存儲的程序指令，以實現上述第一方面中的點雲數據標註方法或上述第二方面中的模型訓練方法。
22.本技術第四方面提供了一種非易失性計算機可讀存儲介質，所述計算機可讀存儲介質用於存儲程序指令，所述程序指令在被處理器執行時，用於實現上述第一方面中的點雲數據標註方法或上述第二方面中的模型訓練方法。
23.上述方案，待標註的當前幀點雲數據位於連續的多幀點雲數據中已標註的相鄰兩幀點雲數據之間，通過對當前幀點雲數據進行柵格化處理，以得到當前幀點雲數據的主幹特徵，獲取對相鄰兩幀點雲數據進行標註得到的至少一個真值框，對至少一個真值框進行處理，以得到已標註的相鄰兩幀點雲數據的真值特徵，將當前幀點雲數據的主幹特徵與已標註的相鄰兩幀點雲數據的真值特徵進行拼接融合處理，得到融合特徵，從而依據融合特徵得到當前幀點雲數據的檢測框，實現標註。本技術的方案通過在待標註的點雲數據的主幹特徵中融入已標註的相鄰兩幀點雲數據的真值特徵，以較少的資源，輸出更好的結果，節省人力物力。
24.應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本技術。
附圖說明
25.此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本技術的實施例，並與說明書一起用於說明本技術的技術方案。
26.圖1是本技術實施例中點雲數據標註方法的流程示意圖；
27.圖2是本技術實施例中點雲數據的第一分布示意圖；
28.圖3是本技術實施例中點雲數據標註方法的工作流程示意圖；
29.圖4是本技術實施例中點雲數據的第二分布示意圖；
30.圖5(a)是本技術實施例中主幹特徵的形狀示意圖；
31.圖5(b)是本技術實施例中真值特徵的形狀示意圖；
32.圖5(c)是本技術實施例中融合特徵的形狀示意圖；
33.圖6是本技術實施例中映射關係的場景示意圖；
34.圖7是本技術實施例中賦值的場景示意圖；
35.圖8是本技術實施例中模型訓練方法的流程示意圖；
36.圖9是本技術實施例中電子設備的結構示意圖；
37.圖10是本技術實施例中非易失性計算機可讀存儲介質的結構示意圖。
具體實施方式
38.下面結合附圖和實施例，對本技術作進一步的詳細描述。特別指出的是，以下實施例僅用於說明本技術，但不對本技術的範圍進行限定。同樣的，以下實施例僅為本技術的部分實施例而非全部實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本技術保護的範圍。
39.在本技術中提及「實施例」意味著，結合實施例描述的特定特徵、結構或特性可以包含在本技術的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。
40.本文中術語「和/或」，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，a和/或b，可以表示：單獨存在a，同時存在a和b，單獨存在b這三種情況。另外，本文中字符「/」，一般表示前後關聯對象是一種「或」的關係。此外，本文中的「多」表示兩個或者多於兩個。另外，本文中術語「至少一種」表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括a、b、c中的至少一種，可以表示包括從a、b和c構成的集合中選擇的任意一個或多個元素。另外，本技術中的術語「第一」、「第二」、「第三」僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。
41.如上述，一些現有方法中，完全由人工對全部待標註數據進行標註，以得到點雲標註數據，耗費大量人力物力。
42.為此，本技術提供一種點雲數據標註方法、模型訓練方法、電子設備及存儲介質，以解決上述問題。
43.請參閱圖1，圖1是本技術實施例中點雲數據標註方法的流程示意圖。需注意的是，若有實質上相同的結果，本技術的方法並不以圖1所示的流程順序為限。本方法可以應用於具有計算等功能的電子設備，電子設備可通過接收傳感器設備採集的信息，執行本方法，傳感器設備可以是模型訓練車輛裝備的毫米波雷達、雷射雷達或攝像頭，傳感器設備在模型訓練車輛行駛過程中感知車輛周邊真實物理世界動態場景，場景中包括道路上的車輛、行人、建築物等。如圖1所示，點雲數據標註方法包括如下步驟：
44.s11、獲取待標註的當前幀點雲數據，其中當前幀點雲數據位於連續的多幀點雲數據中已標註的相鄰兩幀點雲數據之間。
45.可以利用雷達傳感器對點雲數據進行採集，例如，將雷達傳感器安裝於一可移動的設備上。其中，該可移動的設備可以是自動行動裝置，如機器人、模型訓練車輛等。
46.在一些實施例中，雷達傳感器可以雷射雷達傳感器，如機械式雷射雷達、半固態雷射雷達或固態雷射雷達。在一個實施例中，雷達傳感器可以是應用於模型訓練並滿足感知精度要求的，可提供點雲數據的任何雷達設備。
47.在一應用場景中，自動駕駛車輛在道路上行駛，通過設置於該自動駕駛車輛上的雷達傳感器獲取自動駕駛車輛周圍的點雲數據，以得到預設時間段內每一幀的點雲數據。
48.獲取待標註的當前幀點雲數據，當前幀點雲數據位於連續的多幀點雲數據中已標註的相鄰兩幀點雲數據之間。可以理解的，圖2是本技術實施例中點雲數據的第一分布示意圖，如圖2所示，預設時間段內包括多幀點雲數據，其中，實線框表示的是已標註的點雲數據(a1、a2、a3、a4、a5)，虛線框表示的是待標註的點雲數據(b1、b2、b3、b4、b5、b6、b7、b8)；已標註的點雲數據(a1)、待標註的點雲數據(b1、b2)、已標註的點雲數據(a2)、待標註的點雲數據(b3、b4、b5)、已標註的點雲數據(a3)、待標註的點雲數據(b6、b7)、已標註的點雲數據(a4)、待標註的點雲數據(b8)、已標註的點雲數據(a5)構成連續的多幀點雲數據；需要對待標註的點雲數據中任一幀進行標註時，則該幀點雲數據為待標註的當前幀點雲數據。
49.例如，當需要對待標註的點雲數據(b1)進行標註時，則可以確定的是待標註的當前幀點雲數據(b1)位於已標註的相鄰兩幀點雲數據(a1、a2)之間，也即，當前幀點雲數據(b1)位於已標註的相鄰幀點雲數據(a1)與已標註的相鄰幀點雲數據(a2)之間；又如，當需要對待標註的點雲數據(b6)進行標註時，則可以確定的是待標註的當前幀點雲數據(b6)位於已標註的相鄰兩幀點雲數據(a3、a4)之間，也即，當前幀點雲數據(b6)位於已標註的相鄰幀點雲數據(a3)與已標註的相鄰幀點雲數據(a4)之間。
50.s12、對當前幀點雲數據進行柵格化處理，以得到當前幀點雲數據的主幹特徵。
51.對當前幀點雲數據進行柵格化處理，如，對當前幀點雲數據通過網格進行處理，再經過sparseconv3d backbone，即可得到當前幀點雲數據的主幹特徵，其中，具體的柵格化處理的方式根據實際使用需求設置即可，不作具體限定。可以理解的，繼續以上述圖2為例進行說明，對當前幀點雲數據(b3)進行柵格化處理，得到當前幀點雲數據(b3)的主幹特徵。
52.s13、獲取對相鄰兩幀點雲數據中每一幀進行標註所得到的至少一個真值框，並對至少一個真值框進行處理，以得到已標註的相鄰兩幀點雲數據中每一幀的真值特徵。
53.獲取對相鄰兩幀點雲數據中每一幀進行標註所得到的至少一個真值框，可以理解的，對連續的多幀點雲數據中的任一幀點雲數據進行標註，可以對應得到至少一個真值框，使得每一幀已標註的點雲數據均對應有至少一個真值框。對至少一個真值框進行處理，能夠得到相應的該幀已標註的點雲數據的真值特徵，從而得到已標註的相鄰兩幀點雲數據中每一幀的真值特徵。
54.例如，繼續以上述圖2為例進行說明，當需要對當前幀點雲數據(b3)進行標註時，相鄰兩幀點雲數據則分別可以是點雲數據(a2)和點雲數據(a3)。對點雲數據(a2)進行標註得到至少一個真值框，對至少一個真值框進行處理，能夠得到點雲數據(a2)的真值特徵；對點雲數據(a3)進行標註得到至少一個真值框，對至少一個真值框進行處理，能夠得到點雲數據(a3)的真值特徵；也即，得到已標註的相鄰兩幀點雲數據(a2、a3)中每一幀的真值特徵。
55.s14、將當前幀點雲數據的主幹特徵和已標註的相鄰兩幀點雲數據的真值特徵進行拼接融合處理，以得到融合特徵，從而依據融合特徵得到當前幀點雲數據的檢測框，實現標註。
56.可以理解的，將得到的當前幀點雲數據的主幹特徵與已標註的相鄰兩幀點雲數據的真值特徵進行拼接融合處理，能夠得到相應的融合特徵，其中，具體的融合方式可以根據實際使用需求進行設置，不作具體限定。依據得到的融合特徵，能夠得到當前幀點雲數據的檢測框，實現標註。如，將融合特徵依次經過深度學習網絡的neck部分和head部分，以輸出得到相應的檢測框，其中，輸出的檢測框可以是3d檢測框。
57.例如，繼續以上述圖2為例進行說明，圖3是本技術實施例中點雲數據標註方法的工作流程示意圖，如圖3所示，當需要對當前幀點雲數據(b3)進行標註時，對當前幀點雲數據(b3)精細柵格化處理，以得到當前幀點雲數據(b3)的主幹特徵。已標註的相鄰兩幀點雲數據則分別為點雲數據(a2)和點雲數據(a3)，對相鄰兩幀點雲數據(a2、a3)中每一幀進行標註得到至少一個真值框，獲取每一幀對應的至少一個真值框，並對至少一個真值框進行處理，能夠得到已標註的相鄰兩幀點雲數據(a2、a3)中每一幀的真值特徵。將主幹特徵與相應的兩個真值特徵進行拼接融合處理，以得到當前幀點雲數據(b3)對應的融合特徵，進而依據融合特徵，能夠得到當前幀點雲數據(b3)的檢測框，從而實現標註。
58.上述方案，待標註的當前幀點雲數據位於連續的多幀點雲數據中已標註的相鄰兩幀點雲數據之間，通過對當前幀點雲數據進行柵格化處理，以得到當前幀點雲數據的主幹特徵，獲取對相鄰兩幀點雲數據進行標註得到的至少一個真值框，對至少一個真值框進行處理，以得到已標註的相鄰兩幀點雲數據的真值特徵，將當前幀點雲數據的主幹特徵與已標註的相鄰兩幀點雲數據的真值特徵進行拼接融合處理，得到融合特徵，從而依據融合特徵得到當前幀點雲數據的檢測框，實現標註。本技術的方案通過在待標註的點雲數據的主幹特徵中融入已標註的相鄰兩幀點雲數據的真值特徵，以較少的資源，輸出更好的結果，節省人力物力。
59.如上述，當前幀點雲數據位於連續的多幀點雲數據中已標註的相鄰兩幀點雲數據之間。在本技術一實施例中，連續的多幀點雲數據中已標註的每兩個相鄰幀點雲數據間隔相同幀數的點雲數據。
60.連續的多幀點雲數據中已標註的每兩個相鄰幀點雲數據間隔相同幀數的點雲數據，可以理解的，連續的多幀點雲數據中包括已標註的點雲數據和待標註的點雲數據，待標註的點雲數據位於已標註的相鄰兩幀點雲數據之間，已標註的每兩個相鄰幀點雲數據之間均間隔相同幀數的待標註的點雲數據。其中，已標註的相鄰幀點雲數據之間間隔的幀數可以根據實際使用需求進行設置，例如，3幀、5幀、10幀，或其它能夠實現的數值均可，不作具體限定；即，對連續的多幀點雲數據中的點雲數據，按照相同間隔進行標註，以得到已標註的點雲數據，從而使得已標註的每兩個相鄰幀點雲數據的間隔相同。
61.例如，圖4是本技術實施例中點雲數據的第二分布示意圖，如圖4所示，連續的多幀點雲數據中包括點雲數據(a1、b1、b2、b3、a2、b4、b5、b6、a3、b7、b8、b9、a4)，按照間隔為3幀點雲數據對連續的多幀點雲數據進行標註，得到已標註的點雲數據(a1、a2、a3、a4)和待標註的點雲數據(b1、b2、b3、b4、b5、b6、b7、b8、b9)，從而使得已標註的相鄰兩幀點雲數據(a1、a2)、已標註的相鄰兩幀點雲數據(a2、a3)、已標註的相鄰兩幀點雲數據(a3、a4)之間的間隔
均相同，均為3幀點雲數據。
62.如上述，對當前幀點雲數據進行柵格化處理得到當前幀點雲數據的主幹特徵，對至少一個真值框進行處理得到已標註的點雲數據的真值特徵。在本技術一實施例中，主幹特徵通過第一三維張量表徵，真值特徵通過第二三維張量表徵，第二三維張量的二維張量的大小與第一三維張量的二維張量的大小相等。
63.主幹特徵通過第一三維張量表徵，可以理解的，主幹特徵的形狀為一個三維矩陣。真值特徵通過第二三維張量表徵，可以理解的，真值特徵的形狀也是一個三維矩陣。其中，第二三維張量的二維張量的大小與第一三維張量的二維張量的大小相等，可以理解的，將第一三維張量視為第一長方體，將第二三維張量視為第二長方體，則第一長方體的一個表面的大小與第二長方體的一個表面的大小相等。
64.例如，圖5(a)是本技術實施例中主幹特徵的形狀示意圖，圖5(b)是本技術實施例中真值特徵的形狀示意圖，如圖5(a)和圖5(b)所示，主幹特徵通過第一三維張量表徵，第一三維張量的大小為c
×w×
h，真值特徵通過第二三維張量表徵，第二三維張量的大小為d
×w×
h，其中，第一三維張量中的二維張量(w
×
h)的大小與第二三維張量中的二維張量(w
×
h)的大小相等。
65.將當前幀點雲數據的主幹特徵和相鄰兩幀點雲數據的真值特徵進行拼接融合處理，包括：沿著大小相等的二維張量，對當前幀點雲數據的主幹特徵和已標註的相鄰兩幀點雲數據的真值特徵進行拼接融合。
66.沿著大小相等的二維張量，對當前幀點雲數據的主幹特徵和已標註的相鄰兩幀點雲數據的真值特徵進行拼接融合，可以理解的，繼續以上述圖5(a)和圖5(b)中示出的主幹特徵和真值特徵為例進行說明，已標註的相鄰兩幀點雲數據能夠得到相應的兩個真值特徵，主幹特徵通過第一三維張量(c
×w×
h)表徵，兩個真值特徵均通過第二三維張量(d
×w×
h)表徵。圖5(c)是本技術實施例中融合特徵的形狀示意圖，如圖5(c)所示，沿著大小相等的二維張量(w
×
h)，將主幹特徵與兩個真值特徵進行拼接融合，也即，將第一三維張量(c
×w×
h)與兩個第二三維張量(d
×w×
h)進行拼接融合，從而得到融合特徵[(c+d+d)
×w×
h]。
[0067]
如上述，對連續的多幀點雲數據中的任一幀進行標註能夠得到至少一個真值框。在本技術一實施例中，至少一個真值框對應於至少一個檢測類別。
[0068]
可以理解的，自動駕駛車輛在行駛過程中，通過設置於自動駕駛車輛上的傳感器實時感知車輛周圍環境，能夠得到連續的多幀點雲數據，其中任一幀點雲數據中包括至少一個檢測類別的點雲，檢測類別可以是車輛、行人等，根據實際使用需求設置即可，不作具體限定。對任一幀點雲數據進行標註能夠得到至少一個真值框，進而至少一個真值框對應於至少一個檢測類別。
[0069]
對至少一個真值框進行處理，以得到已標註的相鄰兩幀點雲數據的真值特徵，包括：獲取至少一個真值框所在的三維空間中的預設興趣區域與第二三維張量的二維張量之間的尺寸比例關係；依據尺寸比例關係、至少一個真值框中的每一個的中心點在預設興趣區域中的初始坐標以及至少一個真值框中每一個對應的檢測類別，確定至少一個真值框中每一個的中心點在第二三維張量內的映射坐標，以得到至少一個映射坐標；給至少一個映射坐標中的每一個賦值，從而得到真值特徵。
[0070]
獲取至少一個真值框所在的三維空間中的預設興趣區域與第二三維張量的二維
張量之間的尺寸比例關係，可以理解的，對連續的多幀點雲數據中任一幀進行標註時，能夠得到三維空間中的至少一個真值框，其中，至少一個真值框對應於至少一個檢測類別。預設興趣區域可以根據實際使用需求進行設置，具體的尺寸大小不作具體限定，如，可以以自動駕駛車輛為的位置為中心，以車輛前後各100米、左右各50米，確定預設興趣區域為長h』＝200米、寬w』＝100米的長方形區域。第二三維張量(d
×w×
h)的二維張量(w
×
h)為例，其中，二維張量(w
×
h)的長(h)和寬(w)的具體數值根據實際使用需求進行設置即可，不做具體限定。從而當預設興趣區域的大小(w
』×
h』)和二維張量(w
×
h)的大小確定後，即可進一步確定預設興趣區域(w
』×
h』)與二維張量(w
×
h)之間的尺寸比例關係。
[0071]
依據尺寸比例關係、至少一個真值框中的每一個的中心點在預設興趣區域中的初始坐標以及至少一個真值框中每一個對應的檢測類別，確定至少一個真值框中每一個的中心點在第二三維張量內的映射坐標，以得到至少一個映射坐標。可以理解的，預設興趣區域的長和寬設定後，以預設興趣區域的任一頂點為原點，以相交於該頂點的兩條邊分別為橫軸和縱軸，從而得到一個預設興趣區域坐標系，進而能夠得到真值框在預設興趣區域坐標系中的坐標，也即真值框在預設興趣區域中的初始坐標。檢測類別是根據實際使用需求進行設置的，從而使得到的每一幀點雲數據包括至少一個檢測類別的點雲，進而對任一幀點雲數據標註得到的至少一個真值框對應於至少一個檢測類別。確定至少一個真值框中每一個的中心點在第二三維張量內的映射坐標，從而得到至少一個映射坐標，給至少一個映射坐標中的每一個賦值，從而得到真值特徵。
[0072]
例如，圖6是本技術實施例中映射關係的場景示意圖，如圖6所示，對任一幀點雲數據進行標註得到多個真值框，假設預設興趣區域的長h』＝200、寬w』＝100，預設興趣區域中有四個真值框(d11、d21、d31、d32)。其中，四個真值框(d11、d21、d31、d32)對應於三個檢測類別(d1、d2、d3)；具體的，真值框(d11)的中心點的初始坐標為(20，80，0.5)，對應於檢測類別(d1)；真值框(d21)的中心點的初始坐標為(80，30，1)，對應於檢測類別(d2)；真值框(d31)的中心點的初始坐標為(120，20，0.6)，真值框(d32)的中心點的初始坐標為(122，20，0.65)，且真值框(d31、d32)均對應於檢測類別(d3)。
[0073]
第二三維張量(d
×w×
h)的長h＝100、寬w＝50，進而能夠確定預設興趣區域(w
』×
h』)與二維張量(w
×
h)之間的尺寸比例關係為2:1，三個檢測類別(d1、d2、d3)疊加構成第二三維張量中的張量(d)。依據尺寸比例關係、四個真值框的中心點的初始坐標、相應的檢測類別，確定每一個真值框的映射坐標。具體的，真值框(d11)對應於檢測類別(d1)，則將真值框(d11)的中心點映射至檢測類別(d1)內，真值框(d11)映射至檢測類別(d1)內得到映射點(d11』)的映射坐標為(10，40)；真值框(d21)對應於檢測類別(d2)，則將真值框(d21)的中心點映射至檢測類別(d2)內，真值框(d21)映射至檢測類別(d2)內得到映射點(d21』)的映射坐標為(40，15)；真值框(d31)對應於檢測類別(d3)，則將真值框(d31)的中心點映射至檢測類別(d3)內，真值框(d31)映射至檢測類別(d3)內得到映射點(d31』)的映射坐標為(60，10)；真值框(d32)對應於檢測類別(d3)，則將真值框(d32)的中心點映射至檢測類別(d3)內，真值框(d32)映射至檢測類別(d3)內得到映射點(d32』)的映射坐標為(61，10)。分別對得到的映射坐標(10，40)、(40，15)、(60，10)、(61，10)進行賦值，從而得到該幀點雲數據的真值特徵。
[0074]
如上述，對至少一個映射坐標中的每一個進行賦值，得到真值特徵。在本技術一實
施例中，初始坐標包括中心點x軸坐標、中心點y軸坐標以及中心點z軸坐標。
[0075]
可以理解的，位於三維空間中的真值框的中心點具有三維坐標，也即中心點的初始坐標包括中心點x軸坐標、中心點y軸坐標以及中心點z軸坐標。
[0076]
給至少一個映射坐標中的每一個賦值，包括：賦值真值框的真值框長度、真值框寬度、真值框高度、真值框朝向、中心點z軸坐標以及真值框對應的已標註的相鄰幀點雲數據距離當前幀點雲數據的時間間隔。
[0077]
可以理解的，對任一幀點雲數據進行標註後，能夠得到至少一個真值框，同時能夠得到至少一個真值框中的每一個真值框的真值框長度、真值框寬度、真值框高度以及真值框朝向。
[0078]
例如，圖7是本技術實施例中賦值的場景示意圖，如圖7所示，每一個檢測類別(d1、d2、d3)均對應有6個元素，分別是真值框長度、真值框寬度、真值框高度、真值框朝向、中心點z軸坐標、時間間隔。並繼續結合上述圖4和圖6對應的實施例為例進行說明，假設需要對當前幀點雲數據(b1)進行標註，當前幀點雲數據(b1)位於已標註的相鄰幀點雲數據(a1)和已標註相鄰幀點雲數據(a2)之間，已標註的相鄰幀點雲數據(a1)與當前幀點雲數據(b1)之間的時間間隔為1，已標註的相鄰幀點雲數據(a2)與當前幀點雲數據(b1)之間的時間間隔為-3。
[0079]
則對已標註的相鄰幀點雲數據(a1)對應的四個真值框(d11、d21、d31、d32)進行映射，分別得到檢測類別(d1)內的映射坐標(10，40)、檢測類別(d2)內的映射坐標(40，15)、檢測類別(d3)內的映射坐標(60，10)、檢測類別(d3)內的映射坐標(61，10)。相應的，將真值框(d11)的真值框長度2、真值框寬度1、真值框高度1、真值框朝向0.1、中心點z軸坐標0.5、時間間隔1賦值給檢測類別(d1)內的映射坐標(10，40)；同理，將其餘三個真值框(d21、d31、d32)的真值框長度、真值框寬度、真值框高度、真值框朝向、中心點z軸坐標、時間間隔1賦值給相應的映射坐標，從而能夠得到已標註的相鄰幀點雲數據(a1)的真值特徵。同理，能夠得到已標註的相鄰幀點雲數據(a2)的真值特徵。
[0080]
在本技術一實施例中，對相鄰兩幀點雲數據中每一幀進行標註，包括：將相鄰兩幀點雲數據中每一幀輸入到預標註模型中，以輸出至少一個標註框；對至少一個標註框進行修正，以得到至少一個真值框。
[0081]
可以理解的，將任一幀點雲數據輸入到預標註模型中，通過預標註模型對點雲數據進行標註，以輸出至少一個標註框。其中，預標註模型根據實際使用需求設置即可，不做具體限定。對至少一個標註框進行修正，以得到至少一個真值框，例如，可以通過人工進行修正，確保輸出的真值框的精度，或其它能夠實現的修正方式均可，不作具體限定。
[0082]
在本技術一實施例中，依據融合特徵得到當前幀點雲數據的檢測框，進一步包括：對檢測框進行修正。
[0083]
可以理解的，得到當前幀點雲數據的檢測框後，還可以對檢測框進行修正，例如，可以通過人工進行修正，確保輸出的真值框的精度，或其它能夠實現的修正方式均可，不作具體限定。
[0084]
請參閱圖8，圖8是本技術實施例中模型訓練方法的流程示意圖。模型訓練方法包括如下步驟：
[0085]
s21、獲取點雲數據標註的檢測框；其中，點雲數據標註的檢測框是利用上述實施
例中的點雲數據標註方法而得到的。
[0086]
獲取點雲數據標註的檢測框，點雲數據標註的檢測框是通過上述實施例中的點雲數據標註方法得到的。例如，獲取待標註的當前幀點雲數據，其中當前幀點雲數據位於連續的多幀點雲數據中已標註的相鄰兩幀點雲數據之間；對當前幀點雲數據進行柵格化處理，以得到當前幀點雲數據的主幹特徵；獲取對相鄰兩幀點雲數據中每一幀進行標註所得到的至少一個真值框，並對至少一個真值框進行處理，以得到已標註的相鄰兩幀點雲數據中每一幀的真值特徵；將當前幀點雲數據的主幹特徵和已標註的相鄰兩幀點雲數據的真值特徵進行拼接融合處理，以得到融合特徵，從而依據融合特徵得到當前幀點雲數據的檢測框。
[0087]
s22、通過點雲數據標註的檢測框對模型進行訓練操作處理，以得到訓練後的目標模型。
[0088]
利用得到的點雲數據標註的檢測框，對模型進行訓練，從而得到訓練後的目標模型。
[0089]
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
[0090]
請參閱圖9，圖9是本技術實施例中電子設備的結構示意圖。電子設備900包括相互耦接的存儲器901和處理器902，處理器902用於執行存儲器901中存儲的程序指令，以實現上述的點雲數據標註方法實施例中的步驟或上述的模型訓練方法實施例中的步驟。在一個具體的實施場景中，電子設備900可以包括但不限於：微型計算機、伺服器，在此不做限定。
[0091]
具體而言，處理器902用於控制其自身以及存儲器901以實現上述的點雲數據標註方法實施例中的步驟或上述的模型訓練方法實施例中的步驟。處理器902還可以稱為cpu(central processing unit，中央處理單元)，處理器902可能是一種集成電路晶片，具有信號的處理能力。處理器902還可以是通用處理器、數位訊號處理器(digital signal processor,dsp)、專用集成電路(application specific integrated circuit,asic)、現場可編程門陣列(field-programmable gate array,fpga)或者其他可編程邏輯器件、分立門或者電晶體邏輯器件、分立硬體組件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器902可以由集成電路晶片共同實現。
[0092]
請參閱圖10，圖10是本技術實施例中非易失性計算機可讀存儲介質的結構示意圖。計算機可讀存儲介質1000用於存儲程序指令1001，程序指令1001在被處理器902執行時，用於實現上述的點雲數據標註方法實施例中的步驟或上述的模型訓練方法實施例中的步驟。
[0093]
上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述。
[0094]
在本技術所提供的幾個實施例中，應該理解到，所揭露的方法和相關設備，可以通過其它的方式實現。例如，以上所描述的相關設備實施方式僅僅是示意性的，例如，模塊或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信斷開連接可以是通過一些接口，裝置或單元的間接耦合或通信斷開連接，可以是電性、機械或其它的形式。
[0095]
另外，在本技術各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
[0096]
集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本技術的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)或處理器(processor)執行本技術各個實施方式方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、只讀存儲器(rom，read-only memory)、隨機存取存儲器(ram，random access memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。