一種測距系統、數據幀同步的方法和裝置與流程
2023-05-02 04:03:41 2
1.本技術涉及數據同步技術領域，特別是涉及一種測距系統、數據幀同步的方法和裝置。
背景技術：
2.dtof(direct time of flight，直接飛行時間)距離傳感器是一種基於spad(單光子雪崩二極體，single photon avalanche diode)的雪崩觸發進行測距的傳感器，測距時，通過向目標物連續發送光脈衝，並利用dtof接收從物體返回的光，通過探測光脈衝的飛行時間確定目標物距離。dtof距離傳感器廣泛應用於智慧型手機、虛擬實境(virtual reality，簡稱vr)技術、增強現實(augmented reality，簡稱ar)技術、解鎖和背景虛化等場景。
3.應用時，若dtof的深度數據幀和rgb的數據幀在智能系統中底層(包括硬體層和驅動層)、中間層和應用層中不同步，則會導致ar和vr等應用場景無法獲取準確的數據，進而導致多項功能無法正常使用。
4.由此可見，如何解決dtof深度數據幀和rgb數據幀的幀同步問題，是本領域技術技術人員亟待解決的問題。
技術實現要素：
5.本技術的目的是提供一種測距系統、數據幀同步的方法和裝置，實現dtof深度數據幀和rgb數據幀的幀同步，保證視頻畫面和音頻的同步，提升系統可靠性。
6.為解決上述技術問題，本技術提供一種數據幀同步的方法，包括：
7.在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式；
8.在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳；
9.在應用層，查找所述rgb數據幀的時間戳和所述深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。
10.優選地，所述在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳包括：
11.從接收到第一幀rgb數據幀和第一幀深度數據幀開始，存儲每一幀所述rgb數據幀的時間戳和所述深度數據幀的時間戳；
12.分別獲取預設時長內的rgb數據幀的時間戳和深度數據幀的時間戳。
13.優選地，在所述在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳之後，還包括：
14.在確定一個所述深度數據幀包括n個子幀後，將n個所述子幀合併為一個主幀；其中，所述主幀的時間戳為第n個子幀對應的時間戳，n為大於1的自然數。
15.優選地，選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀包括：
16.確定當前rgb數據幀的時間戳與當前深度數據幀的時間戳的差值是否在預設範圍
內；
17.若在所述預設範圍內，則將所述當前rgb數據幀作為所述目標rgb數據幀，並將所述當前深度數據幀作為所述目標深度數據幀。
18.優選地，dtof發送所述深度數據幀包括：
19.在rgb發送所述rgb數據幀至所述中間層後，根據所述rgb通過預先連接的信號線發送的同步信號將所述深度數據幀發送至所述中間層。
20.優選地，所述信號線為將rgb的vsync信號線和dtof的vsync信號線連接所產生的信號線。
21.為了解決上述技術問題，本技術還提供了一種測距系統，應用於所述的數據幀同步的方法，包括：rgb傳感器、dtof傳感器和系統應用端；
22.所述rgb傳感器，用於發送rgb數據幀；
23.所述dtof傳感器，用於發送深度數據幀；
24.所述系統應用端，用於在驅動層，設置rgb寄存器為主模式，並設置dtof寄存器為從模式，在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，在應用層，查找所述rgb數據幀的時間戳和所述深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。
25.為了解決上述技術問題，本技術還提供了一種數據幀同步的裝置，包括：
26.設置模塊，用於在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式；
27.獲取模塊，用於在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳；
28.查找模塊，用於在應用層，查找所述rgb數據幀的時間戳和所述深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。
29.本發明所提供的一種數據幀同步的方法，包括：在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式，在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，並在應用層，查找rgb數據幀的時間戳和深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。由此可見，本技術所提供的技術方案，通過查找rgb數據幀的時間戳和深度數據幀的時間戳，將時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof之間的數據同步，避免dtof深度數據幀和rgb數據幀不同步時，導致畫面或音頻的不同步，提升系統可靠性。
30.此外，本技術還提供一種測距系統、數據幀同步的裝置，與上述的數據幀同步的方法相對應，效果同上。
附圖說明
31.為了更清楚地說明本技術實施例，下面將對實施例中所需要使用的附圖做簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本技術的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
32.圖1為本技術實施例所提供的一種數據幀同步的方法的流程圖；
33.圖2為本技術實施例所提供的一種數據幀同步的示意圖；
34.圖3為本技術實施例所提供的一種數據幀同步的裝置的結構圖。
具體實施方式
35.下面將結合本技術實施例中的附圖，對本技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本技術一部分實施例，而不是全部實施例。基於本技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下，所獲得的所有其他實施例，都屬於本技術保護範圍。
36.本技術的核心是提供一種測距系統、數據幀同步的方法和裝置，通過查找rgb發送的rgb數據幀時間戳和dtof發送的深度數據幀時間戳，將最接近的兩幀數據作為目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof間的數據幀同步。
37.為了使本技術領域的人員更好地理解本技術方案，下面結合附圖和具體實施方式對本技術作進一步的詳細說明。
38.dtof距離傳感器是一種基於spad的雪崩觸發進行測距的傳感器，測距時，通過向目標物連續發送光脈衝，並利用dtof接收從物體返回的光，通過探測光脈衝的飛行時間確定目標物距離。dtof距離傳感器廣泛應用於智慧型手機、vr技術、ar技術、解鎖和背景虛化等場景。
39.應用時，若dtof的深度數據幀和rgb的數據幀在智能系統中底層(包括硬體層和驅動層)、中間層和應用層中不同步，則會導致ar和vr等應用場景無法獲取準確的數據，進而導致多項功能無法正常使用。
40.為了解決上述技術問題，實現dtof深度數據幀和rgb數據幀的幀同步保證ar和vr等應用場景可以準確獲取數據，進而保證各功能正常使用，本技術實施例提供了一種數據幀同步的方法，在獲取rgb數據幀的時間戳和深度數據幀的時間戳後，將時間戳最接近的兩幀數據作為目標rgb數據幀和目標深度數據幀，進而實現數據幀同步。
41.圖1為本技術實施例所提供的一種數據幀同步的方法的流程圖，如圖1所示，該方法包括：
42.s10：在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式；
43.s11：在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳；
44.在具體實施例中，rgb需要向dtof發送同步信號以實現數據幀同步，因此在實施前，在硬體結構方便需要將rgb的vsync信號線和dtof的vsync信號線進行連接。
45.連接後，系統應用端在驅動層將rgb寄存器設置為主模式(master)，並將dtof寄存器設置為從模式(slave)。master通過信號線發送同步信號至slave，同時將rgb數據幀傳輸至中間層，slave在接收到同步信號後，發送包括n個子幀的深度數據幀至中間層。
46.應用系統在中間層分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，其中，需要注意的是，每個深度數據幀包括n個子幀，其中，n為大於1的自然數，每個子幀均有對應的時間戳，而深度數據幀的時間戳為第n個子幀對應的時間戳。
47.s12：在應用層，查找rgb數據幀的時間戳和深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。
48.通過步驟s11獲取到rgb數據幀的時間戳和深度數據幀的時間戳後，查找兩類數據幀的時間戳，將時間戳最接近的兩個數據幀作為目標rgb數據幀和目標深度數據幀。
49.需要說明的是，在獲取時間戳較為接近的rgb數據幀的時間戳和深度數據幀的時間戳時，可以是判斷rgb數據幀的時間戳與深度數據幀的時間戳的差值是否在預設範圍內，
若在預設範圍內，則確定進行查找的數據幀分別為目標rgb數據幀和目標深度數據幀。當然，在實施中，可實現數據幀同步的rgb數據幀時間戳和深度數據幀時間戳可能相差一個固定值，因此也可通過判斷rgb數據幀時間戳和深度數據幀時間戳的差值是否等於該固定值以確定目標rgb數據幀和目標深度數據幀，對此本技術不作具體限定。
50.本技術所提供的數據幀同步的方法，包括：在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式，在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，並在應用層，查找rgb數據幀的時間戳和深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。由此可見，本技術所提供的技術方案，通過查找rgb數據幀的時間戳和深度數據幀的時間戳，將時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof之間的數據幀同步，避免dtof深度數據幀和rgb數據幀不同步時，導致畫面或音頻的不同步，提升系統可靠性。
51.在具體實施例中，數據幀是不間斷髮送的，因此獲取rgb數據幀的時間戳和深度數據幀的時間戳時，從接收到第一幀rgb數據幀和第一幀深度數據幀開始，需要存儲每一幀rgb數據幀的時間戳和深度數據幀的時間戳，然後從存儲的數據幀中獲取預設時長內的rgb數據幀的時間戳和深度數據幀的時間戳，進一步，對預設時長內的rgb數據幀的時間戳和深度數據幀的時間戳進行查找以確定目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof間的數據幀同步。
52.事實上，獲取深度數據幀後，需要確定深度數據幀是否包括多個子幀，若深度數據幀包括n個子幀，其中，n為大於1的自然數，可以理解的是，每個子幀有對應的時間戳，在存儲深度數據幀時間戳時保存的是每個子幀的數據幀，因此在確定數據幀包括n個子幀後，需要將n個子幀合併為一個主幀，也就是所述將一個深度數據幀的n個子幀進行合併為一個主幀。而主幀的時間戳為第n個子幀的時間戳。例如，一個深度數據幀包括4個子幀，則將第4個子幀的時間戳作為合併後主幀的時間戳。
53.圖2為本技術實施例所提供的一種數據幀同步的示意圖，如圖2所示，rgb發送同步信號至dtof後，rgb和dtof會在同一起始時間進行發幀，即，rgb每發送一幀數據幀，dtof發送四個子幀數據幀，子幀的時間戳間距為固定值，且dtof每發送四個子幀，會將四個子幀合併為一個主幀，並將第四個子幀的時間戳作為主幀時間戳傳輸至應用系統。
54.合併後，在查找rgb數據幀和深度數據幀的時間戳以確定目標rgb數據幀和目標深度數據幀時，查找的是rgb數據幀和合併後深度數據主幀的時間戳。查找時間戳時，可是判斷rgb數據幀時間戳和深度數據幀時間戳的差值是否為某個固定值，也可以是判斷差值是否在預設範圍內，對此本技術不作限定。
55.為了提升查找準確性，進而提升系統可靠性，本技術優選確定當前rgb數據幀的時間戳與當前深度數據幀的時間戳的差值是否在預設範圍內。若在在預設範圍內，則將當前rgb數據幀作為目標rgb數據幀，並將當前深度數據幀作為目標深度數據幀。
56.本技術所提供的數據幀同步的方法，將包括多個子幀的深度數據幀合併為一個主幀，並通過確定合併後主幀的時間戳與rgb數據幀時間戳的差值是否在預設範圍內以確定目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof之間的數據幀同步，保證不同應用和功能的正常使用，進而提升用戶體驗感。
57.在具體實施例中，在驅動層將rgb寄存器為主模式(master)，設置dtof寄存器為從
模式(slave)後，master通過預先連接的信號線發送同步信號至slave，並將rgb數據幀發送至中間層，slave在獲取到同步信號後，發送包括n個子幀的深度數據幀至中間層。其中，預先建立的信號線為將rgb的vsync信號線和dtof的vsync信號線連接所產生的信號線。
58.可以理解的是，若rgb和dtof未通過硬體連接在一起，則各自發送數據幀至中間層，進而可能出現數據幀不同步的情況，因此，將rgb的vsync信號線和dtof的vsync信號線連接，rgb通過該信號線發送同步信號至dtof，進而保證rgb和dtof發送數據幀的起始時間相同，進一步通過查找rgb數據幀的時間戳和深度數據幀的時間戳以實現rgb和dtof的數據幀同步。
59.本技術所提供的數據幀同步的方法，在rgb發送rgb數據幀至中間層後，根據rgb通過預先連接的信號線發送的同步信號將深度數據幀發送至中間層，其中，信號線為將rgb的vsync信號線和dtof的vsync信號線連接所產生的信號線，由此，rgb將同步信號傳輸dtof後，保證rgb和dtof發送數據幀的起始時間相同，在進行rgb數據幀時間戳和深度數據幀時間戳查找後確定目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof間的數據幀同步。
60.在上述實施例中，對於數據幀同步的方法進行了詳細描述，本技術還提供了一種測距系統對應的實施例，該測距系統應用於上述數據幀同步的方法，該系統包括rgb傳感器、dtof傳感器和系統應用端。
61.其中，rgb傳感器用於發送rgb數據幀，dtof傳感器用於發送深度數據幀，而系統應用端用於在驅動層，設置rgb寄存器為主模式，並設置dtof寄存器為從模式，在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，在應用層，查找rgb數據幀的時間戳和深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。
62.實施中，系統應用端在驅動層將rgb寄存器設置為主模式，並將dtof寄存器設置為從模式，然後，rgb傳感器通過預先連接的信號線將同步信號傳輸至dtof傳感器，並將rgb數據幀發送至中間層，dtof傳感器在獲取到同步信號後將深度數據幀也傳輸至中間層，以便於系統應用端分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，並查找rgb數據幀的時間戳和深度數據幀的時間戳，選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof之間的數據幀同步。
63.由於測距系統的實施例與方法部分的實施例相互對應，因此測距系統的實施例請參見方法部分的實施例的描述，這裡暫不贅述。
64.本技術所提供的測距系統，包括：在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式，在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，並在應用層，查找rgb數據幀的時間戳和深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。由此可見，本技術所提供的技術方案，通過查找rgb數據幀的時間戳和深度數據幀的時間戳，將時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof之間的數據同步，避免dtof深度數據幀和rgb數據幀不同步時，導致畫面或音頻的不同步，提升系統可靠性。
65.在上述實施例中，對於數據幀同步的方法進行了詳細描述，本技術還提供一種數據幀同步的裝置對應的實施例。
66.圖3為本技術實施例所提供的一種數據幀同步的裝置的結構圖，如圖3所示，該裝
置包括：
67.設置模塊10，用於在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式；
68.獲取模塊11，用於在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳；
69.查找模塊12，用於在應用層，查找rgb數據幀的時間戳和深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。
70.由於裝置部分的實施例與方法部分的實施例相互對應，因此裝置部分的實施例請參見方法部分的實施例的描述，這裡暫不贅述。
71.本技術所提供的數據幀同步的裝置，包括：在驅動層，設置rgb寄存器為主模式，設置dtof寄存器為從模式，在中間層，分別獲取rgb數據幀的時間戳和深度數據幀的時間戳，並在應用層，查找rgb數據幀的時間戳和深度數據幀的時間戳，以便選取時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀。由此可見，本技術所提供的技術方案，通過查找rgb數據幀的時間戳和深度數據幀的時間戳，將時間戳最接近的兩個數據幀分別作為目標rgb數據幀和目標深度數據幀，進而實現rgb和dtof之間的數據同步，避免dtof深度數據幀和rgb數據幀不同步時，導致畫面或音頻的不同步，提升系統可靠性。
72.以上對本技術所提供的一種測距系統、數據幀同步的方法和裝置進行了詳細介紹。說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例公開的裝置而言，由於其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。應當指出，對於本技術領域的普通技術人員來說，在不脫離本技術原理的前提下，還可以對本技術進行若干改進和修飾，這些改進和修飾也落入本技術權利要求的保護範圍內。
73.還需要說明的是，在本說明書中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個
……」
限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。