一種目標位置矯正方法、裝置及系統與流程
2023-11-11 23:31:07 2
本發明涉及計算機圖像處理技術領域，特別涉及一種目標位置矯正方法、裝置及系統。
背景技術：
隨著無人機技術的發展和進步，在軍用和民用領域的應用都越來越廣泛。且計算機圖像處理技術和無人機技術的融合更使得無人機在測繪、巡檢和偵查等方面大展身手。與此同時，由於無人機的運動過程不同於以往的任何載體，這就使得搭載於無人機上的圖像獲取和處理裝置的處理方法也將不同於常規的固定載體和高速運動載體。
在基於無人機的圖像處理中，目標跟蹤是一個尤為重要的課題。運動目標跟蹤在軍事制導，視覺導航，機器人，智能交通，公共安全等領域有著廣泛的應用。例如，在車輛違章抓拍系統中，車輛的跟蹤就是必不可少的。在入侵檢測中，人、動物、車輛等大型運動目標的檢測與跟蹤也是整個系統運行的關鍵所在。
而在無人機進行目標跟蹤的過程中，如何去除無人機的移動帶來的目標位置相對於無人機本身的移動，始終保持目標位置和無人機位置的絕對關係，從而實現無人機的定點跟蹤功能，更加精確的控制無人機，顯得尤為重要。
因此，如何能夠提高無人機目標位置的準確性，是本領域技術人員需要解決的技術問題。
技術實現要素：
本發明的目的是提供一種目標位置矯正方法、裝置及系統，將慣性測量裝置得到的姿態信息和跟蹤算法得到的目標檢測器相結合的方式，去掉了平臺姿態帶來的目標移動，實現無人飛行器等在目標跟蹤過程中的精確控制。
為解決上述技術問題，本發明提供一種目標位置矯正方法，包括：
接收當前時刻和上一時刻圖像獲取裝置的姿態信息；
利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息；
根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制。
可選的，利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息，包括：
將所述上一時刻跟蹤框的中心信息，從圖像坐標系轉換到圖像獲取裝置坐標系，獲得上一時刻圖像獲取裝置坐標系下目標方位信息；
根據上一時刻圖像獲取裝置的姿態信息，將所述上一時刻圖像獲取裝置坐標系下目標方位信息投射到世界坐標系，獲得上一時刻世界坐標系下目標方位信息；
根據當前時刻圖像獲取裝置的姿態信息，將所述上一時刻世界坐標系下目標方位信息投射到圖像獲取裝置坐標系，獲得當前時刻圖像獲取裝置坐標系下目標方位信息；
根據圖像獲取裝置內參，將所述當前時刻圖像獲取裝置坐標系下目標方位信息投射到圖像坐標系，生成當前時刻跟蹤框的中心信息。
可選的，根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制，包括：
使用所述目標檢測器，在所述當前時刻跟蹤框的中心信息的預定範圍內搜索更新目標位置；
使用更新後的目標位置作為訓練集，更新所述訓練集得到更新後的目標檢測器；
利用更新後的目標檢測器進行目標跟蹤的控制。
可選的，所述接收當前時刻和上一時刻圖像獲取裝置的姿態信息，包括：
接收當前時刻慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值，以及上一時刻所述慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值；其中，N，M為大於1的整數；
計算當前時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為當前時刻圖像獲取裝置的姿態信息；
計算上一時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為上一時刻圖像獲取裝置的姿態信息。
本發明還提供一種目標位置矯正裝置，包括：
姿態信息獲取模塊，用於接收當前時刻和上一時刻圖像獲取裝置的姿態信息；
跟蹤框中心生成模塊，用於利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息；
跟蹤控制模塊，用於根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制。
可選的，所述跟蹤框中心生成模塊，包括：
第一轉換單元，用於將所述上一時刻跟蹤框的中心信息，從圖像坐標系轉換到圖像獲取裝置坐標系，獲得上一時刻圖像獲取裝置坐標系下目標方位信息；
第二轉換單元，用於根據上一時刻圖像獲取裝置的姿態信息，將所述上一時刻圖像獲取裝置坐標系下目標方位信息投射到世界坐標系，獲得上一時刻世界坐標系下目標方位信息；
第三轉換單元，用於根據當前時刻圖像獲取裝置的姿態信息，將所述上一時刻世界坐標系下目標方位信息投射到圖像獲取裝置坐標系，獲得當前時刻圖像獲取裝置坐標系下目標方位信息；
第四轉換單元，用於根據圖像獲取裝置內參，將所述當前時刻圖像獲取裝置坐標系下目標方位信息投射到圖像坐標系，生成當前時刻跟蹤框的中心信息。
可選的，所述跟蹤控制模塊，包括：
目標位置更新單元，用於使用所述目標檢測器，在所述當前時刻跟蹤框的中心信息的預定範圍內搜索更新目標位置；
目標檢測器更新單元，用於使用更新後的目標位置作為訓練集，更新所述訓練集得到更新後的目標檢測器；
跟蹤控制單元，用於利用更新後的目標檢測器進行目標跟蹤的控制。
可選的，所述姿態信息獲取模塊，包括：
數據獲取單元，用於接收當前時刻慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值，以及上一時刻所述慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值；其中，N，M為大於1的整數；
姿態信息獲取單元，用於計算當前時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為當前時刻圖像獲取裝置的姿態信息；計算上一時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為上一時刻圖像獲取裝置的姿態信息。
本發明還提供一種目標位置矯正系統，包括：
圖像獲取裝置，用於獲取目標圖像信息；
慣性測量裝置，用於獲取圖像獲取裝置的姿態信息；
處理器，用於接收當前時刻和上一時刻圖像獲取裝置的姿態信息；利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息；根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制。
可選的，所述慣性測量裝置，包括至少一個加速度計和至少一個陀螺儀。
本發明所提供的一種目標位置矯正方法，包括：接收當前時刻和上一時刻圖像獲取裝置的姿態信息；利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息；根據當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制；
可見，該方法將慣性測量裝置得到的姿態信息和跟蹤算法得到的目標檢測器相結合的方式，去掉了平臺姿態帶來的目標移動，實現了無人飛行器等在目標跟蹤過程中的精確控制；本發明還提供了一種目標位置矯正裝置及系統，具有上述有益效果，在此不再贅述。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
圖1為本發明實施例所提供的目標位置矯正方法的流程圖；
圖2為本發明實施例所提供的目標位置矯正裝置的結構框圖；
圖3為本發明實施例所提供的目標位置矯正系統的結構框圖；
圖4為本發明實施例所提供的另一目標位置矯正系統的結構框圖。
具體實施方式
本發明的核心是提供一種目標位置矯正方法、裝置及系統，將慣性測量裝置得到的姿態信息和跟蹤算法得到的目標檢測器相結合的方式，去掉了平臺姿態帶來的目標移動，實現無人飛行器等在目標跟蹤過程中的精確控制。
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
請參考圖1，圖1為本發明實施例所提供的目標位置矯正方法的流程圖；該方法可以包括：
S100、接收當前時刻和上一時刻圖像獲取裝置的姿態信息；
具體的，本實施例並不限定具體的姿態信息包含的內容，例如這裡的姿態信息可以包括圖像獲取裝置的角速度信息和加速度信息。本實施例中姿態信息通常使用慣性測量裝置檢測得到的。例如角速度信息可以由陀螺儀測得，加速度信息可以由加速度計測得。本實施例並不對具體的檢測方式進行限定，只要可以獲取圖像獲取裝置精確的姿態信息即可。
其中，本實施例中所說的圖像獲取裝置，可以獲取到圖像的裝置即可，例如相機，攝像頭等。並不對圖像獲取裝置的具體形式進行限定。
本實施例中獲取的姿態信息可以採用慣性測量裝置進行測量，慣性測量裝置是測量物體三軸姿態角(或角速率)以及加速度的裝置。陀螺儀及加速度計是慣性測量裝置的主要元件，其精度直接影響到慣性測量裝置的精度。目前，在實際工作中，由於不可避免的各種幹擾因素，而導致陀螺儀及加速度計產生誤差，從初始對準開始，其導航誤差就隨時間而增長，尤其是位置誤差，這慣性測量裝置的主要缺點。而本實施例利用外部信息進行輔助，實現組合導航，使其有效地減小誤差隨時間積累的問題。
進一步，為了提高可靠性，還可以為每個軸配備更多的姿態信息傳感器(即多個陀螺儀及加速度計)。根據接收到的多個姿態信息確定一個更加精準的最終姿態信息用於後續計算，以提高系統的可靠性。本實施例並不限定具體的確定最終姿態信息的方式。例如可以是求平均值，或者根據每個傳感器的權重計算得到最終值等。一般而言慣性測量裝置要安裝在被測物體的重心上。且這裡的計算過程可以在慣性測量裝置中進行，例如慣性測量裝置中有若干個加速度計，分別記為：N1、N2、N3，...，Nn；慣性測量裝置中有若干個陀螺儀，分別記為M1、M2、M3，...，Mn；慣性測量裝置中還設置有一個微處理器；所述微處理器用於將每個加速度計獲取到的加速度數據值進行取算術平均值得到最終的加速度數據值；同時，所述微處理器對每個陀螺儀計獲取到的角速度數據值進行取算術平均值得到最終的角速度數據值；進一步提高系統的精度。
也可以在系統中的處理器中進行。具體位置的選擇可以根據計算速度確定。優選的，接收當前時刻和上一時刻圖像獲取裝置的姿態信息可以包括：
接收當前時刻慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值，以及上一時刻所述慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值；其中，N，M為大於1的整數；
計算當前時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為當前時刻圖像獲取裝置的姿態信息；
計算上一時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為上一時刻圖像獲取裝置的姿態信息。
具體的，慣性測量裝置中有若干個加速度計，分別記為：N1、N2、N3，...，Nn；慣性測量裝置中有若干個陀螺儀，分別記為M1、M2、M3，...，Mn；處理器用於將每個加速度計獲取到的加速度數據值進行取算術平均值得到最終的加速度數據值；同時，對每個陀螺儀計獲取到的角速度數據值進行取算術平均值得到最終的角速度數據值；進一步提高系統的精度。
進一步系統在每一次計算得到的當前時刻和上一時刻圖像獲取裝置的姿態信息都可以進行保存。這樣在下次使用時可以減少一次計算過程。
進一步為了節省存儲空間，也可以在上一時刻圖像獲取裝置的姿態信息在本次計算利用後進行刪除。
S110、利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息；
具體的，跟蹤框的中心信息的生成是對圖像獲取裝置獲取的圖像信息進行處理後得到的。該步驟是利用上一時刻和當前時刻的姿態信息，以及上一時刻跟蹤框的中心信息，生成準確的當前時刻跟蹤框的中心信息。
優選的，利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息可以包括：
將所述上一時刻跟蹤框的中心信息，從圖像坐標系轉換到圖像獲取裝置坐標系，獲得上一時刻圖像獲取裝置坐標系下目標方位信息；
根據上一時刻圖像獲取裝置的姿態信息，將所述上一時刻圖像獲取裝置坐標系下目標方位信息投射到世界坐標系，獲得上一時刻世界坐標系下目標方位信息；
根據當前時刻圖像獲取裝置的姿態信息，將所述上一時刻世界坐標系下目標方位信息投射到圖像獲取裝置坐標系，獲得當前時刻圖像獲取裝置坐標系下目標方位信息；
根據圖像獲取裝置內參，將所述當前時刻圖像獲取裝置坐標系下目標方位信息投射到圖像坐標系，生成當前時刻跟蹤框的中心信息。
具體的，上述過程中圖像坐標系和到相機坐標系相互投射的方法包括以下步驟：
步驟1：設定物體在相機坐標系統中的坐標為：X(x，y，z)；
步驟2：採用如下公式，實現圖像坐標系和相機坐標系的相互轉換，設定所述圖像坐標系的點為Y(a，b)：
其中，fx、fy和物理焦距F之間的關係為：fx＝F*s，fy＝F*s；s表示X軸方向上的1毫米長度所代表像素值；cx和cy表示光軸的偏移。
上述過程中相機坐標系投射到世界坐標系中的方法包括以下步驟：
步驟1：設相機坐標系的的坐標為：X(x，y，z)；
步驟2：對相機坐標系中的每一個坐標值進行旋轉得到世界坐標系中的位置，x對應的旋轉矩陣為：
步驟3：y對應的旋轉矩陣為：
步驟4：z對應的旋轉舉證為：
其中，為繞X軸旋轉的角度；α為繞Y軸旋轉的角度；β為繞Z軸旋轉的角度。
S120、根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制。
具體的，目標檢測器獲取是利用跟蹤算法生成的。本實施例並不對具體的跟蹤算法進行限定。在目標跟蹤技術領域，常用的是KCF算法，其中，KCF算法是一種鑑別式追蹤方法，這類方法一般都是在追蹤過程中訓練一個目標檢測器，使用目標檢測器去檢測下一幀預測位置是否是目標，然後再使用新檢測結果去更新訓練集進而更新目標檢測器。而在訓練目標檢測器時一般選取目標區域為正樣本，目標的周圍區域為負樣本，當然越靠近目標的區域為正樣本的可能性越大。
該步驟採用跟蹤算法和慣性測量裝置進行結合的方式，能夠有效去除無人機姿態變化導致的目標相對移動，實現更為精確的無人機跟蹤控制。即有選的，根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制可以包括：
使用所述目標檢測器，在所述當前時刻跟蹤框的中心信息的預定範圍內搜索更新目標位置；
使用更新後的目標位置作為訓練集，更新所述訓練集得到更新後的目標檢測器；
利用更新後的目標檢測器進行目標跟蹤的控制。
具體的，上述過程中目標檢測器獲取可以利用KFC算法生成。
基於上述技術方案，本發明實施例提的目標位置矯正方法，該方法將慣性測量裝置得到的姿態信息和跟蹤算法得到的目標檢測器相結合的方式，去掉了平臺姿態帶來的目標移動，實現了無人飛行器等在目標跟蹤過程中的精確控制；且由於採用現有慣性測量裝置進行構建，無須特定的裝置，就實現了目標位置的矯正，降低了成本。該方法流程較為簡易，也非常易於實現和推廣。增強了無人機控制的精確性，較為巧妙地去除了平臺姿態帶來的目標移動，具備很強的實用性。
下面對本發明實施例提供的目標位置矯正裝置及系統進行介紹，下文描述的目標位置矯正裝置及系統與上文描述的目標位置矯正方法可相互對應參照。
請參考圖2，圖2為本發明實施例所提供的目標位置矯正裝置的結構框圖；該裝置可以是處理器。該裝置具體可以包括：
姿態信息獲取模塊100，用於接收當前時刻和上一時刻圖像獲取裝置的姿態信息；
跟蹤框中心生成模塊200，用於利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息；
跟蹤控制模塊300，用於根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制。
基於上述實施例，所述跟蹤框中心生成模塊200可以包括：
第一轉換單元，用於將所述上一時刻跟蹤框的中心信息，從圖像坐標系轉換到圖像獲取裝置坐標系，獲得上一時刻圖像獲取裝置坐標系下目標方位信息；
第二轉換單元，用於根據上一時刻圖像獲取裝置的姿態信息，將所述上一時刻圖像獲取裝置坐標系下目標方位信息投射到世界坐標系，獲得上一時刻世界坐標系下目標方位信息；
第三轉換單元，用於根據當前時刻圖像獲取裝置的姿態信息，將所述上一時刻世界坐標系下目標方位信息投射到圖像獲取裝置坐標系，獲得當前時刻圖像獲取裝置坐標系下目標方位信息；
第四轉換單元，用於根據圖像獲取裝置內參，將所述當前時刻圖像獲取裝置坐標系下目標方位信息投射到圖像坐標系，生成當前時刻跟蹤框的中心信息。
基於上述實施例，所述跟蹤控制模塊300可以包括：
目標位置更新單元，用於使用所述目標檢測器，在所述當前時刻跟蹤框的中心信息的預定範圍內搜索更新目標位置；
目標檢測器更新單元，用於使用更新後的目標位置作為訓練集，更新所述訓練集得到更新後的目標檢測器；
跟蹤控制單元，用於利用更新後的目標檢測器進行目標跟蹤的控制。
基於上述任意實施例，所述姿態信息獲取模塊100可以包括：
數據獲取單元，用於接收當前時刻慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值，以及上一時刻所述慣性測量裝置發送的圖像獲取裝置的N個加速度數據值和M個角速度數據值；其中，N，M為大於1的整數；
姿態信息獲取單元，用於計算當前時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為當前時刻圖像獲取裝置的姿態信息；計算上一時刻圖像獲取裝置的平均加速度數據值和平均角速度數據值作為上一時刻圖像獲取裝置的姿態信息。
請參考圖3，圖3為本發明實施例所提供的目標位置矯正系統的結構框圖；該系統可以包括：
圖像獲取裝置10，用於獲取目標圖像信息；
具體的，該圖像獲取裝置10具體可以是相機。且圖像獲取裝置10可以通過雲臺安裝在無人機上。
慣性測量裝置20，用於獲取圖像獲取裝置的姿態信息；
具體的，該慣性測量裝置20具體可以包括加速度計和陀螺儀。
處理器30，用於接收當前時刻和上一時刻圖像獲取裝置的姿態信息；利用所述姿態信息以及上一時刻跟蹤框的中心信息，生成當前時刻跟蹤框的中心信息；根據所述當前時刻跟蹤框的中心信息，以及目標檢測器進行目標跟蹤的控制。
具體的，該處理器30根據姿態信息進行目標位置矯正計算並得出矯正結果即目標跟蹤的控制結果。
基於上述實施例，所述慣性測量裝置20可以包括至少一個加速度計和至少一個陀螺儀。即慣性測量單元中有若干個加速度計，分別記為：N1、N2、N3，...，Nn；所述慣性測量單元中有若干個陀螺儀，分別記為M1、M2、M3，...，Mn；可以利用平均角速度數據和平均加速度數據提高系統的精度。
請參考圖4，該系統還可以包括飛行控制器40，用於根據所述處理器30的矯正結果進行跟蹤控制，即根據當前時刻跟蹤框的中心，進行目標跟蹤的控制。存儲器50，用於獲取的姿態信息進行暫存。處理器30分別信號連接於飛行控制器40、圖像獲取裝置10、慣性測量裝置20和存儲器50；慣性測量裝置20還信號連接於存儲器50。
具體的，慣性測量裝置包括：加速度計和陀螺儀時所述加速度計將獲取的加速度信息同時發送給所述處理器和所述存儲器；存儲器將接收到的加速度信息進行暫存；所述陀螺儀將獲取到的角速度信息同時發送給所述處理器和所述存儲器；存儲器將接收到的角速度信息進行暫存；處理器將獲取到的加速度信息和角速度信息作為當前時刻的姿態信息；存儲器中存儲的加速度信息和角速度信息將作為下一時刻的上一時刻姿態信息。
進一步，存儲器50可以是快閃記憶體。
上述系統的工作過程可以是：
無人機在飛行過程中，接收來自飛行控制器的控制命令，確定好目標；確定目標後，無人機進行目標跟蹤；同時，慣性測量裝置實時獲取無人機的姿態信息，將獲取的姿態信息存入存儲器中；當無人機移動位置過後，慣性測量裝置實時獲取無人機的姿態信息發送給處理器；處理器根據實時獲取的姿態信息和存儲器中存儲的上一時刻的姿態信息，以及根據以及上一時刻跟蹤框的中心，生成當前時刻跟蹤框的中心。並根據當前時刻跟蹤框的中心進行目標跟蹤的控制。
基於上述技術方案，本發明實施例提的一種目標位置矯正系統，構造簡單，容易實現，且系統構造成本低更加易於普及；同時，由於該系統增強了無人機控制的精確性，較為巧妙地去除了平臺姿態帶來的目標移動，具備很強的實用性。
說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例公開的裝置而言，由於其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。
專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、計算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
結合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬體、處理器執行的軟體模塊，或者二者的結合來實施。軟體模塊可以置於隨機存儲器(RAM)、內存、只讀存儲器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬碟、可移動磁碟、CD-ROM、或技術領域內所公知的任意其它形式的存儲介質中。
以上對本發明所提供的一種目標位置矯正方法、裝置及系統進行了詳細介紹。本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想。應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以對本發明進行若干改進和修飾，這些改進和修飾也落入本發明權利要求的保護範圍內。