數據關聯設備和方法
2023-11-05 12:31:32
專利名稱：數據關聯設備和方法
技術領域：
本發明涉及傳感器領域，具體涉及一種基於定位傳感器和攝像機的異質傳感器數據關聯設備和方法。
背景技術：
越來越多的傳感器出現在人們的日常生活中，改變和提高人類的生活質量。位置信息，尤其是人的位置信息的獲取可以為人類的日常生活提供各種便利。比如，在交通應用中，如果知道人群經常聚集的道路，就可以進一步優化交通設施的部署，改變車行路線，從而提高人們出行的效率。又如，在日常辦公中，如果能夠將辦公設備放置在合適的位置，就可以節約人們到達這些設備的距離，進一步提高工作效率。
更為廣泛的是基於位置的服務，根據個人所處的位置，信息系統可以按照位置特點提供不同種類的服務。如在機場，當用戶在不同的區域內時，就可以獲得不同的信息服務，如位置索引、店鋪信息、公共設施的位置提示等等。在商場，當用戶走到不同的櫃檯和貨架時，相關的商品信息就可以通過公共顯示屏或者行動裝置顯示，以方便用戶尋找自己需要商品以及相關信息，提供個性化的信息服務。當今的社會，公共的視頻採集設備已經廣泛存在，為人們的日常生活提供安全服務。同樣，這些設備也可以用來分析人類的行為習慣， 從而為個體提供精準的信息服務分析結果。因此，在人們的日常生活中，將來自不同傳感器的不同種類的信息匯集起來，形成一個無所不在的網絡，就可以為用戶提供高質量的個性化信息服務。因此，將位置信息和圖像信息結合起來，就能夠形成專門針對人類的行為以及位置相關的全方位信息服務。
特定環境中布置的各種傳感器一方面按照自己的工作方式感知這個環境，同時也能夠相互配合，從不同方面感知這個環境中的事物。相互協同工作的傳感器能夠在多個信息通道感知目標的信息，能夠提供比單個傳感器更為準確和豐富的信息。然而，當一個被感知的目標同時被多個異種傳感器感知時，判斷哪些傳感器為該目標提供了傳感信息則成為一個問題。原因是這些不同種類的傳感器往往被部署在整個環境中，每種傳感器工作在不同的時間和空間上，擁有不同的作用範圍和感知特性，並感知著環境中的不同目標。另外， 環境的目標也是隨機存在的，不同類型的目標能夠被感知的信息也可能不同。因此，針對一個目標，需要處理布置在同一個環境中的異質傳感器的數據關聯問題，即在某一時刻，需要判斷哪些傳感器在同一時刻感知到了相同的目標對象。
一種直接將傳感器數據進行關聯的方式是將所有傳感器安裝到一起，如擁有多種傳感器的機器人和數據衣。在這種方式下，異質傳感器同時感知周圍環境並協同工作。這種傳感器的數據關聯是建立在直接硬體關聯之上，不需要特殊的判別過程。與此類似，將所有傳感器安裝到同一個環境中，感知這個環境下的目標。
另一種傳感器關聯的情況是傳感器分散安裝。在某一時刻，部分傳感器感知到了目標。在這種情況下，需要實時根據目標關聯傳感器的數據。如果能夠將傳感器的作用範圍事先確定，一旦目標進入到傳感器的工作區域時，這些傳感器就工作起來，將各自的數據進行關聯匯總。這種傳感器數據關聯的方式是基於傳感器的工作區域來進行的。也就是說， 同一個工作區域的傳感器是關聯的。然而，當傳感器的工作範圍不確定時，因為無法判斷哪些傳感器的工作區域是共同的，所以傳感器的數據的實時關聯依舊是一個問題。傳感器數據的動態關聯則是解決這類問題的策略。動態關聯傳感器的數據就是要根據傳感器感知的目標，實時將與該目標相關的傳感器數據進行關聯。
然而，動態的傳感器數據關聯同傳感器的特性相關，不同種類的傳感器採用不同的策略關聯算法。參考文獻 1 (Association andidentification in heterogeneous sensors environment withcoverage uncertainty. S. H. Cho, S.Hong, Y.Nam. Internationalconference on advanced video and signal based surveillance, PP. 553-558,2009)提出了一種動態關聯身份傳感器和攝像機的技術，其中，通過時間和歷史信息可以將這兩種傳感器有效關聯。具體地，該方法主要是通過目標進入和離開身份傳感器的感應區這兩種事件來關聯身份傳感器和攝像機。當目標進入到身份傳感器的感應區域時，該「進入」事件被檢測到。同時，由於目標進入，攝像機可對目標進行跟蹤。所以，當目標「進入」事件發生時，目標被攝像機定位和跟蹤，目標的身份信息就和攝像機的軌跡信息根據目標進入感應區域的時間關聯起來。同理，當物體離開身份感應區時，「離開」事件被檢測到，根據目標離開的事件和目標在環境中的歷史軌跡，就可以追溯目標歷史軌跡的身份信息，從而將身份信息同軌跡信息關聯起來。然而，如果多個目標同時進入並且同時離開，則這種方法無法將多個目標中每一個目標的身份信息和軌跡信息相關聯。
發明內容
因此，為了解決上述問題，本發明公開了一種利用位置信息將位置傳感器和攝像機進行傳感器數據關聯的設備和方法。本發明是一種動態傳感器數據關聯技術，並不需要對每種傳感器的工作區域進行事先確定。在本發明中，位置傳感器提供兩類信息目標位置信息和身份信息；而攝像機提供目標的屬性信息。在此基礎上，本發明將目標的位置信息、 身份信息和屬性信息進行動態關聯，形成對目標的統一描述。本發明的基本思想是利用單個攝像機的目標位置信息直接計算目標的環境位置信息，通過位置信息的關聯，從而實現位置傳感器和攝像機的數據關聯。
根據本發明的一個方面，提供了一種數據關聯設備，包括目標定位單元，被配置為從攝像機接收目標的圖像數據，並產生目標的第一位置信息；存儲單元，被配置為存儲目標定位單元產生的目標的第一位置信息，並存儲來自位置傳感器的目標的第二位置信息； 以及關聯單元，被配置為根據存儲單元中存儲的第一位置信息和第二位置信息，把來自攝像機的目標的圖像數據和來自位置傳感器的目標的第二位置信息進行關聯。
優選地，目標定位單元被配置為根據目標的圖像數據來估算目標的第一位置信息，目標的第一位置信息包括目標與攝像機之間的水平轉角信息。
優選地，關聯單元被配置為當多個目標的第一位置信息相同時，將多個目標中每一個目標的第一位置信息與其相對應的第二位置信息進行匹配，從而把來自攝像機的多個目標的圖像數據和來自位置傳感器的多個目標的第二位置信息一一進行關聯。
優選地，關聯單元被配置為針對每一個特定目標的第一位置信息，利用多個目標的第二位置信息計算目標的高度，把與最小高度相對應的目標的第二位置信息與該特定目標的第一位置信息相關聯。
優選地，位置傳感器包括位置信號接收器和位置標籤，並且來自位置傳感器的目標的第二位置信息包括目標的位置數據和目標的身份數據。更優選地，位置傳感器是超聲定位系統。更優選地，目標是人臉。
優選地，數據關聯設備還包括投票單元，被配置為在特定時間段中對關聯單元的關聯結果進行累積，並通過投票的方式獲得最終的關聯結果。
根據本發明的另一個方面，提供了一種數據關聯方法，包括以下步驟從攝像機接收目標的圖像數據，並產生目標的第一位置信息；從位置傳感器接收目標的第二位置信息； 以及基於第一位置信息和第二位置信息，把來自攝像機的目標的圖像數據和來自位置傳感器的目標的第二位置信息進行關聯。
優選地，目標的第一位置信息包括目標與攝像機之間的水平轉角信息。更優選地， 當多個目標的第一位置信息相同時，將多個目標中每一個目標的第一位置信息與其相對應的第二位置信息進行匹配，從而把來自攝像機的多個目標的圖像數據和來自位置傳感器的多個目標的第二位置信息一一進行關聯。
優選地，針對每一個特定目標的第一位置信息，利用多個目標的第二位置信息計算目標的高度，把與最小高度相對應的目標的第二位置信息與該特定目標的第一位置信息相關聯。
優選地，數據關聯方法還包括以下步驟在特定時間段中，對關聯步驟的關聯結果進行累積，並通過投票的方式獲得最終的關聯結果。
優選地，位置傳感器包括位置信號接收器和位置標籤，並且來自位置傳感器的目標的第二位置信息包括目標的位置數據和目標的身份數據。更優選地，位置傳感器是超聲定位系統。更優選地，目標是人臉。
本發明能夠處理多個目標同時進入和同時離開的情況，不需要對目標進行相關事件檢測。此外，本發明能夠從單個攝像機推算位置信息，避免了使用攝像機進行三維位置估計時的特殊限制(如檢測目標的腳部、標誌等)。
通過下文結合附圖的詳細描述，本發明的上述和其它特徵將會變得更加明顯，其中 圖1是示出了根據本發明一個實施例的數據關聯設備的框圖； 圖2示出了根據本發明實施例的數據關聯設備的一個示例應用場景； 圖3示出了傳感器數據關聯的基本原理； 圖4和圖5是示出了攝像機與目標在空間中的位置關係的示意圖； 圖6示出了兩個位置標籤(兩個人)在攝像機的同一水平方向的情景； 圖7是示出了根據本發明另一個實施例的數據關聯設備的框圖； 圖8是示出了根據本發明一個實施例的數據關聯方法的流程圖；以及 圖9是示出了圖8的方法中當攝像機同一水平方向出現多個目標的情況下用於確定位置標籤的示例方法的流程圖。
6
具體實施例方式下面，通過結合附圖對本發明的具體實施例的描述，本發明的原理和實現將會變得明顯。應當注意的是，本發明不應局限於下文所述的具體實施例。另外需要說明，為了簡便起見，附圖中沒有示出與本發明直接相關的公知組件。
圖1是示出了根據本發明一個實施例的數據關聯設備100的框圖。如圖1所示，數據關聯設備100包括目標定位單元101、存儲單元102和關聯單元103。目標定位單元101 的輸入接收來自攝像機的數據。存儲單元102的一個輸入接收來自位置傳感器的數據，另一個輸入接收來自目標定位單元101的輸出。關聯單元103從存儲單元102獲取所需數據， 執行關聯，從而將針對多個目標的來自攝像機的數據和來自位置傳感器的數據彼此關聯。
圖2示出了根據本發明實施例的數據關聯設備的一個示例應用場景。如圖2所示， 該應用場景中包括位置傳感器和單個攝像機。位置傳感器由位置信號接收器201和位置標籤202組成。位置標籤202佩戴在目標上，用於向位置信號接收器201發送定位信號。例如，在本示例中，兩個位置標籤202分別佩戴在兩個人身上。安裝在場景頂部的多個位置信號接收器201接收位置標籤202發來的定位信號，計算出位置標籤202在該場景中的三維位置坐標。由於可以給位置標籤指定身份ID，因此，每一個位置標籤與各自的身份ID —一對應。位置傳感器就可以得到形如(tag_id，X，Y，Z)的位置數據。其中，tag_id為位置標籤的ID，(X，Y，Z)為目標在環境中的三維坐標。相應地，攝像機203用來採集同目標相關的圖像信息，並對圖像信息進行分析處理，以獲取目標的屬性信息。例如以人為目標，可以獲取人的屬性信息，比如人臉的大小、衣服的顏色等。
當環境中只有一個目標時，位置傳感器輸出的位置數據和攝像機輸出的目標屬性數據的關聯是一個直接關聯的過程。也就是說，一旦從圖像信息中分析出目標的屬性數據， 可以直接同位置數據進行關聯。然而，當有若干個目標同時出現在攝像機中時(例如圖2 所示場景中的兩個人)，如何區分哪個目標佩戴了哪個位置標籤則導致了傳感器的動態數據關聯問題。
圖3示出了傳感器數據關聯的基本原理。來自傳感器1和傳感器2的數據分別為 Cl1, d3和d2，d4。通過傳感器數據關聯處理，可以得知數據Cl1和d2，d3和d4是關聯的，即Cl1 和(12，(13和(14是分別來自場景中的同一個目標。於是，關聯結果輸出一個關聯矩陣，其中1 表示對應的行列數據是關聯的，0則表示無關。
然而，由圖像獲得的目標屬性具有一定的不確定性。如以人臉作為目標對象，從圖像中檢測的人臉，在準正面情況下可以達到98%的精度，而非正面情況下則只有95%左右。那麼，根據人臉信息獲得的人的屬性就具有一定的不確定性。另外，由於人臉出現在圖像中的位置不同，在圖像中深度不同且大小不同的人臉可能獲得相同尺寸的人臉區域，因此無法直接獲得人臉在環境中的三維位置信息。此外，位置標籤往往佩戴在衣服區域，也就是說不可能直接從人臉區域獲得位置標籤的位置信息，從而導致關聯位置信息和圖像信息的困難。
由於圖像信息的不確定性，因此將位置傳感器和攝像機進行數據關聯的問題是一個動態的傳感器數據關聯問題。通常來說，動態關聯兩種傳感器的數據的一般方法是定義一個數據的關聯函數AW1, d2)，其中屯，d2是需要進行關聯判斷的來自不同傳感器的數據。 當數據是來自同一個目標時，關聯函數輸出為1，否則輸出為0。在實現上，可以定義一個數據匹配函數來實現關聯函數。通過圖像數據的相似性，將滿足一定相似度的數據確定為關聯的。這樣，就實現了關聯函數。數據的匹配往往需要在同一個測度空間進行，因此必須要將圖像信息轉化為某種位置信息才能實現同位置傳感器數據的位置信息匹配。或者，將位置信息轉化到圖像信息上。從圖像中估計位置信息的技術稱為視覺測量。在實際環境中， 出於成本的考慮，往往在一個地方布置單個攝像機，因此要考慮單目攝像機的測量問題。
綜上所述，在本發明中，將位置傳感器和攝像機進行傳感器數據關聯的基本思想是通過估算單目攝像機中目標的位置信息，匹配攝像機估計的目標位置和位置標籤的獲得的位置信息，從而實現這兩種傳感器的數據關聯。
具體說來，再次參考圖1和圖2，攝像機203首先對採集的圖像信息進行目標對象檢測，從而得到目標對象在圖像中的屬性信息，如目標對象編號、其在圖像中的坐標(X，y) 以及相應的寬高(w，h)等。根據對象在圖像中的坐標並結合攝像機203自身的參數，數據關聯設備100中的目標定位單元101就可以估算出對象在環境中的位置信息，並將其傳送至存儲單元102中進行存儲。另一方面，從位置傳感器獲得位置標籤202的信號，定位位置標籤202，從而直接計算出位置標籤202的環境坐標(X，Y，Z)，該環境坐標也被存儲在存儲單元102中。在此基礎上，關聯單元103從存儲單元102中獲取對象位置信息和標籤位置信息，並進行基於位置的數據匹配，最終輸出關聯結果。在本實施例中，目標對象為人臉，而且位置傳感器為超聲定位系統。另外，由位置傳感器獲取的位置標籤的數據可以通過參考文獻1中的方法獲得，而人臉檢測的結果可以通過參考文獻2 (Paul Viola,Michael Jones. Rapid object detection using a boosted cascade of simplefeatures. Proceedings of the 2001 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition, Vol. lpp. 511-518，2001)獲得。
下面，結合附圖4-6來具體描述目標定位單元101如何由人臉檢測的結果獲得人臉在環境中的位置信息，以及關聯單元103如何基於來自位置傳感器和目標定位單元101 的位置信息進行匹配以獲得關聯結果。
首先，如圖4(a)所示，當一個攝像機拍攝人臉時，攝像機同地面、人臉的幾何關係是一個簡單的三角幾何關係。人臉的高度Hp可以通過下式計算得到
權利要求
1.一種數據關聯設備，包括目標定位單元，被配置為從攝像機接收目標的圖像數據，並產生目標的第一位置信息；存儲單元，被配置為存儲所述目標定位單元產生的目標的第一位置信息，並存儲來自位置傳感器的目標的第二位置信息；以及關聯單元，被配置為根據存儲單元中存儲的第一位置信息和第二位置信息，把來自攝像機的目標的圖像數據和來自位置傳感器的目標的第二位置信息進行關聯。
2.如權利要求1所述的數據關聯設備，其中，所述目標定位單元被配置為根據目標的圖像數據來估算目標的第一位置信息，目標的第一位置信息包括所述目標與攝像機之間的水平轉角信息。
3.如權利要求2所述的數據關聯設備，其中，所述關聯單元被配置為當多個目標的第一位置信息相同時，將所述多個目標中每一個目標的第一位置信息與其相對應的第二位置信息進行匹配，從而把來自攝像機的所述多個目標的圖像數據和來自位置傳感器的所述多個目標的第二位置信息一一進行關聯。
4.如權利要求3所述的數據關聯設備，其中，所述關聯單元被配置為針對每一個特定目標的第一位置信息，利用所述多個目標的第二位置信息計算目標的高度，把與最小高度相對應的目標的第二位置信息與該特定目標的第一位置信息相關聯。
5.如權利要求1所述的數據關聯設備，其中，所述位置傳感器包括位置信號接收器和位置標籤，並且來自位置傳感器的目標的第二位置信息包括目標的位置數據和目標的身份數據。
6.如權利要求5所述的數據關聯設備，其中，所述位置傳感器是超聲定位系統。
7.如權利要求1所述的數據關聯設備，其中，所述目標是人臉。
8.如權利要求1所述的數據關聯設備，還包括投票單元，被配置為在特定時間段中對所述關聯單元的關聯結果進行累積，並通過投票的方式獲得最終的關聯結果。
9.一種數據關聯方法，包括以下步驟從攝像機接收目標的圖像數據，並產生目標的第一位置信息；從位置傳感器接收目標的第二位置信息；以及基於第一位置信息和第二位置信息，把來自攝像機的目標的圖像數據和來自位置傳感器的目標的第二位置信息進行關聯。
10.如權利要求9所述的數據關聯方法，其中，目標的第一位置信息包括所述目標與攝像機之間的水平轉角信息。
11.如權利要求10所述的數據關聯方法，其中，當多個目標的第一位置信息相同時，將所述多個目標中每一個目標的第一位置信息與其相對應的第二位置信息進行匹配，從而把來自攝像機的所述多個目標的圖像數據和來自位置傳感器的所述多個目標的第二位置信息一一進行關聯。
12.如權利要求11所述的數據關聯方法，其中，針對每一個特定目標的第一位置信息， 利用所述多個目標的第二位置信息計算目標的高度，把與最小高度相對應的目標的第二位置信息與該特定目標的第一位置信息相關聯。
13.如權利要求9所述的數據關聯方法，還包括以下步驟在特定時間段中，對所述關聯步驟的關聯結果進行累積，並通過投票的方式獲得最終的關聯結果。
14.如權利要求9所述的數據關聯方法，其中，所述位置傳感器包括位置信號接收器和位置標籤，並且來自位置傳感器的目標的第二位置信息包括目標的位置數據和目標的身份數據。
15.如權利要求14所述的數據關聯方法，其中，所述位置傳感器是超聲定位系統。
16.如權利要求9所述的數據關聯方法，其中，所述目標是人臉。
全文摘要
本發明提供了一種數據關聯設備，包括目標定位單元，被配置為從攝像機接收目標的圖像數據，並產生目標的第一位置信息；存儲單元，被配置為存儲所述目標定位單元產生的目標的第一位置信息，並存儲來自位置傳感器的目標的第二位置信息；以及關聯單元，被配置為根據存儲單元中存儲的第一位置信息和第二位置信息，把來自攝像機的目標的圖像數據和來自位置傳感器的目標的第二位置信息進行關聯。本發明還提供了一種相應的數據關聯方法。
文檔編號G06K7/00GK102200578SQ20101013579
公開日2011年9月28日 申請日期2010年3月25日 優先權日2010年3月25日
發明者曾煒, 張洪明, 趙軍輝 申請人:日電(中國)有限公司