對象位置估計設備、對象位置估計方法和程序的製作方法
2023-10-08 15:55:19
專利名稱：對象位置估計設備、對象位置估計方法和程序的製作方法
技術領域：
本發明涉及使用多個攝像機圖像來估計對象位置的對象位置估計設備、對象位置估計方法和程序。
背景技術：
傳統上，利用對象位置估計設備、對象位置估計方法和程序，來估計目標對象在圖像監視系統中的位置(即，對於地面的位置)。日本專利申請待審公開No. 2008-15573(以下稱為「現有技術」)公開了與這類對象位置估計設備相關的技術。在現有技術中，公開了一種設備發明，使用多個攝像機圖像來確定目標對象在真實空間中的存在，並估計目標對象的位置。遵循根據現有技術的估計目標對象位置的設備的方法，配置多個攝像機，使得每個攝像機的視場在執行位置估計的真實空間(即，三維空間)中彼此重疊。然後，使用包括背景減去法和幀差異法在內的圖像處理，從由每個攝像機獲取的圖像中提取目標對象的運動對象區域。每個攝像機處於以下狀態事先執行攝像機校準，使得二維的攝像機圖像的坐標和三維真實空間可以相互轉換。每個攝像機在該狀態下捕捉目標對象。接著，根據現有技術的設備逆向地將包括從每個攝像機提取的運動對象區域在內的圖像投影至在真實空間中指定了該圖像的平面。接著，根據現有技術的設備在每個平面上檢測逆向投影的來自所有攝像機的運動對象區域的重疊。採用該方式，根據現有技術的設備確定運動對象區域(目標對象)在真實空間中的存在，並估計對象的位置。
發明內容
技術問題在用戶執行現有技術中描述的方法的情況下，可能出現以下問題。除了從逆向投影的運動對象區域的重疊獲取的真實空間中對象的實際目標對象，根據現有技術的設備還可能檢測到重象對象(作為示例，如圖1所示)。由於根據現有技術的設備可能根據這些重象對象來估計對象位置，在該情況下，用戶可能接收到不正確的信息。以下描述了該問題可能發生的原因。根據現有技術的圖1所示的設備對重象對象的檢測是由對大範圍區域執行運動對象區域的逆向投影(即，視錐)的過程引起的，所述大範圍區域包括真實空間中的實際目標對象(作為示例，如圖1中的區域S所示)。因此，根據攝像機A、攝像機B和實際目標對象在位置和方向上的相對位置關係，將形成不同於目標對象的重象對象。鑑於上述技術問題，提出了本發明，並且目的在於提供一種對象位置估計設備、對象位置估計方法和程序，能夠在使用視錐相交法獲取對象位置的技術中，降低基於重象對象的不正確的位置估計的頻率。技術方案為了解決上述問題，提供了根據本發明的對象位置估計設備，其中，所述設備包括候選對象獲取單元，通過視錐相交法來估計對象位置並獲取候選對象；候選對象信息存儲單元，針對基於捕捉到的圖像獲取的對象的視錐，存儲與候選對象間的重疊有關的信息；聯動度獲取單元，針對候選對象獲取作為聯動度的指標，並指示候選對象間的相互關係，所述指標是基於包括與候選對象的運動聯動的其他候選對象在內的視錐的數目計算的；以及對象候選確定單元，通過基於所獲取的指標的後驗概率，來將候選對象識別為對象或非對象，並輸出被確定為對象的候選對象的位置。此外，根據本發明的對象位置估計方法包括通過視錐相交法來估計對象位置並獲取候選對象；針對基於捕捉到的圖像獲取的對象的視錐，存儲與候選對象間的重疊有關的信息；針對候選對象獲取作為聯動度的指標，並指示候選對象間的相互關係，所述指標是基於包括與候選對象的運動聯動的其他候選對象在內的視錐的數目計算的；以及通過基於所獲取的指標的後驗概率，來將候選對象識別為對象或非對象，並輸出被確定為對象的候選對象的位置。此外，根據本發明的程序使計算機執行以下過程候選對象獲取過程，其中，通過視錐相交法來估計對象位置並獲取候選對象；候選對象信息存儲過程，其中，針對基於捕捉到的圖像獲取的對象的視錐，存儲與候選對象間的重疊有關的信息；聯動度獲取過程，其中，獲取作為聯動度的指標，並指示候選對象間的相互關係，所述指標是基於包括與候選對象的運動聯動的其他候選對象在內的視錐的數目計算的；以及候選對象確定過程，其中，通過基於所獲取的指標的後驗概率，來將候選對象識別為對象或非對象，並輸出被確定為對象的候選對象的位置。技術效果根據本發明，對於使用視錐相交法獲取對象位置的技術，(本發明)能夠降低因重象對象導致估計出不正確的對象位置的可能性。
圖1是示出了重象對象的定義及其創建情形的圖，所述重象對象屬於現有技術問題。圖2是示出了根據本發明第一實施例的配置的框圖。圖3是示出了根據第一實施例的、在對象候選信息存儲裝置中存儲的信息的示例的圖。圖4是示出了根據第一實施例的、使用視錐相交法來獲取候選對象的示例的圖。圖5是示出了根據第一實施例的、使用對象模型標記的對象體元的示例的圖。圖6是示出了根據第一實施例的、獲取與每個對象體元的重疊有關的信息的圖。圖7是示出了根據第一實施例的、計算獲取聯動度Gi所需Ki的過程圖像的圖。圖8是示出了根據本發明第一實施例的操作的流程圖。圖9是示出了根據本發明第一實施例的操作的流程圖。圖10是示出了根據本發明第一實施例的操作的流程圖。圖11是示出了根據本發明第一實施例的操作的流程圖。圖12是示出了根據本發明第一實施例的操作的流程圖。圖13是示出了根據本發明第一實施例的操作的流程圖。
圖14是示出了根據本發明第一實施例的操作的流程圖。圖15是示出了根據本發明第二實施例的配置的框圖。圖16是示出了根據本發明第二實施例的操作的流程圖。圖17是示出了根據本發明第二實施例的操作的流程圖。圖18是示出了根據本發明第三實施例的配置的框圖。圖19是示出了根據本發明第一實施例的另一配置的框圖。圖20是示出了根據本發明第一實施例的另一配置的框圖。
具體實施例方式第一示例實施例下面，將參照附圖詳細地描述根據本發明的第一實施例。圖2是示出了根據第一實施例的配置的框圖。參照圖2描述第一實施例。根據該實施例的對象位置估計設備包括n個圖像獲取單元，包括從運動圖像獲取圖像的第一圖像獲取單元至第η圖像獲取單元，所述運動圖像是由數字攝像機或視頻攝像機等獲取的；數據處理設備3，通過程序控制進行操作；以及存儲設備4，存儲信息。所述存儲設備4包括候選對象信息存儲單元41。候選對象信息存儲單元41將從候選對象獲取單元31獲取的對象位置識別為存在對象候選(候選對象)的位置，並將與候選對象有關的信息與其位置一起存儲。此外，候選對象信息存儲單元41存儲諸如候選對象的位置信息(即，平面上的坐標)以及與候選對象同其他候選對象相互重疊有關的信息。與重疊有關的信息指針對第 c圖像獲取單元(c :1至η，η是自然數)所創建的視錐，候選對象間的重疊。與重疊有關的信息包括諸如針對第c圖像獲取單元所創建的視錐，候選對象間的重疊的存在性；在第c 圖像獲取單元的視場中觀察到候選對象的存在性(以下，將觀察到候選對象的情形稱為清晰的視場，將未觀察到候選對象的情形稱為無視場)；以及重疊狀態下的候選對象的編號。圖3示出了信息內容的示例。其中，表格中0的下標i指示1:1至111，且111=3。此外，圖像獲取裝置的編號c指示(；:1至11，且11 =
此外，每行中重疊的存在性以及視場的存在性的數字和符號分別由以下標記來表示1:重疊(清晰的視場).0:不重疊(清晰的視場)-無視場此外，候選對象信息存儲41存儲包括過去獲取的信息在內的上述信息。數據處理設備3包括候選對象獲取單元31、重疊狀態確定單元32、置信度獲取單元33、聯動度獲取單元34和對象候選確定單元35。候選對象獲取單元31使用視錐相交法來估計對象位置，並獲取候選對象。具體地，候選對象獲取單元31將第一圖像獲取單元1和第η圖像獲取單元2的圖像捕捉定時進行同步，並從這些圖像獲取單元獲取圖像。候選對象獲取單元31對這些圖像中的每一個圖像執行包括背景減去等在內的圖像處理，並獲取指示對象區域的圖像。候選對象獲取單元 31使用事先獲取的攝像機參數以及指示對象區域的圖像，通過視錐相交法獲取對象體元 (即，指示對象的體元)。接著，候選對象獲取單元31對於平面上的位置統計對象體元的數目，執行閾值處理、標記和質心計算等，並估計對象位置。候選對象獲取單元31在候選對象信息存儲單元 41中，將所述位置處的相應的對象體元存儲為構成候選對象的對象體元。雖然以上描述指出了對象位置估計(即，獲取候選對象)的示例，但是可以應用任何方法，只要該方法包括使用視錐相交法來估計對象位置即可。圖5示出了候選對象獲取單元31通過圖4所示的視錐相交來估計對象位置並獲取候選對象01和02的示例。即使候選對象獲取單元31創建了對象體元，也可以通過候選對象獲取單元31在以下閾值處理中排除對象體元，並且所創建的對象體元可能不是候選對象。以上描述中指出的攝像機參數指將屏幕上的二維坐標與真實空間上的三維坐標相關聯的參數。即，攝像機參數指示二維坐標和三維坐標間的轉換參數、圖像獲取單元的以三維坐標表示的位置、以及圖像獲取單元的三維空間或二維平面中的方向。使用與每個圖像獲取單元相對應的攝像機參數，通過候選對象獲取單元31的轉換過程，圖像獲取單元獲取的二維坐標的圖像以及真實空間的三維坐標可以相互轉換。重疊狀態確定單元32獲取與候選對象間的重疊有關的信息。首先，重疊狀態確定單元32執行將對象體元標記為候選對象。如圖5所示，重疊狀態確定單元32配置三維模型(即，對象模型)，並執行將包括在模型中的對象體元標記為候選對象Oi的對象體元，所述三維模型示出了候選對象Oi的位置處的目標對象的形狀。重疊狀態確定單元32不使用(或移除)那些不屬於任何候選對象的對象體元。作為對象模型的示例，在目標對象是行人的情況下，重疊狀態確定單元32使用圓柱形模型。在以上描述中，雖然描述了重疊狀態確定單元32使用對象模型來執行對對象體元的標記的示例，但是可以使用任何方法，只要在目標對象存在於候選對象的位置的假設情況下，重疊狀態確定單元32能夠執行對對象體元的標記即可。接著，重疊狀態確定單元32在第c圖像獲取單元創建的視錐處，針對每個候選對象Oi,獲取與候選對象間的重疊有關的信息。首先，重疊狀態確定單元32在始於第c圖像獲取單元的投影方向上，針對對象體元，檢查攝像機的視場的存在性(即，能或不能保持清晰的視場)，所述對象體元被執行標記為候選對象0」在該情況下，當攝像機的視場中存在障礙時，重疊狀態確定單元32檢查是否存在未被障礙阻擋的區域。接著，在清晰的攝像機視場可用的情況下，重疊狀態確定單元32對於整個投影方向，檢查候選對象Oi以外的候選對象的對象體元與每個候選對象Oi間是否存在重疊。在存在重疊的情況下，接著，重疊狀態確定單元32提取處於重疊狀態的對象體元的所有候選對象。圖6示出了上述操作的示例。其中，目標對象的對象體元處於以下條件下視場的存在性清晰重疊的存在性重疊處於重疊狀態的對象體元的候選對象02
重疊狀態確定單元32對將被標記為候選對象Oi的整個對象體元執行所述操作， 並且重疊狀態確定單元32使用式(1)確定重疊狀態
int
t^ i c ,^
f^ (1)其中，Fi,。是候選對象Oi中，從第c圖像獲取單元觀察具有清晰的視場的對象體元的數目；Ei,。是候選對象Oi中，針對始於第c圖像獲取單元的投影方向，處於重疊狀態的對象體元的數目；以及11^是閾值。當滿足式(1)的條件時，重疊狀態確定單元32判定針對候選對象Oi在第c圖像獲取單元處創建的視錐上存在候選對象間的重疊。換言之，在候選對象的全部對象體元大都與其他候選對象的對象體元重疊的情況下，重疊狀態確定單元32確定候選對象與其他候選對象完全重疊。採用該方式，當重疊的對象體元的數目不滿足式(1)時，重疊狀態確定單元32確定不存在重疊(即，無重疊)。此外，在Fi,。= 0 ( S卩，對於第c圖像獲取單元，不存在視場)的情況下，重疊狀態確定單元32確定對於第c圖像獲取單元，不存在視場。此外，在重疊狀態確定單元32確定存在重疊(即，候選對象重疊)的情況下，重疊狀態確定單元32提取具有處於重疊狀態下的對象體元的所有候選對象，作為處於重疊狀態的候選對象。重疊狀態確定單元32在候選對象信息存儲單元41中存儲與這些重疊狀態的確定有關的所有信息。重疊狀態確定單元32針對所有候選對象Oi以及針對所有圖像獲取單元(即，第c 圖像獲取單元)執行這些操作。此外，重疊狀態確定單元32對對象體元數目FiicJnEuW 計數規則可以包括將同一投影方向上的對象體元的數目計為1的計數方法。置信度獲取單元33針對關於對象體元的信息獲取置信度，所述置信度是通過視錐相交法獲取的，並且是判決候選對象Oi為現存對象所需的。候選對象Oi由候選對象獲取單元31基於視錐相交法予以確定。在圖像獲取單元的所有視錐與其他候選對象重疊的情況下，候選對象可能是重象對象。因此，降低信息的置信度。此外，在與其他候選對象的重疊數目可能增加的情況下，更大程度地降低置信度。相應地，實施例將置信度定義為值。通過使用該值，置信度獲取單元33識別候選對象Oi是對象還是非對象(即，重象對象)。置信度獲取單元33使用式( 獲取置信度 Ri:
(^or - iS ^ L··
L 「 』『
l·. ■ (2)此處，Si是每個圖像獲取單元的針對候選對象Oi被確定為清晰的視場視錐的數目，並且是不大於每個圖像獲取單元的總視錐數的值。Li是每個圖像獲取單元的針對候選對象Oi被確定為重疊的視錐的數目。α是係數，並取1至2間的值。置信度氏將指示0和 1間的值。式( 指示在重疊發生在每個圖像獲取單元的針對候選對象Oi具有清晰的視場的所有視錐(即，Si = Li)上的情況下，置信度隨重疊數目變大而降低。此外，由於存在至少一個不重疊的圖像獲取單元的情形指示不可能存在重象對象，置信度獲取單元33判定關於與該視錐相交有關的信息的置信度是高( = 1)。置信度獲取單元33從候選對象信息存儲單元41中提取在式O)的計算中使用的Si和L」考慮到候選對象間的重疊情形，置信度氏可以被表示為如式C3)所示。置信度獲取單元33對於被確定為具有清晰的視場的圖像獲取單元(即，第c圖像獲取單元)，執行式 (3)中Σ的計算以及「min」的選擇。
權利要求
1.一種對象位置估計設備，包括對象候選獲取裝置，用於通過視錐相交法來估計對象位置並獲取候選對象； 對象候選信息存儲裝置，針對基於捕捉到的圖像所獲取的對象的視錐，存儲與所述候選對象間的重疊有關的信息；聯動度獲取裝置，用於獲取所述候選對象的聯動度，所述聯動度是基於包括與所述候選對象的運動聯動的其他候選對象在內的視錐的數目計算的；或者置信度獲取裝置，用於獲取所述候選對象的置信度，所述置信度是基於重疊條件確定裝置確定存在所述候選對象與其他候選對象的重疊的視錐的數目計算的；以及候選對象確定裝置，用於通過後驗概率將所述候選對象識別為對象或非對象，並輸出被確定為對象的所述候選對象的位置，所述後驗概率是基於所獲取的所述聯動度或所述置信度計算的。
2.根據權利要求1所述的對象位置估計設備，包括連續度獲取裝置，用於針對所述候選對象獲取連續度，所述連續度包括差和置信度，所述差是所述候選對象的當前位置和與所述候選對象相對應的候選對象的前一位置間的差， 所述置信度是與所述候選對象相對應的在先候選對象的置信度，其中所述候選對象確定裝置通過後驗概率將所述候選識別為對象或非對象，所述後驗概率是基於所述聯動度或基於所述置信度或基於所述連續度計算的。
3.根據權利要求1或2所述的對象位置估計設備，其中所述聯動度是通過從1中減去一個值的倒數與預先固定的係數的乘積來計算的，所述值是通過將包括與所述候選對象的運動聯動的其他候選對象在內的視錐的數目加1獲得的。
4.根據權利要求1至3中任一項所述的對象位置估計設備，其中所述置信度獲取裝置如果在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為具有清晰的視場的視錐的數目不同於在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為與其他候選對象重疊的視錐的數目，將所述置信度設置為1 ；以及如果在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為具有清晰的視場的視錐的數目與在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為與其他候選對象重疊的視錐的數目相同，將所述置信度設置為被確定為重疊的視錐的數目的倒數值與預先固定的係數的乘積。
5.根據權利要求2所述的對象位置估計設備，其中，在存在與所述候選對象相對應的多個在先候選對象的情況下，連續度獲取裝置選擇位於與所述當前候選對象最近的位置並且與所述候選對象相對應的在先候選對象。
6.一種對象位置估計方法，包括通過視錐相交法來估計對象位置並獲取候選對象；針對基於捕捉到的圖像所獲取的對象的視錐，存儲與所述候選對象間的重疊有關的信息；獲取所述候選對象的聯動度，所述聯動度是基於包括與所述候選對象的運動聯動的其他候選對象在內的視錐的數目計算的；或者基於所存儲的與重疊有關的所述信息獲取針對所述候選對象被確定為與其他候選對象重疊的視錐的數目，並基於所述視錐的數目計算置信度；通過後驗概率將所述候選對象識別為對象或非對象，所述後驗概率是基於所獲取的所獲取的所述聯動度或所述置信度計算的；以及輸出被確定為對象的所述候選對象的位置。
7.根據權利要求6所述的對象位置估計方法，包括獲取連續度，所述連續度包括差和置信度，所述差是所述候選對象的當前位置和與所述候選對象相對應的候選對象的前一位置間的差，所述置信度是與所述候選對象相對應的在先候選對象的置信度，以及通過後驗概率將所述候選識別為對象或非對象，所述後驗概率是基於所述聯動度或基於所述置信度或基於所述連續度計算的。
8.根據權利要求6或7所述的對象位置估計方法，其特徵在於所述聯動度是通過從1中減去一個值的倒數與預先固定的係數的乘積來計算的，所述值是通過將包括與所述候選對象的運動聯動的其他候選對象在內的視錐的數目加1獲得的。
9.根據權利要求6至8中任一項所述的對象位置估計方法，包括如果在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為具有清晰的視場的視錐的數目不同於在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為與其他候選對象重疊的視錐的數目，將所述置信度設置為1 ；以及如果在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為具有清晰的視場的視錐的數目與在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為與其他候選對象重疊的視錐的數目相同，將所述置信度設置為被確定為重疊的視錐的數目的倒數值與預先固定的係數的乘積。
10.根據權利要求7所述的對象位置估計方法，其中，在存在與所述候選對象相對應的多個在先候選對象的情況下，選擇位於與所述當前候選對象最近的位置並且與所述候選對象相對應的在先候選對象。
11.一種使對象位置估計設備執行以下步驟的過程候選對象獲取過程，其中，對象候選獲取裝置通過視錐相交法來估計對象位置並獲取候選對象；候選對象信息存儲過程，其中，所述對象位置估計設備針對基於捕捉到的圖像所獲取的對象的視錐，存儲與所述候選對象間的重疊有關的信息；聯動度獲取過程，其中，對象位置估計設備獲取所述候選對象的聯動度，所述聯動度是基於包括與所述候選對象的運動聯動的其他候選對象在內的視錐的數目計算的；或者置信度獲取過程，其中，對象位置估計設備獲取所述候選對象的置信度，所述置信度是基於重疊條件確定裝置基於在所述候選對象信息存儲過程存儲的信息確定存在所述候選對象與其他候選對象的重疊的視錐的數目計算的；以及候選對象確定過程，其中，對象位置估計設備通過後驗概率將所述候選對象識別為對象或非對象，並輸出被確定為對象的所述候選對象的位置，所述後驗概率是基於所獲取的所述聯動度或所述置信度計算的。
12.根據權利要求11所述的程序，使對象位置估計設備執行以下過程連續度獲取過程，其中，對象位置估計設備獲取連續度，所述連續度包括差和置信度， 所述差是所述候選對象的當前位置和與所述候選對象相對應的候選對象的前一位置間的差，所述置信度是與所述候選對象相對應的在先候選對象的置信度，以及候選對象確定過程，其中，對象位置估計設備通過後驗概率將所述候選識別為對象或非對象，並輸出被確定為對象的所述候選對象的位置，所述後驗概率是基於所述聯動度或基於所述置信度或基於所述連續度計算的。
13.根據權利要求11或12所述的程序，其中在所述聯動度獲取過程中，對象位置估計設備通過從1中減去一個值的倒數與預先固定的係數的乘積來進行計算，所述值是通過將包括與所述候選對象的運動聯動的其他候選對象在內的視錐的數目加1獲得的。
14.根據權利要求11或12所述的程序，其中，在所述置信度獲取過程中，如果在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為具有清晰的視場的視錐的數目不同於在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為與其他候選對象重疊的視錐的數目，對象位置估計設備將所述置信度設置為1 ；以及如果在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為具有清晰的視場的視錐的數目與在基於所捕捉的候選對象的圖像而獲取的視錐中被確定為與其他候選對象重疊的視錐的數目相同，對象位置估計設備將所述置信度設置為被確定為重疊的視錐的數目的倒數值與預先固定的係數的乘積。
15.根據權利要求12所述的程序，其中，在對於所述對象存在多個過去位置的情況下， 在所述連續度獲取過程中，對象位置估計設備獲取位於與所述當前候選對象最近的位置的過去位置的差。
全文摘要
在通過視錐相交法獲取對象位置的技術中，提供了一種對象位置估計設備，該對象位置估計設備減少了因重象對象導致的對不正確的位置的估計，在所述對象位置估計設備中，對象候選獲取裝置通過視錐相交法來估計對象位置並獲取候選對象；對象候選信息存儲裝置針對基於捕捉到的圖像所獲取的對象的視錐，存儲與所述候選對象間的重疊有關的信息；聯動度獲取裝置獲取作為聯動度的指標，並針對候選對象指示候選對象間的相互關係，所述指標是基於包括與所述候選對象的運動聯動的其他候選對象在內的視錐的數目計算的；以及候選對象確定裝置通過後驗概率將所述候選對象識別為對象或非對象，並輸出被確定為對象的所述候選對象的位置，所述後驗概率是基於所獲取的指標計算的。
文檔編號G06T7/20GK102414718SQ20108001881
公開日2012年4月11日 申請日期2010年4月21日 優先權日2009年4月28日
發明者池田浩雄 申請人:日本電氣株式會社