圖像中人體姿態高度的測量系統及方法與流程
2023-12-09 16:52:56
本發明涉及測量技術領域，尤其涉及一種圖像中人體姿態高度的測量系統及方法。
背景技術：
測量無論在人類的日常生活中還是高端科技中都是必不可少的。如日常生活中家具的長度、人體的身高、樹木的高度等，高端科技中移動機器人在避障時要感知與障礙物的距離等。
測量技術大致可分為兩類：主動式和被動式。主動式測量主要包括：超聲波測距、雷射雷達測距、紅外測距等。被動式測量主要是基於圖像/視頻的測量。由於基於圖像/視頻的測量只需對現場進行簡單的拍攝、獲得圖像、視頻信息即可，因此在某些領域獲得廣泛應用，例如在公安機關偵查案件時，估算所監控到的視頻圖像中嫌疑人的身高等，需要通過這種被動式測量的方法來得到。
現有的測量圖像中人體姿態高度的方法，公開了如下技術方案，該技術方案包括如下步驟：(1)通過圖像獲取裝置獲取包括人體姿態的場景圖像；(2)去除場景背景，分割獲取場景圖像中的人體圖像；(3)對人體圖像進行人體姿態識別，判斷人體姿態是否為直立，若是，則通過計算人體圖像最高點和最低點之間的空間實際距離獲得人體身高。該技術方案雖然能夠得到一定精度的人體姿態高度，但是由於該技術方案需要進行去除圖像中的場景背景、分割場景圖像中的人體圖像的操作，因此該方法操作起來較為複雜且專業性較高，對於一般用戶來說不易推廣使用。另外，該技術方案在拍攝人體圖像時需要特殊的攝像機，該攝像機必須能夠拍攝深度圖像，而非常規通用的監控攝像機，因此不易被廣泛應用在日常工作中。
因此，需要提供一種解決方案，該方案無需複雜操作且可以使用常規攝像機就能測量圖像中的人體姿態高度。
技術實現要素：
本發明所要解決的技術問題之一是需要提供一種圖像中人體姿態高度的測量方法，該方法操作簡單且無需使用特殊攝像機。
為了解決上述技術問題，本發明的實施例首先提供了一種圖像中人體姿態高度的測量方法，包括：獲取含有待測量目標的測量圖像；確定所述測量圖像中的有效的標定參照物；根據所述測量圖像中的標定參照物和該標定參照物的實際長度得到所述測量圖像與三維空間的映射關係，以及，根據所述測量圖像與三維空間的映射關係得到所述待測量目標的姿態高度。
優選地，所述有效的標定參照物為至少四個標定參照物，且這些標定參照物包含垂直標定參照物和水平標定參照物。
優選地，所述標定參照物的實際長度與所述待測量目標的長度在同一個數量級內。
優選地，所述標定參照物圍繞在所述待測量目標的周圍。
優選地，若所述測量圖像中不存在有效的標定參照物，則還包括如下步驟：獲取標定圖像，所述標定圖像為在所述測量圖像中的同一場景下存在所需的標定參照物的圖像；對所述標定圖像與所述測量圖像進行圖像融合，將融合後的圖像作為測量圖像。
優選地，通過如下步驟獲取所述測量圖像與三維空間的映射關係：根據所述測量圖像中的標定參照物，繪製出相應的標定線；確定與各標定線對應的坐標，根據各標定線的坐標以及對應各標定線的標定參照物的實際長度得到測量圖像與三維空間的映射關係。
優選地，通過如下步驟得到所述待測量目標的姿態高度：根據測量圖像上的待測目標繪製出相應的測量線；確定該測量線的坐標，根據映射關係和該測量線的坐標計算出測量線所對應的實際長度。
另一方面，本發明還提供了一種圖像中人體姿態高度的測量系統，包括：獲取模塊，其獲取含有待測量目標的測量圖像；判斷模塊，其確定所述測量圖像中的有效的標定參照物；映射關係計算模塊，其根據所述測量圖像中的標定參照物和該標定參照物的實際長度得到所述測量圖像與三維空間的映射關係，以及，高度計算模塊，其根據所述測量圖像與三維空間的映射關係得到所述待測量目標的姿態高度。
優選地，所述有效的標定參照物為至少四個標定參照物，且這些標定參照物包含垂直標定參照物和水平標定參照物。
優選地，所述標定參照物的實際長度與所述待測量目標的長度在同一個數量級內。
優選地，所述標定參照物圍繞在所述待測量目標的周圍。
優選地，還包括：融合模塊，其在所述判斷模塊判斷出所述測量圖像中不存在有效的標定參照物時，獲取標定圖像，並對所述標定圖像與所述測量圖像進行圖像融合，將融合後的圖像作為測量圖像，其中，所述標定圖像為在所述測量圖像中的同一場景下存在所需的標定參照物的圖像。
優選地，所述映射關係計算模塊還用於：根據所述測量圖像中的標定參照物，繪製出相應的標定線；確定與各標定線對應的坐標，根據各標定線的坐標以及對應各標定線的標定參照物的實際長度得到測量圖像與三維空間的映射關係。
優選地，所述高度計算模塊還用於：根據測量圖像上的待測目標繪製出相應的測量線；確定該測量線的坐標，根據映射關係和該測量線的坐標計算出測量線所對應的實際長度。
與現有技術相比，上述方案中的一個或多個實施例可以具有如下優點或有益效果。
本發明採用了三維空間與平面圖像的映射技術，對待測量目標所在的場景進行三維空間信息重建技術，實現從圖像線段換算出對應於空間上的真實距離，克服了在實際場景中被測目標已經消失的客觀情況，克服了現有技術中對採集源的要求瓶頸，克服了專業測量中過於複雜的缺陷，最終可以通過在圖像中根據測量人的姿態繪製其身高線段，得到被測人體的效果。
本發明的其它特徵和優點將在隨後的說明書中闡述，並且，部分地從說明書中變得顯而易見，或者通過實施本發明的技術方案而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構和/或流程來實現和獲得。
附圖說明
附圖用來提供對本發明的技術方案或現有技術的進一步理解，並且構成說明書的一部分。其中，表達本發明實施例的附圖與本發明的實施例一起用於解釋 本發明的技術方案，但並不構成對本發明技術方案的限制。
圖1為本發明實施例的圖像中人體姿態高度的測量方法的流程示意圖。
圖2A～圖2E為本發明實施例的圖像中人體姿態高度的測量方法的說明圖。
圖3為本發明實施例的圖像中人體姿態高度的測量系統的結構示意圖。
圖4為圖3所示測量系統工作時的流程示意圖。
具體實施方式
以下將結合附圖及實施例來詳細說明本發明的實施方式，藉此對本發明如何應用技術手段來解決技術問題，並達成相應技術效果的實現過程能充分理解並據以實施。本發明實施例以及實施例中的各個特徵，在不相衝突前提下可以相互結合，所形成的技術方案均在本發明的保護範圍之內。
另外，附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行。並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。
本發明的圖像中人體姿態高度的測量方法，主要用於對監控視頻錄像中出現的人體姿態的高度進行測量，此處「人體姿態」可以包括人體站立、坐下、走動之類的姿態，本發明可以測量不同姿態的高度。本發明通過確定測量圖像中的標定參照物，然後根據標定參照物計算出測量圖像與三維空間的映射關係，最後根據映射關係和測量圖像中待測量目標得到人體姿態身高。本發明方法既不需要特殊的攝像機來採集圖像也不需要進行去除圖像中的場景背景、分割場景圖像中的人體圖像的複雜操作。在測量過程中，不受圖像獲取裝置的約束，操作簡單且能獲得較為精確的測量圖像中的人體姿態身高。
需要說明的是，在本發明中，用語「測量圖像」是指含有待測量目標的圖像。用語「標定圖像」是指與待測量目標在同一場景被相機拍攝的視頻圖像，圖像中含有標定參照物。用語「標定參照物」是指在圖像中提供繪製標定線的實體參照物。
實施例一
圖1是本發明實施例的圖像中人體姿態高度的測量方法的流程示意圖。下面參考圖1和圖2A～圖2E來說明本方法的流程。如圖1所示，本發明實施例的圖 像中人體姿態高度的測量方法主要包括如下步驟。
在步驟S110中，獲取含有待測量目標的測量圖像。
在本步驟中，從視頻圖像中獲取測量圖像。利用一般通用的監控攝像機採集得到這些視頻圖像，然後從視頻圖像中截取所需的測量圖像。本發明不對攝像機的具體類型進行限定，只要該攝像機能夠採集圖像即可，當然，也可以應用特殊類型的監控攝像機。
需要說明的是，為了保證計算精度、減小誤差，獲取的測量圖像中的待測量目標應當具有一定的清晰度，因此，需要對測量圖像中的待測量目標的清晰度進行確定。
在本實施例中，可以採用圖像清晰度評價函數來對圖像的清晰度進行分析。圖像清晰度評價函數主要有以下幾類：(1)灰度變化函數，由於聚焦圖像比離焦圖像包含更多的灰度變化，因此，圖像灰度值的變化可以作為評價函數；(2)梯度函數，在圖像處理中，圖像梯度可以用來進行邊緣提取，對焦越好，圖像邊緣越鋒利，具有更大的圖像梯度值，如圖像灰度梯度能量函數、Robert梯度和拉普拉斯算子都屬於梯度函數；(3)圖像灰度熵函數，對焦良好圖像的信息熵要大於離焦圖像的信息熵，圖像的信息熵反映的是圖像的信息豐富程度，因此，圖像的灰度熵也可以作為評價函數。根據這些評價函數，可以得到測量圖像的清晰度，進而判斷該清晰度是否滿足所需的清晰度，最終獲得目標清晰的測量圖像。
在步驟S120中，確定測量圖像中的有效的標定參照物，即判斷測量圖像中是否存在有效的標定參照物。
在本步驟中，優選地，有效的標定參照物為至少四個標定參照物，且這些標定參照物包含垂直標定參照物和水平標定參照物，例如三個垂直標定參照物和一個水平標定參照物。水平標定參照物一般選取地面上的線，而垂直標定參照物則需要與待測量目標的落腳點(例如人體的腳部所在的位置)在同一平面，且被要求整體所構成的直線與地面垂直，在實際應用中可以選擇牆角邊沿、欄杆、電線桿、方桌邊沿等。
在一個優選的實施例中，若測量圖像中存在多個(四個以上)標定參照物，則在確定標定參照物時，該標定參照物的實際長度與待測量目標的長度在同一個數量級內。例如，一般情況下，人的姿態身高是1m到2m的範圍內，因此選取標定參照物的時候，不能選取幾釐米長度的標定參照物，也不能選取4、5米或 者以上長度的標定參照物，因為這些標定參照物的實際長度與待測量目標的長度相距太大，會對測量的精度引入較大的誤差，因此，在多個標定參照物中優先選取1m到2m的標定參照物。
另外，如果在待選擇的標定參照物中只能選擇5m或者以上的垂直標定參照物，則說明待測量目標在測量圖片中所佔據的比例很小，那麼所得到的人體姿態身高的精度可能會較低，因此這種測量圖像不是優選圖像。
而且，在確定標定參照物時，優選那些圍繞在待測量目標周圍的標定參照物，這樣能夠減輕圖像畸變對測量精度帶來的影響。
另外，測量圖像中可能僅存在兩個或三個標定參照物，在這種情況下，即判斷出測量圖像中不存在有效的標定參照物，則執行步驟S130，否則執行步驟S140。
在步驟S130中，獲取標定圖像，對標定圖像和測量圖像進行圖像融合，將融合後的圖像作為新的測量圖像，其中，標定圖像為在測量圖像中的同一場景下存在所需的標定參照物的圖像。
具體地，若測量圖像中僅存在少於四個的標定參照物，那麼在測量圖像中的同一場景下，擺放標定參照物，用攝像機對該場景下的圖像進行採集，然後從視頻錄像中截出標定圖像。
如圖2A所示，該圖中缺乏足夠的標定參照物，只有虛線圈中的這個辦桌子的邊沿線符合要求。因此，我們在同一場景的攝像機前，人為的拿著預先知曉尺寸的標定物(本例為量尺)進行拍攝，得到了標定圖像，如圖2B。
然後，對測量圖像和標定圖像進行處理中，把兩幅圖像進行融合，即透明化疊加。需要說明的是，在進行透明化疊加時，需要保證在融合的圖像裡，背景完全重疊。如圖2C所示，可以看到，背景上的固定物體，如桌椅、地面物品等完全重合。只有在背景完全重合的情況下，標定圖像中的標定參照物才能屬於有效參照。
通過上述步驟，在融合圖像裡可以找到足夠多的對應標定參照物的標定線，如圖2D所示，實線是標定線(包括三條垂直線和一條水平線)。
由於標定參照物的選取對最終測量值影響很大，而在測量圖像中並非一定能找到理性的標定參照物，因此本步驟通過將標定圖像與測量圖像進行融合的這一設計，則可以在後期搭建理想的標定參照物，不受現場情況的限制。
在步驟S140中，根據測量圖像中的標定參照物和該標定參照物的實際長度 得到測量圖像與三維空間的映射關係。
具體地，首先根據測量圖像中的標定參照物，繪製出相應的標定線。如圖2D所示，其中實線是標定線(包括三條垂直線和一條水平線)。
然後，確定與各標定線對應的坐標，根據各標定線的坐標以及對應各標定線的標定參照物的實際長度得到測量圖像與三維空間的映射關係。
如圖2E所示，第一垂直標定線的頂部坐標是(u1,v1)、底部坐標是(u2、v2)、實際長度為h1；第二垂直標定線的頂部坐標是(u6,v6)、底部坐標是(u5、v5)、實際長度為h2；第三垂直標定線的頂部坐標是(u8,v8)、底部坐標是(u7、v7)、實際長度為h3；水平標定線的第一坐標是(u3,v3)、第二坐標是(u4,v4)、兩點之間的距離是d。
上述標定參照物的實際長度可以到現場去測量出來，但是需要說明的是，對於垂直標定參照物，若在圖像中繪製的標定線為該標定參照物的一部分，那麼對應該標定線的實際長度不是完整的參照物的實際長度，而部分參照物的實際長度。例如，若標定參照物為整個欄杆，則對應的標定線的實際長度就是整個欄杆的離地高度，若標定參照物為半個欄杆，則對應的標定線的實際長度就是半個欄杆的離地高度。
若該標定線是水平標定線，則利用以下表達式：
若該標定線是垂直標定線，則利用以下表達式：
其中，(u1,v1)、(u2,v2)、h為輸入參數，其中，(u1,v1)表示測量圖像中的標定線的頂部坐標，(u2,v2)表示測量圖像中標定線的底部坐標，h表示垂直標定線對應的實際高度，D是水平標定線對應的實際距離。H、f、為未知量，H表示攝像機實際高度，f表示攝像機的歸一化的焦距，表示攝像機的傾斜角度。
容易理解，本步驟獲取測量圖像和三維空間的映射關係實質上就是求H、f、這三個未知量。通過將至少四條標定線(包含垂直標定線和水平標定線)的輸入參數代入至上述表達式形成足夠的方程組，再經過計算機迭代運算，能夠計算出H、f、為未知量，這樣就得到了測量圖像與三維空間的映射關係。
由於本步驟僅使用圖像中的標定線來構件二維圖像和三維空間的映射關係，在計算量上相比現有技術來說大幅地降低，而且計算起來更為簡單。另外，所需要的標定線在真實場景中比較容易獲取，因此不會受到場景的約束。
在步驟S150中，根據測量圖像與三維空間的映射關係得到待測量目標的姿態高度。
具體地，根據測量圖像上的待測目標繪製出測量線，確定該測量線的坐標，根據映射關係和該測量線的坐標計算出測量線所對應的實際長度(例如人體姿態高度)。更具體地，將測量線的頂部坐標和底部坐標代入至下面的表達式中。
此時H、f、為已知量，(u1,v1)為圖像中的對應待測量目標的測量線的頂部坐標，(u2,v2)為該測量線的底部坐標。h即是所需要求得的測量值，人體姿態高度。
如圖2E所示，虛線為繪製的測量線，其中(u9,v9)和(u10,v10)分別是該測量線的頂部坐標和底部坐標，將它們代入上式中就能夠得到h的大小。
綜上所述，本發明採用了三維空間與平面圖像的映射技術，對待測量目標所在的場景進行三維空間信息重建技術，實現從圖像線段換算出對應於空間上的真實距離，克服了在實際場景中被測量目標已經消失的客觀情況，克服了現有技術中對採集源的要求瓶頸，克服了專業測量中過於複雜的缺陷，最終可以通過在圖像中根據測量人的姿態繪製其身高線段，得到被測人體的效果。
實施例二
圖3是本發明實施例的確定圖像中人體姿態身度的測量系統的結構示意圖。下面參考圖3來詳細說明測量系統的各個組成結構和功能。
如圖3所示，測量系統主要包括獲取模塊210、判斷模塊220、融合模塊230、映射關係計算模塊240以及高度計算模塊250。
圖4為圖3所示測量系統工作時的流程示意圖，下面同時參照圖3和圖4來 說明本系統工作時的流程。
獲取模塊210獲取含有待測量目標的測量圖像(如步驟S410)。
該獲取模塊210，其從一般通用的監控攝像機採集得到視頻圖像中截取所需的測量圖像。本發明不對攝像機的具體類型進行限定，只要該攝像機能夠採集圖像即可，當然，也可以應用特殊類型的監控攝像機。
需要說明的是，為了保證計算精度、減小誤差，獲取模塊210獲取的測量圖像中的待測量目標應當具有一定的清晰度，因此，獲取模塊210對測量圖像中的待測量目標的清晰度進行確定。在本實施例中，該獲取模塊210可以採用圖像清晰度評價函數來對圖像的清晰度進行分析，根據這些評價函數，可以得到測量圖像的清晰度，進而判斷該清晰度是否滿足所需的清晰度，最終獲得目標清晰的測量圖像。
判斷模塊220，其與獲取模塊210連接，確定測量圖像中的有效的標定參照物(如步驟S420)，即判斷測量圖像中是否存在有效的標定參照物。
優選地，判斷模塊220判斷當前的標定參照物中是否包含垂直標定參照物和水平標定參照物在內的至少四個標定參照物，例如三個垂直標定參照物和一個水平標定參照物。水平標定參照物一般選取地面上的線，而垂直標定參照物則需要與待測量目標的落腳點(例如人體的腳部所在的位置)在同一平面，且被要求整體所構成的直線與地面垂直，在實際應用中可以選擇牆角邊沿、欄杆、電線桿、方桌邊沿等。
在一個優選的實施例中，若測量圖像中存在多個(四個以上)標定參照物，則判斷模塊220在確定標定參照物時，該標定參照物的實際長度與待測量目標的長度在同一個數量級內。
而且，判斷模塊220確定標定參照物時，優選那些圍繞在待測量目標周圍的標定參照物，這樣能夠減輕圖像畸變對測量精度帶來的影響。
映射關係計算模塊240，其與判斷模塊220連接，根據測量圖像中的標定參照物和該標定參照物的實際長度得到測量圖像與三維空間的映射關係(如步驟S430)。
具體地，映射關係計算模塊240首先根據測量圖像中的標定參照物，繪製出相應的標定線，然後確定與各標定線對應的坐標，根據各標定線的坐標以及對應各標定線的標定參照物的實際長度得到測量圖像與三維空間的映射關係。
若該標定線是水平標定線，則利用以下表達式：
若該標定線是垂直標定線，則利用以下表達式：
其中，(u1,v1)、(u2,v2)、h為輸入參數，其中，(u1,v1)表示測量圖像中的標定線的頂部坐標，(u2,v2)表示測量圖像中標定線的底部坐標，h表示垂直標定線對應的實際高度，D是水平標定線對應的實際距離。H、f、為未知量，H表示攝像機實際高度，f表示攝像機的歸一化的焦距，表示攝像機的傾斜角度。
容易理解，映射關係計算模塊240獲取測量圖像和三維空間的映射關係實質上就是求H、f、這三個未知量。映射關係計算模塊240通過將至少四條標定線(包含垂直標定線和水平標定線)的輸入參數代入至上述表達式形成足夠的方程組，再經過計算機迭代運算，能夠計算出H、f、為未知量，這樣就得到了測量圖像與三維空間的映射關係。
高度計算模塊250，其與映射關係計算模塊240連接，根據測量圖像與三維空間的映射關係得到待測量目標的姿態高度(如步驟S440)。
高度計算模塊250根據測量圖像上的待測目標畫出測量線，確定該測量線的坐標，根據映射關係和該測量線的坐標計算出測量線所對應的實際長度值(例如人體姿態高度)。更具體地，高度計算模塊250將測量線的頂部坐標和底部坐標代入至下面的表達式中。
此時H、f、為已知量，(u1,v1)為圖像中的對應待測量目標的測量線的頂部坐標，(u2,v2)為該測量線的底部坐標。h即是所需要求得的測量值，人體姿態高度。
另外，需要說明的是，在判斷模塊220判斷出測量圖像中不存在有效的標定 參照物時，融合模塊230開始工作，並將所產生的結果發送到映射關係計算模塊240。
融合模塊230，其與判斷模塊220和映射關係計算模塊240連接，在判斷模塊220判斷出測量圖像中不存在有效的標定參照物時，融合模塊230獲取標定圖像，並對標定圖像和測量圖像進行圖像融合，將融合後的圖像作為新的測量圖像發送到映射關係計算模塊240中，其中，標定圖像為在測量圖像中的同一場景下存在所需的標定參照物的圖像。
融合模塊230在對測量圖像和標定圖像進行處理中，需要把兩幅圖像進行融合，即透明化疊加。需要說明的是，在進行透明化疊加時，需要保證在融合的圖像裡，背景完全重疊。只有在背景完全重合的情況下，標定圖像中的標定參照物才能屬於有效參照。
由於標定參照物的選取對最終測量值影響很大，而在測量圖像中並非一定能找到理性的標定參照物，因此融合模塊230通過將標定圖像與測量圖像進行融合的這一設計，則可以在後期搭建理想的標定參照物，不受現場情況的限制。
綜上所述，本發明採用了三維空間與平面圖像的映射技術，對待測量目標所在的場景進行三維空間信息重建技術，實現從圖像線段換算出對應於空間上的真實距離，克服了在實際場景中被測量目標已經消失的客觀情況，克服了現有技術中對採集源的要求瓶頸，克服了專業測量中過於複雜的缺陷，最終可以通過在圖像中根據測量人的姿態繪製其身高線段，得到被測人體的效果。
本領域的技術人員應該明白，上述的本發明實施例所提供的系統的各組成部分，以及方法中的各步驟，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網絡上。可選地，它們可以用計算裝置可執行的程序代碼來實現。從而，可以將它們存儲在存儲裝置中由計算裝置來執行，或者將它們分別製作成各個集成電路模塊，或者將它們中的多個模塊或步驟製作成單個集成電路模塊來實現。這樣，本發明不限制於任何特定的硬體和軟體結合。
雖然本發明所揭露的實施方式如上，但所述的內容僅為便於理解本發明技術方案而採用的實施方式，並非用以限定本發明。任何本發明所屬領域內的技術人員，在不脫離本發明所揭露的精神和範圍的前提下，可以在實施的形式及細節上進行任何的修改與變化，但本發明的專利保護範圍，仍須以所附的權利要求書所界定的範圍為準。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬體來完成，所述的程序可以存儲於一計算機可讀取存儲介質中，該程序在執行時，包括實施例一的步驟，所述的存儲介質，如：ROM/RAM、磁碟、光碟等。