一種基於單目攝像頭三維估計的車型分類方法與流程

2023-06-18 00:44:56

本發明屬於智能交通監控視頻
技術領域：
，涉及一種基於單目攝像頭三維估計的車型分類方法。
背景技術：
：車型識別系統作為智能交通系統應用領域中重要的分支，也是目前相對薄弱的技術環節。基於視頻的車型識別系統中，現階段對車牌、輪廓、車標、及特徵匹配方面研究較多，這類方法在特定場景下，識別效果較好，但普遍適用性不強，效果不穩定。利用車輛三維尺寸進行類型識別的研究較少，如能獲得車輛實際三維狀態特徵，如車輛實際長、寬、高，車鼻高，車尾高以及其最小外界立方體填充度等等，這些特徵是不隨時間、場景變化而變化的。而且不同車型的三維狀態特徵具有良好的可分性。雖然雙目攝像頭三維重建算法成熟，但現有監控系統中已經安裝了大量的攝像頭，如果每一項監控指標都增加2～3個攝像頭，那麼整個監控系統就會變得龐大且擁堵，也不易維護。技術實現要素：本發明的目的是提供一種基於單目攝像頭三維估計的車型分類方法，解決現有技術中對車輛進行分類時，應用二維特徵分類識別方法普適性不強且效果不穩定；而採用三維狀態特徵作為分類標準，雙目三維重建方法時間滯後且成本高昂的問題。本發明所採用的技術方案是，一種基於單目攝像頭三維估計的車型分類方法，按照以下步驟實施：步驟1、獲取背景幀，提取車輛目標的外接矩形框設採用混合高斯背景建模方法得到大小為h行、w列的背景幀[b(i,j)]h×w，設當前幀為[f(i,j)]h×w，對當前幀進行背景差分計算，得到的目標二值圖像設為[e(i,j)]h×w，對[e(i,j)]h×w中的每個連通域，用外接矩形框描述，獲得初提取的車輛目標的外接矩形框集合，設為其中，是第t個車輛的外接矩形框左上角坐標，是第t個車輛的外接矩形框右下角坐標，n是當前幀中出現的車輛個數；步驟2、提取車輛目標採用背景區域生長法去除步驟1所獲得的車輛目標可能有的陰影幹擾，實現對車輛目標區域的提取；步驟3、對車輛目標區域進行填充和貼標籤3.1)目標邊緣提取，利用canny算法對二值圖進行邊緣提取，再進行閉運算處理；3.2)斷裂輪廓閉合，將二值圖與閉運算處理的圖疊加，疊加的方法是，對該兩個圖中所有對應相同位置上的像素點，至少在該兩個圖中，有一個是白色的點，則結果圖相應位置上的點也為白色，使得原本車輛輪廓斷裂部分能夠閉合；3.3)運動目標區域填充，對閉合輪廓區域的空洞進行填充；3.4)貼標籤，對經過區域填充後的所有連通域進行貼標籤處理；步驟4、計算車輛的最小外接立方體以貼標籤圖像中車頭向左前方傾斜、車頭向左後方傾斜、以及車頭朝向正前方分別進行處理；步驟5、對車輛類型進行分類。本發明的有益效果是，在車輛管理系統、公路收費系統、公安偵查系統中自動識別車輛類型，步驟簡單，便於實施，計算量小，結果準確性高，給出的結果能夠正確對行駛車輛進行分類。附圖說明圖1是本發明方法中的背景差分圖獲得的運動目標，其中，(a)是原始視頻幀，(b)是運動車輛目標及其外接矩形框；圖2是本發明方法中的單個車輛的外接矩形框內的目標區域；圖3是本發明方法中的單個車輛的外接矩形框內的灰度圖；圖4是本發明方法中的車輛目標提取結果；圖5是本發明方法中的目標區域填充，其中，(a)是目標輪廓的提取結果，(b)是輪廓線與圖4的疊加結果，(c)是連通域填充結果；圖6是本發明方法中的貼標籤處理結果；圖7是本發明方法中的車輛連通域的最小外接立方體；圖8是本發明方法中車頭向左前方傾斜的車輛4最小外接立方體計算示意圖；圖9是本發明方法中車頭向左後方傾斜的車輛6最小外接立方體計算示意圖；圖10是本發明方法中車頭朝向正前方的車輛7最小外接立方體計算示意圖；圖11是本發明方法中同一尺寸不同類型車輛立方體填充度示意圖，其中，(a)卡車，(b)公交車。具體實施方式下面結合附圖和具體實施方式對本發明進行詳細說明。本發明基於單目攝像頭三維估計的車型分類方法，按照以下步驟實施：步驟1、獲取背景幀，提取車輛目標的外接矩形框根據目標運動、背景靜止的原理，採用背景差分法來提取出運動目標。設採用混合高斯背景建模方法(該背景建模方法為現有技術)得到大小為h行、w列的背景幀[b(i,j)]h×w，設當前幀為[f(i,j)]h×w，對當前幀進行背景差分計算，得到的目標二值圖像設為[e(i,j)]h×w，對[e(i,j)]h×w中的每個連通域，用外接矩形框描述，獲得初提取的車輛目標的外接矩形框集合，設為其中，是第t個車輛的外接矩形框左上角坐標，是第t個車輛的外接矩形框右下角坐標，n是當前幀中出現的車輛個數。例如，對圖1(a)的視頻原圖進行背景差分後，得到目標二值圖像如圖1(b)所示，保存所有被外接矩形框框住的車輛目標區域，例如圖2是圖1(b)中一個車輛的外接矩形框區域，其中的白色點(像素值為255)是車輛目標點，黑色點(像素值為0)是背景點。以下以圖2所示的車輛局部區域為例，對車輛目標提取的後續步驟進行說明。步驟2、提取車輛目標考慮到車輛目標外接矩形框內背景的單一性以及與前景的相似性，採用背景區域生長法去除步驟1所獲得的車輛目標可能有的陰影幹擾，實現對車輛目標區域的提取。首先獲取(圖2)車輛目標所對應的灰度圖如圖3所示，再進行背景區域生長(背景區域生長法為現有技術)，具體過程如下：2.1)令圖3所示的灰度圖最左上點為中心，構造一個3×3的領域，中心點為種子點，對其8鄰域的像素進行區域生長；2.2)判斷是否滿足生長條件：判斷步驟2.1)的中心點的8鄰域像素域中心點相比，像素值的差異滿足容差條件，容差優選為3～5，則(圖2)相應位置上的值令其為0；2.3)按照從左到右，從上到下的順序，選出步驟2.2)的8鄰域中一個滿足容差條件的點，為下一次種子點，轉回步驟2.2)重新執行，直到8鄰域中沒有符合容差條件的點，則生長結束。整幅圖像中車輛目標提取的結果如圖4所示。步驟3、對車輛目標區域進行填充和貼標籤對步驟2得到的車輛目標區域的空缺部分進行填充，具體步驟如下：3.1)目標邊緣提取，利用canny算法對圖4的二值圖進行邊緣提取，得到結果再進行閉運算處理，閉運算處理結果如圖5(a)所示；3.2)斷裂輪廓閉合，將圖4的二值圖與圖5(a)閉運算處理的圖疊加，疊加的方法是，對所有圖4和圖5(a)對應相同位置上的像素點，至少在圖4或者圖5(a)中，有一個是白色的點，則結果圖相應位置上的點也為白色，使得原本車輛輪廓斷裂部分能夠閉合，效果如圖5(b)所示；3.3)運動目標區域填充，對閉合輪廓區域的空洞進行填充，填充後如圖5(c)所示。3.4)貼標籤，對經過區域填充後的所有連通域進行貼標籤處理(貼標籤處理方法為現有技術)，例如對圖5進行貼標籤處理之後得到如圖6所示的貼標籤圖像。步驟4、計算車輛的最小外接立方體分別以圖6所示貼標籤圖像中車頭向左前方傾斜的車輛4，車頭向左後方傾斜的車輛6以及車頭朝向正前方的車輛7為例(該三個姿態是最具有代表性的)，對求取車輛最小外接立方體的步驟分別進行說明，示意圖如圖7所示。4.1)對車頭向左前方傾斜的車輛(以圖7中的車輛4為例)最小外接立方體按照如下步驟進行求取，效果圖如圖8所示，坐標系的方向見圖8：4.1.1)對車輛目標連通域做水平方向投影，能夠得到投影值大於零的起始坐標ymin與終止坐標ymax，考慮到消除噪聲的影響，給出上方水平直線表達式為yup＝ymin+0.1·(ymax-ymin)，下方水平直線表達式為ydown＝ymax-0.1·(ymax-ymin)；4.1.2)同理，對車輛目標連通域做垂直方向的投影，能夠得到投影值大於零的起始坐標xmin與xmax，則左側的垂直直線表達式為xleft＝xmin+0.1·(xmax-xmin)，右側的垂直直線表達式為xright＝xmax-0.1·(xmax-xmin)；4.1.3)上方的水平直線yup和右側的垂直直線xright的交點為①，得到坐標為(x1,y1)，x1＝xright，y1＝yup，即確定了水平直線①④的右側端點、以及垂直直線①⑤的上方端點；同理，下方水平直線ydown和左側垂直直線xleft的交點為⑦，坐標為(x7,y7)，x7＝xleft，y7＝ydown，由此確定了水平直線⑥⑦的左側端點、以及垂直直線③⑦的下方端點；4.1.4)根據以上得到的頂點⑦，向其右側延伸至下方水平直線ydown上最右側的白點處，即為x6的坐標值，獲得頂點⑥，坐標為(x6,y6)，y6＝ydown，得到立方體的一條邊長為l＝x6-x7；4.1.5)根據以上得到的頂點①，向其上方延伸至左側垂直直線xleft上連續線段的最上方白點處，即為y3的坐標值，獲得頂點③，坐標為(x3,y3)，x3＝xleft得到立方體的另一條邊長為h＝y7-y3；4.1.6)依據立方體中，線段⑥⑦與線段②③、線段①④長度相等，且三條線平行的原則，由頂點③水平向右延伸長度l後得到頂點②，其坐標為(x2,y2)，x2＝x3+l，y2＝y3；由頂點①水平向左延伸長度l後得到頂點④，其坐標為(x4,y4)，x4＝x1-l，y4＝y1；4.1.7)依據立方體中，線段③⑦與線段②⑥、線段①⑤長度相等，且三條線平行的原則，由頂點①垂直向下延伸長度h後得到頂點⑤，其坐標為(x5,y5)，其中，x5＝x1，y5＝y1+h；4.1.8)至此，頂點①②③④⑤⑥⑦分別確定，連接端點①②，①④，①⑤，②③，②⑥，③④，③⑦，⑤⑥，⑥⑦，便得到了該車輛目標的最小外接立方體。4.2)對車頭向左後方傾斜的車輛(以圖7中的車輛6為例)最小外接立方體按照以下步驟進行求取，效果圖如圖9所示，坐標系的方向見圖9：4.2.1)同步驟4.1.1)，對車輛目標連通域做水平方向投影，能夠得到投影值大於零的起始坐標ymin與終止坐標ymax，則上方的水平直線表達式為yup＝ymin+0.1·(ymax-ymin)，下方的水平直線表達式為ydown＝ymax-0.1·(ymax-ymin)；4.2.2)同步驟4.1.2)，對車輛目標連通域做垂直方向的投影，能夠得到投影值大於零的起始坐標xmin與xmax，則左側的垂直直線表達式為xleft＝xmin+0.1·(xmax-xmin)，右側的垂直直線表達式為xright＝xmax-0.1·(xmax-xmin)；4.2.3)上方水平直線yup和左側垂直直線xleft的交點為①，坐標為(x1,y1)，x1＝xleft，y1＝yup，由此確定了水平直線①④的左側端點、以及垂直直線①⑤的上方端點；同理，下方水平直線ydown和右側垂直直線xright的交點為⑦，坐標為(x7,y7)，其中，x7＝xright，y7＝ydown，由此確定了水平直線⑥⑦的右側端點、以及垂直直線③⑦的下方端點；4.2.4)根據以上得到的頂點⑦，向其右側延伸至直線ydown上最左側的白點處，即為x6的坐標值，獲得頂點⑥，坐標為(x6,y6)，y6＝ydown，得到立方體的一條邊長為l＝x6-x7；4.2.5)根據以上得到的頂點⑦，向其上方延伸至直線xright上連續線段的最上方白點處，即為y3的坐標值，獲得頂點③，坐標為(x3,y3)，x3＝x7,得到立方體的另一條邊長為h＝y7-y3；4.2.6)依據立方體中，線段⑥⑦與線段②③、線段①④長度相等，且三條線平行的原則，由頂點③水平向左延伸長度l後得到頂點②，其坐標為(x2,y2)，x2＝x3-l，y2＝y3；由頂點①水平向右延伸長度l後得到頂點④，其坐標為(x4,y4)，x4＝x1+l，y4＝y1；4.2.7)依據立方體中，線段③⑦與線段②⑥、線段①⑤長度相等，且三條線平行的原則，由頂點①垂直向下延伸長度h後得到頂點⑤，其坐標為(x5,y5)，x5＝x1，y5＝y1+h；4.2.8)至此，頂點①②③④⑤⑥⑦分別確定，連接端點①②，①④，①⑤，②③，②⑥，③④，③⑦，⑤⑥，⑥⑦，便得到了該車輛目標的最小外接立方體；4.3)對車頭正向的車輛(以圖7中的車輛7為例)最小外接立方體按照如下步驟進行求取，效果圖如圖10所示，坐標系的方向見圖10：4.3.1)同步驟4.1.1)，對車輛目標連通域做水平方向投影，能夠得到投影值大於零的起始坐標ymin與終止坐標ymax，則上方水平直線表達式為yup＝ymin+0.1·(ymax-ymin)，下方水平直線表達式為ydown＝ymax-0.1·(ymax-ymin)；4.3.2)同步驟4.1.2)，對車輛目標連通域做垂直方向的投影，能夠得到投影值大於零的起始坐標xmin與xmax，則左側的垂直直線表達式為xleft＝xmin+0.1·(xmax-xmin)，右側垂直直線表達式為xright＝xmax-0.1·(xmax-xmin)；4.3.3)下方水平直線ydown和左側垂直直線xleft的交點為⑤，坐標為(x5,y5)，x5＝xleft，y5＝ydown，由此確定了水平直線⑤⑥的左側端點、以及垂直直線④⑤的下方端點；同時，下方水平直線ydown和右側垂直直線xright的交點為⑥，坐標為(x6,y6)，x6＝xright，y6＝ydown，由此確定了水平直線⑤⑥的右側端點、以及垂直直線③⑥的下方端點；4.3.4)依據以上得到的頂點⑤，向其上方延伸至直線xleft上連續線段的最上方白點處，即為y4的坐標值，獲得頂點④，坐標為(x4,y4)，x4＝x5得到立方體的一條邊長為h＝y5-y4；4.3.5)依據線段④⑤和線段③⑥平行且長度相同的準則，由以上得到的頂點⑥，沿著xright向上方延伸長度h，獲得頂點③，坐標為(x3,y3)，x3＝x6，y3＝y6-h；4.3.6)沿著上方水平直線yup在x∈[xleft,xright]範圍內搜索最左端的白點和最右邊的白點，最左端的白點處為x1的坐標值，即為直線的左端點①，坐標為(x1，y1)，x1∈(xleft,xright)，y1＝yup，最右端的白點處為x2的坐標值，右端點②，坐標為(x2,y2)，x2∈(xleft,xright)，x2>x1，y2＝yup；4.3.7)至此，頂點①②③④⑤⑥分別確定，連接端點①②，①③，①④，④⑤，③⑥，便得到了該車輛目標的最小外接立方體。步驟5、對車輛類型進行分類將分類的車輛類型劃分為六類：即小型客車(包括小汽車與小型麵包車)、小型卡車、中型客車(包括公交車與中型大巴車)、中型卡車、大型客車、大型卡車；再按照車輛尺寸大小劃分為三類：即小型車(小型客車與小型卡車)、中型車(中型客車與中型卡車)、大型車(大型客車與大型卡車)。根據上述步驟4求得車輛最小外接立方體尺寸後，按照下表的標準確定屬於哪一類：車型小型車中型車大型車體積(長×寬×高)(單位：m3)15～4040～9090～120同一尺寸類型的車輛中，卡車與客車的二維投影面積s與其最小外界立方體二維投影面積sv的比值fd稱為該目標車輛的立方體填充度，fd＝s/sv，該比值fd作為分類的最後標準，設閾值t∈[0.75～0.85]，當fd>t時，車輛類型即判定為客車，反之則為卡車，判定結果如圖11所示，其中的圖11(a)為卡車，圖11(b)為公交車；至此，完成車輛目標所屬的車型分類。當前第1頁12