一種公交車車載視頻中乘客被手扶杆遮擋圖像的修複方法
2023-12-07 17:42:21 1
一種公交車車載視頻中乘客被手扶杆遮擋圖像的修複方法
【專利摘要】本發明屬於圖像檢測【技術領域】，涉及一種公交車車載視頻中乘客被手扶杆遮擋的圖像修複方法，包括下列步驟：採用模糊C均值聚類法確定圖像中手扶杆區域Ω；確定區域邊緣：對Ω這個區域內的所有像素點進行排序、刪減、整理，最後只保留邊緣的像素點，確定區域的邊緣；採用基於紋理合成Criminisi算法對手扶杆區域Ω進行修復，使其基本恢復不包含手扶杆時的完整圖像。該方法能夠克服公交車上單攝像頭視頻監控中手扶杆對乘客的遮擋問題，從而提高後續對乘客的檢測和追蹤的正確率。
【專利說明】一種公交車車載視頻中乘客被手扶杆遮擋圖像的修複方法
【技術領域】
[0001]本發明總體上涉及一種解決待檢測目標被遮擋的方法。由於公交車車載監控視頻中遮擋物始終為一手扶杆，所以此發明更具體地涉及一種車載智能監控系統中，解決手扶杆對乘客遮擋從而導致檢測追蹤失敗的問題的方法。
【背景技術】
[0002]隨著城市公共運輸的不斷發展，基於公交車的車載視頻監控系統近些年成為人們關注的熱點，隨之而來的是車載視頻監控系統的各種智能化應用例如客流計數等，是公交公司制定所有運營計劃的基礎。但是由於公交車監控攝像頭的個數及位置特殊性，監控視頻中始終存在手扶杆，不定時遮擋乘客，影響乘客的檢測和追蹤，導致計數失敗。
[0003]目前人們一般從改進檢測算法上克服乘客的遮擋問題。一些學者提出利用動態分層表示方法來判斷和跟蹤遮擋，並在理論上較完全的解決方案，但是此類方法是基於全局概略估計方法的，檢測精度有待提高且實現框架的計算量過於龐大，不適用與公交系統。
[0004]另外還有基於仿射不變量向量的遮擋檢測方法，該方法首先構造仿射不變向量以及它的遮擋判決準則，接著根據目標的先驗知識對運動軌跡和遮擋區域進行預測。這種方法比較適合於目標在較短時間內被遮擋，而公交車車載視頻中乘客一般會長時間處於遮擋情況，所以不適合採用此種方法。
【發明內容】
[0005]本發明提出一種適用於公交車車載監控視頻中乘客被手扶杆長時間遮擋的圖像的修複方法。
[0006]本發明的技術方案如下:
[0007]—種公交車車載視頻中乘客被手扶杆遮擋的圖像修複方法，包括下列步驟:
[0008](I)採用模糊C均值聚類法確定圖像中手扶杆區域Ω。
[0009]I)確定區域邊續(7Ω:對Ω這個區域內的所有像素點進行排序、刪減、整理，最後只保留邊緣的像素點，確定區域的邊緣δΩ.[0010]2)採用基於紋理合成Criminisi算法對手扶杆區域Ω進行修復，包括以下步驟:
[0011]Α、根據確定的區域邊緣5Ω得到位於邊界上的點序列，然後依次計算以序列中每個點為中心的塊的優先權，方法如下:在區域邊緣上選擇ΘΩ以P為中心的區域塊ψρ，該區域塊內既包括已知像素信息的點也包括待修復的像素點，然後取P (P)作為決定修復順序的優先級P (P) =C (P) D (P)的標準，其中C(p)為置信項，計算填充塊中已知像素信息的點佔塊內像素點總數的比例；D(p)稱為數據項，即結構信息，D(p)根據填充邊緣上P點的光照線強度，光照線與法向量之間的夾角計算優先權大小，光照線是像素的梯度方向的垂直方向。若填充邊緣上P點的光照線強度大，光照線與法向量之間的夾角小，則該目標塊的優先權就越大；[0012]B、找出具有最大優先權值即P(p)最大的待修復區域Fp ；
[0013]C、然後在源圖像中搜索與待修復區域Ψρ最佳匹配的填充塊V' q,即分別計算待修復區域Ψρ與源圖像中各已知區域的相似度函數，從而取相似度最大的區域為填充塊ψ '；
ψ q，
[0014]D、將Ψ',中圖像信息複製到待修復區域塊Ψρ;
[0015]Ε、當具有最高優先級的修復塊Ψρ被修復後，更新以已被修復塊邊緣新生成的邊界像素點為中心的塊的置信度C(p)，從而更新此類塊的優先級值P (P)。
[0016]F、重複B~E三個步驟，直到所有的破損區域都被修復。
[0017]其中，步驟(I)可按照下面的方法:
[0018]Α、初始化聚類中心V= Iv1, V2，…，V。}，即將圖像數據集分為C類。
[0019]B、根據圖像像素和聚類中心的加權相似性測度，進行迭代優化以確定最佳聚類；
[0020]C、分別計算手扶杆的灰度值到各聚類中心點的歐氏距離，誤差最小的一類就是手扶杆區域Ω。
[0021]本發明首先採用模糊C聚類方法，確定手扶杆所屬類別區域Ω。接著對這個區域內的所有像素點進行排序、刪減、整理，最後只保留邊緣的像素點?Ω。最後對區域Ω進行基於紋理合成Criminisi算法的圖像修復。從而克服公交車上單攝像頭監控視頻中手扶杆對乘客遮擋導致後續檢測和追蹤失敗的問題。本發明具有下列優點:
[0022](I)提供了一種解決公交監控視頻中手扶杆遮擋乘客造成檢測失敗的方法。效果理想，有利於公交客流計數等各種基於人體檢測和追蹤的應用的實現，應用前景看好。
[0023](2)充分利用了公交車視頻中需刪去區域為固定的手扶杆圖像的特點，採用模糊C聚類方法，自動確定手扶杆所屬類別區域Ω以及區域的邊作σΩ，從而使得自動圖像修復成為可能，克服了以往需要手動圈出待修復區域的圖像修復法，具有更好的智能性。
[0024](3)採用圖像修復的方法克服遮擋對目標檢測盒追蹤的影響，使得公交車監控視頻中乘客的檢測更準確，並較以往克服目標遮擋的檢測方法具有更高的計算速率和可實現性。
【專利附圖】
【附圖說明】
[0025]圖1是本發明的基本原理示意圖。
[0026]圖2是確定手扶杆區域Ω的流程圖。
[0027]圖3是基於Criminisi算法的區域Ω修複流程圖。
[0028]圖4是Criminisi算法示意圖。
【具體實施方式】
[0029]為使本發明的目的、實現方案和優點更為清晰，下面對本發明的具體實施作進一步的詳細描述，本發明的具體流程如圖1所示。
[0030]( I)該發明的圖像捕獲部分由安裝在公交車前後門位置的攝像頭和圖像採集設備獲得。如圖2在採集到的圖像中採用模糊C均值聚類法確定手扶杆區域Ω，步驟如下:
[0031]Α、初始化聚類中心V = Iv1, V2,…，V。}，即將圖像數據集分為C類。
[0032]B、根據圖像像素和聚類中心的加權相似性測度，進行迭代優化以確定最佳聚類。[0033]C、分別計算手扶杆的灰度值到各聚類中心點的歐氏距離，誤差最小的一類就是手扶杆區域Ω。
[0034](2)確定區域邊緣σΩ:對Ω這個區域內的所有像素點進行排序、刪減、整理，最後只保留邊緣的像素點，而區域Ω內的像素點不予保存，這樣就確定了區域的邊緣σΩ。
[0035](3)如圖3和圖4，採用基於紋理合成Criminisi算法的圖像修復法手扶杆區域Ω圖像修復的方法，包括以下步驟:
[0036]Α、根據確定的區域邊緣δΩ，得到位於邊界上的點序列，然後依次計算以序列中每個點為中心的塊的優先權。計算優先級的方法為:在區域邊緣上選擇以P為中心的區域塊11%，取P(p)作為決定修復順序的優先級P (P) =C (P) D (P)。
【權利要求】
1.一種公交車車載視頻中乘客被手扶杆遮擋圖像的修複方法，包括下列步驟: (1)採用模糊C均值聚類法確定圖像中手扶杆區域Ω。 (2)確定區域邊緣?Ω:對Ω這個區域內的所有像素點進行排序、刪減、整理，最後只保留邊緣的像素點，確定區域的邊緣?Ω (3)採用基於紋理合成Criminisi算法對手扶杆區域Ω進行修復，包括以下步驟: A、根據確定的區域邊緣?Ω，得到位於邊界上的點序列，然後依次計算以序列中每個點為中心的塊的優先權，方法如下:在區域邊緣上選擇5Ω以P為中心的區域塊Ψρ，該區域塊內既包括已知像素信息的點也包括待修復的像素點，然後取P (P)作為決定修復順序的優先級P (P) =C (P) D (P)的標準，其中C(p)為置信項，計算填充塊中已知像素信息的點佔塊內像素點總數的比例；D(p)稱為數據項，即結構信息，D(p)根據填充邊緣上P點的光照線強度，光照線與法向量之間的夾角計算優先權大小，光照線是像素的梯度方向的垂直方向。若填充邊緣上P點的光照線強度大，光照線與法向量之間的夾角小，則該目標塊的優先權就越大； B、找出具有最大優先權值即P(P)最大的待修復區域Ψρ； C、然後在源圖像中搜索與待修復區域Ψρ最佳匹配的填充塊Ψ，q,即分別計算待修復區域Ψρ與源圖像中各已知區域的相似度函數，從而取相似度最大的區域為填充塊Ψ' q； D、將,中圖像信息複製到待修復區域塊Ψρ; Ε、當具有最高優先級的修復塊Ψρ被修復後，更新以已被修復塊邊緣新生成的邊界像素點為中心的塊的置信度C(p),從而更新此類塊的優先級值Ρ(ρ)。 F、重複B~E三個步驟，直到所有的破損區域都被修復。
2.根據權利要求1所述的公交車車載視頻中乘客被手扶杆遮擋的圖像修複方法，其特徵在於，步驟(I)如下: Α、初始化聚類中心V = Iv1, V2,…，V。}，即將圖像數據集分為C類。 B、根據圖像像素和聚類中心的加權相似性測度，進行迭代優化以確定最佳聚類； C、分別計算手扶杆的灰度值到各聚類中心點的歐氏距離，誤差最小的一類就是手扶杆區域Ω。
【文檔編號】G06T7/00GK103455981SQ201310381815
【公開日】2013年12月18日 申請日期:2013年8月28日 優先權日:2013年8月28日
【發明者】金志剛, 徐楚 申請人:天津大學