消除深度圖序列背景和邊緣抖動的方法
2023-05-28 13:23:16 1
專利名稱：消除深度圖序列背景和邊緣抖動的方法
技術領域：
本發明涉及計算機視覺技術領域，特別涉及一種消除深度圖序列背景和邊緣抖動 的方法。
背景技術：
三維圖像和顯示是未來信息系統的一種重要表現形式，三維圖像和顯示一方面層 次分明色彩鮮豔，具有很強的視覺衝擊力，讓觀看的人駐景時間更長，留下深刻的印象 』另 外三維圖像和顯示給人以真實、栩栩如生，人物呼之欲出，有身臨其境的感覺，有很高的藝 術欣賞價值。正因為三維圖像和視頻具有這些平面圖像和視頻所不具備的特點，所以在諸 如電腦顯示、電視、視頻、機器人、測量、斟察、醫療、廣告傳媒、電子遊戲等領域具有廣闊的 應用前景。人眼看世界之所以有立體感，是因為左眼和右眼看世界的視角有少許不同而存在 視差(disparity)。視差是指左視圖和右視圖對應於同一個世界點的兩個象素點的水平位 移。計算機視覺領域的定理指出，某點的視差和它所對應的世界點的深度(d印th，即距離 感)成反比；也就是說，離觀看點越遠的點的視差值越小，無窮遠點的視差為0。一張圖像 所有點的深度值組成了深度圖(depth map)。基於雙目立體視覺的深度圖生成技術的發展使得快速生成高質量的深度圖成為 了可能，但是由於現有技術沒有考慮時間上的相關性，在對圖像序列進行操作的時候，每一 幅深度圖都是獨立生成的，這就導致生成的深度圖序列在連續播放的時候會出現嚴重的背 景和邊緣的抖動，影響了整體演示效果。
發明內容
本發明旨在至少解決上述技術問題之一。為此，本發明的一個目的在於提出了一種消除深度圖序列背景和邊緣抖動的方 法，該方法克服了已有技術的不足，能夠有效地消除圖像抖動，消除幹擾噪聲，平滑邊緣。本發明的一個方面提出了一種消除深度圖序列背景和邊緣抖動的方法，包括以下 步驟讀取源圖像序列的背景圖像對並計算得到所述背景圖像的深度圖；計算所述源圖像 序列和所述背景圖像的幀差以得到幀差數組；計算以得到所述源圖像序列每一幀的深度 圖；根據預設閾值判斷所述源圖像深度圖的前景和背景，且消除背景抖動；對所述源圖像 深度圖的前景賦值以消除前景輪廓抖動；通過中值濾波和雙邊濾波以優化得到最終所述源 圖像深度圖。在本發明的一個實施例中，利用灰度變換公式將所述背景圖像和所述源圖像的每 個像素點的數據變為灰度值後，以計算得到所述背景圖像和所述源圖像的深度圖。在本發明的一個實施例中，所述計算所述源圖像序列和所述背景圖像的幀差以得 到幀差數組進一步包括讀取所述源圖像序列每一幀圖像對；對所述源圖像序列每一幀圖 像做灰度變換；對灰度變換後的所述源圖像參考視圖和所述背景圖參考視圖做差，以得到所述幀差數組。在本發明的一個實施例中，所述根據預設閾值判斷所述源圖像深度圖的前景和背 景，且消除背景抖動進一步包括通過預設閾值對所述幀差數組進行閾值判斷，以區分所述 源圖像深度圖的前景和背景；用所述背景深度圖對應的值為所述源圖像深度圖的背景賦值。在本發明的一個實施例中，所述對所述源圖像深度圖的前景賦值以消除前景輪廓 抖動進一步包括統計所述前景範圍內所有的像素點；通過計算得到統一值作為深度值以 對所述前景賦予所述深度值。在本發明的一個實施例中，所述通過中值濾波和雙邊濾波以優化得到最終所述源 圖像深度圖進一步包括對消除背景抖動和前景輪廓抖動的所述源圖像序列的深度圖進行 中值濾波，以去除所述背景中的幹擾噪聲；對所述去除背景中幹擾噪聲的深度圖進行雙邊 濾波以平滑所述深度圖的邊緣，得到最終優化後的源圖像序列的深度圖。本發明的另一方面提出了一種消除深度圖序列背景和邊緣抖動的裝置，包括圖 像獲取模塊，用於讀取源圖像序列的背景圖像對並計算得到所述背景圖像的深度圖；幀差 數組計算模塊，用於計算所述源圖像序列和所述背景圖像的幀差以得到幀差數組；計算模 塊，用於計算以得到所述源圖像序列每一幀的深度圖；前景背景判斷模塊，用於根據預設閾 值判斷所述源圖像深度圖的前景和背景，且消除背景抖動；前景圖像處理模塊，用於對所述 源圖像深度圖的前景賦值以消除前景輪廓抖動；圖像優化模塊，用於通過中值濾波和雙邊 濾波以優化得到最終所述源圖像深度圖。根據本發明實施例的消除深度圖序列背景和邊緣抖動的方法，克服了已有技術的 不足，能夠有效地消除圖像抖動，消除幹擾噪聲，平滑邊緣。另外本發明實施簡單，便於操 作。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發明實施例的消除深度圖序列背景和邊緣抖動的方法的整體流程框圖；圖2為採用本發明實施例的方法處理之前的深度圖；圖3為圖2採用本發明實施例的方法優化後的深度圖；圖4為用本發明實施例的方法處理得到的其他圖像的立體渲染圖像；和圖5為本發明實施例的消除深度圖序列背景和邊緣抖動的裝置整體結構示意圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。下面參考附圖描述本發明實施例的消除深度圖序列背景和邊緣抖動的方法，該方
5法克服了已有技術的不足，能夠有效地消除圖像抖動，消除幹擾噪聲，平滑邊緣。另外本發明實施簡單，便於操作。如圖1所示，為本發明實施例的消除深度圖序列背景和邊緣抖動的方法的整體流 程框圖。包括以下步驟步驟S101，讀取源圖像序列的背景圖像對並計算得到所述背景圖像的深度圖。1. 1，定義圖像接口，包括圖像數據指針，圖像寬度，高度，位深，圖像格式。1.2，根據所述圖像接口定義圖像讀取函數，用圖像讀取函數從硬碟打開源圖像序 列的背景圖像對文件，以便獲取背景圖像數據，並且把所述背景圖像數據保存在系統內存 中。1.3，利用灰度變換公式，將所述背景圖像數據轉變為相應背景圖像的灰度圖像數 據。具體地，在本發明的一個實施例中，利用RGB (Red Green Blue,紅綠藍)圖像變換 公式對源圖像對進行灰度變換，以得到對應的灰度圖像對。其中，本發明實施例中RGB圖像 變換公式如下Y = O. 212671XR+0. 715160XG+0. 072169XB (1)其中，Y是灰度圖像每個像素點的灰度值，R、G、B分別是平面視頻幀圖像中每個像 素點的R、G、B分量。1. 4，利用置信傳播的立體匹配算法計算得到源圖像序列的背景圖像的深度圖。在 本發明的一個實施例中，背景圖像的深度圖記為reD印th。步驟S102，計算所述源圖像序列和所述背景圖像的幀差以得到幀差數組。2. 1，根據圖像接口定義圖像讀取函數，用圖像讀取函數從硬碟打開源圖像序列每 一幀圖像對文件，以便獲取源圖像的圖像數據，並且把源圖像的圖像數據保存在內存中。2. 2，利用灰度變換公式，將源圖像序列每一幀圖像數據變為灰度圖像數據。2. 3，把2. 2中灰度變換後的源圖像參考視圖和1. 4中灰度變換後的背景圖參考視 圖做差，並取絕對值以得到源圖像參考視圖與背景圖參考視圖之間的幀差數組。具體地，在本發明的一個實施例中，把灰度變換後的源圖像參考視圖記為 cbpthl，背景圖參考視圖記為cbpth2，幀差數組記為cha。運用如下公式cha = |d印 thl-d印 th2|(2)得到相應的幀差數組cha。步驟S103，計算以得到所述源圖像序列每一幀的深度圖。3. 1，得到2. 2中灰度變換後的源圖像序列數據。3. 2，運用1. 4中提出的置信傳播的立體匹配算法計算3. 1中的數據以得到源圖像 序列每一幀的深度圖。在本發明的一個實施例中，把源圖像序列每一幀圖像的深度圖記為 depth.如圖2所示，為本發明實施例的源圖像序列每一幀圖像的深度圖。步驟S104，根據預設閾值判斷所述源圖像深度圖的前景和背景，且消除背景抖動。4. 1，定義閾值，對2. 3中得到的幀差數組進行閾值判斷，因為相機不動，則認為背 景是不動的，所以可以把其中小於閾值的點作為背景，其他的點作為前景。在本發明的一個 實施例中，閾值定義為20。4. 2，對分為背景的區域，用背景深度圖對應的值來為源圖像深度圖賦值，運用如下公式: 在本發明的一個實施例中，從公式(3)中能夠看出，如果幀差數組cha小於閾值 20，則把源圖像序列每一幀圖像的深度圖cbpth的顏色賦值為背景圖像的深度圖reD印th 的顏色。否則為前景，保持原有值。步驟S105，對所述源圖像深度圖的前景賦值以消除前景輪廓抖動。5. 1，對前景範圍內所有的像素點進行統計。5. 3，統計計算得到的統一值作為前景的深度值，對所述前景的深度圖賦予統一值 用以消除前景輪廓的抖動。在本發明的一個實施例中，採用對所有點求和再平均的方法計
算得到統一值。步驟S106，通過中值濾波和雙邊濾波以優化得到最終所述源圖像深度圖。6. 1，對5. 3中處理過的源圖像序列的深度圖進行中值濾波，通過中值濾波能夠去 除背景中的幹擾噪聲。6. 2，對6. 1處理過源圖像序列的深度圖進行雙邊濾波，通過雙邊濾波能夠平滑邊緣。6. 3，得到源圖像每一幀的深度圖。在本發明的一個實施例中，如圖3所示，為最終 優化好的圖2所示的深度圖。在本發明的的另外一個實施例中。如圖4所示，為用其他圖像序列通過本發明提 出的消除深度圖序列背景和邊緣抖動的方法檢驗效果，通過圖4能夠看出此立體渲染圖 像，仍沒有明顯的背景和邊緣抖動。本發明的另一方面提出了一種消除深度圖序列背景和邊緣抖動的裝置，該消除深 度圖序列背景和邊緣抖動的裝置100包括圖像獲取模塊110，幀差數組計算模塊120，前景 背景判斷模塊130，前景圖像處理模塊140，和圖像優化模塊150。其中，圖像獲取模塊110 用於讀取源圖像序列的背景圖像對並計算得到所述背景圖像的深度圖，幀差數組計算模塊 120用於計算所述源圖像序列和所述背景圖像的幀差以得到幀差數組，前景背景判斷模塊 130用於根據預設閾值判斷所述源圖像深度圖的前景和背景，且消除背景抖動，前景圖像處 理模塊140用於對所述源圖像深度圖的前景賦值以消除前景輪廓抖動，圖像優化模塊150 用於通過中值濾波和雙邊濾波以優化得到最終所述源圖像深度圖。其中，圖像獲取模塊110包括背景圖像獲取模塊1101，灰度變換模塊1102，計算 模塊1103。背景圖像獲取模塊1101用於獲取背景圖，灰度變換模塊1102採用灰度變換公 式將所述背景圖像和所述源圖像的每個像素點的數據變為灰度值，計算模塊1103用於把 灰度變換後的所述背景圖像和所述源圖像，以計算得到所述背景圖像和所述源圖像的深度 圖。但是本領域的普通技術人員知道，本發明提出的消除深度圖序列背景和邊緣抖動 的裝置100的圖像優化模塊150還可以細分為中值濾波模塊和雙邊濾波模塊，當然還可以 有其他形式的組合，這些也應該認為在本發明的保護範圍之內。通過本發明提出的消除深度圖序列背景和邊緣抖動的方法，克服了已有技術的不 足，能夠有效地消除圖像抖動，消除幹擾噪聲，平滑邊緣。另外本發明實施簡單，便於操作。
儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言， 可以 理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發明的範圍由所附權利要求及其等同限定。
權利要求
一種消除深度圖序列背景和邊緣抖動的方法，其特徵在於，包括以下步驟讀取源圖像序列的背景圖像對並計算得到所述背景圖像的深度圖；計算所述源圖像序列和所述背景圖像的幀差以得到幀差數組；計算以得到所述源圖像序列每一幀的深度圖；根據預設閾值判斷所述源圖像深度圖的前景和背景，且消除背景抖動；對所述源圖像深度圖的前景賦值以消除前景輪廓抖動；通過中值濾波和雙邊濾波以優化得到最終所述源圖像深度圖。
2.如權利要求1所述的消除深度圖序列背景和邊緣抖動的方法，其特徵在於，利用灰 度變換公式將所述背景圖像和所述源圖像的每個像素點的數據變為灰度值後，以計算得到 所述背景圖像和所述源圖像的深度圖。
3.如權利要求2所述的消除深度圖序列背景和邊緣抖動的方法，其特徵在於，所述計 算所述源圖像序列和所述背景圖像的幀差以得到幀差數組進一步包括讀取所述源圖像序列每一幀圖像對； 對所述源圖像序列每一幀圖像做灰度變換；對灰度變換後的所述源圖像參考視圖和所述背景圖參考視圖做差，以得到所述幀差數組。
4.如權利要求3所述的消除深度圖序列背景和邊緣抖動的方法，其特徵在於，所述根 據預設閾值判斷所述源圖像深度圖的前景和背景，且消除背景抖動進一步包括通過預設閾值對所述幀差數組進行閾值判斷，以區分所述源圖像深度圖的前景和背旦足；用所述背景深度圖對應的值為所述源圖像深度圖的背景賦值。
5.如權利要求4所述的消除深度圖序列背景和邊緣抖動的方法，其特徵在於，所述對 所述源圖像深度圖的前景賦值以消除前景輪廓抖動進一步包括統計所述前景範圍內所有的像素點；通過計算得到統一值作為深度值以對所述前景賦予所述深度值。
6.如權利要求5所述的消除深度圖序列背景和邊緣抖動的方法，其特徵在於，所述通 過中值濾波和雙邊濾波以優化得到最終所述源圖像深度圖進一步包括對消除背景抖動和前景輪廓抖動的所述源圖像序列的深度圖進行中值濾波，以去除所 述背景中的幹擾噪聲；對所述去除背景中幹擾噪聲的深度圖進行雙邊濾波以平滑所述深度圖的邊緣，得到最 終優化後的源圖像序列的深度圖。
7.一種消除深度圖序列背景和邊緣抖動的裝置，其特徵在於，包括圖像獲取模塊，用於讀取源圖像序列的背景圖像對並計算得到所述背景圖像的深度圖；幀差數組計算模塊，用於計算所述源圖像序列和所述背景圖像的幀差以得到幀差數組；計算模塊，用於計算以得到所述源圖像序列每一幀的深度圖； 前景背景判斷模塊，用於根據預設閾值判斷所述源圖像深度圖的前景和背景，且消除 背景抖動；前景圖像處理模塊，用於對所述源圖像深度圖的前景賦值以消除前景輪廓抖動；合 圖像優化模塊，用於通過中值濾波和雙邊濾波以優化得到最終所述源圖像深度圖。
8.如權利要求7所述的消除深度圖序列背景和邊緣抖動的裝置，其特徵在於，利用灰 度變換公式將所述背景圖像和所述源圖像的每個像素點的數據變為灰度值後，以計算得到 所述背景圖像和所述源圖像的深度圖。
全文摘要
本發明提出了一種消除深度圖序列背景和邊緣抖動的方法和裝置，其中，該方法包括以下步驟讀取源圖像序列的背景圖像對並計算得到所述背景圖像的深度圖；計算所述源圖像序列和所述背景圖像的幀差以得到幀差數組；計算以得到所述源圖像序列每一幀的深度圖；根據預設閾值判斷所述源圖像深度圖的前景和背景，且消除背景抖動；對所述源圖像深度圖的前景賦值以消除前景輪廓抖動；通過中值濾波和雙邊濾波以優化得到最終所述源圖像深度圖。通過本發明提出的消除深度圖序列背景和邊緣抖動的方法，克服了已有技術的不足，能夠有效地消除圖像抖動，消除幹擾噪聲，平滑邊緣。
文檔編號G06T5/00GK101873509SQ201010222349
公開日2010年10月27日 申請日期2010年6月30日 優先權日2010年6月30日
發明者劉繼明, 戴瓊海 申請人:清華大學