使用邊緣檢測產生深度數據的系統及方法

2023-05-21 09:10:21

專利名稱：使用邊緣檢測產生深度數據的系統及方法
技術領域：
本發明大體上涉及基於經捕捉圖像的邊緣檢測及深度數據產生。
背景技術：
數字成像技術允許緊湊型裝置捕捉圖像數據，並且增強及發射圖像數據。舉例來 說，許多個人數字助理(PDA)及無線電話裝置包括內建式成像系統，其允許捕捉可經由有 線連接或無線連接而發射到其它裝置的靜態圖像或運動視頻。在利用數字成像技術時，可能需要區分在距圖像捕捉裝置的變化距離處的對象， 且因而控制捕捉、存儲或發射場景的何種方面。舉例來說，在視頻電話的狀況下，出於清晰、 保密或其它原因，可能需要展示前景中的呼叫者，而不捕捉背景中的其它人或設定。在進一 步利用所述技術時，安裝於車輛上或由視覺障礙者所攜帶的數字成像裝置可在對象位於特 定閾值距離內時提供近接警報。然而，確定距離的許多常規系統通常使用立體視覺，涉及兩個或兩個以上圖像傳 感器。由於尺寸及電力消耗考慮，可能不需要在例如PDA或無線電話的便攜型電子裝置中 包括多個圖像傳感器。

發明內容
在特定實施例中，揭示一種方法，其中接收由圖像捕捉裝置在第一距離處的第一 焦點位置處所記錄的對應於一場景的第一圖像數據。接收對應於在大於第一距離的第二距 離處的第二焦點位置的第二圖像數據。邊緣檢測產生對應於第一圖像數據的至少第一部分 的第一邊緣數據，且產生對應於第二圖像數據的至少第二部分的第二邊緣數據。邊緣檢測 檢測在第一部分及第二部分的每一位置處存在或不存在邊緣，且將每一檢測到的邊緣識別 為硬邊緣或軟邊緣。基於針對第一焦點位置及第二焦點位置所產生的邊緣數據而產生深度 數據。在另一特定實施例中，揭示一種系統，其中所述系統包括用以接收控制信號以捕 捉圖像數據的輸入。圖像捕捉裝置響應於控制信號而產生在多個焦點位置處所捕捉的多個 圖像數據集合。輸出提供至少一個圖像數據集合且提供所述至少一個圖像數據集合中的至 少一個點的深度數據。深度數據是基於所述至少一個點經確定為具有可檢測邊緣的焦點位置。在另一特定實施例中，揭示一種系統，其包括適於從圖像捕捉裝置接收視頻圖像 數據的輸入。視頻圖像數據包括與第一焦點位置相關聯的第一圖像數據及與第二焦點位置 相關聯的第二圖像數據。處理器接收第一圖像數據及第二圖像數據。處理器經配置以通過 應用邊緣檢測濾波器的單次通過(single pass)來確定視頻圖像數據的背景部分，以產生 深度數據以使用深度數據來識別第一圖像數據的前景部分及背景部分。輸出適於提供視頻 數據，其選擇性地以不同於背景部分的圖像數據的方式呈現前景部分的圖像數據。由所揭示實施例中的至少一者所提供的一個特定優點是能夠使用單個圖像捕捉裝置來確定對象相對於圖像捕捉裝置的深度，以便可基於在由圖像捕捉裝置所記錄的場景 中的對象的深度而選擇性地呈現圖像數據。在審閱整個申請案後，本發明的其它方面、優點及特徵將變得顯而易見，整個申請 案包括以下部分「


」、「具體實施方式
」及「權利要求書」。

圖1為一系統的特定說明性實施例的框圖，所述系統包括具有邊緣檢測及深度圖 產生模塊的圖像處理系統；圖2為描繪信號的特定說明性實施例的一對圖，所述信號經增強以放大潛在地包 括於所述信號中的邊緣特性；圖3為描繪在三個點處所取樣的表示軟邊緣及硬邊緣的信號的特定說明性實施 例的一對圖；圖4為說明信號被取樣及分析的點之間的線的差分的圖3的所述對圖；圖5為在疊加有用於邊緣分類的閾值點的三個點處所取樣的信號的特定說明性 實施例的圖；圖6為包括在距圖像捕捉裝置的變化焦點距離處的多個對象的場景的透視圖；圖7為圖6的場景中的對象的圖像數據集合的二維視圖，其中所述圖像中的每一 者均在焦點上；圖8為在來自圖7的圖像數據集合的選定點周圍所取樣的點範圍的特定說明性實 施例；圖9為在不同焦點距離處所捕捉的一系列圖像數據集合的特定說明性實施例的 圖解，其指示每一圖像數據集合中在焦點上及在焦點外的多個對象；圖10為從圖9的圖像數據集合所導出的一系列邊緣檢測表示的特定說明性實施 例的圖解；圖11為從圖9的所述系列圖像數據集合所產生的深度圖的特定說明性實施例的 圖解；圖12為多個對象的一系列圖像數據集合的特定說明性實施例的透視圖，其中所 述對象被分類為具有硬邊緣、軟邊緣或不具有可檢測邊緣；圖13為用於呈現圖像數據的一對飛越視圖的特定說明性實施例的透視圖；圖14為使用邊緣檢測以產生深度數據的過程的特定說明性實施例的流程圖；圖15為使用一系列圖像數據集合及邊緣檢測以基於深度數據而選擇性地呈現圖 像數據的特定說明性實施例的流程圖；圖16為包括邊緣檢測器/深度數據產生器的系統的特定說明性實施例的框圖；及圖17為包括邊緣檢測器/深度數據產生器的系統的特定說明性實施例的框圖。
具體實施例方式圖1為大概表示為100的系統的特定說明性實施例的框圖，系統100包括圖像捕 捉裝置110、圖像處理系統140及圖像存儲裝置170。單個圖像捕捉裝置110接收指導圖像 捕捉裝置110收集圖像數據130的控制輸入信號120。圖像捕捉裝置110耦合到接收及處理圖像數據130的圖像處理系統140。圖像處理系統140產生經處理圖像數據160。圖像 處理系統140耦合到接收及存儲經處理圖像數據160的圖像存儲裝置170。經處理圖像數 據160包括從圖像數據130所提取的至少一個圖像及深度數據。在輸出180處呈現經處理 圖像數據160、從經處理圖像數據160所產生的深度數據或其任何組合。通常，系統100可 實施於經配置以使用相對有限處理資源來執行實時圖像處理的便攜型電子裝置中。在一特定實施例中，圖像捕捉裝置110為相機，例如攝像機或靜態相機。圖像捕捉 裝置Iio包括響應於聚焦模塊114及曝光模塊116的透鏡112。聚焦模塊114操縱透鏡112 以基於透鏡112/聚焦模塊114配置而聚焦於為聚焦模塊114所知的距所述透鏡的指定距 離處。聚焦模塊114還經適當地配置以自動地將透鏡112聚焦於場景的假定主題(例如佔 據視場的中心部分的對象)上。聚焦模塊114經配置以將透鏡112從其最近焦點(其被稱 為場景的微距焦點位置(macro focus position))聚焦到其最遠焦點(其被稱為無窮遠焦 點位置(infinity focus position))。如下文進一步所描述，當產生深度圖時，聚焦模塊 114可經配置以操縱透鏡112以在多個不同焦點距離處捕捉場景的圖像數據。圖像捕捉裝置還包括傳感器118(例如電荷耦合裝置(CXD)陣列或另一圖像感測 裝置)，其經耦合以經由透鏡112而接收光且響應於經由透鏡112所接收的圖像而產生圖像 數據120。耦合到傳感器118的曝光模塊116可響應於傳感器118及/或透鏡112以控制 圖像的曝光。控制信號輸入120可通過激活開關的用戶或通過圖像處理系統140而產生。控制 信號輸入120指導圖像捕捉裝置110捕捉圖像數據且可指導圖像捕捉裝置110在多個焦點 距離處捕捉場景的多個圖像，使得由圖像捕捉裝置110所產生的圖像數據130包括針對所 述多個焦點距離中的每一者的多個圖像數據集合。焦點距離可包括微距焦點位置、無窮遠 焦點位置、微距焦點位置與無窮遠焦點位置之間的一個或一個以上其它焦點位置，或其任 何組合。圖像捕捉裝置110所產生的圖像數據130由圖像處理系統140在圖像數據輸入 142處接收。圖像處理系統130可包括缺陷像素校正模塊144，其經配置以對圖像數據130 進行調整以校正經識別為有缺陷的像素或像素群組。圖像處理系統140還可包括色彩校正 模塊146，其經配置以調整經確定為不良的色值。缺陷像素校正模塊144及色彩校正模塊 146可選擇性地致力於處理圖像數據130。因而，在本發明的實施例中，在處理用於如下文 進一步所描述產生深度圖的圖像數據集合時，校正模塊144及146可應用於所有圖像數據 130或可跳過。邊緣檢測及深度數據產生模塊148適於識別圖像數據集合中的邊緣且將可檢測 邊緣識別為硬邊緣或軟邊緣。如下文進一步所解釋，邊緣檢測及深度數據產生模塊148識 別由圖像捕捉裝置110所收集的單個場景的多個圖像數據集合中的硬邊緣及軟邊緣。使用 經設定以聚焦於在多個相應距離(例如最近焦點距離、由自動聚焦系統針對場景的假定主 題所選擇的距離、無窮遠等等中的兩者或兩者以上)處的多個焦點位置處的圖像捕捉裝置 110來收集多個圖像數據集合。一旦邊緣檢測及深度數據產生模塊148識別出在不同焦點 距離處所收集的多個圖像數據集合中的邊緣，邊緣檢測及深度數據產生模塊148便識別場 景中何種對象的何種邊緣呈現硬邊緣，且因而在不同焦點距離處在焦點上或較接近於在焦 點上。因而，邊緣檢測及深度數據產生模塊148使用由圖像捕捉裝置110所收集的二維圖像數據來識別圖像數據集合中的對象相對於圖像捕捉裝置110的深度。圖像數據、深度數據及其任何組合經傳遞到壓縮及存儲模塊150，其產生呈現給圖 像存儲系統170的經處理圖像數據160。圖像存儲系統170可包括任何類型的存儲媒體，例 如一個或一個以上顯示緩衝器、寄存器、高速緩存、快閃記憶體元件、硬碟、任何其它存儲裝 置或其任何組合。系統100的輸出180提供包括經處理圖像數據160中所包括的深度數據 的經處理圖像數據160。輸出180可從如圖1所示的圖像存儲裝置170提供或從圖像處理 系統140提供。在一特定實施例中，邊緣檢測及深度數據產生模塊148將核心濾波器或核心應用 於圖像數據，以評估圖像數據點之間的差分及差分的比率以將邊緣識別為硬或軟。如本文 所使用，術語「差分」用以指示圖像數據集合中的兩個圖像數據點之間的一個或一個以上值 差。換句話說，如下文進一步所描述，差分可被認為接合兩個圖像數據點的線或曲線的斜 率。核心包括應用於選定點周圍的點範圍的測量值的係數或權重矩陣。在一說明性實施例 中，矩陣為3X3或5X5矩陣，且因而比其所應用於的實際圖像數據集合小得多。為了濾 波圖像數據，將核心相繼地應用於圖像數據中的所有點或選定點的鄰域。舉例來說，當使用 5X5核心時，將核心應用於以在研究中的每一點為中心的5X5點範圍，以選擇性地應用系 數或權重以放大數據值以輔助確定在研究中的每一點是否指示為硬邊緣、軟邊緣或根本無 邊緣的一部分。在一特定實施例中，輸出180耦合到無線發射器(未圖示)以提供實時視頻數據 發射。實時視頻數據發射可實現實時無線電話。通過使用深度數據，實時視頻電話可包括 增強的前景解析度、背景抑制，或基於圖像的部分的深度而增強或抑制場景的若干部分的 某其它組合。圖2展示描繪表示軟邊緣及硬邊緣分別可如何出現於沿著圖像數據集合的軸線 的一系列點上的圖像數據中的實例的一對曲線200及250的圖。為了設法識別硬邊緣及軟 邊緣，例如圖1的邊緣檢測及深度產生模塊136的邊緣檢測模塊或系統可將核心濾波器或 核心應用於圖像數據中的點，以放大或擴大鄰近點之間的差。舉例來說，將核心應用於點P 210會將加權係數應用於周圍數據點以擴大點P的值與周圍數據點的值之間的差分以產生 經修改曲線220。為了實例起見，假定第一曲線200表示沿著軟邊緣的點的取樣且第二曲線 250表示沿著硬邊緣的點的取樣。將核心的加權值應用於第一曲線200會得到第一經修改 曲線220。第一經修改曲線220的擴大輪廓可闡明存在邊緣，但甚至在第一經修改曲線220 的擴大形式的情況下，第一經修改曲線220仍可被識別為軟邊緣。對比來說，將核心應用於 點P' 260會得到第二經修改曲線270，曲線270可闡明邊緣為硬邊緣。檢查第二經修改曲 線270的若干部分的差分、差分的比率或其組合會使得能夠將邊緣分類為硬邊緣。如下文 進一步所解釋，檢查經修改曲線220及270以確定經修改曲線220及270的差分、經修改曲 線220及270的若干部分的差分的比率或其任何組合，以識別所述經修改曲線是表示硬邊 緣還是表示軟邊緣。下文進一步描述核心的應用以及示範性核心及核心值。圖3為三個數據點的兩個集合的兩個假想經修改曲線300及350的圖形表示。呈 現曲線300及350以說明差分及其比率可如何用以識別圖像數據中的軟邊緣及硬邊緣。圖 3的圖形表示的垂直軸線上所表示的數據點的值在經修改曲線300與350兩者中增加相同 量。然而，數據點的值增加的速率在兩個經修改曲線300與350之間不同，從而指示在第一
7經修改曲線300中存在軟邊緣且在第二經修改曲線350中存在硬邊緣。第一數據點集合300(包括點A 310,B 320及C 330)表示軟邊緣，其中點A 310、 B 320及C 330的圖像強度從點A 310的低值逐漸地移位到點B 320的較高值且接著移位 到點C 330的下一較高值。沿著第一經修改曲線從點A 310到點B 320到點C 330的強 度值的相對逐漸增加指示軟邊緣的存在。對比來說，第二經修改曲線350包括點D 360、E 370及F 380且表示硬邊緣。第二經修改曲線350描繪在點D 360及E 370的強度值與點 F 380的強度值之間相對尖銳地移位的圖像強度。相比於點D 360與點F 380之間的圖像 強度移位，點E 370與點F 380之間的圖像強度的相對尖銳增加指示硬邊緣的存在。儘管第一經修改曲線300及第二經修改曲線350表示可通過增加的強度值(「上 升邊緣」)而識別的軟邊緣及硬邊緣，但軟邊緣及硬邊緣也可通過減小的強度值(「下降邊 緣」)而識別。舉例來說，在點A的強度值為200、點B的強度值為100且點C的強度值為0 的另一實施例中，從點A到點B到點C的強度值的相對平緩減小可指示軟下降邊緣。因此， 可比較點之間的強度差的量值或絕對值，以供應軟邊緣及硬邊緣(上升與下降兩者)的檢 測及識別。舉例來說，從點A到點C的強度變化的量值與從點B到點C的強度變化的量值 之間的比較可用以識別上升軟邊緣或下降軟邊緣以及上升硬邊緣或下降硬邊緣。由曲線300及350所表示的點集合可表示一圖像內的不同點，其分別展示圖像數 據中的軟邊緣及硬邊緣。或者，所表示的點集合可展示同一場景的兩個圖像數據集合中的 相同的三個點。因為對象處於與場景在焦點上的點不同的場景中的深度，所以第一經修改 曲線300可表示由對象的邊緣未在焦點上所引起的對象的軟邊緣。第二經修改曲線350可 表示由對象在焦點上且因而被清晰地界定所引起的對象的硬邊緣。在此狀況下，根據本發 明的實施例，通過確定邊緣是否在第一已知焦點距離或焦點位置處被柔和地界定而在第二 已知焦點距離、第三已知焦點距離或其它已知焦點距離處被清晰地界定或相反的情況，可 確定場景中的對象的相對深度。通過相繼地進行針對場景中的一個或一個以上對象的硬/ 軟邊緣確定，可以與場景中的對象中的每一者相關聯的深度數據來建立場景的深度圖。本發明的實施例可通過應用核心以在三個點(例如，點A 310、B 320及C 330或 點D 360、E 370及F 380)處沿著圖像的一個軸線取樣二維信號而在單次通過過程中識別 硬邊緣及軟邊緣。本發明的實施例接著使用前導點(例如點B 320及C 330)的第一導數 相對於從第一點到第三點的滯後點(例如點A 310及C 330)的第二導數的比率，如圖4以 圖形所描繪。圖4將這些點的差分以圖形說明為接合所述點的線的斜率。在圖4中，通過考慮 與軟邊緣相關聯的第一經修改曲線300，將前導點B 320與C 330之間的線的差分或斜率 表示為dBe 410且將滯後點A 310與C 330之間的線的差分表示為dAe 420。圖4的視覺檢 查指示差分dBC410與dAC420之間的差相對微小。對比來說，通過考慮與硬邊緣相關聯的第 二經修改曲線350，將前導點E 370與F 380之間的線的差分表示為dEF 460且將滯後點D 360與F 380之間的線的差分表示為dDF470。如圖4所描繪，差分dEF 460與dDF470之間的 差至少大於差分dBC410與dAC420之間的差。因而，當不知道邊緣是硬還是軟時，差分的比率 可用以將邊緣分類為硬或軟。圖5說明可用以將差分及差分的比率分類為指示硬邊緣或軟邊緣的假想差分閾 值。在圖5中，前導點集合之間的差分是通過從點A 310、B 320及C 330的實際值到點
權利要求
1.一種方法，其包含接收由圖像捕捉裝置在與距所述圖像捕捉裝置的第一距離相關聯的第一焦點位置處 所記錄的對應於一場景的第一圖像數據；接收在與距所述圖像捕捉裝置的第二距離相關聯的第二焦點位置處的對應於所述場 景的第二圖像數據，其中所述第二距離大於所述第一距離；執行邊緣檢測過程以產生對應於所述第一圖像數據的至少第一部分的第一邊緣數據 且產生對應於所述第二圖像數據的至少第二部分的第二邊緣數據，其中所述邊緣檢測過程 檢測在所述第一圖像數據的所述第一部分及所述第二圖像數據的所述第二部分的每一位 置處存在或不存在邊緣，且將每一檢測到的邊緣識別為硬邊緣或軟邊緣；以及 基於所述第一邊緣數據及所述第二邊緣數據而產生深度數據。
2.根據權利要求1所述的方法，其中所述第一圖像數據包括對於較近對象比對於較遠 對象更清晰的焦點，且所述第二圖像數據包括對於所述較遠對象比對於所述較近對象更清 晰的焦點。
3.根據權利要求1所述的方法，其中所述第一圖像數據及所述第二圖像數據包括多個強度值。
4.根據權利要求3所述的方法，其中在跨越所述第一圖像數據或第二圖像數據的選定 點周圍的點範圍的逐漸強度變化指示軟邊緣條件，且在跨越所述點範圍的清晰強度變化指 示硬邊緣條件。
5.根據權利要求4所述的方法，其中所述深度數據識別所述第二圖像數據中存在所述 第一邊緣數據中曾不存在的硬邊緣條件的至少一個位置，且所述深度數據將所述第二焦點 位置與所述第二圖像數據中的所述位置相關聯。
6.根據權利要求5所述的方法，其中所述深度數據包括深度圖。
7.根據權利要求1所述的方法，其中所述第一焦點位置包括微距焦點距離。
8.根據權利要求7所述的方法，其中所述第二焦點位置包括無窮遠焦點距離。
9.根據權利要求8所述的方法，其進一步包含在所述微距焦點距離與所述無窮遠焦點 距離之間的中間焦點距離處所捕捉的至少一個額外圖像數據集合。
10.一種成像系統，其包含輸入，其用以接收控制信號以捕捉圖像數據；圖像捕捉裝置，其用以響應於所述控制信號而產生在多個焦點位置處所捕捉的多個圖 像數據集合；以及輸出，其用以提供輸出圖像且基於焦點位置提供所述輸出圖像中的至少一個點的深 度數據，其中在所述焦點位置中所述至少一個點被確定為在所述輸出圖像中具有可檢測邊緣。
11.根據權利要求10所述的系統，其進一步包含邊緣檢測器，所述邊緣檢測器經配置 以基於強度值變化而確定所述輸出圖像中的選定點是否指示所述可檢測邊緣的存在。
12.根據權利要求11所述的系統，其中所述可檢測邊緣包括硬邊緣及軟邊緣中的一者ο
13.根據權利要求11所述的系統，其中所述控制信號經配置以使所述圖像捕捉裝置在 包括微距焦點位置及無窮遠焦點位置的多個焦點位置處產生圖像數據集合。
14.根據權利要求10所述的系統，其中所述圖像捕捉裝置包括電荷耦合裝置(CCD)圖 像捕捉裝置。
15.一種系統，其包含圖像數據輸入，其用以接收第一圖像數據及第二圖像數據，其中所述第一圖像數據及 所述第二圖像數據對應於單個圖像捕捉裝置的不同焦點位置；以及深度模塊，其用以對所述第一圖像數據及所述第二圖像數據執行邊緣檢測，且基於所 述第一圖像數據中的邊緣的第一清晰度與所述第二圖像數據中所述邊緣的第二清晰度之 間的差而產生深度數據。
16.根據權利要求15所述的系統，其中所述第一圖像數據及所述第二圖像數據包括靜 態圖像輸入數據。
17.根據權利要求16所述的系統，其中所述第一圖像數據及所述第二圖像數據是從攝 像機接收的。
18.根據權利要求15所述的系統，其進一步包含用以將控制信號提供到圖像捕捉裝置 的圖像控制輸出，其中所述控制信號使所述圖像捕捉裝置使用第一焦點位置來捕捉所述第 一圖像數據且使用第二焦點條件來捕捉所述第二圖像數據。
19.根據權利要求18所述的系統，其中所述第二焦點條件基於選定對象處在焦點上的 位置而選擇第二焦點位置。
20.—種系統，其包含輸入，其適於從圖像捕捉裝置接收視頻圖像數據，所述視頻圖像數據包括與第一焦點 位置相關聯的第一圖像數據及與第二焦點位置相關聯的第二圖像數據；處理器，其經配置以通過將邊緣檢測濾波器的單次通過應用於所述第一圖像數據及所 述第二圖像數據來確定所述視頻圖像數據的背景部分，且產生深度數據以識別所述第一圖 像數據的前景部分及背景部分；以及輸出，其適於提供視頻數據，所述視頻數據包括對於所述前景部分比對於所述背景部 分更高解析度的數據。
21.根據權利要求20所述的系統，其進一步包含產生控制信號以使所述圖像捕捉裝置 使用至少三個不同焦點距離來執行圖像捕捉操作。
22.根據權利要求20所述的系統，其中所述深度數據經產生且所述輸出耦合到無線發 射器以在所述圖像捕捉裝置的視頻圖像捕捉時間間隔內提供所述視頻圖像數據，以提供具 有增強的前景解析度的實時無線視頻電話。
23.根據權利要求20所述的系統，其中所述深度數據是使用硬邊緣及軟邊緣而確定的。
24.根據權利要求20所述的系統，其中所述輸出提供所述視頻圖像數據的飛越視圖， 所述飛越視圖在近景中顯示所述前景部分且在所述背景部分的遠景中移除所述前景部分。
全文摘要
本發明揭示使用邊緣檢測來產生深度數據的系統及方法。在特定實施例中，接收由圖像捕捉裝置在第一距離處的第一焦點位置處所記錄的對應於一場景的第一圖像數據。接收對應於在大於所述第一距離的第二距離處的第二焦點位置的第二圖像數據。邊緣檢測產生對應於所述第一圖像數據的至少第一部分的第一邊緣數據，且產生對應於所述第二圖像數據的至少第二部分的第二邊緣數據。所述邊緣檢測檢測在所述第一部分及所述第二部分的每一位置處存在或不存在邊緣，以將每一檢測到的邊緣識別為硬邊緣或軟邊緣。基於針對所述第一焦點位置及第二焦點位置所產生的所述邊緣數據而產生深度數據。
文檔編號G06T7/00GK102113017SQ200980130597
公開日2011年6月29日 申請日期2009年8月4日 優先權日2008年8月5日
發明者巴巴克·福魯坦保爾 申請人:高通股份有限公司