用於穩定數字圖像的方法、電路和系統的製作方法
2023-09-18 00:44:10
用於穩定數字圖像的方法、電路和系統的製作方法
【專利摘要】一種穩定三維（3D）數字視頻圖像序列的方法包括：使用第一透視（例如，左）組中的每個圖像幀以及第二透視（例如，右）組中的每個圖像幀來針對圖像的每個立體對產生深度圖，並在每幅深度圖中確定背景區域；使用確定的背景區域來在第一透視組和第二透視組之中的一組中的每個圖像幀中限定第二背景區域，並僅使用限定的第二背景區域的像素來計算所述一組中的連續的圖像幀之間的第一全局運動矢量。
【專利說明】用於穩定數字圖像的方法、電路和系統
[0001]本申請要求於2012年5月15日提交的第10-2012-0051698號韓國專利申請的優先權，所述申請通過引用其全部合併於此。
【技術領域】
[0002]本發明構思的實施例涉及一種三維(3D)技術，更具體地講，涉及一種用於穩定在3D顯示技術中使用的數字圖像的方法、電路和系統。
【背景技術】
[0003]3D顯示技術涉及使用3D顯示裝置向觀看者提供3D圖像。例如，3D顯示技術可以是立體顯示(Stereoscopics)。立體顯示是一種通過將兩幅偏移圖像(立體圖像)分別呈現給觀看者的左眼和右眼來創建或增強圖像中的深度錯覺的技術。可通過如一個相機或一對相機的裝置來(同時地)捕捉並記錄兩幅立體圖像。可通過如立體視頻相機或一對視頻相機的裝置來按順序記錄多個立體圖像。兩個相機中的每個相機處於相對於另一個相機且相對於場景不同的物理位置，因此，每個相機具有稍微不同的觀察點(perspective)。當通過手持裝置來記錄兩幅偏移圖像時，手的晃動(shaking)或顫抖(trembling)可能造成記錄的視頻中的巾貞間抖動(frame-to-frame jitter)。因此，需要3D視頻的數字圖像穩定(DIS)以去除所述抖動(jitter)。
【發明內容】
[0004]根據本發明構思的一方面，提供了一種穩定數字圖像的方法。所述方法包括:接收第一透視組中的圖像幀和第二透視組中的圖像幀，並使用第一透視組中的一個圖像幀和第二透視組中的時間上相應的圖像幀來產生多幅深度圖中的每一幅；在每幅深度圖中確定背景區域，使用確定的背景區域來在第一透視組和第二透視組之中的選擇的一組中的每個圖像幀中限定背景區域，並且(例如，使用限定的背景區域中的每一個作為遮蔽)計算所述一組中的圖像幀的限定的背景區域中的像素之間的第一全局運動矢量。所述方法還可包括:根據圖像解析度來選擇所述一組。
[0005]在每幅深度圖中確定背景區域的步驟可包括:將深度圖中的每個像素的深度值與深度閾值進行比較，並根據比較的結果來在每幅深度圖中確定將在背景區域內的每個像素。
[0006]計算第一全局運動矢量的步驟可包括:使用第二背景區域中的每一個來計算所述一組中的圖像幀之中的連續兩幀之間的局部運動矢量，並使用濾波器從所述局部運動矢量計算第一全局運動矢量之一。所述濾波器可以是高斯濾波器、中值濾波器或均值濾波器。
[0007]計算局部運動矢量的步驟可基於塊匹配來計算所述局部運動矢量。計算局部運動矢量的步驟可包括:基於特徵點對應來計算局部運動矢量。
[0008]所述方法還可包括:將第一全局運動矢量輸出到編碼器。
[0009]所述方法還可包括:使用第一全局運動矢量對第一透視組中的圖像幀的運動以及第二透視組中的圖像幀的運動進行補償。
[0010]所述方法還可包括:使用確定的背景區域中的每一個來在第一透視組和第二透視組之中的其他組中的每個圖像幀中限定背景區域，並且(例如，使用限定的背景區域中的每一個作為遮蔽)計算所述其他組中的圖像幀的限定的背景區域中的像素之間的第二全局運
動矢量。
[0011]所述方法還可包括:根據第一全局運動矢量中的每一個的大小(例如，根據大小改變)和第二全局運動矢量中的每一個的大小(例如，根據大小改變)來選擇第一全局運動矢
量或第二全局運動矢量。
[0012]選擇第一全局運動矢量或第二全局運動矢量的步驟可包括:計算第一全局運動矢量之中的兩個連續矢量的大小之間的差以及第二全局運動矢量之中的兩個連續矢量的大小之間的差，將所述差與大小閾值進行比較，並根據比較的結果選擇第一全局運動矢量或第二全局運動矢量。
[0013]所述方法還可包括:使用選擇的全局運動矢量對第一透視組中的圖像幀的運動和第二透視組中的圖像幀的運動進行補償。
[0014]根據本發明構思的一方面，提供了一種數字圖像穩定裝置，包括:深度圖產生器，被配置為使用第一透視組中的一個圖像幀和第二透視組中的一個圖像幀來產生每幅深度圖，並在每幅深度圖中確定背景區域；選擇器，被配置為根據圖像解析度來在第一透視組和第二透視組之間選擇一組；背景設置單元，被配置為使用確定的背景區域來在選擇的組中的每個圖像幀中限定背景區域；運動估計器，被配置為(例如，使用限定的背景區域中的每一個作為遮蔽)計算選擇的組中的圖像幀的限定的背景區域內的像素之間的全局運動矢量。
[0015]所述數字圖像穩定裝置還可包括:第一運動補償器，被配置為使用全局運動矢量來對第一透視組中的圖像幀的抖動運動進行補償；第二運動補償器，被配置為使用全局運動矢量來對第二透視組中的圖像幀的抖動運動進行補償。
[0016]所述運動估計器可包括:局部運動估計單元，被配置為(例如，使用選擇的組中的圖像幀之中的連續兩幀中的至少一幀中的限定的背景區域作為遮蔽)計算所述連續兩幀的限定的背景區域中的像素之間的局部運動矢量；全局運動估計單元，被配置為使用濾波器從局部運動矢量計算全局運動矢量之一。
[0017]所述數字圖像穩定裝置可以是圖像信號處理器。
[0018]根據本發明構思的一方面，提供了一種數字圖像穩定系統，包括:圖像傳感器；數字圖像穩定裝置，被配置為從圖像傳感器接收第一透視圖像幀和第二透視圖像幀。所述系統還可包括在此描述的抖動運動補償器電路。
[0019]所述數字圖像穩定系統還可包括:三維(3D)格式器，被配置為將從運動補償器輸出的圖像幀轉換為3D格式，並輸出3D顯示幀；編碼器，被配置為使用從運動估計器輸出的全局運動矢量來壓縮3D顯示幀。所述數字圖像穩定系統可以是3D顯示裝置。
[0020]根據本發明構思的一方面，提供了一種數字圖像穩定裝置，包括:深度圖產生器，被配置為產生深度圖，並被配置為在每幅深度圖中確定背景區域，其中，使用第一透視圖像幀中的每一幀以及第二透視圖像幀中的相應的每一幀來產生每幅深度圖；背景設置塊，被配置為(例如，使用相應深度圖的確定的背景區域)在第一透視圖像幀中的每一幀中限定背景區域，並(例如，使用相應深度圖的確定的背景區域)在第二透視圖像幀中的每一幀中限定背景區域；運動估計塊，被配置為計算第一透視圖像幀的限定的背景區域內的像素之間的第一全局運動矢量，並計算第二透視圖像幀的限定的背景區域內的像素之間的第二全局運動矢量。
[0021]所述數字圖像穩定裝置還可包括:比較器，被配置為根據第一全局運動矢量中的每一個的大小(例如，大小改變)和第二全局運動矢量中的每一個的大小(例如，大小改變)來選擇第一全局運動矢量或第二全局運動矢量；運動補償器，被配置為使用選擇的全局運動矢量分別對第一透視圖像幀的運動和第二透視圖像幀的運動進行補償。
[0022]所述數字圖像穩定裝置可以是圖像信號處理器。
[0023]根據本發明構思的一方面，提供了一種數字圖像穩定系統，包括:第一圖像傳感器、第二圖像傳感器和數字圖像穩定裝置，其中，所述數字圖像穩定裝置被配置為分別從第一圖像傳感器和第二圖像傳感器接收第一透視圖像幀和第二透視圖像幀。
[0024]所述數字圖像穩定系統可包括3D顯示裝置。
【專利附圖】
【附圖說明】
[0025]從以下結合附圖的詳細描述中，說明性的、非限制性的示例性實施例將被更清楚地理解，其中:
[0026]圖1是根據本發明構思的實施例的數字圖像穩定(DIS)系統的框圖；
[0027]圖2是從圖1的DIS系統中的圖像傳感器的立體對輸出的多個(立體)視頻幀的示圖；
[0028]圖3是示出由圖1的DIS系統中的深度圖產生器從多個(立體)視頻幀產生的多幅深度圖的示圖；
[0029]圖4是用於解釋圖1的DIS系統中的背景設置單元的操作的深度圖和相應圖像幀的示圖；
[0030]圖5是示出由圖1的DIS系統中的局部運動估計單元估計的多個局部運動矢量的估計的示圖；
[0031]圖6是示出在圖1的DIS系統中由局部運動估計單元使用檢測的特徵點估計的多個局部運動矢量的估計的示圖；
[0032]圖7是由圖1的DIS系統中的第一運動補償器正補償的圖像幀的全局(抖動)運動的示圖；
[0033]圖8是由圖1的DIS系統中的3D格式器產生的三維(3D)圖像格式的示圖；
[0034]圖9是圖1的數字圖像穩定(DIS)裝置的操作的流程圖；
[0035]圖10是根據本發明構思的實施例的數字圖像穩定(DIS)系統的框圖；
[0036]圖1lA和圖1lB是由圖10的DIS系統中的全局運動估計單元對產生的多個全局運動矢量的分布曲線；
[0037]圖12是圖10的DIS系統的操作的流程圖；
[0038]圖13是根據本發明構思的實施例的數字圖像穩定(DIS)系統的框圖。
【具體實施方式】[0039]圖1是根據本發明構思的實施例的數字圖像穩定(DIS)系統10的框圖。圖2是從圖1的DIS系統中的多個圖像傳感器11和13 (例如，圖像傳感器11和13的立體對)輸出的多個立體視頻幀的序列的示圖。參照圖1和圖2，DIS系統10可以是可向觀看者呈現三維(3D)圖像的3D顯示裝置。數字圖像穩定系統10可包括數字相機、平板個人計算機(PC)或智慧型電話，或者可被合併在數字相機、平板個人計算機(PC)或智慧型電話中。
[0040]DIS系統10包括多個圖像傳感器11和13、DIS電路20、3D格式器41和編碼器43。
[0041]可由如圖像傳感器11和13的成像裝置分別產生多個立體視頻圖像幀IFl和IF2的序列。可由第一圖像傳感器11順序產生多個第一圖像幀IF1(例如，IFl-l、IFl-2、IFl-3、IF1-4等)，並且可由第二圖像傳感器13順序產生多個第二圖像幀IF2(例如，IF2_1、IF2_2、IF2-3、IF2-4等)。立體圖像幀IFl和IF2的序列被捕捉並被處理，以將3D圖像的視頻序列提供給觀看者。
[0042]圖像幀IFl和IF2可以是適合於在立體顯示(stereoscopics)中使用的左圖像的序列和相應的(例如，同時捕捉的)右圖像的序列。IFl和IF2中的圖像幀中的每一幀是數字圖像。IFl和IF2中的圖像幀中的每一幀可被稱為圖像或被稱為視頻幀。在當前實施例中存在兩個圖像傳感器11和13，但圖像傳感器的數量可隨著各種實施例而變化。
[0043]抖動可能由手的晃動或顫抖造成並且在圖像幀IFl和IF2中可能是可觀察到的。因此，DIS電路20被用於消除所述抖動。
[0044]DIS電路20包括深度圖產生器21、選擇器23、背景設置單元25、運動估計器27以及多個運動補償器37和39。
[0045]深度圖產生器21接收第一圖像幀IFl中的一幀和第二圖像幀IF2中的一幀，並使用第一圖像幀IFl和第二圖像幀IF2之中的圖像幀的每個立體對(stereo pair)來產生深度圖。深度圖中的每一幅是包括指示圖像中的對象與圖像傳感器11和13之間的距離的像素數據的圖像。
[0046]圖3是示出由圖1的DIS系統中的深度圖產生器21從多個(立體)視頻幀(IFl和IF2)產生的多幅深度圖的示圖。參照圖1至圖3，深度圖產生器21比較第一圖像幀IFl和第二圖像幀IF2之中的立體對，並順序產生多幅深度圖DM。深度圖DM中的每一幅可被表現為深度值的陣列(例如，多個比特)或灰度值的幀。隨著對象(例如，書架)變得越遠離圖像傳感器11和13，它在深度圖DM中的深度值變得越暗。
[0047]深度圖產生器21可將深度圖DM的每個像素的深度值與深度閾值進行比較並在每幅深度圖DM中檢測每個第一背景區域(或暗灰區域)。例如，當像素的深度閾值大於深度圖DM的深度值時，深度圖產生器21將該像素定義在深度圖DM中的第一背景區域BGl內。當像素的深度閾值小於深度圖DM的深度值時，深度圖產生器21將該像素定義在深度圖DM中的前景區域FG內。換句話說，深度圖產生器21可根據比較結果將深度圖DM中的像素劃分為第一背景區域BGl和前景區域FG。在圖3中，第一背景區域BGl包括書和書架，並且前景區域FG包括石膏像和檯燈。可選擇地，當像素的深度閾值小於深度圖DM的深度值時，深度圖產生器21可確定像素在深度圖DM中的第一背景區域BGl中。
[0048]參照圖1，選擇器23選擇圖像幀IFl和IF2中的一個。例如，選擇器23可隨機選擇圖像幀IFl和IF2中的一個，或者可根據用戶的設置選擇圖像幀IFl和IF2中的一個。
[0049]可選擇地，選擇器23可根據圖像解析度選擇圖像幀IFl或圖像幀IF2。例如，當第一圖像幀IFl的圖像解析度高於第二圖像幀IF2的圖像解析度時，選擇器23可選擇第一圖像幀IFl。
[0050]圖4是用於解釋圖1中示出的背景設置單元25的操作的深度圖DM和相應圖像幀IFl的示圖。參照圖1至圖4，背景設置單元25使用每幅深度圖DM中的第一背景區域BGl中的每一個，將由選擇器23選擇的圖像幀(例如，IFl)中的每一幀中的像素限定為第二背景區域BG2。由在每幅深度圖DM中設置的第一背景區域BGl中的每一個遮蔽(mask)由選擇器23選擇的圖像幀(例如，IFl)中的每一幀，以獲得第二背景區域BG2。
[0051]換句話說，背景設置單元25從由選擇器23選擇的圖像幀IFl中的每一幀提取第二背景區域BG2中的每一個。
[0052]參照圖1，運動估計器27使用第二背景區域BG2中的每一個來計算由選擇器23選擇的連續的圖像幀(例如，IFl的IF1-1&IF1-2)之間的多個全局運動矢量(GMV)。
[0053]運動估計器27包括局部運動估計單元29和第一緩衝器31。局部運動估計單元29使用第二背景區域中的每一個來計算選擇的圖像幀(例如，IFl)之中的兩幀(例如，IF1-1&IF1-2)之間的多個局部運動矢量(MV)。
[0054]圖5是示出由圖1的DIS系統中的局部運動估計單元29估計的多個示例性的局部運動矢量MV的示圖。參照圖1至圖5，可基於塊匹配來計算局部運動矢量MV。術語塊匹配是指塊匹配算法。
[0055]參照圖5，各個連續的圖像幀IFl-1和IF1-2的背景區域BG2和BG3可被劃分為多個塊。塊的尺寸可不同。圖像幀IFl-1和IF1-2是圖2中示出的第一圖像幀IFl中的兩幀。圖像幀IFl-1和IF1-2中的每一幀中的圖像在圖5中被簡單示出。各個背景區域BG2和BG3中的四邊形28-1和28-2分別表示背景BG2和BG3的部分圖像(例如，部分書本圖像或部分書架圖像)。
[0056]局部運動估計單元29找出圖像幀IFl-1中與圖像幀IF1-2中的塊(例如，BI)最匹配的塊(例如，B2)。局部運動估計單元29找出圖像幀IFl-1中與圖像幀IF1-2中的塊BI最匹配的塊B2，並將圖像幀IFl-1中的塊B2的位移確定為塊B2的局部運動矢量。
[0057]儘管在詳細描述中為了方便起見在圖5中僅示出了一個局部運動矢量MV，但是可執行與圖像幀IF1-2中的多個塊或全部塊的最佳塊匹配，以找出圖像幀IFl-1中的匹配塊。由局部運動估計單元29估計的多個局部MV可被存儲在第一緩衝器31中。可選擇地，局部運動估計單元29可在背景BG2和BG3之間估計單個局部運動矢量MV。由局部運動估計單元29計算的局部運動矢量MV (單個或多個)被視為表現背景BG2和BG3之間的全局運動矢量。
[0058]圖6是由圖1的DIS系統中的局部運動估計單元29估計的示例性局部MV的示圖。參照圖1至圖4以及圖6，多個圖像幀IF1-3和IF1-4中的圖像被簡單示出。各個背景中的四邊形28-3和28-4分別表示背景的部分圖像(例如，部分書本圖像或部分書架圖像)。
[0059]可基於點對應來計算局部運動矢量MV。所述點對應是指本領域技術人員現在已知或將開發出的任意點對應算法。點對應可被稱為特徵點對應或特徵對應算法。
[0060]局部運動估計單元29在圖像幀IF1-3和IF1-4的背景區域中的每一個中檢測至少一個特徵點。例如，局部運動估計單元29可檢測在每個背景區域中可見的對象(例如，書本)的拐角。所述至少一個特徵點被用於點描述。換句話說，局部運動估計單元29可將所述至少一個點描述為顏色。所述顏色可被表現為多個比特。
[0061]局部運動估計單元29在圖像幀IF1-3中找出與圖像幀IF1-4中的至少一個點最對應的至少一個點。局部運動估計單元29在圖像幀IF1-4中找出與圖像幀IF1-3中的點最對應的點，並將圖像幀IF1-3的矢量估計為局部運動矢量MV。
[0062]在詳細描述中為了方便起見，在圖6中僅示出一個局部運動矢量MV。運動估計器27還可包括全局運動估計單元33和第二緩衝器35。
[0063]全局運動估計單元33使用濾波器從多個局部運動矢量MV計算全局運動矢量GMV之一。所述濾波器可以是高斯濾波器、中值濾波器或均值濾波器。換句話說，全局運動估計單元33計算選擇的圖像幀(例如，IFl之中的IF1-1&IF1-2)之間的全局運動矢量GMV。全局運動矢量GMV可被存儲在第二緩衝器35中。
[0064]圖7是已經被圖1中示出的第一運動補償器37補償了全局運動(抖動)的圖像幀序列(IF1-1&IF1-2)的示圖。參照圖1和圖7，圖像幀IFl-1和IF1-2是圖2中示出的多個圖像幀IFl之中的連續兩幀。
[0065]第一運動補償器37使用GMV對第一圖像幀IFl的抖動運動進行補償。例如，第一運動補償器37使用GMV中的一個來對第一圖像幀IFl-1的運動進行補償。第一運動補償器37可通過移動第一圖像幀IFl-1來對第一圖像幀IFl-1的運動進行補償。類似地，第二運動補償器39使用同一全局運動矢量GMV來對第二圖像幀IF2的抖動運動進行。
[0066]圖8是由圖1中示出的3D格式器41產生的3D圖像格式的示圖。參照圖1和圖8，3D格式器41將從運動補償器37和39輸出的圖像幀轉換為各種3D格式之一。例如，由第一運動補償器37補償的第一圖像幀IFl中的每一幀可被置於頂部，由第二運動補償器39補償的相應第二幀IF2中的每一幀可被置於底部。
[0067]參照圖1，編碼器43使用從運動估計器27輸出的全局運動矢量GMV來壓縮從3D格式器41輸出的多個3D顯不中貞。
[0068]圖9是圖1中示出的DIS電路20的操作的流程圖。參照圖1至圖9，在步驟S10，DIS電路20分別從立體圖像傳感器11和13接收第一透視組的圖像幀IFl和第二透視組的圖像幀IF2。在步驟S20，選擇器23選擇第一透視組或第二透視組。
[0069]在步驟S30，深度圖產生器21使用第一透視組中的第一透視圖像幀IFl中的每一個和第二透視組中的第二透視圖像幀IF2之中的相應幀來產生每幅深度圖DM。深度圖產生器21在每幅深度圖DM中限定第一背景區域BGl。在步驟S40，背景設置單元25使用第一背景區域BGl在選擇的組中的每個圖像幀中限定第二背景區域BG2。
[0070]在步驟S50，運動估計器27使用第二背景區域BG2計算選擇的組中的圖像幀之間的第一全局運動矢量。在步驟S60，運動補償器37和39使用第一全局運動矢量GMV來分別對第一透視組中的圖像幀IFl的運動(抖動)以及第二透視組中的圖像幀IF2的相同運動(抖動)進行補償。
[0071]圖10是根據本發明構思的實施例的DIS系統100的框圖。參照圖10，DIS系統100包括多個圖像傳感器110和130 (例如，一對圖像傳感器110和130)、DIS電路200、3D格式器410和編碼器430。
[0072]圖像傳感器110和130、3D格式器410和編碼器430的名稱和功能分別與圖1中示出的圖像傳感器11和13、3D格式器41和編碼器43的名稱和功能相同。因此，將省略其多餘描述。
[0073]DIS電路200包括深度圖產生器210、背景設置塊251、運動估計塊271、比較器365和多個運動補償器370和390。
[0074]深度圖產生器210將多個第一圖像幀IF1』之中的每一幀分別與多個第二圖像幀IF2』之中的相應一幀進行比較，以產生多幅深度圖並在每幅深度圖中限定第一背景區域BG1。圖像幀IF1』和IF2』以及深度圖與圖2中示出的圖像幀IFl和IF2以及圖3中示出的深度圖DM相似。
[0075]深度圖產生器210的操作與圖1中示出的深度圖產生器21的操作相似。因此，將省略其多餘描述。
[0076]背景設置塊251包括第一背景設置單元250和第二背景設置單元255。
[0077]第一背景設置單元250使用在每幅深度圖中設置的每個第一背景區域在每個第一圖像幀IF1』中設置每個第二背景區域。第二背景設置單元255使用在每幅深度圖中設置的每個第一背景區域在每個第二圖像幀IF2』中設置每個第三背景區域。換句話說，基於深度圖將第二背景區域中的每一個遮蔽在第一圖像幀IF1』中的每一幀上，並且基於深度圖將第三背景區域中的每一個遮蔽在第二圖像幀IF2』中的每一幀上。
[0078]運動估計塊271包括第一運動估計器270和第二運動估計器275。第一運動估計器270使用第二背景區域來計算第一圖像幀IF1』之間的多個第一全局運動矢量GMV。第一運動估計器270包括第一局部運動估計單元290和第一緩衝器310。
[0079]第一局部運動估計單元290使用第一圖像幀IF1』之中的連續兩幀的第二背景區域來計算所述連續兩幀之間的多個第一局部運動矢量MV1。第一局部運動矢量MVl可被存儲在第一緩衝器310中。可選擇地，第一局部運動估計單元290可估計單個局部運動矢量。此時，所述單個局部運動矢量被視為全局運動矢量。第一運動估計器270還可包括第一全局運動估計單元330和第二緩衝器350。
[0080]對於第一圖像幀IF1』之中的每對連續幀，第一全局運動估計單元330使用濾波器來從多個第一局部運動矢量MVl計算一個第一全局運動矢量GMVl。第一局部運動估計單元290和第一全局運動估計單元330的操作與圖1中示出的局部運動估計單元29和全局運動估計單元33的操作相似。因此，將省略其多餘描述。第一全局運動矢量GMVl可被存儲在第二緩衝器350中。
[0081]對於第二圖像幀IF2』之中的每對連續幀，第二運動估計器275使用第三背景區域來計算連續的第二圖像幀IF2』之間的一個第二全局運動矢量。第二運動估計器275包括第二局部運動估計單元295和第三緩衝器315。第二局部運動估計單元295使用第二圖像幀IF2』之中的連續兩幀的第三背景區域中的每一個來計算所述連續兩幀之間的多個第二局部運動矢量MV2。第二局部運動矢量MV2可被存儲在第三緩衝器315中。
[0082]可選擇地，第二局部運動估計單元295可估計單個局部運動矢量。此時，所述單個局部運動矢量被視為全局運動矢量。第二運動估計器275還可包括第二全局運動估計單元335和第四緩衝器355。
[0083]對於第二圖像幀IF2』之中的每對連續幀，第二全局運動估計單元335使用濾波器從多個第二局部運動矢量MV2估計一個第二全局運動矢量GMV2。第二全局運動矢量GMV2可被存儲在第四緩衝器355中。[0084]圖1lA和圖1lB是在抖動的情況下由圖10中示出的多個全局運動估計單元350和355產生的多個GMV的分布曲線。圖1lA是第一全局運動矢量GMVl的大小的分布曲線，圖1lB是第二全局運動矢量GMV2的大小的分布曲線。
[0085]參照圖10至圖11B，比較器365根據第一全局運動矢量GMVl的大小和第二全局運動矢量GMV2的大小來選擇第一全局運動矢量GMVl或第二全局運動矢量GMV2。
[0086]例如，比較器365可計算兩個連續的第一全局運動矢量GMVl的大小之間的差以及兩個連續的第二全局運動矢量GMV2的大小之間的差，並將所述差與大小閾值進行比較。比較器365根據比較結果來選擇第一全局運動矢量GMVl或第二全局運動矢量GMV2。例如，如果第二全局運動矢量GMV2之中的第六和第七全局運動矢量的大小之間的差Dl大於大小閾值Thl，則比較器365選擇第一全局運動矢量GMVl。
[0087]參照圖10，第一運動補償器370使用選擇的全局運動矢量來對第一圖像幀IF1』的運動進行補償。
[0088]第二運動補償器390使用選擇的全局運動矢量來對第二圖像幀IF2』的運動進行補償。運動補償器370和390的操作與運動補償器37和39的操作相似。因此，其詳細描述將被省略。
[0089]圖12是圖10中示出的DIS電路200的操作的流程圖。參照圖10至圖12，在步驟SI 10，DIS電路200從圖像傳感器110接收第一透視組的圖像幀IF1』並從圖像傳感器130接收第二透視組的圖像幀IF2』。
[0090]在步驟S120，深度圖產生器210使用第一透視組中的圖像幀IF1』中的每一幀和第二透視組中的圖像幀IF2』中的每一幀來產生每幅深度圖。深度圖產生器210在深度圖中設置第一背景區域中的每一個。在步驟S130，背景設置塊251使用第一背景區域中的每一個來在每個圖像幀IF1』中設置每個第二背景區域並在每個圖像幀IF2』中設置每個第三背景區域。
[0091]在步驟S140，運動估計塊271使用圖像幀IF1』中的第二背景區域中的每一個來計算多個圖像幀IF1』之間的多個第一全局運動矢量GMV1，並使用圖像幀IF2』中的第三背景區域中的每一個來計算多個圖像幀IF2』之間的多個第二全局運動矢量GMV2。比較器365計算第一全局運動矢量GMVl中的兩個的大小之間的差以及第二全局運動矢量GMV2中的兩個的大小之間的差，並將所述差與大小閾值進行比較。在步驟S150，比較器365根據比較結果選擇第一全局運動矢量GMVl或第二全局運動矢量GMV2。在步驟S160，第一運動補償器370使用已被選擇的全局運動矢量來對圖像幀IF1』的運動進行補償，並且第二運動補償器390使用已被選擇的全局運動矢量來對圖像幀IF2』的運動進行補償。
[0092]圖13是根據本發明構思的進一步的實施例的DIS系統1300的框圖。參照圖13，DIS系統1300是3D顯示裝置。DIS系統1300包括多個圖像傳感器1310和1320、DIS電路1330、編碼器1340、存儲器1350、解碼器1360和3D顯示器1370。
[0093]圖像傳感器1310和1320、DIS電路1330和編碼器1340的操作與圖1或圖10中示出的圖像傳感器11和13或圖像傳感器110和130、DIS電路20或DIS電路200、以及編碼器43或編碼器430的操作相似。因此，將省略其詳細描述。存儲器1350可存儲從編碼器1340輸出的多個3D顯示幀。存儲器1350可被配置為非永久性存儲器(諸如快閃記憶體)。
[0094]解碼器1360對已被編碼的3D顯示幀進行解碼，以在3D顯示器1370上顯示3D顯示圖像。3D顯示器1370顯示解碼的3D顯示幀，從而向觀看者提供3D圖像。
[0095]如上所述，根據本發明構思的一些實施例，基於深度信息的背景區域被使用，使得容易且精確地從3D顯示技術中使用的圖像消除抖動。
[0096]儘管已參照本發明構思的示例性實施例具體顯示並描述了本發明構思，但本領域普通技術人員將理解，在不脫離由權利要求限定的本發明構思的精神和範圍的情況下，可在此做出形式和細節上的各種改變。
【權利要求】
1.一種穩定數字圖像的方法，所述方法包括: 使用第一透視組中的每個圖像幀和第二透視組中的每個圖像幀來產生每幅深度圖，並在每幅深度圖中確定背景區域； 使用相應確定的背景區域來在第一透視組和第二透視組之中的一組中的每個圖像幀中限定第二背景區域； 使用每個第二背景區域來計算所述一組中的圖像幀之間的第一全局運動矢量。
2.如權利要求1所述的方法，還包括:根據圖像解析度來選擇所述一組。
3.如權利要求1所述的方法，其中，在每幅深度圖中確定背景區域的步驟包括: 將深度圖的每個像素的深度值與深度閾值進行比較； 根據比較的結果來在每幅深度圖中確定背景區域的像素。
4.如權利要求1所述的方法，其中，計算第一全局運動矢量的步驟包括: 在所述一組中的圖像幀之中的連續兩幀之間計算第二背景區域內的像素的局部運動矢量; 使用濾波器從所述連續兩幀的局部運動矢量計算所述連續兩幀的一個第一全局運動矢量。
5.如權利要求4所述的方法，其中，所述濾波器是高斯濾波器、中值濾波器或均值濾波器。
6.如權利要求4所述的方法，其中，計算所述連續兩幀的局部運動矢量的步驟包括:基於塊匹配來計算所述局部運動矢量。
7.如權利要求4所述的方法，其中，計算局部運動矢量的步驟包括:基於特徵點對應來計算局部運動矢量。
8.如權利要求1所述的方法，還包括:將第一全局運動矢量輸出到編碼器。
9.如權利要求1所述的方法，還包括:使用第一全局運動矢量對第一透視組中的圖像幀的運動以及第二透視組中的圖像幀的運動進行補償。
10.如權利要求1所述的方法，還包括: 使用相應確定的背景區域來在第一透視組和第二透視組之中的其他組中的每個圖像幀中限定第三背景區域； 計算所述其他組中的連續兩幀之間的第三背景區域內的像素的第二全局運動矢量。
11.如權利要求10所述的方法，還包括:根據第一全局運動矢量的大小改變和第二全局運動矢量的大小改變來選擇第一全局運動矢量或第二全局運動矢量。
12.如權利要求11所述的方法，其中，選擇第一全局運動矢量或第二全局運動矢量的步驟包括: 計算第一全局運動矢量之中的兩個全局運動矢量的大小之間的差以及第二全局運動矢量之中的兩個全局運動矢量的大小之間的差； 將計算的差與大小閾值進行比較； 根據比較結果選擇第一全局運動矢量或第二全局運動矢量。
13.如權利要求11所述的方法，還包括:使用選擇的全局運動矢量對第一透視組中的圖像幀的運動和第二透視組中的圖像幀的運動進行補償。
14.一種數字圖像穩定電路，包括:深度圖產生器，被配置為使用第一透視組中的每個圖像幀和第二透視組中的每個圖像幀來產生深度圖，並在每幅深度圖中確定背景區域； 選擇器，被配置為根據圖像解析度來在第一透視組和第二透視組之間選擇一組；背景設置單元，被配置為使用確定的背景區域中的每一個來在選擇的組中的每個圖像幀中限定第二背景區域中的每一個； 運動估計器，被配置為使用第二背景區域中的每一個來計算選擇的組中的圖像幀之間的全局運動矢量。
15.如權利要求14所述的數字圖像穩定電路，還包括: 第一運動補償器，被配置為使用全局運動矢量來對第一透視組中的圖像幀的運動進行補償； 第二運動補償器，被配置為使用全局運動矢量來對第二透視組中的圖像幀的運動進行補償。
16.如權利要求14所述的數字圖像穩定電路，其中，運動估計器包括: 局部運動估計單元，被配置為在選擇的組中的圖像幀之中的連續兩幀之間計算第二背景區域內的像素的局部運動矢量； 全局運動估計單元，被配置為使用濾波器從局部運動矢量計算一個全局運動矢量。
17.如權利要求14所述的數字圖像穩定電路，其中，所述數字圖像穩定電路是圖像信號處理器。
18.一種數字圖像穩定系統，包括: 圖像傳感器； 數字圖像穩定電路，被配置為從圖像傳感器接收第一透視組的圖像幀和第二透視組的圖像幀， 其中，所述數字圖像穩定電路包括: 深度圖產生器，被配置為使用第一透視組中的圖像幀之一以及第二透視組中的相應的一個圖像幀來產生每幅深度圖，並在每幅深度圖中確定背景區域； 選擇器，被配置為根據圖像解析度來在第一透視組和第二透視組之間選擇一組；背景設置單元，被配置為使用確定的背景區域中的每一個來在選擇的組中的每個圖像幀中限定第二背景區域； 運動估計器，被配置為基於第二背景區域中的像素來計算選擇的組中的連續圖像幀之間的全局運動矢量。
19.如權利要求18所述的數字圖像穩定系統，還包括:運動補償器，被配置為使用全局運動矢量分別對第一透視組中的圖像幀的抖動運動以及第二透視組中的圖像幀的抖動運動進行補償。
20.如權利要求19所述的數字圖像穩定系統，還包括: 三維(3D)格式器，被配置為將從運動補償器輸出的圖像幀轉換為3D格式，並輸出3D顯示中貞; 編碼器，被配置為使用從運動估計器輸出的全局運動矢量來壓縮3D顯示幀。
21.如權利要求18所述的數字圖像穩定系統，其中，所述數字圖像穩定系統是3D顯示>j-U ρ?α裝直。
22.—種數字圖像穩定電路，包括: 深度圖產生器，被配置為產生深度圖，並被配置為在每幅深度圖中確定背景區域，其中，使用第一透視圖像幀中的一幀以及第二透視圖像幀中的相應一幀來產生每幅深度圖； 背景設置塊，被配置為使用確定的背景區域中的每一個來在第一透視圖像幀中的每一幀中限定背景區域，並使用確定的背景區域中的每一個來在第二透視圖像幀中的每一幀中限定背景區域； 運動估計塊，被配置為使用第一透視圖像幀的限定的背景區域內的像素來計算第一透視圖像幀之間的第一全局運動矢量，並使用第二透視圖像幀的限定的背景區域內的像素來計算第二透視圖像幀之間的第二全局運動矢量。
23.如權利要求22所述的數字圖像穩定電路，還包括: 比較器，被配置為根據第一全局運動矢量之間的大小改變和第二全局運動矢量之間的大小改變來選擇第一全局運動矢量或第二全局運動矢量； 運動補償器，被配置為使用選擇的全局運動矢量分別對第一透視圖像幀的運動和第二透視圖像幀的運動進行補償。
24.如權利要求23所述的數字圖像穩定電路，其中，所述數字圖像穩定電路是圖像信號處理器。
25.一種數字圖像穩定系統，包括: 第一圖像傳感器； 第二圖像傳感器； 數字圖像穩定電路，被 配置為分別從第一圖像傳感器和第二圖像傳感器接收第一透視圖像幀和第二透視圖像幀， 其中，數字圖像穩定電路包括: 深度圖產生器，被配置為產生深度圖，並被配置為在每幅深度圖中確定背景區域，其中，使用第一透視圖像幀中的一幀和第二透視圖像幀中的相應一幀來產生每幅深度圖； 背景設置塊，被配置為使用每個第一透視圖像幀的相應確定的背景區域來在每個第一透視圖像幀中限定背景區域，並使用每個第二透視圖像幀的相應確定的背景區域來在每個第二透視圖像幀中限定背景區域； 運動估計塊，被配置為計算第一透視圖像幀的限定的背景區域中的像素之間的第一全局運動矢量，並計算第二透視圖像幀的限定的背景區域中的像素之間的第二全局運動矢量。
【文檔編號】H04N13/00GK103428516SQ201310179609
【公開日】2013年12月4日 申請日期:2013年5月15日 優先權日:2012年5月15日
【發明者】金東壎 申請人:三星電子株式會社