新四季網

圖像處理裝置、圖像處理方法和程序的製作方法

2023-07-28 01:47:16 1

專利名稱:圖像處理裝置、圖像處理方法和程序的製作方法
技術領域:
本發明涉及圖像處理裝置、圖像處理方法和程序。
背景技術:
近年來,與數字視頻數據(在下文中被稱作視頻數據)的發布相關的技 術得到了極大發展。具體地,與高圖像質量視頻數據的發布和記錄相關的技 術的發展特別突出。在這些技術中,與視頻數據的編碼和解碼相關的技術受 到了關注。具有高空間解析度和時間解析度的視頻數據具有非常大的數據尺 寸,因此期望在編碼之後通過有效壓縮來發布或記錄這樣的視頻數據。為此, 期望使能夠以更高壓縮率來壓縮高圖像質量視頻數據的編碼技術和解碼高 圖像質量視頻數據以便以更高的空間解析度來再現的技術。
例如,專利文件l和2公開了用於通過將具有低空間解析度和高時間分 辨率的第一視頻數據(例如運動圖像數據等)與具有高空間解析度和低時間
解析度的第二視頻數據(例如靜止圖像數據序列等)組合而生成具有高空間 解析度和時間解析度的視頻數據的基本技術。這樣的技術從第一視頻數據中
預測幀之間的運動向量,並且使用運動向量和第二視頻數據來補償第一視頻 數據的高頻成分。這樣的技術使用從第一視頻數據檢測的運動向量和在與任 意時間點接近的時間點處的第二視頻數據的幀,來生成未包含在第二視頻數 據中的該任意時間點的幀。專利文件1和2包括與用於使用上述技術生成具 有高空間解析度和時間解析度的視頻數據的圖像數據記錄和再現設備相關 的描述。
現有技術文件日本專利申請特開No.2004-312276 [專利文件2]日本專利申請特開No.2004-31227
發明內容
然而,因為上述的圖像數據記錄和再現設備使用具有不同空間解析度的視頻數據來執行運動預測和運動補償,所以如果關閉運動預測,則噪聲將被 添加到通過運動補償獲得的視頻數據的高頻成分。
根據前述,期望提供新穎且改善的圖像處理裝置、圖像處理方法和程序, 它們能夠在通過具有低空間解析度的圖像數據序列的運動預測和使用高空 間解析度的圖像數據的運動補償來生成高空間解析度的圖像數據時,防止將 噪聲被添加到圖像數據的高頻成分。
根據本發明的實施例,提供了一種圖像處理裝置,包括獲取單元,用 於獲取包含多個連續幀的運動圖像數據以及對應於所述幀並具有比所述幀 高的空間解析度的一個或多個圖像數據;運動預測單元,用於使用所述運動 圖像數據來檢測所述幀之間的運動向量;差分量計算單元,用於計算任意幀 和對應於所述圖像數據的幀之間的差分量;以及圖像生成單元,用於基於與 所述圖像數據對應的幀和所述運動向量來生成與所述任意幀對應的運動補 償圖像數據。此外,如果所述差分量小於預定值,則所述圖像生成單元生成 具有與所述圖像數據相同的空間解析度的運動補償圖傳_數據,以及如果所述 差分量大於預定值,則生成其中任意幀被放大到與所述圖像數據相同的空間 解析度的圖像數據。
圖像處理裝置還可以包括存儲單元,用於記錄運動圖像數據以及一個或 多個圖像數據。獲取單元獲取記錄在存儲單元中的運動圖像數據和一個或多 個圖像數據。
此外,存儲單元可以記錄有作為所述運動圖像數據的、具有低空間分辨 率和高時間解析度的第 一圖像數據序列以及作為所述一個或多個圖像數據 的、具有比所述第一圖像數據序列高的空間解析度和低的時間解析度以便對 應於所述第 一 圖像數據序列中所包含的幀的第二圖像數據序列。
此外,圖像生成單元可以將包含在所述第 一 圖像數據序列中而未包含在 所述第二圖像數據序列中的幀作為所述任意幀,生成對應於所述任意幀的圖 像數據,並增強所述第二圖像數據序列的時間解析度。
此外,存儲單元可以記錄有通過對成像的圖像信號下採樣獲得的圖像數 據序列,作為所述運動圖像數據。
此外,如果所述差分量大於預定值,則所述圖像生成單元可以根據運動 補償中的差分量來改變將作為所述運動向量的參考源的任意幀和作為所述 運動向量的參考目的地的圖像數據相組合的比率。根據本發明的另一實施例,提供了一種圖像處理方法,包括如下步驟 獲取包含多個連續幀的運動圖像數據以及對應於所述幀並具有比所述幀高 的空間解析度的 一個或多個圖像數據;使用所述運動圖像數據來檢測所述幀 之間的運動向量;計算預定幀和與所述圖像數據對應的幀之間的差分量;以 及基於與所述圖像數據對應的幀和所述運動向量來生成與任意幀對應的運 動補償圖像數據。此外,在圖像生成步驟中,如果所述差分量小於預定值, 則生成具有與所述圖像數據相同的空間解析度的運動補償圖像數據,以及如 果所述差分量大於預定值,則生成其中所述任意幀4皮;故大到與所述圖像數據 相同的空間解析度的圖像數據。
根據本發明的另一實施例,提供了一種程序,用於使計算機實現以下功 能獲取包含多個連續幀的運動圖像數據以及對應於所述幀並具有比所述幀 高的空間解析度的一個或多個圖像數據;使用所述運動圖像數據來檢測所述 幀之間的運動向量;計算任意幀和與所述圖像數據對應的幀之間的差分量; 以及基於與所述圖像數據對應的幀和所述運動向量來生成與任意幀對應的 運動補償圖像數據,如果所述差分量小於預定值,則生成具有與所述圖像數 據相同的空間解析度的運動補償圖像數據,以及如果所述差分量大於預定 值,則生成其中所述任意幀被放大到與所述圖像數據相同的空間解析度的圖 像數據。
根據上述的本發明的實施例,當通過使用低空間解析度的圖像數據序列 的運動預測和使用高空間解析度的圖像數據的運動補償來生成高空間分辨 率的圖像數據時,防止噪聲被添加到相關圖像數據的高頻成分。


圖l是描述高解析度創建的畫面的生成方法的說明圖2是示出根據本發明一個實施例的圖像處理裝置的裝置配置的說明
圖3是描述根據本實施例的圖像生成塊的操作的說明圖; 圖4是示出根據本實施例的差分圖像確定電路的操作流程的說明圖; 圖5是描述根據本實施例的圖像生成塊的操作的說明圖; 圖6是示出根據本實施例的能夠實現圖像處理裝置的功能的信息處理設 備的硬體配置例子的說明圖;以及
6圖7是描述根據本實施例一個變型的生成高解析度圖像的方法的說明圖。100圖像處理裝置102成像透4竟104成1象元件106圖像生成定時控制器108顯示電路110照相機信號處理塊112A/D轉換器114數位訊號處理電路120再現塊122, 132存儲單元124運動圖像壓縮/解壓縮電路126圖像密度轉換電路130靜止圖^f象記錄和再現塊134靜止圖像壓縮/解壓縮電路140圖像生成塊142運動預測電^各144運動補償電路146差分圖像確定電路HRP高解析度畫面LRP低解析度畫面MP放大畫面CP,CP,創建畫面具體實施方式
下文中,將參考附圖詳細描述本發明的優選實施例。注意,在本說明書 和附圖中,使用相同的參考標記表示具有基本相同功能和結構的結構元件, 並省略這些結構元件的重複說明。 (高解析度圖像的生成方法)首先,在描述根據本發明實施例的圖像處理裝置和圖像處理方法之前,頻的圖像數據 序列(在下文中被稱為運動圖像數據)和與包含在運動圖像數據中的適當幀(在下文中^^皮稱為LRP (低解析度畫面))對應地離散記錄的高空間解析度 的圖像數據(在下文中被稱為靜止圖像數據或HRP (高解析度畫面))來生 成與包含在運動圖像數據中的任意幀對應的高空間解析度的圖像數據(在下 文中被稱為CP (創建畫面)或高解析度創建畫面)的思想。圖1是示出高 解析度圖像的生成方法的 一個例子的說明圖。在圖1中,圖示了高解析度畫面HRP(t)、低解析度畫面LRP(t)、LRP(t+h)、 放大畫面MP(t)、 MP(t+h)和創建畫面CP(t+h)。括號中的字符代表拍攝時間。 例如,創建畫面CP(t+h)代表與在時間t+h時拍攝的低解析度畫面LRP(t+h) 對應的創建畫面。創建畫面CP是通過使用運動向量的運動補償而創建的圖像數據,其中 該運動向量是使用低解析度畫面LRP和高解析度畫面HRP檢測的。如圖1 所示,使用通過放大低解析度畫面LRP(t)而創建的放大畫面MP(t)和通過放 大低解析度畫面LRP(t+h)而創建的放大畫面MP(t+h)來在檢測時間t和時間 t+h之間的運動向量(MV) (Sl )。然後,基於運動向量MV來提取與低分 辨率畫面LRP(t)的參考塊(BLK)對應的高解析度畫面HRP(t)的參考塊。然 後以預定比率將參考塊的像素和放大畫面MP(t+h)的像素組合來創建該創建 畫面CP(t+h) (S2)。在上述的例子中,使用完全不同的圖像來執行運動預測和運動補償。雖 然通過放大低解析度畫面LRP創建的放大畫面MP將空間解析度放大為與高 解析度畫面HRP相同,但是與高解析度畫面HRP相比缺少高頻成分。因此, 在使用放大畫面MP檢測的運動向量和高解析度畫面HRP實質上具有的運 動向量中可能出現偏差。如果運動預測的準確度低,則高解析度畫面HRP 中的參考塊的位置移動,從而噪聲被添加到通過運動補償創建的創建畫面 CP的高頻成分。當基於具有互不相同的空間解析度的多個圖像數據來執行 運動補償時,期望抑制運動補償添加噪聲的技術。如下所述,根據本發明的一個實施例的信息處理裝置具有如下功能當 基於具有互不相同的空間解析度的多個圖像數據執行運動補償時,將高分辨 率畫面HRP的參考塊和在基於運動向量的運動補償中合成的放大畫面MP 的參考塊相比較,並根據比較結果來切換與運動補償有關的處理。這種功能可以預先防止通過運動補償添加噪聲。 下面將詳細描述根據本發明的 一個實施例的圖像處理裝置100。[圖像處理裝置100的裝置配置]首先,將參考圖2描述根據本實施例的圖像處理裝置100的裝置配置。 圖2是示出根據本實施例的圖像處理裝置100的裝置配置的一個例子的說明圖。如圖2所示,圖像處理裝置100主要包括成像透鏡102、成像元件104、 照相機信號處理塊110、運動圖像記錄和再現塊120、靜止圖像記錄和再現 塊130、圖像生成塊140、圖像生成定時控制器106和顯示電路108。成像透鏡102是用於通過收集光而形成對象的圖像(在下文中被稱為收 集圖像)的光學透鏡。成像元件104是用於將由成像透鏡102收集的光轉換 為電信號的光電元件。諸如CCD圖像傳感器(電荷耦合器件圖像傳感器) 和CMOS圖像傳感器(互補金屬氧化物半導體圖像傳感器)之類的半導體 元件用於成像元件104。成像元件104具有比運動圖像數據的空間解析度的 有效像素數量多的數量的像素。當記錄或再現圖像數據時,或當檢驗圖像數 據時,顯示電路108使顯示設備(未示出)顯示圖像數據。圖像生成定時控 制器106是用於操作者在再現運動圖像數據時做出獲取靜止圖像數據的指令 的設備。(照相機信號處理塊110)如圖2所示,照相機信號處理塊110包括A/D轉換器112和數位訊號處 理電^各114。A/D轉換器112是用於將輸入模擬信號轉換為數位訊號並將其輸出的模 擬到數字轉換器。A/D轉換器112將從成像元件104輸入的收集圖像的模擬 信號轉換為數位訊號,並將該數位訊號輸入到數位訊號處理電路114。數字 信號處理電路114對從A/D轉換器112輸入的收集圖像的數位訊號(在下文 中被稱為圖像數據)執行諸如白平衡(white balance )調整和伽馬校正(gamma correction)之類的處理。 (運動圖像記錄和再現塊120)如圖2所示,運動圖像記錄和再現塊120包括存儲單元122、運動圖 像壓縮/解壓縮電路124和圖像密度轉換電路126。當記錄運動圖像數據時,圖像密度轉換電路126對從數位訊號處理電路 114輸入的圖像數據序列(運動圖像數據)執行抽取(decimation)處理(例 如幀間差分編碼等)。圖像密度轉換電路126將抽取處理後的運動圖像數據 輸入到運動圖像壓縮/解壓縮電路124。運動圖像壓縮/解壓縮電路124對從 圖像密度轉換電路126輸入的抽取後的運動圖像數據執行壓縮處理,並將壓 縮的運動圖像數據記錄在存儲單元122中。當再現運動圖像數據時,運動圖像壓縮/解壓縮電路124讀出在存儲單元 122上記錄的運動圖像數據,並對其執行解壓縮處理。運動圖像壓縮/解壓縮 電路124將解壓縮的運動圖像數據輸入到圖像密度轉換電路126。圖像密度 轉換電路126對從運動圖像壓縮/解壓縮電路124輸入的運動圖像數據執行內 插處理(例如恢復差分數據(differenced data ))。 (靜止圖像記錄和再現塊130 )如圖2所示,靜止圖像記錄和再現塊130包括存儲單元132和靜止圖像備來實現功能。當記錄靜止圖像數據時,靜止圖像壓縮/解壓縮電路134對從數位訊號處 理電路114輸入的圖像數據執行壓縮處理並記錄在存儲單元132中。當再現 靜止圖像數據時,靜止圖像壓縮/解壓縮電路134讀出在存儲單元122中記錄 的圖像數據並對其執行解壓縮處理。 (圖像生成塊140)如圖2所示,圖像生成塊140主要包括運動預測電路142、運動補償 電路144和差分圖像確定電路146。運動預測電路142用作運動預測單元。 運動補償電路144用作圖像生成單元。運動預測電路142通過對從運動圖像記錄和再現塊120發送的運動圖像 數據執行幀之間的運動預測,來檢測運動向量。例如,運動預測電路142選 擇在與在預定時間時記錄的幀最接近的時間時記錄的靜止圖像數據。運動預 測電路142通過執行在靜止圖像數據對應的幀和在預定時間時記錄的幀之間 的運動預測,來檢測幀之間的運動向量。在此情況下,運動預測電路142放 大要參考的每個幀(LRP)以轉換為放大畫面(MP),並檢測在相關的放大 畫面之間的運動向量。作為另一個例子,運動預測電路142可以提取在與在預定時間時記錄的10的多個靜止圖像數據,然後選擇與最接近於在預定時間時記錄的幀的靜止圖像數據對應的幀。運動預測電路142可以通過執行在與所選擇的靜止圖像數據對應的幀和在預定時間時記錄的幀之間的運動預測,來4全測幀之間的運動向量。運動預測電路142可以檢測幀之間的運動向 量而無需放大每個幀(LRP),並且可以放大運動向量以適應於創建畫面(CP) 的空間解析度。運動補償電路144基於從運動預測電路142輸入的運動向量的信息和從 靜止圖像記錄和再現塊130輸入的靜止圖像數據來執行運動補償。例如,運 動補償電路144基於運動向量來指定與在預定時間時記錄的幀的參考塊對應 的靜止圖像數據的參考塊。運動補償電路144通過將指定的靜止圖像數據的 參考塊和在預定時間時記錄的幀的參考塊以預定比率組合來生成圖像數據 (創建畫面CP,)。運動補償電路144向差分圖像確定電路146輸出創建畫 面CP,。差分圖像確定電路146將從運動補償電路144輸入的創建畫面CP,與在 相關時間時記錄的放大畫面MP相比較。差分圖像確定電路146生成在放大 畫面MP和創建畫面CP,之間的差分畫面,或者計算代表兩畫面(MP, CP,) 的差的差值。差分圖像確定電路146用作差分量計算單元。如果兩畫面(MP, CP,)的差在可容忍的範圍內,則差分圖像確定電路 146控制運動補償電路144以輸出通過運動補償創建的創建畫面CP,。如果 兩畫面(MP, CP,)的差超過可容忍的範圍,則差分圖像確定電路146控制 運動補償電^各144以照原樣輸出》文大畫面MP。在該情況下,差分圖像確定 電路146根據差值和預定設置值之間的量值關係來切換運動補償電路144的 控制方法。上面描述了根據本實施例的圖像處理裝置IOO的裝置配置。圖像處理裝 置100可以通過應用上述的裝置配置來預先防止由運動向量的預測準確度引 起的噪聲的生成。 [圖像數據的記錄操作]下面將筒要描述根據本實施例的圖像處理裝置100進行的圖像數據的記 錄操作。首先,操作者指示信息處理裝置IOO開始記錄操作(SIO)。響應於這樣 的指示,圖像處理裝置IOO開始連續記錄配置運動圖像數據的幀(S12)。圖像處理裝置100通過成像透鏡102獲得收集的圖像(S14 )。圖像處理裝置通 過成像元件104對收集的圖像執行光電轉換以生成模擬信號(S16)。圖像處 理裝置100將模擬信號輸入到A/D轉換器112以轉換為數位訊號(S18 )。然 後圖像處理裝置IOO將數位訊號輸入到數位訊號處理電路114,並對與這樣 的數位訊號對應的圖像數據執行諸如白平衡調節和伽馬校正之類的處理(S20)。圖像處理裝置100累積圖像數據,從而形成運動圖像數據。圖像處理裝置IOO通過圖像密度轉換電路126對運動圖像數據執行抽取 處理(S22 )。當執行步驟S22時,得到在諸如NTSC (美國國家電視標準委 員會)方法、PAL (逐行倒相)方法或ISDB (綜合業務數字廣播)方法之 類的每種視頻信號格式中的有效像素數量。然後,圖像處理裝置100通過運 動圖像壓縮/解壓縮電路124來壓縮處理經受了抽取處理的運動圖像數據(S24 ),並記錄在存儲單元122中(S25 )。圖像處理裝置100還間歇地獲取 在預定時間間隔處的圖像數據(靜止圖像數據),並通過靜止圖像壓縮/解壓 縮電路134執行壓縮處理(S32 ),並記錄在存儲單元132中(S34 )。 [圖像數據的再現操作]下面將簡要描述根據本實施例的圖像處理裝置100進行的圖像數據的再 現操作。操作者使用圖像生成定時控制器106指示圖像處理裝置IOO開始再現操 作(S50)。響應於這樣的指示,圖像處理裝置IOO開始生成具有比運動圖像 數據高的空間解析度的、並且靜止圖像數據未被記錄的記錄時間點的高圖像 質量圖像數據(S52)。圖像處理裝置IOO讀出記錄在存儲單元122中的壓縮 處理之後的運動圖像數據(S54),並且通過運動圖像壓縮/解壓縮電路124 執行解壓縮處理(S56)。然後,圖像處理裝置100通過圖像密度轉換電路 126執行對經受了解壓縮處理的運動圖像數據的內插處理(S58)。根據步驟 S5 8 ,運動圖像數據的每幀被轉換為具有與靜止圖像數據相同的像素數量的 圖像數據。然後運動圖像數據被發送到圖像生成塊140 (S60)。然後,圖像處理裝置100通過靜止圖像壓縮/解壓縮電路134讀出並解壓 縮記錄在存儲單元132中的靜止圖像數據(S72 ),並發送到圖像生成塊140 (S74 )。(圖像生成塊140的操作)現在將參考圖3描述圖像生成塊140的處理操作。圖3是描述圖像生成塊140的處理操作的說明圖。
圖3示出了高解析度畫面HRP(t)、多個低解析度畫面LRP(t)、 LRP( t+h) 和創建畫面CP(t+h)以侵一對應於時間。圖3具體描述了用於生成與在時間t+h 時記錄的低解析度畫面LRP(t+h)對應的創建畫面CP(t+h)的處理操作。
假設高解析度畫面HRP具有N個水平像素、M個垂直像素和1 / △ T [f ps] 的幀頻。布i設低解析度畫面LRP具有n個水平像素、m個垂直〗象素和1/At [Q)s] 的幀頻。假設每個變量滿足關係N^n,M^n,AT^t。而且,假設變量h滿足關 系OWAT。
將參考圖3的例子描述使用時間t的高解析度畫面HRP(t)和時間t+h的 低解析度畫面LRP(t+h)來生成時間t+h的高解析度創建畫面CP(t+h)的方法。 根據本實施例的圖像處理裝置IOO的處理方法不限於此。例如,圖像處理裝 置IOO可以同時還參考另一時間t+AT的高解析度畫面HRP(t+AT)(未示出) 來生成創建畫面CP(t+h)。在該情況下,圖像處理裝置100可以根據對象的 運動的量值、速度等執行選擇用於參考的高解析度畫面HRP的處理。
首先,圖像處理裝置100通過運動預測電路142使用低解析度畫面LRP(t) 和LRP(t+h)來執行運動預測。在該情況下,運動預測電路142放大低解析度 畫面LRP(t)和LRP(t+h)以生成放大畫面MP(t)和MP(t+h)。運動預測電路142
MV。可應用的運動預測方法包括塊匹配方法、相位相關方法、光學流(optical flow)方法等。
然後,圖像處理裝置IOO通過運動補償電路144使用運動向量MV和高 解析度畫面HRP(t)來執行運動補償。運動補償電路144使用運動向量MV來 指定與放大畫面MP(t+h)的參考塊對應的高解析度畫面HRP(t)的參考塊。運 動補償電路144以預定比率來組合這樣的參考塊和》丈大畫面MP(t+h)的參考 塊,並臨時生成創建畫面CP,(t+h)。
如果在相同的圖像之間執行了運動預測和運動補償,則即使將創建畫面 CP,(t+h)作為創建畫面CP(t+h)輸出,由於運動預測準確度而引起的創建畫面 CP(t+h)中出現噪聲的概率也很小。然而,因為根據本實施例的圖像處理裝置 100使用低解析度畫面LRP來執行運動預測,所以當使用高解析度畫面HRP 執行運動補償時,噪聲可能出現在在高解析度畫面HRP中所包含的高頻成 分的信息中。也就是說,取決於運動預測的準確度,存在運動補償中使用的
13高解析度畫面HRP的參考塊和與其對應的放大畫面MP的參考塊之間的相 關性可能^M氐的可能性。
例如,即-使在相同的時間記錄了高解析度畫面HRP和低解析度畫面 LRP, 4氐解析度畫面LRP也不包含在高頻率畫面HRP中所包含的高頻成分。 從而,即使利用被放大到與高解析度畫面HRP相同的空間解析度的低分辨 率畫面LRP來淨丸^f於運動預測,也難以準確預測通過高解析度畫面的比l^而 獲得的運動向量。而且,即使放大通過比較低解析度畫面LRP而沒有解壓 縮所檢測的運動向量,也難以準確預測運動向量,這是因為與高頻成分等效 的信息未被包含在低解析度畫面LRP中。
因此根據本實施例的信息處理裝置100包括差分圖像確定電路146,用 於執行控制使得當在運動補償中使用的高解析度畫面HRP的參考塊和與其 對應的放大畫面MP的相關性低時,不將經受了運動補償的圖像用於其幀。 差分圖像確定電路146通過比較臨時生成的創建畫面CP,(t+h)和放大畫 面MP(t+h)來計算差分量。如果差分量大於預定值,則差分圖像確定電路146 確定畫面(CP,, MP)的相關性低,並照原樣輸出放大畫面MP(t+h)用於創 建畫面CP(t+h)。如果差分量小於預定值,則差分圖像確定電路146確定畫 面(CP,, MP)的相關性高,並輸出創建畫面CP,(t+h)用於創建畫面CP(t+h)。 結果,差分圖像確定電路146可以減少由於運動向量的預測準確度而在高頻 成分中出現的噪聲。
(差分圖像確定電路146的操作流程)
下面將參考圖4描述根據本實施例的差分圖像確定電路146的操作流 程。圖4是示出根據本實施例的差分圖像確定電路146的操作流程的說明圖。 首先,差分圖像確定電路146基於由運動預測電路142 4金測的運動向量
(參考塊O —參考塊C )來計算放大畫面MP(t+h)的參考塊O (參考值O[I, j])和高解析度畫面HRP(t)的參考塊C (參考值C[i, j])之間的差分量D
(S102)。差分圖像確定電路146可以使用MSE方法(均方誤差方法)或 SAD方法(絕對差和方法)的方法來計算差分量D[i, j]。當使用SAD方法 時,差分圖像確定電路146根據等式(1)計算差分量D。formula see original document page 14(1)
這裡,i和j是在運動預測中所參考的單元塊中所包含 、分別表示水 平和垂直方向上像素位置的標記(index)。等式(1 )的和涉及單元塊中所包含的所有像素的位置i、 j。
然後差分圖像確定電路146將預定設置的參數Th (在下文中被稱為閾 值)與差分量D相比較,並確定其量值關係(S104)。需要的話,可以改變 閾值Th。例如,當假設將快速運動對象包含在圖像數據中的情況、複雜樣 式是容器(container)的情況等時,將閾值Th設置為相對大的值。這樣的 情況是運動預測的準確度趨於降低而差分量D趨於是相對大的值的情況。從 而,在這樣的情況下,優選將閾值Th設置得相對大,以擴大根據本實施例 的圖像處理方法的應用範圍。
當確定結果D>Th時,該結果表明參考塊C和參考塊O有很大的不同。 當在運動預測的準確度低時執行錯誤的運動補償時,或當在時間t時不存在 的對象出現在時間t+h時,出現這樣的差別。所以,圖像處理裝置100難以 針對放大畫面MP(t+h)補償包含在高解析度畫面HRP(t)中的高頻成分。因此 差分圖像確定電路146將參考塊O設置為創建畫面CP(t+h)(參考值OUT[i, j]=0[i, j])以防止噪聲的生成(S106)。
當確定結果是D^Th時,該結果表明參考塊C與參考塊O具有高相關 性。從而,圖像處理裝置100可以使用運動補償針對放大畫面MP(t+h)補償 包含在高解析度畫面HRP(t)中的高頻成分。因此差分圖像確定電路146使用 參考塊C來補償放大畫面MP(t+h)的參考塊O,並將補償後的圖像設置為創 建畫面CP(t+h)(參考塊OUT[i, j]=C[i, j])以防止噪聲的生成(S108)。
如上所述,差分圖像確定電路146可以通過預先比較和評估與參考源對 應的參考塊和運動向量的參考目的地來防止由於運動預測的低準確度引起 的噪聲生成。結果,根據本實施例的圖像處理裝置IOO在諸如噪聲生成時之 類的運動預測的準確度低時不執行運動補償來防止噪聲,而在其它情況下通 過執行運動補償來生成高圖像質量圖像數據。結果,在使用具有不同空間分 辨率的圖像數據序列執行運動補償時,圖像處理裝置IOO可以生成更高圖像 質量的圖像數據序列。 (圖象處理方法)
現在將參考圖5描述根據本實施例的圖像處理方法。圖5是描述根據本 實施例的圖像生成處理的流程的說明圖。
首先,運動預測電路142》文大低解析度畫面LRP以生成具有與高分辨 率畫面HRP相同的空間解析度的》文大畫面MP ( S202 )。然後初始化表示參考塊位置的參數b(S204)。然後確定參數b是否超過參數b的最大值t^max (S206)。這裡,b一max是幀中所包含的塊的數量。
如果b^b一max,則圖像生成塊140終止圖像生成處理。如果b<b—max, 則運動預測電路142執行從當前幀(MP(t))到主要幀(key frame ) ( MP(t+h)) 的運動預測(S208 )。然後圖^f象生成塊140基於預測殘差信號(residual signal) 的量值來確定是否能夠執行運動補償(S210)。
如果在步驟S210中確定不能執行運動補償,則運動補償電路144輸出 步驟S202的放大畫面MP(t+h)作為創建畫面CP(t+h) (S216)。如果在步驟 S210中確定能夠執行運動補償,則運動補償電路144使用解析度畫面HRP(t) 和放大畫面MP(t+h)來執行差分信號確定("D>Th"或"D^Th"的確定), 並確定是否能夠執行運動補償(S212)。
如果在步驟S212中確定能夠執行運動補償,則運動補償電路144使用 高解析度畫面HRP(t)來執行運動補償(S214)。在此情況下,運動補償電路 144使用在步驟S208中獲得的從當前幀到主要幀的運動向量、單元塊尺寸、 參考幀信息等。如果在步驟S212中確定不能執行運動補償,則運動補償電 路144輸出放大畫面MP(t+h)作為創建畫面CP(t+h) ( S216 )。
然後圖像生成塊140遞增參數b ( S218 ),並再次執行從步驟S206的處 理。然後,在執行運動補償中的差分圖像確定的同時,圖像生成塊140確定 是否能夠執行運動補償。因此圖像生成塊140可以抑制由於運動補償而在創 建畫面CP(t+h)中生成的噪聲。
上面描述了根據本實施例的圖像處理裝置100。如上所述,根據本實施 例的圖像處理裝置100包括差分圖像確定電路146,並且可以根據運動預測 的準確度來切換圖像數據以作為創建畫面CP輸出。結果,當使用具有不同 空間解析度的圖像數據序列來執行運動預測和運動補償時,圖像處理裝置 100可以與運動預測的準確度無關地生成高圖像質量創建畫面CP。差分圖像 確定電^各146還可以用來檢測由於運動預測的準確度在創建畫面CP中是否 生成了噪聲。
可以使用下面描述的信息處理設備通過預定程序來實現由信息處理裝 置100的每個配置元件實現的功能。 [硬體配置]
可以由具有圖6中示出的硬體配置的信息處理裝置來實現圖像處理裝置100的功能。圖6是示出能夠實現圖像處理裝置100的每個配置元件的功能 的信息處理裝置的硬體配置例子的說明圖。
如圖6所示,信息處理裝置主要包括CPU(中央處理單元)卯2、 ROM (只讀存儲器)904、 RAM (隨機存取存儲器)906、主機總線908、橋910、 外部總線912、接口 914、輸入單元916、輸出單元918、存儲單元920、驅 動922、連接埠 924和通信單元926。
CPU 902用作運算處理單元或控制單元,並基於記錄在ROM卯4、 RAM 906、存儲單元920或移動記錄介質928上的各種程序來控制組成元件的全 部操:作或組成元件的一些4喿作。ROM 904存^f諸例如加載到CPU 902的程序 或在運算操作中使用的數據等。RAM 906暫時或永久存儲例如加載到CPU 902的程序或在執行程序中任意改變的各種參數等。這些組成元件通過例如 可以執行高速數據傳輸的主機總線908彼此相連。主機總線908例如通過橋 910連接到數據傳輸速度相對低的外部總線912。
例如,輸入單元916例如是諸如滑鼠、鍵盤、觸摸板、按鈕、開關或控 制杆之類的4喿作單元。輸入單元916可以是能夠通過使用紅外線或其他無線 電波發送控制信號的遠程控制單元(所謂的遙控器)。輸入單元916包括輸 入控制電路等,用於經由輸入信號將通過使用操作單元輸入的信息發送到 CPU 902。
輸出單元918例如是可以在視覺或聽覺上通知用戶所獲取的信息的諸如 CRT (陰極射線管)、LCD (液晶顯示器)、PDP (等離子顯示板)或ELD (電 致發光顯示器)之類的顯示設備、諸如揚聲器或耳機之類的音頻輸出設備、 印表機、行動電話或傳真機。
存儲單元920是用於存儲各種數據的設備,並且包括例如諸如硬碟驅動 器(HDD;硬碟驅動器)之類的磁存儲設備、半導體存儲設備、光存儲設備 或磁光存儲設備等。
驅動器922是讀取記錄在諸如磁碟、光碟、磁光碟或半導體存儲器之類 的移動記錄介質928上的信息或將信息寫到移動記錄介質928中的設備。移 動記錄介質928是例如DVD介質、藍光介質、HD-DVD介質、緊湊快閃記憶體(CF; CompactFlash)(註冊商標)、記憶棒或SD存儲卡(安全數字存儲卡)等。 當然,移動記錄介質928可以是例如其上安裝了非接觸IC晶片的IC卡(集 成電路卡)、電子設備等。連接埠 924是連接到外部連接設備930的諸如USB (通用串行總線)埠、 IEEE 1394埠、 SCSI (小型計算機系統接口 )、 RS-232C埠或光音頻端之類的埠。外部連接設備930是例如印表機、移動音樂播放器、數字相機、數字攝像機、IC記錄器等。
通信單元926是用於連接到網絡932的通信設備。例如,使用用於有線或無線LAN (區域網)、藍牙(註冊商標)或WUSB (無線USB )的通信卡、光通信路由器、ADSL (非對稱數字用戶線)路由器、各種通信數據機等。連接到通信單元926的網絡932包括有線或無線連接的網絡。例如,使用網際網路、家用LAN、紅外通信、廣播、衛星通信等。
本領域技術人員應該理解,取決於設計要求和其他因素,可以實現各種修改、組合、子組合和替代,只要它們落入所附權利要求或其等效物的範圍內即可。
例如,在上述實施例的描述中,描述了參考後向幀執行運動預測和運動補償的方法,但是本發明的技術範圍不限於此,並且可以參考前向幀或者前向和後向幀來執行運動預測和運動補償。[變型]
將參考圖7描述通過基於前向和後向幀執行運動預測/運動補償的處理來生成高圖像質量圖像的方法。圖7是描述通過基於前向和後向幀順序執行運動預測/運動補償的處理來生成高圖像質量圖像的方法的說明圖。如圖7所示,如果在期望的拍照時間附近記錄高解析度畫面HRP,則可以^使用》文大畫面MP(t+h)和高解析度畫面HRP(t)和HRP(t+h)來執行運動補償。
然而,如果在從任一高解析度畫面HRP生成的臨時創建畫面CP,(t+h)中生成噪聲,則在最終生成的創建畫面CP(t+h)中也生成噪聲。因此,可以僅使用與放大畫面MP(t+h)具有高相關性的臨時創建畫面CP,(t+h)來生成創建畫面CP(t+h)。從而,可以應用運動補償的情況增加了,使得用戶可以生成更高圖像質量的圖像數據序列。
18
權利要求
1.一種圖像處理裝置,包括獲取單元,用於獲取包含多個連續幀的運動圖像數據以及對應於所述幀並具有比所述幀高的空間解析度的一個或多個圖像數據;運動預測單元,用於使用所述運動圖像數據來檢測所述幀之間的運動向量;差分量計算單元,用於計算任意幀和對應於所述圖像數據的幀之間的差分量;以及圖像生成單元,用於基於與所述圖像數據對應的幀和所述運動向量來生成與所述任意幀對應的運動補償圖像數據;其中如果所述差分量小於預定值,則所述圖像生成單元生成具有與所述圖像數據相同的空間解析度的運動補償圖像數據,以及如果所述差分量大於預定值,則生成其中任意幀被放大到與所述圖像數據相同的空間解析度的圖像數據。
2. 根據權利要求1所述的圖像處理裝置,還包括存儲單元,用於記錄所述運動圖像數據以及所述一個或多個圖像數據; 其中所述獲取單元獲取記錄在所述存儲單元中的所述運動圖像數據和所述 一個或多個圖像數據。
3. 根據權利要求2所述的圖像處理裝置,其中所述存儲單元記錄有作 為所述運動圖像數據的、具有低空間解析度和高時間解析度的第 一圖像數據 序列以及作為所述一個或多個圖像數據的、具有比所述第一圖像數據序列高 的空間解析度和低的時間解析度以便對應於所述第 一圖像數據序列中所包 含的幀的第二圖像數據序列。
4. 根據權利要求3所述的圖像處理裝置,其中所述圖像生成單元將包 含在所述第 一 圖像數據序列中而未包含在所述第二圖像數據序列中的幀作 為所述任意幀,生成對應於所述任意幀的圖像數據,並增強所述第二圖像數 據序列的時間解析度。
5. 根據權利要求2所述的圖像處理裝置,其中所述存儲單元記錄有通過對成像的圖像信號下採樣獲得的圖像數據序列,作為所述運動圖像數據。
6. 根據權利要求1所述的圖像處理裝置,其中如果所述差分量大於預 定值,則所述圖像生成單元#4居運動補償中的差分量來改變將作為所述運動 向量的參考源的任意幀和作為所述運動向量的參考目的地的圖像數據相組 合的比率。
7. —種圖^f象處理方法,包括以下步驟獲取包含多個連續幀的運動圖像數據以及對應於所述幀並具有比所述幀高的空間解析度的 一個或多個圖像數據;使用所述運動圖像數據來檢測所述幀之間的運動向量; 計算預定幀和與所述圖像數據對應的幀之間的差分量;以及 基於與所述圖像數據對應的幀和所述運動向量來生成與任意幀對應的運動補償圖像數據; 其中在圖像生成步驟中,如果所述差分量小於預定值,則生成具有與所述圖 像數據相同的空間解析度的運動補償圖像數據,以及如果所述差分量大於預 定值,則生成其中所述任意幀被放大到與所述圖像數據相同的空間解析度的 圖像數據。
8. —種程序,用於使計算機實現以下功能獲取包含多個連續幀的運動圖像數據以及對應於所述幀並具有比所述 幀高的空間解析度的一個或多個圖像數據;使用所述運動圖像數據來檢測所述幀之間的運動向量; 計算任意幀和與所述圖像數據對應的幀之間的差分量;以及 基於與所述圖像數據對應的幀和所述運動向量來生成與任意幀對應的 運動補償圖像數據,如果所述差分量小於預定值,則生成具有與所述圖像數 據相同的空間解析度的運動補償圖像數據,以及如果所述差分量大於預定 值,則生成其中所述任意幀被放大到與所述圖像數據相同的空間解析度的圖 像數據。
全文摘要
提供了一種圖像處理裝置,包括獲取單元,用於獲取包含多個連續幀的運動圖像數據以及對應於所述幀並具有比所述幀高的空間解析度的一個或多個圖像數據;運動預測單元,用於使用所述運動圖像數據來檢測所述幀之間的運動向量;差分量計算單元,用於計算任意幀和對應於所述圖像數據的幀之間的差分量;以及圖像生成單元,用於基於與所述圖像數據對應的幀和所述運動向量來生成與所述任意幀對應的運動補償圖像數據。
文檔編號H04N7/01GK101682717SQ20088002080
公開日2010年3月24日 申請日期2008年6月10日 優先權日2007年6月18日
發明者中神央二, 田中潤一, 矢崎陽一 申請人:索尼株式會社

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀