轉換器和轉換方法以及圖像處理設備的製作方法

2023-04-30 04:17:51 5

專利名稱：轉換器和轉換方法以及圖像處理設備的製作方法
技術領域：
本發明涉及圖像處理設備，它包括基於處理器的圖形流水線，用於產生包括相繼的第一輸入圖像和第二輸入圖像的第一輸入圖像系列；轉換器，其中包括-用於接收第一輸入圖像系列的裝置；和-根據第一輸入圖像系列計算輸出圖像系列的裝置，其中輸出圖像與可能存在的前一圖像隔開預定的時間間隔；以及用於顯示輸出圖像系列的顯示裝置。
本發明還涉及轉換器，它包括用於接收包括相繼的第一輸入圖像和第二輸入圖像的第一輸入圖像系列的裝置；以及根據第一輸入圖像系列計算輸出圖像系列的裝置，其中輸出圖像與可能存在的前一圖像隔開預定的時間間隔。
本發明還涉及轉換方法，它包括接收包括相繼的第一輸入圖像和第二輸入圖像的第一輸入圖像系列的步驟；以及根據第一輸入圖像系列計算輸出圖像系列的步驟，其中輸出圖像與可能存在的前一圖像隔開預定的時間間隔。
在開始段落中描述的這種圖像處理設備見於《計算機圖形原理及應用》(「Computer Graphics Principles and Practice」by J.D.Foley，A.van Dam，S.K.Feiner，J.F Hughes，from Addison-Wesley，Readingetc，1996)。該書的第四章描述了由圖形流水線所產生的圖像數據按照常規存儲在幀緩衝器中。視頻控制器訪問該幀緩衝器，從而把數據發送到顯示裝置。
顯示裝置上顯示圖像的頻率被稱為顯示刷新率。幀緩衝器更新(即，把圖像數據寫入幀緩衝器)通常是可變的並且與顯示刷新率不能適當配合。為了防止顯示器上的圖像中出現可見的非自然信號，可採用雙重緩衝。這意味著，在幀緩衝器中的一個被圖形流水線更新的同時，視頻控制器可訪問另一個。幀緩衝器和視頻控制器的組合就是轉換器。
然而，由於例如圖形流水線的系統資源不足，與顯示幀速率相比，幀緩衝器的更新速率可能較慢。這嚴重影響了顯示器上看到的圖像質量。特別是運動可能會顯示為抖動的。圖形流水線的資源可包括處理器、存儲裝置和數據總線。
本發明的第一目的是提供一種在開始段落中描述的圖像處理設備，它能夠比較平滑地顯現圖像中的運動。
本發明的第二目的是提供一種在開始段落中描述的轉換器，它能夠產生顯示比較平滑的運動的輸出圖像系列。
本發明的第三目的是提供一種在開始段落中描述的、產生顯示比較平滑的運動的輸出圖像系列的轉換方法。
本發明的第一目的是這樣實現的轉換器設計為確定產生第一輸入圖像的第一時間和產生第二輸入圖像的第二時間之間的第一時間間隔，並且通過根據第一時間間隔在第一輸入圖像和第二輸入圖像之間內插來計算特定輸出圖像。這種轉換器的主要優點在於，它通過輸入系列的圖像的時間內插來產生新圖像。根據先有技術的圖像設備只是「複製」圖像它把原始圖像顯示若干次。採用根據本發明的轉換器，輸出圖像系列中除新圖像之外，還能夠包括輸入系列的圖像的副本。為了控制內插，轉換器需要關於各種輸入圖像的產生時間的信息。因此，即使第一時間間隔與在產生輸入系列的第二輸入圖像的第二時間和產生第三輸入圖像的第三時間之間的第二時間間隔相差很大，所述轉換器也有效。第一時間間隔和第二時間間隔可能例如因為圖形流水線資源上的可變負載而不同。時間內插在Philips電視系統中的上變頻中是已知的。然而在該情況下輸入系列的連續圖像之間的時間間隔彼此相等。因此在該情況下不需要為了控制內插而確定時間間隔。
根據本發明的圖像處理設備的實施例還包括用於控制計算輸出圖像系列的裝置的運動估算器，以便執行運動補償內插。這可以是例如G.de Haan等人在《採用3-D遞歸搜索塊匹配的實際運動估算》(「True motion estimation with 3-D recursive search block-matching，」inProceedings IEEE Transactions on Circuits and Systems for VideoTechnology，1994，vol.3，pp.249-256)中描述的運動估算器。運動補償內插的優點在於改進了圖像質量。對於運動估算，它可以採用兩個以上的連續圖像。對於內插也可以採用兩個以上的連續圖像。
根據本發明的圖像處理設備的實施例還包括用於接收第二輸入圖像系列的第二裝置，並且轉換器設計為根據第一輸入圖像系列和第二輸入圖像系列的圖像計算輸出圖像系列。本實施例的一個實例是能夠將視頻圖像序列與由圖形流水線產生的圖形(表示電視機的設置，即銀幕上顯示)一起進行上變頻的電視機。轉換器的一些部件能夠被共用從而節約成本。可以分為以下兩種共用類型時間上的共用轉換器的一些部件交替用於處理第一輸入系列的圖像和第二輸入系列的圖像。可任選地臨時存儲中間結果。
空間上的共用採用第一系列的圖像的部分與第二輸入系列的圖像的部分合併的事實。可能共用例如與這些部分對應的存儲單元。
在根據本發明的圖像處理設備的實施例中，轉換器設計為通過在第一輸入圖像系列的第一輸入圖像和第二輸入圖像之間內插，計算第一中間運動補償內插圖像；通過在第二輸入圖像系列的圖像之間內插，計算第二中間運動補償內插圖像；以及合併第一中間圖像和第二中間圖像，以便創建組合的輸出圖像。
可以改變內插和合併的順序。但是，為本實施例選擇的順序產生輸出圖像的最佳圖像質量。
本發明的第二目的是這樣實現的轉換器設計為確定產生第一輸入圖像的第一時間和產生第二輸入圖像的第二時間之間的第一時間間隔，並且通過根據第一時間間隔在第一輸入圖像和第二輸入圖像之間內插來計算特定的輸出圖像。
結合以下所述的實現和實施例並且參照附圖，會理解根據本發明的圖像處理設備和轉換器的這些及其它方面，其中

圖1A示意地說明圖像處理設備的實施例；圖1B示意地說明帶有運動估算器的圖像處理設備的實施例；圖1C示意地說明設計為同時處理兩個輸入圖像系列的圖像處理設備的實施例；圖2A示意地說明轉換器的實施例；圖2B示意地說明帶有運動估算器的轉換器的實施例；圖2C示意地說明設計為同時處理兩個輸入圖像系列的轉換器的實施例；以及圖3示意地說明把兩個系列的輸入圖像內插到時域中並且合併成一個輸出圖像系列。
圖1A示意地說明圖像處理設備100的實施例，它包括帶有處理器108的圖形流水線101；轉換器105，它配有-用於接收由圖形流水線101產生的第一輸入圖像系列110-114的裝置102；以及-用於計算輸出圖像系列116-126的裝置104；以及用於顯示輸出圖像的顯示裝置106。該顯示裝置是可選的。輸出圖像還可以顯示在圖像處理設備100外部的顯示裝置上，例如在機頂盒的情況中。
分別在時間T1、T2和T3產生第一輸入圖像110、第二輸入圖像112以及第三輸入圖像114。轉換器105設計為確定連續輸入圖像之間的時間間隔，例如T1和T2之間的第一時間間隔128或T2和T3之間的第二時間間隔130。為了確定時間間隔128、130，轉換器105需要關於輸入圖像產生時間的信息。該信息由圖形流水線101的處理器108提供。輸入圖像的產生之間的各種時間間隔128、130可能不相等。輸出圖像116-126在相應時間TA、TB、TC、TE、TF產生。兩個輸出圖像(例如116、118)之間的時間間隔132基本上等於預定值。通過在輸入圖像系列的圖像之間內插來計算輸出圖像116-126。下表給出輸入和輸出圖像之間關係的實例。
圖1B示意地說明具有包括運動估算器109的轉換器107的圖像處理設備103的實施例。這可以是例如G.de Haan等人在《採用3-D遞歸搜索塊匹配的實際運動估算》(「True motion estimation with 3-Drecursive seach block-matching，」in Proceedings IEEE InternationalConference on Circuits and Systems for Video Technology，1994，vol.3，pp.249-256)中描述的運動估算器。運動估算器109向計算輸出圖像系列116-126的裝置104提供運動矢量場。這些運動矢量場的矢量用於移動像素塊，即輸入圖像110-114的一些部分，以便計算運動補償後的輸出圖像116-126。計算輸出圖像系列的裝置104需要三種輸入輸入圖像，是像素值的二維陣列；運動矢量場，是矢量的二維陣列；以及定時，指示各種圖像的產生時間的標量值。
圖1C示意地說明設計為同時處理兩個輸入圖像系列的圖像處理設備111的實施例。除了第一輸入圖像系列308、310，還提供了第二輸入圖像系列302-306。第二系列的輸入圖像302-306是圖像處理設備111外部產生的。第二系列的輸入圖像302-306通過輸入連接器106提供給處理設備111。這些圖像可能來自例如廣播或本地存儲裝置。轉換器113包括用於接收和緩衝第二輸入圖像系列302-306的第二裝置115。輸入圖像302、304、306各自創建的時刻T1、T3和T4之間的時間間隔是相等的。第一系列和第二系列的圖像大小可能不同。計算輸出圖像系列的裝置104設計為即使圖像大小不同也能將其合併。這可以通過圖像縮放來實現。還可以把一個系列的整個圖像與另一系列的一部分在後者圖像明顯大於前者圖像的情況下合併。
圖2A示意地說明轉換器200的實施例。轉換器200在其輸入連接器206上要求輸入圖像系列110-114。輸入圖像110-114緩存在接收裝置202的存儲器中。接收裝置的存儲器設計為存儲至少兩個輸入圖像。轉換器200在其輸出連接器208上提供輸出圖像系列116-126。轉換器200在其控制連接器201上對於各個輸入圖像110-114要求關於創建時間T1-T3的信息。輸出圖像116-126是以相等的時間間隔產生的在每個預定的時間間隔132之後，裝置204根據存儲在接收裝置202的存儲器中的輸入圖像進行計算，從而產生新的輸出圖像。計算裝置204運用的內插是通過輸入圖像創建時間T1-T3和特定輸出圖像的創建時間TA、TB、TC、TD、TE、TF之間的關係來控制的。
圖2B示意地說明包括運動估算器205的轉換器203的實施例。運動估算器205向計算輸出圖像系列的裝置204提供運動矢量場。這些運動矢量場的矢量用於移動像素塊，即輸入圖像110-114的部分，以便計算運動補償後的輸出圖像116-126。
圖2C示意地說明設計為同時處理兩個輸入圖像系列的轉換器207的實施例。第一輸入圖像系列在第一輸入連接器206提供給轉換器207。第二輸入圖像系列在第二輸入連接器211提供給轉換器207。第一系列的子集存儲在用於接收的第一裝置202的存儲器中。第二系列的子集存儲在用於接收的第二裝置209的存儲器中。運動估算器205在計算對應於第一系列圖像的運動矢量場和計算對應於第二系列圖像的運動矢量場之間切換。這些運動矢量場輸入到計算裝置204。可選地臨時存儲運動矢量場。計算裝置204通過輸入系列之一的輸入圖像的運動補償內插來計算第一中間圖像。在根據另一系列的輸入圖像計算第二中間圖像之後，在輸出連接器208合併和提供第一和第二中間圖像。
圖3示意地說明兩個系列的輸入圖像302-310在時域中內插並且合併成一個輸出圖像系列316-324。第一輸入圖像系列包括分別在T2、T5產生的圖像308、310。在圖像308的左下角的箭頭312表示垂直方向。在圖像310的左下角的箭頭314表示水平方向。兩個圖像系列如圖2C中描述的提供到轉換器207。轉換器207的輸出是運動補償內插輸出圖像系列316-324。在後面這些圖像的每一個中，箭頭326-334表示垂直和水平之間的一些狀態。因為第一輸入系列的圖像和第二輸入系列的圖像分開內插，沒有可見非自然信號引入對應於輸出圖像316-324中出現的箭頭326-334的像素的直接相臨區。
應當指出，上述實施例說明而非限定本發明，在不背離所附權利要求書的範圍的前提下，本領域的技術人員能夠設計其它實施例。在權利要求書中，任何括號間的參考符號不應視為限定權利要求書。「包括」一詞不排除權利要求書中未列出的部件或步驟的存在。部件前面的詞「一個」不排除多個這種部件的存在。本發明可以通過包括幾個不同部件的硬體以及通過適當編程的計算機實現。在轉換器權利要求中列舉多個裝置，這些裝置中的多個可通過同一項硬體來實施。
權利要求
1.一種圖像處理設備(100)，它包括基於處理器(108)的圖形流水線(101)，用於產生包括相繼的第一輸入圖像(110)和第二輸入圖像(112)的第一輸入圖像系列(110-114)；轉換器(105)，包括-用於接收所述第一輸入圖像系列(110-114)的裝置(102)；以及-用於根據所述第一輸入圖像系列計算輸出圖像系列(116-126)的裝置(104)，其中輸出圖像(118)與可能存在的前一圖像(116)隔開預定的時間間隔(132)；以及用於顯示所述輸出圖像系列(116-126)的顯示裝置(106)，其特徵在於，所述轉換器(100)設計為確定產生所述第一輸入圖像(110)的第一時間(T1)和產生所述第二輸入圖像(112)的第二時間(T2)之間的第一時間間隔(128)，並且通過根據所述第一時間間隔(128)在所述第一輸入圖像(110)和所述第二輸入圖像(112)之間內插來計算特定輸出圖像(122)。
2.如權利要求1所述的圖像處理設備(103)，其特徵在於，所述轉換器(107)還包括運動估算器(109)，用於控制計算所述輸出圖像系列(116-126)的裝置(104)，以便執行運動補償內插。
3.如權利要求2所述的圖像處理設備(111)，其特徵在於，所述轉換器(113)還包括用於接收第二輸入圖像系列(302-306)的第二裝置(115)，並且所述轉換器(113)設計成根據所述第一輸入圖像系列(308、310)和所述第二輸入圖像系列(302-306)的圖像來計算所述輸出圖像系列(316-324)。
4.如權利要求3所述的圖像處理設備(111)，其特徵在於，所述轉換器(113)設計為通過在所述第一輸入圖像系列的所述第一輸入圖像(110)和所述第二輸入圖像(112)之間內插，計算第一中間運動補償內插圖像；通過在所述第二輸入圖像系列的圖像之間內插，計算第二中間運動補償內插圖像；以及把所述第一中間圖像與所述第二中間圖像合併，以便產生組合的輸出圖像。
5.一種轉換器(200)，它包括用於接收包括相繼的第一輸入圖像(110)和第二輸入圖像(122)的第一輸入圖像系列的裝置(202)；以及根據所述第一輸入圖像系列計算輸出圖像系列(116-126)的裝置(104)，其中輸出圖像(118)與可能存在的前一圖像(116)隔開預定的時間間隔(132)，其特徵在於設計為確定產生所述第一輸入圖像(110)的第一時間(T1)和產生所述第二輸入圖像(112)的第二時間(T2)之間的第一時間間隔(128)，並且通過根據所述第一時間間隔(128)在所述第一輸入圖像(110)和所述第二輸入圖像(112)之間內插來計算特定輸出圖像(122)。
6.如權利要求5所述的轉換器(203)，其特徵在於還包括運動補償器(205)，用於控制計算所述輸出圖像系列(116-126)的所述裝置(204)，以便執行運動補償內插。
7.如權利要求5所述的轉換器(207)，其特徵在於還包括用於接收第二輸入圖像系列(308、310)的第二裝置(209)，以及所述轉換器(207)設計為根據所述第一輸入圖像系列(308、310)和所述第二輸入圖像系列(302、306)的圖像來計算所述輸出圖像系列(316-326)。
8.如權利要求6所述的轉換器(207)，其特徵在於還包括用於接收第二輸入圖像系列(308、310)的第二裝置(209)，以及所述轉換器(207)設計為根據所述第一輸入圖像系列(308、310)和所述第二輸入圖像系列(302、306)的圖像來計算所述輸出圖像系列(316-326)。
9.如權利要求7所述的轉換器(207)，其特徵在於設計為通過在所述第一輸入圖像系列的所述第一輸入圖像(110)和所述第二輸入圖像(112)之間內插來計算第一中間運動補償內插圖像；通過在所述第二輸入圖像系列的圖像之間內插來計算第二中間運動補償內插圖像；以及把所述第一中間圖像與所述第二中間圖像合併，以便產生組合的輸出圖像。
10.一種轉換方法，它包括接收包括相繼的第一輸入圖像(110)和第二輸入圖像(122)的第一輸入圖像系列的步驟；根據所述第一輸入圖像系列計算輸出圖像系列的步驟，其中輸出圖像(118)與可能存在的前一圖像(116)隔開預定的時間間隔(132)，其特徵在於所述方法包括計時步驟，用以確定產生所述第一輸入圖像(110)的第一時間(T1)和產生所述第二輸入圖像(112)的第二時間(T2)之間的第一時間間隔(128)，以及在計算所述輸出圖像系列(116-126)的步驟中，通過根據所述第一時間間隔(128)在所述第一輸入圖像(110)和所述第二輸入圖像(112)之間內插來計算特定輸出圖像。
全文摘要
一種用於把輸入圖像系列(110－114)轉換為輸出圖像系列(116－126)的轉換器(200)。連續的輸入圖像(110－114)之間的時間間隔(128、130)可能不相等。連續的輸出圖像(116－126)之間的時間間隔(例如132)基本上彼此相等。通過在輸入圖像(110－114)之間進行運動補償的內插來計算輸出圖像(116－126)。
文檔編號H04N7/00GK1526114SQ02811201
公開日2004年9月1日 申請日期2002年6月3日 優先權日2001年6月6日
發明者F·J·佩特斯, G·德哈安, J·H·A·格裡斯森, A 格裡斯森, F J 佩特斯 申請人:皇家菲利浦電子有限公司