圖像特效設備、圖形處理器和記錄介質的製作方法
2023-05-30 16:40:11 2
專利名稱：圖像特效設備、圖形處理器和記錄介質的製作方法
技術領域：
本發明涉及用於通過紋理映射將視頻數據變換成任意形狀的圖像特效設備、以及在該圖像特效設備中使用的圖形處理器等。
背景技術：
圖像特效設備(效應器)已知為構成用於廣播和商業用途的非線性編輯系統的設備之一。用於廣播和商業用途的圖像特效設備是通過硬體電路執行諸如視頻數據(活動圖像數據)的擴展、縮減和旋轉之類的變換處理的設備。
就相關技術領域的用於廣播和商業用途的圖像特效設備而言，可變換的模式由生產商預先限定為幾種類型，以避免擴大硬體尺寸和增加成本，因此僅僅可以使用有限的模式執行變換。
另一方面，在計算機圖形學領域，通過使用圖形處理器來執行稱為紋理映射的圖像變換方法，該圖形處理器是以相對低的成本專門用於圖像處理的處理器。紋理映射是這樣的方法，其中將圖像(紋理)粘貼到通過在虛擬三維空間中組合多邊形而準備的模型上。
已知的是，在圖形處理器中安裝了用於幾何處理的頂點著色器(shader)和用於繪製處理的像素著色器。近來，其中這些著色器是可編程的圖形處理器已經變為主流。
然而，在紋理映射中，取決於模型在顯示屏幕上的尺寸(這個尺寸與從視點到模型的距離相對應地減少)而導致了混疊(aliasing)，混疊是這樣的現象，其中所粘貼紋理的邊緣被看作為沿著顯示屏幕中的像素的鋸齒。在圖形處理器中，採用了MIPMAP(小中見大映射Multum In Parvo Mapping)方法來控制這個混疊。在MIPMAP方法中，預先將通過使用多個離散的縮減率(1，1/2，1/4，1/8...)縮減同一圖像獲得的紋理存儲在存儲器中，並且選擇其縮減率接近於顯示屏幕上的模型的縮減率的紋理(例如，參見日本公開的專利申請第2002-83316號(第0004段))。
發明內容
在相關技術領域用於廣播和商業用途的圖像特效設備中，如上所述，因為變換模式是受限的，所以用戶很難任意地確定變換模式。
此外，如果將用於把視頻數據變換為任意形狀的硬體電路添加到該用於廣播和商業用途的圖像特效設備中，則可能擴大了硬體尺寸並且可能增加了成本。
相反，在計算機圖形學領域使用的圖形處理器中，可以通過紋理映射將圖像變換為任意形狀。然而，因為下列原因，圖形處理器不適於處理廣播和商業領域中的視頻數據。
(1)MIPMAP方法導致的圖像質量降級在MIPMAP方法中，在其中顯示屏幕上的模型的縮減率不對應於預先準備的紋理的縮減率的情況下，可能不能充分地控制混疊。因此，MIPMAP方法不能滿足廣播和商業領域可能要求的圖像質量。
(2)色空間轉換導致的圖像質量降級圖形處理器被配置為在RGB(紅、綠和藍)色空間中處理圖像數據。因此，為了對處於在廣播和商業領域使用的YUV(亮度和色度差)空間中的視頻數據執行紋理映射，當將視頻數據輸入到圖形處理器或者從中輸出時，必須執行色空間的轉換處理(從YUV空間到RGB空間的轉換以及從RGB空間到YUV空間的轉換)。然而，因為能夠表達的顏色範圍在YUV空間和RGB空間之間是不同的，因此不能保證在執行了色空間轉換之後獲得與輸入視頻相同的圖像。
(3)圖像數據解析度的限制圖形處理器僅僅能夠處理高達8位解析度的圖像數據。因此，不能處理作為廣播和商業領域主流的10位的高質量視頻數據。
(4)處理速度的限制在圖形處理器中處理高解析度視頻數據的情況下，因為訪問將視頻數據存儲為紋理的存儲器的時段變長，所以實時處理視頻數據變難。
本發明解決上述及其它與傳統方法和設備相關聯的問題。
滿足廣播和商業領域可能要求的圖像質量和實時處理是所期望的，而且通過紋理映射將視頻數據變換為任意形狀而不會導致硬體尺寸擴大和成本增加也是所期望的。
根據本發明的實施例，提供了一種圖像特效設備，其包括圖形處理器，其中安裝了可編程著色器；以及視頻處理塊，其用硬體電路配置。該圖形處理器被編程為執行以下處理根據提供的有關虛擬三維空間中的模型的形狀的信息，將虛擬三維空間中的坐標轉換為顯示屏幕上的二維坐標；以及計算粘貼在顯示屏幕上的圖像的紋理坐標和該顯示屏幕上的模型的縮減率。該圖形處理器還被編程為執行從圖像數據輸出單元中輸出有關紋理坐標和縮減率的信息的處理。該視頻處理塊包括前置濾波器，其通過使用與所提供的有關縮減率的信息相對應的前置濾波器係數而執行輸入視頻數據的濾波；存儲器，其中寫入由這個前置濾波器濾波的視頻數據；以及控制電路，其通過使用所提供的紋理坐標作為讀取地址的信息來從存儲器中讀出視頻數據。在這個圖像特效設備中，從圖形處理器輸出的有關紋理坐標的信息和有關縮減率的信息分別被提供給該視頻處理塊的控制電路和該視頻處理塊的前置濾波器。
此外，根據本發明的實施例，提供了一種圖像特效設備，其中將由圖形處理器離線(處於其中視頻處理塊遠離處理器的狀態)計算的有關紋理坐標和縮減率的信息藉助於記錄介質或者網絡提供給視頻處理塊。
此外，根據本發明的實施例，提供了一種其中記錄了程序的記錄介質，其中上述圖形處理器根據該程序運行，而且安裝了可編程著色器的現有圖形處理器也和上述圖形處理器一樣根據該程序運行。
根據本發明的實施例，在紋理映射的處理當中，通過對現有的可編程圖形處理器進行編程，來執行不與圖像質量相關的、計算和輸出有關圖像的已變換形狀(紋理坐標和縮減率)等的信息的處理。
換句話說，在相關技術的使用圖形處理器的一般方法中，僅僅在圖形處理器內使用有關紋理坐標和縮減率的信息，並且從該圖形處理器中輸出最終變換的圖像數據。然而，根據本發明的實施例，這樣進行編程以便將有關紋理坐標和縮減率的信息本身從圖形處理器的圖像數據輸出單元中輸出。
與視頻數據的解析度無關，有關這樣的紋理坐標和縮減率的信息的計算和輸出處理所需的時段是不變的，從而可以有利地執行實時處理。
另一方面，基於從圖形處理器輸出的信息，由利用硬體電路配置的視頻處理塊執行視頻數據本身的處理(也就是與圖像質量相關的處理)。
在該視頻處理塊中，根據從圖形處理器提供的有關縮減率的信息執行輸入視頻數據的濾波(縮減)。然後，在將視頻數據寫入到存儲器中之後，通過使用從圖形處理器提供的有關紋理坐標的信息作為讀取地址，而從存儲器中讀出該視頻數據，然後將該視頻數據粘貼到顯示屏幕上的模型上。因此，對該視頻數據適當地執行與顯示屏幕上的模型的縮減率對應的濾波，並然後粘貼該視頻數據，從而可以充分地控制混疊。
此外，如上所述，通過使用與圖形處理器分離地提供的另一硬體電路來處理視頻數據，直接處理YUV空間中的圖像數據(而不用將它轉換到RGB空間中)以及處理10位的高質量視頻數據就變得有可能。
因此，可以通過紋理映射來變換視頻數據，同時滿足廣播和商業領域中可能要求的圖像質量和實時處理。
此外，因為通過使用相對低成本的圖形處理器計算有關圖像的已變換形狀等的信息，所以可以將視頻數據變換為任意形狀，而不會導致硬體尺寸的擴大以及成本的增加。
此外，由圖形處理器離線計算的信息藉助於記錄介質或者網絡而提供給這個圖像特效設備。因此，由例如在遠離提供這個圖像特效設備的位置的位置處的個人計算機中的圖形處理器計算有關圖像的已變換形狀等的信息，並且在那之後，可以基於那個信息實際地粘貼視頻數據。因此，可以改進紋理映射的工作流程。
根據本發明的實施例，獲得了以下的效果可以通過紋理映射將視頻數據變換為任意形狀，而不會導致硬體尺寸的擴大和成本的增加，同時滿足了在廣播和商業領域中可能要求的圖像質量和實時處理。
此外，通過經由記錄介質或者網絡將由圖形處理器離線計算的信息提供給圖像特效設備，可以獲得改進紋理映射的工作流程的效果。
圖1為示出根據本發明的實施例的圖像特效設備的配置示例的框圖；圖2為示意地示出圖1中的圖形處理器的配置的框圖；
圖3是示出通過使用過去的典型方法的圖形處理器的處理的圖示；圖4是示出圖1的圖像特效設備中的圖形處理器的處理的圖示；圖5是示出屏幕坐標上的模型以及粘貼到該模型上的圖像的紋理坐標的示例的圖示；圖6是示出其中在圖4的處理中將紋理坐標分配為R、G和B位的示例的圖示；以及圖7為示出圖1中的視頻處理塊的配置的圖示。
具體實施例方式
在下文中，通過使用附圖具體地說明本發明的實施例。圖1為示出根據本發明的實施例的圖像特效設備的配置示例的框圖。這個圖像特效設備1是用作電視廣播臺等中的非線性編輯系統的一部分的設備。該圖像特效設備1包括操作面板2、CPU 3、圖形處理器4、緩衝存儲器5、四個系統的視頻處理塊6、疊加電路7、小存儲卡槽8和用於網絡通信的通信接口9。圖形處理器4安裝在用於圖形處理器的槽(未在圖中示出)中，該槽在圖像特效設備1的外殼表面上提供。視頻處理塊6中的每一個分別連接到一個VTR 51[51(1)到51(4)]。
使用3D(三維)計算機圖形學的應用軟體，操作面板2準備虛擬三維空間中的模型；指定用作紋理的視頻數據(最大四個系統)；以及執行各種參數的設置。這些參數包括模型表面的屬性、視點、光源、透明度、顯示屏幕的解析度、紋理空間、在其中疊加兩個或更多系統的視頻數據的情況下的景深方向的位置關係等。
基於操作面板2的操作等，CPU 3控制圖像特效設備1中的每個單元以及每個VTR 51。
圖形處理器4是其中安裝了可編程著色器的現有(市場上可買到的)圖形處理器。然而，這個圖形處理器4具有被編程的關於處理內容的特徵。
圖2是示意地示出圖形處理器4的配置的框圖。圖形處理器4包括AGP接口11，用於將數據傳送到外部CPU或者從外部CPU中接收數據；執行幾何處理的頂點著色器12；執行繪製處理的像素著色器13；存儲器接口14；以及用於輸出圖像數據(各自為8位的R、G和B信息、以及表示透明度的8位信息α)的顯示接口15。
在說明在這個圖像特效設備1中的圖形處理器4的處理之前，將參考圖3說明在過去的典型方法中使用圖形處理器4的情況下、圖形處理器4的處理。
當從外部CPU提供了有關構成已準備模型的多邊形的頂點信息以及各種參數時，頂點著色器12將虛擬三維空間中的坐標轉換為顯示屏幕(屏幕坐標)上的2D(二維)坐標(步驟S1)。然後，為顯示屏幕中的每個像素單元計算粘貼到顯示屏幕上的模型上的圖像的紋理坐標(X，Y)以及該顯示屏幕上的模型的縮減率(s)(步驟S2)。此外，在步驟S2中，如果設置了光源，則還為每個像素單元計算用於光源處理的發光係數(L)，以及如果指定了兩個或更多系統的紋理，則還為每個像素單元計算指示紋理沿景深方向的位置關係的景深方向(Z)的信息。
隨後，通過存儲器接口14，像素著色器13通過使用坐標(X，Y)作為讀取地址、使用MIPMAP方法從存儲在外部存儲器(DRAM)中的紋理當中讀出具有接近該縮減率(s)的縮減率的紋理(步驟S3)。然後，從顯示接口15輸出有關該紋理的R、G和B的數據(步驟S4)。要注意到，在步驟S4中，如果將透明度設置為參數，則還從顯示接口15輸出有關透明度的信息(α)。
相反，圖4示出了在這個圖像特效設備1中的圖形處理器4的處理。
當通過操作面板2的操作準備了模型並且設置了參數時，CPU 3將有關構成所準備模型的多邊形的頂點信息、被設置的參數、以及指定要從圖形處理器4輸出的信息的ID提供給圖形處理器4的AGP接口11(參見圖2)。
要注意到，由這個ID指定的信息必定包括有關紋理坐標的信息以及有關顯示屏幕上的模型的縮減率的信息。此外，如果將光源設置為參數，則這個信息包括用於光源處理的發光係數。此外，如果在其中疊加兩個或更多系統的視頻數據的情況下將景深方向的位置關係設置為參數，則這個信息包括指示位置關係的、有關景深的信息。
當從CPU 3提供了這些信息、參數和ID時，頂點著色器12將虛擬三維空間中的坐標轉換為2D(二維)坐標(屏幕坐標)(步驟S11)。然後，為顯示屏幕中的每個像素單元計算粘貼到顯示屏幕上的模型上的圖像的紋理坐標(X，Y)以及該顯示屏幕上的模型的縮減率(s)(步驟S12)。此外，在步驟S12中，如果設置了光源，則還為每個像素單元計算用於光源處理的發光係數(L)，以及如果指定了兩個或更多系統的視頻數據，則還為每個像素單元計算指示兩個或更多視頻數據在景深方向的位置關係的、景深方向(Z)的信息。
到這些步驟S11和S12為止的處理和圖3中到步驟S1和S2為止的處理相同。圖5是示出在步驟S11轉換的(顯示屏幕上的)屏幕坐標上的模型以及在步驟S12計算的紋理坐標的示例的圖示。在這個示例中，將紋理空間中的陰影部分的紋理坐標的圖像粘貼到顯示屏幕上的波模型61的顯示位置上。
隨後，由像素著色器13將由ID指定的、有關紋理坐標和縮減率的信息從CPU 3分配給R、G、B和α中的位(步驟S13)。換句話說，必定將由頂點著色器12計算的、有關紋理坐標(X，Y)和縮減率(s)的信息分配給這些位。此外，如果由這個ID指定了發光係數和有關景深的信息，則還把發光係數(L)以及有關景深的信息(Z)分配給R、G、B和α中的位。
然後，從顯示接口15輸出分配給R、G、B和α中的位的信息(步驟S14)。
圖6是示出其中分配了紋理坐標(X，Y)的步驟S13的示例的圖示。在這個示例中，由32位浮點模式計算的紋理坐標(X，Y)被轉換為18位的定點模式(14位用於整數，4位用於小數)，然後分離這18位並且將其分配給R中的低階2位、G中的8位以及B中的8位。類似地，還將縮減率(s)(以及，如果計算了的話，發光係數(L)和有關景深的信息(Z))分配給R中的剩餘位或者α中的位。
如上所述，對圖形處理器4進行編程以便從顯示接口15輸出有關顯示屏幕中的像素單元的紋理坐標(X，Y)、縮減率(s)等的信息。此外，如果這個程序作為諸如CD-ROM等之類的封裝介質被有償或者無償地分發，則用戶可以使用用戶早已擁有的圖形處理器作為在這個圖像特效設備1中的圖形處理器4。
如圖1所示，從圖形處理器4輸出的、有關像素單元的紋理坐標(X，Y)、縮減率(s)等的信息被傳送到緩衝存儲器5。
在緩衝存儲器5中，作為CPU 3的初始化處理，已經把代表顯示屏幕的背景部分(例如，圖5中的背景62)的亮度和顏色的10位YUV(亮度和色度差)信號的值寫入到對應於顯示屏幕中的全部像素的存儲區域中。然後，在這個初始化的緩衝存儲器5中，重寫來自圖形處理器4的、有關紋理坐標(X，Y)、縮減率(s)等的信息。因此，在緩衝存儲器5的存儲區域當中的、與未重寫有關紋理坐標(X，Y)、縮減率(s)等的信息的像素(即，顯示屏幕上的背景部分中的像素)相對應的存儲區域中，初始值的YUV信號的值保持不變。
此外，可以在緩衝存儲器5中重寫由槽8從小存儲卡中讀出的信息以及由通信接口9通過網絡接收的信息。
圖7是示出每個視頻處理塊6的配置的框圖。視頻處理塊6用硬體電路配置，並且包括前置濾波器單元21、紋理控制器22、紋理存儲器23、插值電路24、光源處理電路25和同步分離電路26。前置濾波器單元21被配置為具有濾波係數計算電路27、H(水平)方向前置濾波器28、HV掃描轉換器29和V(垂直)方向前置濾波器30。
將由連接到每個視頻處理塊6的VTR 51(圖1所示)再現的視頻數據(10位的YUV(亮度和色度差)信號)提供給前置濾波器單元21和同步分離電路26。同步分離電路26從這個視頻數據中分離出垂直同步信號(vs)，並且將這個垂直同步信號(vs)傳送給圖1中的CPU 3。
與這個垂直同步信號(vs)同步地，CPU 3為視頻數據的每幀而從緩衝存儲器5中順序地讀出與顯示屏幕中的全部像素相對應的、存儲在存儲區域中的信息。
對於從中讀出不同於初始值(背景中的YUV信號的值)的值的像素，CPU 3通過使用CPU 3內部的RAM而重構紋理坐標(X，Y)、縮減率(s)、發光係數(L)和景深信息(z)。例如，在其中如圖6所示、這樣分配紋理坐標(X，Y)以便Y被劃分成R中的低階2位、G中的8位和B中的8位的情況下，從這些位中重構紋理坐標(X，Y)。
CPU 3將有關紋理坐標(X，Y)的信息提供給每個視頻處理塊6中的紋理存儲控制器22(參見圖7)；將有關縮減率(s)的信息提供給每個視頻處理塊6中的前置濾波器單元21(參見圖7)；將發光係數(L)提供給每個視頻處理塊6中的光源處理電路25(參見圖7)；以及將景深信息(Z)提供給疊加電路7。
此外，對於其中讀出了初始值(背景中的YUV信號的值)的像素，CPU3將初始值的數據按照原樣提供給每個視頻處理塊6的紋理存儲控制器22。
如圖7所示，在每個視頻處理塊6的前置濾波器單元21中，濾波係數計算電路27計算與來自CPU 3(參見圖1)的縮減率(s)相對應的、用於縮減視頻數據的濾波係數(F)，並且將該濾波係數(F)提供給H方向前置濾波器28和V方向前置濾波器30。
H方向前置濾波器28使用這個濾波係數(F)對從VTR 51(參見圖1)提供的視頻數據執行濾波(在屏幕水平方向的濾波)，並且將結果傳送到HV掃描轉換器29。
在將一幀的視頻數據寫入到內部存儲器中之後，HV掃描轉換器29沿屏幕的垂直方向從存儲器中讀出每個像素的數據，以便對該視頻數據進行掃描轉換。然後，將掃描轉換了的視頻數據傳送到V方向前置濾波器30。
V方向前置濾波器30使用濾波係數(F)執行這個視頻數據的濾波(在屏幕垂直方向的濾波)。
由V方向前置濾波器30對其執行濾波的視頻數據從前置濾波器單元21被傳送到紋理存儲控制器22。
在將這個視頻數據寫入到紋理存儲器23中之後，紋理存儲控制器22通過使用來自CPU 3(參見圖1)的紋理坐標(X，Y)作為讀取地址，而從紋理存儲器23中讀出顯示屏幕中的每個像素的視頻數據。(當顯示屏幕的解析度和視頻數據的解析度相等時，讀出有關與顯示屏幕中的像素相對應的像素位置的數據。當顯示屏幕的解析度高於視頻數據的解析度時，讀出有關在該顯示屏幕中的像素附近的多個(四個或者八個)像素位置的數據。)然後，將所讀出的視頻數據傳送到插值電路24。
然而，在顯示屏幕的像素當中，對於從CPU 3(參見圖1)向其提供了初始值(背景中的YUV信號值)數據的像素，紋理存儲控制器22不執行從紋理存儲器23中的讀出，而且沒有任何改變地將這些初始值傳送到插值電路24。
在其中相對於顯示屏幕中的一個像素傳送了有關多個像素位置的數據的情況下(如上所述，當顯示屏幕的解析度高於視頻數據的解析度時)，插值電路24通過對多個數據執行線性插值來生成與顯示屏幕中的像素相對應的數據。然後，將所生成的數據傳送給光源處理電路25。在除此之外的其它情況下，插值電路24將從紋理存儲器23傳送過來的數據按照原樣傳送給光源處理電路25。
在顯示屏幕的像素當中，對於從CPU 3(參見圖1)向其提供了發光係數(L)的像素，由光源處理電路25對來自插值電路24的視頻數據執行與這個發光係數(L)相對應的光源處理(反射光和陰影表示)。對於除此之外的其它像素，光源處理電路25按照原樣輸出從插值電路24傳送過來的視頻數據。
如圖1所示，將從每個視頻處理塊6的光源處理電路25輸出的視頻數據提供給疊加電路7。在從CPU 3(參見圖1)提供了景深信息(Z)的情況下，疊加電路7根據這個景深信息(Z)疊加從每個視頻處理塊6提供的兩個或更多系統(最大為四個系統)的視頻數據。在除此之外的其它情況下(換句話說，在僅僅從一個視頻處理塊6提供視頻數據的情況下)，疊加電路7按照原樣輸出所提供的視頻數據。
將從疊加電路7輸出的視頻數據(10位的YUV信號)傳送到與該圖像特效設備1相連接的圖像記錄設備、監視器等(未在圖中示出)。
如上所述，通過對現有的可編程圖形處理器4進行編程，這個圖像特效設備1執行紋理映射處理當中、不涉及圖像質量的處理。不涉及圖像質量的處理是計算和輸出有關圖像的已變換形狀等(紋理坐標(X，Y)、縮減率(s)、發光係數(L)和景深信息(Z))的信息的處理。
換句話說，在相關技術的使用圖形處理器的一般方法中，僅僅在圖形處理器內使用有關紋理坐標、縮減率等的信息，並且從該圖形處理器中輸出最終變換的圖像數據。相反，在這個圖像特效設備1中，對圖形處理器4進行編程，以便從圖形處理器4的顯示接口15輸出有關紋理坐標、縮減率等的信息本身。
與視頻數據的解析度無關，有關該紋理坐標和縮減率等的信息的計算和輸出處理所必需的時段是不變的，從而可以執行實時處理。
另一方面，由利用硬體電路配置的視頻處理塊6基於從圖形處理器4輸出的信息，而執行作為涉及圖像質量的處理的、視頻數據本身的處理。在視頻處理塊6中，根據從圖形處理器4提供的、有關縮減率(s)的信息，在前置濾波器單元21中執行輸入視頻數據的濾波(縮減)。然後，在將視頻數據寫入到紋理存儲器23中之後，通過使用從圖形處理器4提供的、有關紋理坐標(X，Y)的信息作為讀取地址，而從紋理存儲器23中讀出該視頻數據。(當還從圖形處理器4中輸出發光係數(L)和景深信息(Z)時，根據上述信息執行光源處理以及在疊加電路7中的疊加處理。)然後，將該視頻數據粘貼到顯示屏幕上的模型上。因此，在對視頻數據適當地執行與顯示屏幕上的模型的縮減率相對應的濾波之後，粘貼該視頻數據，從而可以充分地控制混疊。
此外，如上所述，因為通過使用與圖形處理器4分離地提供的另一硬體電路來處理視頻數據，所以直接處理YUV空間中的圖像數據(不用將它轉換到RGB空間中)以及處理10位的高質量視頻數據就變得有可能。
因此，可以通過紋理映射來變換視頻數據，同時還滿足廣播和商業領域可能要求的圖像質量和實時處理。
此外，因為通過使用相對低成本的圖形處理器4來計算有關圖像的已變換形狀等的信息，所以可以將視頻數據變換為任意形狀而不會導致硬體尺寸的擴大以及成本的增加。
此外，例如，使用安裝有圖形處理器並且執行與圖形處理器4相同的程序的個人計算機，可以離線計算紋理坐標(X，Y)、縮減率(s)等(處於其中沒有在附近提供圖像特效設備1的狀態)。隨後，通過小存儲卡或者網絡將所計算的信息提供給圖像特效設備1(即，由槽8從該小存儲卡中讀出以存儲到緩衝存儲器5中、或者由接口9接收以寫入到緩衝存儲器5中)，並且可以基於該信息而在圖像特效設備1的視頻處理塊6中實際地粘貼該視頻數據。因此，還可以改進紋理映射的工作流程。
要注意到，雖然在上述實施例的圖像特效設備1中提供了視頻處理塊6的四個系統，但是不用說，系統數目可被任意選擇為諸如三個系統或更少、五個系統或更多等。
本領域技術人員應當理解在所附權利要求及其等效的範圍之內，取決於設計要求及其他因素，可以出現各種修改、組合、子組合以及改變。
權利要求
1.一種圖像特效設備，包含圖形處理器，其中安裝了可編程著色器；以及視頻處理塊，用硬體電路配置；所述圖形處理器被編程為執行根據提供的有關虛擬三維空間中的模型形狀的信息而將虛擬三維空間中的坐標轉換為顯示屏幕上的二維坐標、以及計算粘貼在顯示屏幕上的圖像的紋理坐標和該顯示屏幕上的模型的縮減率的處理，以及從圖像數據輸出單元輸出有關所述紋理坐標以及有關所述縮減率的信息的處理；所述視頻處理塊包括前置濾波器，其通過使用與所提供的有關縮減率的信息相對應的前置濾波係數而執行輸入視頻數據的濾波，存儲器，其中寫入由所述前置濾波器濾波的視頻數據，控制電路，其通過使用所提供的紋理坐標作為讀取地址的信息，來從所述存儲器中讀出視頻數據；以及其中，將從所述圖形處理器輸出的有關所述紋理坐標的信息提供給所述視頻處理塊中的所述控制電路，以及將從所述圖形處理器輸出的有關所述縮減率的信息提供給所述視頻處理塊中的所述前置濾波器。
2.如權利要求1所述的圖像特效設備，其中所述圖形處理器還被編程為執行計算光源處理中的係數、並且同樣從所述圖像數據輸出單元中輸出有關所述係數的信息的處理，所述視頻處理塊還包括光源處理電路，其對從所述存儲器讀出的視頻數據執行與所提供的係數相對應的光源處理，以及將從所述圖形處理器輸出的有關所述係數的信息提供給所述視頻處理塊中的所述光源處理電路。
3.如權利要求1所述的圖像特效設備，其中所述圖形處理器還被編程為執行以下這樣的處理，即在其中疊加兩個或更多系統的視頻數據以便顯示的情況下，計算景深方向的信息並且同樣從所述圖像數據輸出單元中輸出所述景深方向的信息；包含了所述前置濾波器、所述存儲器和所述控制電路的兩個或更多系統以便並行處理兩個或更多系統中的視頻數據，並且還包括了疊加電路，通過該電路，而與所提供的景深方向的信息相對應地疊加從每個系統的所述存儲器讀出的視頻數據；以及將從所述圖形處理器輸出的、所述景深方向的信息提供給所述疊加電路。
4.如權利要求1所述的圖像特效設備，還包含存儲單元，其存儲從所述圖形處理器的所述圖像數據輸出單元中輸出的、有關所述紋理坐標的信息以及有關所述縮減率的信息，其中與輸入到所述視頻處理塊的視頻數據同步地從所述存儲單元中讀出有關所述紋理坐標的信息以及有關所述縮減率的信息，並且將它們分別提供給所述視頻處理電路中的所述控制電路和所述前置濾波器。
5.一種圖像特效設備，包含讀出裝置，用於從記錄介質中讀出信息；以及視頻處理塊，其用硬體電路配置；所述視頻處理塊包括前置濾波器，其通過使用與提供的有關縮減率的信息相對應的前置濾波係數來執行輸入視頻數據的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數據；以及控制電路，其通過使用提供的紋理坐標作為讀取地址的信息來從所述存儲器中讀出視頻數據；以及其中將由所述讀出裝置從記錄介質中讀取的、有關紋理坐標的信息以及有關縮減率的信息分別提供給所述視頻處理塊的所述控制電路和所述前置濾波器。
6.如權利要求5所述的圖像特效設備，其中所述記錄介質存儲有關光源處理中的係數的信息；所述視頻處理塊還包括光源處理電路，其對從所述存儲器中讀出的視頻數據執行與所提供的有關光源處理中的係數的信息相對應的光源處理；以及將由所述讀出裝置從記錄介質中讀出的有關光源處理中的係數的信息提供給所述視頻處理塊中的所述光源處理電路。
7.如權利要求5所述的圖像特效設備，其中在疊加兩個或更多系統的視頻數據以便顯示的情況下，所述記錄介質存儲景深方向的信息；包含了所述前置濾波器、所述存儲器和所述控制電路的兩個或更多系統以便並行處理兩個或更多系統中的視頻數據，並且還包括了疊加電路，通過該電路，與所提供的景深方向的信息相對應地疊加從每個系統的所述存儲器讀出的視頻數據；以及將由所述讀出裝置從記錄介質中讀出的有關所述景深信息的信息提供給所述疊加電路。
8.一種圖像特效設備，包含通信裝置，用於執行通過網絡的通信；以及視頻處理塊，其用硬體電路配置；所述視頻處理塊包括前置濾波器，其通過使用與提供的有關縮減率的信息相對應的前置濾波係數來執行輸入視頻數據的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數據；以及控制電路，其通過使用提供的紋理坐標作為讀取地址的信息、來從所述存儲器中讀出視頻數據；以及其中將由所述通信裝置接收的有關紋理坐標的信息以及有關縮減率的信息分別提供給所述視頻處理塊中的所述控制電路和所述前置濾波器。
9.如權利要求8所述的圖像特效設備，其中所述視頻處理塊還包括光源處理電路，其對從所述存儲器中讀出的視頻數據執行與所提供的有關光源處理中的係數的信息相對應的光源處理；以及將由所述通信裝置接收的有關所述光源處理中的係數的信息提供給所述視頻處理塊中的所述光源處理電路。
10.如權利要求8所述的圖像特效設備，還包含所述前置濾波器、所述存儲器和所述控制電路的兩個或更多系統，以便並行處理兩個或更多系統中的視頻數據，以及疊加電路，通過該電路，與所提供的景深方向的信息相對應地疊加從每個系統的所述存儲器讀出的視頻數據，其中將由所述通信裝置接收的所述景深方向的信息提供給所述疊加電路。
11.一種包含可編程著色器安裝在其中的圖形處理器，被編程為執行根據提供的有關虛擬三維空間中的模型形狀的信息而將虛擬三維空間中的坐標轉換為顯示屏幕上的二維坐標、並且計算粘貼在所述顯示屏幕上的圖像的紋理坐標和所述顯示屏幕上的模型的縮減率的處理；以及從圖像數據輸出單元輸出有關所述紋理坐標的信息以及有關所述縮減率的信息的處理。
12.一種記錄介質，其中記錄有程序，使得包含可編程著色器的圖形處理器執行以下過程根據提供的有關虛擬三維空間中的模型形狀的信息而將虛擬三維空間中的坐標轉換為顯示屏幕上的二維坐標，以及計算粘貼在顯示屏幕上的圖像的紋理坐標和該顯示屏幕上的模型的縮減率，以及從圖像數據輸出單元中輸出有關所述紋理坐標的信息以及有關所述縮減率的信息。
13.一種圖像特效設備，包含讀出單元，從記錄介質中讀出信息；以及視頻處理塊，其用硬體電路配置；所述視頻處理塊包括前置濾波器，其通過使用與要提供的有關縮減率的信息相對應的前置濾波係數來執行輸入視頻數據的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數據；以及控制電路，其通過使用提供的紋理坐標作為讀取地址的信息，來從所述存儲器中讀出視頻數據；以及其中將由所述讀出單元從記錄介質中讀出的有關紋理坐標的信息和有關縮減率的信息分別提供給所述視頻處理塊中的所述控制電路和所述前置濾波器。
14.一種圖像特效設備，包含通信單元，執行通過網絡的通信；以及視頻處理塊，其用硬體電路配置；所述視頻處理塊包括前置濾波器，其通過使用與提供的有關縮減率的信息相對應的前置濾波係數來執行輸入視頻數據的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數據；以及控制電路，其通過使用提供的紋理坐標作為讀取地址的信息，來從所述存儲器中讀出視頻數據；以及其中將由所述通信單元接收的有關紋理坐標的信息和有關縮減率的信息提供給所述視頻處理塊中的所述控制電路和所述前置濾波器。
全文摘要
一種圖像特效設備，包括圖形處理器和視頻處理塊；該圖形處理器根據提供的有關虛擬三維空間中的模型的形狀的信息，而將虛擬三維空間中的坐標轉換為顯示屏幕上的二維坐標；計算粘貼在顯示屏幕上的圖像的紋理坐標、以及該顯示屏幕上的模型的縮減率；以及從圖像數據輸出單元中輸出有關紋理坐標和縮減率的信息；視頻處理塊在使用與從圖形處理器提供的有關縮減率的信息相對應的前置濾波係數進行濾波之後，將輸入視頻數據YUV寫入到存儲器中，並且通過使用所提供的紋理坐標作為讀取地址的信息，從存儲器中讀出該視頻數據。
文檔編號G06T15/04GK1893564SQ20061010111
公開日2007年1月10日 申請日期2006年7月4日 優先權日2005年7月4日
發明者高島彰博, 志野雅昭, 橫山琢, 清水英之 申請人:索尼株式會社