使用通用3d圖形管道進行成本低廉的數字圖像和視頻編輯的方法和裝置的製作方法
2023-09-17 23:01:30
專利名稱：使用通用3d圖形管道進行成本低廉的數字圖像和視頻編輯的方法和裝置的製作方法
背景技術：
本發明涉及數字圖像和視頻處理。
在視頻和圖像編輯過程中，我們通過如將圖像從屏幕的一部分移到另一部分，旋轉圖像，放大圖像或縮小圖像，改變一幅視頻圖像的部分或全部。其它常用圖像處理包括翹曲圖像(即，對圖像進行三維變形)，對圖像的部分進行放大，對圖像執行圓柱、球形、雙曲線或拋物線轉換(例如，讓一幅二維圖像呈環繞著圓柱、球形、雙曲線、或拋物線的表面彎曲或翹曲狀)，使圖像產生融化效果，等等。
經常，要處理的圖像採用像素陣列的形式。也就是，圖像存儲為一個多個數據值的陣列，每個值對應於圖像的一小塊區域的色彩和亮度。當執行上述視頻圖像處理時，我們典型性地執行轉換圖像的每個像素的計算。例如，對於圖像的每個像素，我們執行確定該像素在視頻屏幕上的新位置的計算。大圖像可以包含數百萬像素。而且，對於圖像流的情況(例如，在視頻圖像的情況下)，每秒必須轉換許多幀。因此，在很短的時間內，對每個轉換，可能必須分析和修改數百萬像素。這種轉換需要巨大的CPU資源或特殊的硬體，以能夠在很短的時間內轉換大量的像素。
提供一種用於編輯和/或處理二維圖像的方法是理想的。因此我們能夠每秒編輯和/或處理很多幀二維圖像，例如，象視頻圖像的圖像流，是特別理想的。能夠快速和有效地執行這些處理，而不必設計專用於該目的的，昂貴，複雜的硬體是理想的。
概要本發明的方法包括將2D圖像轉換到3D空間，並且使用用於處理圖像的3D圖形管道的步驟。該方法釋放CPU資源，減少執行圖像處理所需的時間，並且允許新的特殊效果。
在本發明的一個實施例中，我們獲得一幅採用像素陣列形式的圖像。這可以通過如對圖像進行數位化來實現。然後，我們通過使用3D圖形管道，將這些圖像＂轉換＂到3D空間。該圖形管道可以完全或部分地通過軟體或硬體(例如，3D硬體加速器)進行實現。
存在幾個將像素陣列轉換到3D空間的方法。典型地，3D管道定義一個圖像表面區域的集合，每個圖像表面區域被分配給三維坐標系統的一個位置。然而，在本發明的實施例的情況下，所有的表面區域是共面的。在一個實施例中，表面區域均是多邊形，如三角形，每個三角形是通過用x、y和z坐標指定位置的點的集合來定義的。(所有的坐標是採用讓它們都位於同一平面中的方式進行建立的)。然而，表面區域也可以使用其它圖形技術進行定義。例如，表面區域或整個表面可以採用＂隱式＂技術進行定義，其中，空間(表面區域)中的像素位置通過數學方程進行定義。
創建表面區域的集合之後，我們將2D像素陣列圖像映射到表面區域的集合上。換句話說，我們將2D圖像的一幅圖片的一部分＂綁定＂到每個圖像區域。執行該步驟之後，我們使用3D圖形管道來處理已創建的、要執行所需圖像和/或視頻編輯的圖像。
我們已經發現該技術對於快速處理很多2D圖像是極其有效的。例如，該技術可以用於處理視頻圖像流，該圖像流典型地包括每秒59.94幀，每幀對應於一個大的像素陣列。該技術也可以用於處理來自其它來源的2D圖像，例如，數字掃描儀、照相機、從網際網路下載的圖像文件，或其它來源。
在一個實施例中，目前現有的非定製的3D管道和/或3D加速處理器用於執行該過程。因此，我們已經發現一種用於處理2D圖像的新的廉價方法，而不必從零開始構建特殊處理軟體和/或硬體。
我們採用新的方式使用3D圖形管道將是值得重視的。以前，圖形管道用於將紋理映射到一個幾何對象上，作為給該幾何對象一種特殊外觀的方法，並且，創建一個包含這種對象的集合的新虛擬環境。這是通過向圖形管道提供紋理和幾何圖形以創建一個新的虛擬圖像來實現的。這與使用幾何圖形轉換和編輯圖像不同。
在本發明的方法中，我們將一個圖像和一個幾何圖形應用於3D圖形管道以生成一幅3D圖像。然後，我們採用新的方式使用3D圖形管道，以轉換或處理該圖像。
圖像不僅僅是在如某些紋理的圖案中的不斷重複的單元，也不僅僅是幾乎感覺不到的大小的圖像。在構造一幅圖像的過程中，我們不是簡單地將一種紋理應用於一個表面，而是將一幅圖像應用於一個幾何表面，以將該圖像置放於三維空間。該圖像可以是一個三維對象的二維圖像。
附圖簡述
圖1A到1E示出3D圖形管道的操作；圖2A和2B示出使用本發明的方法的2D圖像的處理；圖3是一個用本發明的3D圖形管道與圖形控制器結合的個人計算機(personal computer，PC)的簡化方框圖。
詳細描述如上所述，本發明的方法包括採用新方式使用3D圖形管道，以幫助數字圖像(包括視頻圖像流)的處理。我們將首先說明3D圖形管道通常是如何使用的。此後，我們將描述它在本發明的方法中的使用。
3D圖形管道本專利所提及的3D圖形管道可以通過組合硬體元件(稱作加速器)和軟體(某些軟體有時稱作驅動程序)來實現。硬體和軟體之間的劃分可能根據系統中所使用的CPU和圖像卡發生變化，但是，整個系統執行下面所述的方法步驟。管道任務部分能通過軟體進行執行，目前軟體比硬體便宜，但是通常比硬體解決方案慢。執行下述步驟的硬體和軟體被簡單地稱作管道，而不考慮特定的劃分。
下面是3D圖形管道的簡化概括性描述。它不試圖描述任何特定產品(例如，本發明中後面將提及的產品)。相反，下面的描述僅是3D圖形管道的概括性說明，以幫助讀者的理解。
目前，使用3D圖形管道創建的圖形對象可以被描述為幾何表面的集合。在圖形管道中構建幾何表面的一種方法是創建＂圖元＂的＂網狀物＂。一個＂圖元＂是一個可以由頂點集合定義的小几何表面。例如，圖元可以是，在管道內根據多邊形的角點或頂點的位置(在x、y和z坐標空間中)定義的多邊形(例如，三角形或者四邊形)。幾個圖元的集合用於定義一個更大的3D表面。
不使用如多邊形的圖元，一些圖形管道可以處理以其它方式，如數學方程式定義的幾何表面區域。這種用於定義幾何表面區域的方法被稱為＂隱式＂。如下所述，兩種用於定義這種表面區域的方法都可以用於執行本發明的方法。
為了說明清楚，我們將首先描述一種使用三角形圖元處理幾何表面區域的圖形管道。其它類型的圖形管道將在後面描述。
在這第一個例子中，3D圖形管道從2D像素陣列(典型地稱作＂紋理圖＂)構建對象的3D圖像。圖1A示出一幅＂紋理＂集合的2D圖像2。(如下所述，該紋理圖用於創建對象圖像-在本例中是一所房子。圖像2包括具有磚外觀的部分2a，具有屋頂瓦片外觀的部分2b，具有門外觀的部分2c，具有窗外觀的部分2d。)2D圖像2以像素陣列的形式存儲在數字存儲器中。存儲器中的每個位置存儲一個像素，每個像素是表示與該像素對應的色彩，色彩飽和度和亮度的一個或者多個字的數據。陣列中像素的位置典型地稱作u、v坐標(不要和用於描述特定視頻信號的Y、U和V信號名稱相混淆)。(該u、v坐標和笛卡兒坐標系統的x、y坐標類似。在圖1A中，像素陣列是一個n×m的陣列，其中n和m是整數。)如上所述，圖1A表示一個像素陣列。物理上，該陣列包括載入到存儲器的數據。
該過程的下一步驟是提供或準備一個幾何表面。在這個例子中，幾何表面採用三維空間中圖元5的網狀物4的形式(圖1B)。在圖1B的情況下，圖元是三角形，但是能使用其它類型的多邊形。該圖元的網狀物表示3D空間中對象O的三維形狀。(在圖1B的情況下，是一所房子的形狀)。相對於對象，網狀物4內每個三角形的每個頂點的位置以x、y和z笛卡兒坐標形式存儲在存儲器中。這些坐標有時稱作模型坐標(＂MC＂)。準備這種網狀物的過程是眾所周知的，並且在多個標準圖形庫中被描述，例如，由Real 3D，lockheed Martin公司Real 3D 1996年出版的Real 3D，和由New Riders出版社1997年出版的Direct 3D。
圖1B的網狀物不是如此顯示的。相反，圖1B的網狀物是存儲在數字存儲器中的內容的表示。具體地說，存儲器根據xy和z坐標，存儲網狀物4內每個頂點的位置。
下一步是將圖1A的二維紋理圖映射或＂綁定＂到圖1B的網狀物4上。這是通過將每個三角形的頂點映射到紋理圖的一個位置來實現的。結果，關聯網狀物4的每個頂點和圖1A紋理圖中特定點(像素)的u、v坐標的數據點列表被準備。(頂點所綁定的紋理圖的位置有時稱作＂控制點＂)。
該過程的這一部分大致類似於裝潢人員選擇一片織物，並且用一些釘子將它定位到正被裝潢的長椅的角落上(這些釘子就像控制點)。然後，裝潢人員要求他的學徒完成將該織物固定到長椅上。在本例中，不是學徒而是3D圖形管道完成這一任務。
圖1A和圖1B描述將一幅紋理圖(圖1A)映射到表示一個對象O的一個網狀物4的過程。圖形管道可以，並且經常性如此，將一個或多個紋理圖映射到同一個或幾個不同的對象上。
該過程的下一步是建立要顯示的各個對象的＂真實坐標模型＂，這要求建立要顯示的每個對象的位置和方位。例如，假定有兩個要觀察的對象四面體T和立方體C(圖1C)。在該過程的這個步驟中，管道被指示，立方體C面向一個特定的方向，並且相對於特定的參考框架，部分位於四面體T的前面。而且，圖1C的結構本身不被顯示。相反，圖形管道建立與對象的位置和方位參數對應的模型坐標的處理。
下一步是選擇參考框架。例如，可能確定＂觀察者＂希望從真實坐標模型的一個角部位置觀察該對象(例如，圖1D的位置P)。因此，將選擇虛擬視點，觀察方向和孔徑。與該＂觀察者＂關聯的多個參數定義屏幕坐標(screencoordinate，SC)系統。而且，可能確定觀察者使用一個位於位置L的光源觀察這些對象。圖形管道將建立另一個處理管道，以將真實坐標數據處理成屏幕坐標數據，該數據讓計算機屏幕顯示的圖像如同觀察者在位置P所觀察到的圖像(例如，圖1D的圖像)。換句話說，計算機屏幕將提供一幅四面體T和立方體C的圖像，其中，四面體T和立方體C就如同觀察者站在位置P並且光源在位置L時所觀察的一樣。該圖像最初作為幀緩衝器的一個像素陣列進行提供，然後通過計算機屏幕進行顯示。幀緩衝器中的圖像典型地以大約每秒50到120次進行刷新，即，根據編程到管道中的規格要求進行重新生成。存在很多不同的方法，用於優化管道並且最小化處理對象不可見部分(例如，遠離觀察者的立方體C的背面)的時間。這些細節為本領域的技術人員所熟知，在此不作詳細討論。
在上述構造像素陣列並且將它提供給幀緩衝器的過程中，管道a)提取＂釘＂到網狀物4的頂點的紋理圖2部分(並且因此沿每個三角形進行延展)；b)在給定相對於觀察者和光源位置的三角形方位時，確定紋理圖的該部分應該如何以及在哪裡進行顯示；並且c)構造存儲在幀緩衝器中的適當位圖像素陣列。然後，該幀緩衝器的內容作為圖像在計算機屏幕上進行顯示。
此後，3D圖形加速器允許我們以任何所需方式處理所顯示的對象。例如，如果我們想以45度旋轉四面體T(圖1E)，3D圖形加速器將幫助這一處理。這是通過將一個表示四面體T的新位置和方位的真實坐標模型參數的新集合，提供給圖形管道來實現的。此後，下次該圖形管道重新生成在幀緩衝器中存儲的圖像時，所刷新的圖像將反映四面體T的這種旋轉。
同樣地，假設要求顯示如果觀察者從位置P前進10步時，出現在他面前的圖像。下次該圖形管道重新生成該圖像時，它將生成並且在幀緩衝器中存儲與將出現在該觀察者面前的圖像對應的另一像素陣列，並且該像素陣列作為另一圖像提供在計算機屏幕上。
因此可以看到，圖形管道在如視頻遊戲的應用中極其有用，在這些應用中，如果遊戲操作者走過一系列對象，就需要模擬出現在他面前的圖像。
如上所述，一些圖形管道使用隱式技術創建幾何表面模型。這些表面經常描述為位置坐標函數，即f(x，y，z)，或者，也可以包含一些頂點。與這些表面相關的控制點和附加公式用作將一個數字像素陣列(例如，圖1A所示的陣列)綁定到隱式定義的表面，並且該過程如上所述進行。主要的差別是，表面區域是根據數學方程定義的，而不是根據帶頂點的圖元定義表面區域。
2D圖像的處理本發明過程的開始步驟是獲取二維數字圖像的步驟(例如，圖2A的圖10)。該步驟可以如通過使用傳統的數字掃描儀掃描如照片或其它圖像進行完成。數字圖像也可以從傳統的數位相機獲取。圖像還可以包括如來自直播或所存儲的視頻流(基本上是一系列快速、連續的2D圖像)的數字視頻圖像。然而，也可以使用任何其它來源的2D數字圖像。如上所述，數字圖像典型地作為數字值的陣列存儲在存儲器中。在一個實施例中，該數字值採用如使用MEPG1、MPEG2或其它格式的壓縮技術的壓縮格式。在數字值經過壓縮的情況下，在處理前，它們必須首先進行解壓縮。另外，還可以使用所掃描的圖像或來自任何如有線電視、天線、照相機等來源的數位化圖像。
如上所述，對於視頻圖像的情況，每秒必須處理由每秒數百萬像素組成的很多幀。我們發現標準圖形管道可以用於充分快速地處理多幀數據，以處理視頻圖像。
任何類型的存儲器可以用於存儲數字2D圖像，例如，半導體存儲器(靜態存儲器SRAMs，動態隨機存取存儲器DRAMs，或其它半導體存儲器)，磁性存儲器(例如，硬碟，軟盤，磁帶，或磁光碟)，或者其它類型的存儲器設備(例如，光碟)。與所存儲圖像對應的像素可以根據RGB值(例如，像素色彩的紅、綠和藍分量的強度)，YUV值或其它值進行存儲(對於YUV值，Y對應於像素值的幅度或亮度，U對應於色彩，並且V對應於飽和度。)。像素值也能以其它方式進行編碼。在進一步處理之前，根據情況，可能要求進行轉換。
下一步，建立3D圖形管道，這是通過將對所要提供的數據做什麼處理的指令提供給3D圖形管道來完成的。建立圖形管道本身為本領域所熟知，例如，如Microsoft Direct 3D SDK(software developer kit，軟體開發工具包)或direct 3D所述。
此後，一個平面幾何表面的計算機模型被生成。這個計算機模型可以包含圖元的集合，例如，如三角形的多邊形。在另一實施例中，計算機模型可以包括一個平面幾何表面的隱式描述。這種隱式描述典型地是一個如上所述的數學函數(例如，x，y和z的函數)。
對於平面幾何表面包含一個多個圖元的網狀物的情況，圖元的數目和形狀，以及圖元的類型可以變化。圖2B示出一個可以用於實行本發明方法的網狀物12。網狀物12和上面所述的網狀物4相似。然而，和網狀物4不同，網狀物12的所有頂點是共面的(或大部分共面)。在一個實施例中，網狀物12包括大約5000個三角形，這對於處理視頻圖像是可以接受的。當然，也可以使用其它圖元數目。
在構建平面幾何表面(例如網狀物12)之後，圖像10被映射或者綁定到該平面幾何表面上。這是按照如下方式進行實現的。對於平面幾何表面是一個如網狀物12的網狀物的情況，平面幾何表面的每個頂點(例如，三角形的頂點)與一個圖像像素的位置相關聯(例如，控制點)。因此，每個控制點與一個與像素對應的紋理坐標(u，v)目關聯。一個列出每個頂點及其關聯的u、v紋理空間坐標的數據表被建立。這被稱作＂綁定＂(參見Kamen，IEEE計算機協會，IEEE計算機圖形和應用，1997年1-2月，第17卷，編號1)。對於隱式技術用於定義平面幾何表面的情況，該隱式定義表面內的控制點採用與上面所討論的三角形類似的方法，綁定到像素陣列坐標空間(u、v坐標)。
在圖10被映射到網狀物12之後，對象可以通過處理真實坐標進行處理。真實坐標描述在x、y、z空間中該平面出現在什麼位置以及它的方位是什麼(例如，對於觀察者，它應該持什麼角度)。另外，對象的屏幕坐標能進行改變。從而，在2D圖像準備完畢時，它能夠以反映所需處理的方式進行準備。例如，它可以圍繞任何軸進行旋轉、放大、縮小等等。
在建立真實坐標模型和屏幕坐標模型之後，管道在輸出幀緩衝器(outputframe buffer，OFB)中準備一個包含顯示所處理的紋理網狀物12的像素的陣列。OFB中的像素陣列顯示在CRT或其它類型的屏幕上。
我們可以通過，例如，改變真實坐標的參數來處理視頻圖像，例如通知管道圍繞任一軸線傾斜視頻圖像(包括垂直於屏幕或屏幕平面中的軸線)。因此，當管道在OFB中重新生成像素陣列時，所重新生成的視頻圖像將顯現為圍繞選定的軸線產生傾斜。由於管道將根據所使用的系統以預編程的速率重新生成圖像，因此直播視頻將以直播視頻的形式顯現。這是由於每次生成新像素陣列時，包含輸入視頻幀緩衝器的紋理圖，被重讀並且發送到管道。由於紋理映射過程還包含用於像素插值的特性，因此發生自動解析度適應。
我們可以通過移動映射圖像的相關頂點來彎曲或翹曲圖像。因此，我們可以改變圖2B的平面幾何面，從而翹曲圖像。當管道重新生成幀緩衝器中的像素陣列時，圖像將呈翹曲狀。
我們可以移動頂點，從而網狀物10變為一個圓柱體。當管道重新生成幀緩衝器中的像素陣列時，圖像將呈環繞圓柱體翹曲狀。(當然，網狀物10能被改變為其它形狀，並且該圖像將環繞任何其它形狀發生翹曲。)這些修改能以一定的速度進行，從而給觀察者產生圖像正在被翹曲或逐漸被翹曲的印象。
我們可以通過在真實坐標系統中，將頂點彼此移遠或移近，或者將圖像移近或遠離觀察者，或者通過重新參數化模型坐標到真實坐標的變換來放大或縮小圖像。
我們能通過讓頂點以不同的速度下落產生圖像＂融化＂效果。
可能的3D處理的數目僅僅受限於要對它們進行全部試驗的用戶的精力。
用於實行一個本發明方法的實施例的硬體和軟體本發明的一個實施例可以使用一臺PC進行實行，該PC包括1.例如Intel生產的如Celeron或Pentium的CPU，或者如Advanced MicroDevices生產的K6處理器。
2.32MB或更大的內存。
3.3D HW適配器。這是目前可在市場上得到的一種圖形卡。該3D HW適配器需要具有4MB存儲器(最好是8MB)和一個高級圖形埠(AGP)接口(AGP接口是本領域所熟知的一種總線標準)。作為替換，周邊連接接口(peripheral connection interface，＂PCI＂)可以用來替代AGP。PCI是本領域所熟知的一種總線標準。合適3D HW適配器的例子包括可從Riva得到的TNT-2、ATI Rage 128，Matrox G400，Trident Blade 3D和S3 Savage。
4.作業系統可以是Windows 95、Windows 98、Win2000或者支持direct 3D的任何其它作業系統。Windows作業系統包括稱作Direct X Windows版的標準化平臺。
在一個實施例中，用戶在Direct 3D windows環境中建立平面幾何表面(例如，一個三角形網狀物)。然後，將指令集合提供給完成繪圖處理的圖形管道。然而，在另一實施例中，PC包括一個旁路機制，它允許我們直接使用由圖像卡製造商提供的軟體接口訪問硬體加速器。
圖3是一個執行本發明的方法的計算機系統50的方框圖。結合圖3，系統50包括CPU52，例如PentiumII類型CPU，它包括高速緩衝存儲器52a、核心52b和用於實現核心52b和高速緩衝存儲器52a之間通信的內部總線52c。核心52b通過CPU總線54和系統控制器56進行通信。系統控制器56通過存儲器總線60和系統存儲器58進行通信。系統存儲器58包括存儲系統存儲器程序的第一部分58a，和存儲如上所述的紋理圖的第二部分58b。
另外，系統50中還包括PCI總線62，用於實現系統控制器56和I/O設備64，66和硬碟驅動器68之間的通信。I/O設備64可以是任何類型的I/O設備。在一個實施例中，I/O設備66是一個帶有驅動程序的視頻捕獲卡。來自視頻捕獲卡的數據通過DMA(direct memory access，直接存儲器存取)或CPU52載入到幀緩衝器中，典型地，位於主存儲器58內。然而，幀緩衝器可能在系統50內的其它存儲器中。
系統50還包括包含3D加速器的AGP圖形控制器70。在一個實施例中，AGP圖形控制器70利用AGP總線72和系統控制器56進行通信。在另一個作為替換的實施例中，AGP圖形控制器70可以利用PCI總線62和系統控制器56進行通信(例如，如圖3的虛線部分所示)。
圖形控制器70使用自己本地存儲器74，以生成並且存儲要顯示在視頻顯示單元76的像素陣列。
需要強調的是，系統50僅僅是一個執行本發明的方法的例子。其它硬體也可以進行使用。
發明應用存在很多適合於本發明的應用。例如，本發明的方法可以用於處理如電視圖像的圖像流。由於在北美視頻圖像包括大約60幀/秒速率的連續幀，因此本發明的方法特別適合。例如，在NTSC情況下，要求大約每秒9.1MB的吞吐量。(NTSC是＂North American Television Standard for Color(北美彩色電視標準)＂的縮寫。它是北美所使用的電視信號標準。)本發明的另一應用是將不同視頻圖像或其它圖像的部分，移動和傾斜到屏幕(如PC屏幕)的不同部分上。例如，該圖像可以進行變換，以顯現在多面體(例如，立方體)的多個面上。通過在計算機顯示上單擊適當圖標，我們可以旋轉多面體，以查看該多面體不同面上的不同圖像。該多面體可以用作一種新型的計算機菜單選項顯示。
根據本發明提供的經過處理的圖像可以提供給任何合適輸出設備，例如，電視屏幕，視頻放映機，HDTV監視器或PC屏幕。根據本發明處理的圖像可以來自大量來源中的任何一種，例如，模擬或數字視頻輸入，有線電視輸入，衛星輸入，網際網路，數字掃描儀，數位相機，或很多其它來源。(在模擬輸入的情況下，我們將首先對圖像進行數位化。)雖然本發明是對一個特定實施例進行描述的，但是本領域的技術人員應該理解，在不脫離本發明的精神和範圍的情況下，可以對其進行形式和細節上的修改。例如，本發明可以用於將2D圖像映射到大部分是平面的表面上，而不是完全平面的表面上。因此，所有這些修改將在本發明的範圍內進行。
權利要求
1.一種方法，包括提供二維圖像的數字表示；提供幾何表面的模型；將所述數字表示綁定到所述幾何表面的所述模型上；和生成與要顯示的圖像對應的像素陣列，要顯示的所述圖像包括應用於所述幾何表面的所述二維圖像。
2.如權利要求1所述的方法，還包括將要顯示的所述圖像顯示到顯示設備的操作。
3.如權利要求1所述的方法，其中，在所述綁定的操作中，所述幾何表面大體上是平的。
4.如權利要求3所述的方法，還包括修改所述幾何表面的操作，從而在生成所述像素陣列之前它不再為大體上的平面，因此，所述顯示圖像不顯現為大體上是平的。
5.如權利要求2所述的方法，還包括執行數字處理過程的操作，所述數字處理過程包括對要顯示的所述圖像進行翹曲、改變大小、融化，和旋轉中的一種。
6.如權利要求2所述的方法，還包括建立所述幾何表面在真實坐標系統中的地點和位置的操作，其中，生成所述像素陣列的所述操作考慮所述幾何表面在所述真實坐標系統中的地點和位置。
7.如權利要求1的所述方法，其中，所述幾何表面包括一個多邊形的集合。
8.如權利要求1的所述方法，其中，所述幾何表面使用隱式技術進行定義。
9.如權利要求1的所述方法，其中，所述生成操作是使用3D圖形管道實現的。
10.如權利要求1的所述方法，其中，所述二維圖像的所述表示是從視頻圖像獲得的。
11.一種結構，包括第一存儲器，用於存儲二維圖像的數字表示；第二存儲器，用於存儲幾何表面的模型；第三存儲器，用於存儲真實坐標系統，所述真實坐標系統表示要顯示對象的地點和方位；和圖像3D管道，用於將所述幾何表面的所述模型綁定到所述二維圖像上，並且生成與要顯示圖像對應的像素陣列，所述圖像的所述生成，至少部分基於根據所述二維圖像加上紋理的所述幾何表面，所述圖像根據所述真實坐標系統進行定向和定位。
12.如權利要求11所述的結構，還包括用於顯示要顯示的所述圖像的顯示器。
13.如權利要求11所述的結構，其中，所述幾何表面大體上是平的。
14.如權利要求13所述的結構，其中，所述圖形管道允許對所述大體上是平的幾何表面進行處理，從而要顯示的所述圖像不顯現為所述幾何表面大體上是平的。
15.如權利要求11所述的結構，其中，所述第一，第二，第三存儲器包括在同一存儲器設備內的不同位置的集合。
16.一種方法，包括如下操作提供圖像給3D圖形管道；提供幾何表面給所述3D圖形管道；和基於至少部分所述圖像到所述幾何表面的綁定，生成像素陣列。
17.如權利要求16所述的方法，其中，所述圖像是視頻圖像。
18.如權利要求17所述的方法，其中，當所述幾何表面被綁定到所述視頻圖像時，所述幾何表面是平的幾何表面。
19.一種方法，包括如下操作提供二維圖像給3D圖形管道；提供大體上是平的幾何表面給所述3D圖形管道；基於至少部分所述二維圖像到所述平面幾何表面的綁定，生成像素陣列。
20.如權利要求19所述的方法，包括將所述二維圖像綁定到所述幾何表面，然後改變所述幾何表面的操作，從而所述幾何表面不再為大體上是平的。
21.如權利要求1或19所述的方法，其中，所述二維圖像是數位化照片。
22.如權利要求1或19所述的方法，其中，所述二維圖像是來自視頻片斷的幀。
23.如權利要求1或19所述的方法，其中，所述二維圖像是三維對象的二維圖像。
24.一種結構，包括視頻圖像源；和3D圖形管道，接收所述視頻圖像，並且通過將所述視頻圖像綁定到幾何表面和基於至少部分所述視頻圖像到所述幾何表面的綁定，生成像素陣列，來處理所述視頻圖像。
25.一種結構，包括包含二維圖像表示的存儲器；和包含幾何表面的存儲器；和3D圖形管道，用於將所述二維圖像綁定到所述幾何表面，並且生成與所述綁定的二維圖像對應的像素陣列。
26.如權利要求25所述的結構，其中，所述幾何表面大體上是平的。
全文摘要
本發明的方法允許使用標淮3D圖形管道(70)處理二維像素陣列。該方法包括形成二維圖像的線網。該線網包括三角形的集合,其中這些三角形的頂點和邊位於x,y,z坐標空間中的同一平面中。然後,將2D圖像映射到網中。然後,用通過3D圖形管道處理的3D表示的相同方式處理產生的對象表示。
文檔編號H04N5/262GK1339142SQ00803291
公開日2002年3月6日 申請日期2000年2月3日 優先權日1999年2月3日
發明者雅科夫·卡門, 利昂·舍曼 申請人:伊瑟夫電視公司