圖像處理機、圖像處理方法、記錄介質、電腦程式和半導體設備的製作方法
2023-06-01 11:42:51 1
專利名稱：圖像處理機、圖像處理方法、記錄介質、電腦程式和半導體設備的製作方法
技術領域：
本發明涉及一種圖像處理技術，該技術使用通過攝像裝置(如攝像機)拍攝的圖像作為輸入界面，以便輸入命令和其他內容。
背景技術：
鍵盤、滑鼠和控制器常常被用作計算機、視頻遊戲機和其他設備的輸入設備。操作員通過對一個輸入設備進行操作輸入一個想要的命令或幾個命令，以使計算機根據輸入的命令執行處理。然後，操作員通過顯示設備和/或揚聲器看到和/或聽到作為處理結果獲得的圖像和/或聲音。
操作員通過操作輸入設備上提供的許多按鈕或鍵來輸入命令，同時觀察顯示設備上顯示的光標。
這樣的操作在很大程度上取決於操作員的操作經驗。例如，對於那些以前從來沒有接觸過鍵盤的人來說，使用鍵盤輸入想要的命令是相當麻煩而費時的，由於擊鍵出錯，也會使他們容易產生輸入錯誤。有鑑於此，有必要為人們提供一種操作員操作起來非常方便的人機界面。
另一方面，由於多媒體技術的進步，一般家庭的人現在也可以輕易地將用攝像機拍攝的圖像傳輸到電腦或其他設備中，進行編輯並將它們顯示在顯示設備上。這樣的技術也可用於身份驗證中，通過對拍攝的身體某一部位(比如臉)的圖像進行分析，提取出其中的特徵數據，便可識別一個人。
通常，這樣的拍攝圖像用作由計算機處理的信息，以便進行編輯或分析。但是，迄今為止，拍攝的圖像還沒有用來向計算機中輸入命令。
本發明的目標是提供一項圖像處理技術，以便使用由圖像拍攝裝置或其他設備拍攝的圖像作為一個輸入界面，以便允許用戶輸入命令。
發明內容
一個根據本發明的圖像處理機包括圖像捕獲裝置，用於捕獲一個鏡像移動圖像，該圖像的其中一部分包括一個移動目標，圖像生成裝置，用於根據圖像捕獲裝置所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像，控制裝置，用於將圖像生成裝置生成的對象圖像與捕獲的鏡像移動圖像合併，並在一個預先確定的顯示設備上顯示合併圖像。
「目標」是指一個主體的標記部分(例如，人或對象)，其圖像由圖像拍攝裝置拍攝，該裝置將圖像提供到圖像處理機。
根據本發明的另一個圖像處理機包括圖像捕獲裝置，用於捕獲一個鏡像移動圖像，該圖像的一部分包括一個移動目標，檢測裝置，用於通過檢測當前鏡像移動圖像和緊前面的鏡像移動圖像之間的圖像特徵來檢測目標和它的移動組件，圖像生成裝置，用於生成一個表示預先確定的對象的對象圖像，以使對象圖像隨檢測裝置檢測到的目標的移動組件而變化，控制裝置，用於將圖像生成裝置生成的對象圖像與捕獲的鏡像移動圖像合併，並將合併圖像顯示在一個預先確定的顯示設備上。
這些圖像處理機根據包括在鏡像移動圖像中的目標的移動來生成對象圖像。更具體來講，根據目標的移動，可以確定出要顯示在顯示設備上的對象圖像的移動、顏色和形狀，並且如果有許多對象圖像，那麼也可以確定出哪一個對象圖像需要顯示。例如，如果目標是操作員，那麼對象根據操作員的移動來確定。如此，鏡像移動圖像可以作為一種輸入界面。
在這些圖像處理機中，圖像生成裝置可以生成對象圖像，以使對象圖像跟隨檢測到的目標的移動。
圖像處理機可以進一步包括一個裝置，用於為根據目標的移動組件並基於生成的對象圖像執行所需要的處理作好準備。
圖像處理機可以進一步包括一個裝置，用於將通過合併圖像生成裝置生成的對象圖像和當前鏡像移動圖像獲得的合併圖像，與包括在緊前面的鏡像移動圖像中的目標的圖像(它是模板圖像)進行比較，檢測其圖像特徵與模板圖像最相似的合併圖像的一部分，並為在檢測到的合併圖像的一部分的圖像包括對象圖像的情況下基於對象圖像執行所需要的處理作好準備。
通過將對象圖像與預先確定的處理關聯，並進一步包括一個裝置，該裝置用於在檢測裝置檢測到的目標的移動組件滿足一個預先確定的條件的情況下執行與對象圖像關聯的處理，則可以根據目標的移動執行處理。
鏡像移動圖像可以包括許多目標。檢測裝置可以被配置為檢測許多目標中的每一個目標的移動組件，並基於許多目標的被檢測到的移動組件檢測一個目標。圖像生成裝置可以被配置為根據檢測裝置檢測到的一個目標的移動組件更改對象圖像。
本發明進一步提供了下面的圖像處理方法。這種圖像處理方法包括一些步驟，用於將一個鏡像移動圖像捕獲到一臺圖像處理機中，該圖像的其中一部分包括一個移動目標；圖像處理機根據所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像，將生成的對象圖像與捕獲的鏡像移動圖像合併，以在一個預先確定的顯示設備上顯示合併圖像。
本發明還提供了下面的電腦程式。該電腦程式使一臺連接到顯示設備的計算機執行以下處理過程捕獲一個鏡像移動圖像，該圖像的其中一部分包括一個移動目標；根據所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像，將生成的對象圖像與捕獲的鏡像移動圖像合併，以在顯示設備上顯示合併圖像。
本發明還提供了下面的半導體設備。該半導體設備集成到一個安裝在計算機上的裝置，該計算機與一個顯示設備相連接，該半導體設備使計算機具備如下裝置的功能一個捕獲鏡像移動圖像的裝置，該圖像的其中一部分包括一個移動目標；一個生成對象圖像的裝置，該裝置根據所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像，一個合併裝置，該裝置將生成的對象圖像與捕獲的鏡像移動圖像合併，以在顯示設備上顯示合併圖像。
圖1是一個應用了本發明的圖像處理系統的總體配置圖表；圖2是一個根據本發明的一個實施例的圖像處理機的配置圖表；圖3是一個根據本發明的一個實施例的圖像處理機的功能方框圖；圖4是一個顯示實施例1的處理過程的流程圖；圖5是一個顯示實施例1的處理過程的流程圖；圖6說明了根據實施例1的合併圖像；圖7說明了一個菜單圖像；圖8是一個顯示實施例2的處理過程的流程圖；圖9說明了根據實施例2的合併圖像；圖10是一個描述如何使用遞歸紋理進行繪製的視圖；圖11是一個顯示實施例3的處理過程的流程圖；圖12是一個顯示實施例3的處理過程的流程圖；以及圖13說明了根據實施例3的合併圖像。
具體實施例方式
下面我們將參照附圖對本發明的實施例進行具體介紹。
圖1是一個顯示應用了本發明的圖像處理系統的配置示例的視圖；該圖像處理系統使用一個模擬式或數字式可攜式攝像機1拍攝了一個操作員坐在顯示設備3前面的圖像，將如此獲得的移動圖像在時間序列上連續地捕獲到一臺圖像處理機2，以生成鏡像移動圖像，並將一個表示對象(如一個菜單和光標)的對象圖像與鏡像移動圖像的一部分(有一個被標記的對象(如操作員的眼睛或手)位於這一部分)合併(在下文中，將被標記的對象叫做「目標」)，以生成一個合併圖像(該圖像也變成一個移動圖像)，並將合併圖像實時顯示在顯示設備3上。
鏡像移動圖像可以通過圖像處理機2對可攜式攝像機1捕獲的移動圖像進行鏡像處理(圖像的左/右倒轉)來生成。或者，可以在可攜式攝像機1前面放一面鏡子，那麼可攜式攝像機1拍攝的反射了操作員的鏡子表面上的移動圖像的照片便形成一個鏡像移動圖像。在任何情況下，其顯示模式根據目標的移動會實時變化的合併圖像都會顯示在顯示設備3上。
圖像處理機2通過一臺能使用電腦程式提供所需要的功能的計算機來實現。
如在圖2中的例子所顯示的硬體配置，本實施例的計算機有兩個總線，一個主總線B1和一個次總線B2，有許多半導體設備與它們連接，每一個半導體設備都具有特定的功能。總線B1和B2通過一個總線接口INT彼此連接和斷開連接。
主總線B1與下列設備連接一個主CPU10，該CPU是一個主半導體設備，一個主內存11，該主內存由一個RAM構成，一個主DMAC(直接內存訪問控制器)12，一個MPEG(運動圖像專家組)解碼器(MDEC)13，一個圖像處理單元(在下文中稱作「GPU」)14，包括一個幀存儲器15作為圖形存儲器。GPU14連接到一個CRTC(CRT控制器)16，用於生成視頻信號，以便幀存儲器15中的數據顯示在顯示設備3上。
在啟動計算機之後，主CPU10通過總線接口INT從次總線B2上的ROM23讀取一個自舉程序，並運行該自舉程序以啟動作業系統。它還控制一個媒體驅動器27，從裝載在此媒體驅動器27中的介質28讀取一個應用程式和數據，並將它們存儲在主內存11上。主CPU10進一步執行幾何處理(坐標值計算處理)，該處理過程包括為從介質28讀取的各種數據，例如，由許多基本圖形(多邊形)組成的三維對象數據(一個多邊形的頂點(代表點)的坐標值)設置關聯的對象的形狀和移動，並生成一個包括經過幾何處理的多邊形定義信息(所使用的多邊形的形狀、其繪製位置、該多邊形的組件的類型、顏色或紋理等等的說明)的顯示列表。
GPU14是一個保存圖形上下文(包括多邊形組件的圖形數據)的半導體設備。它具有如下功能根據從主CPU10發出的顯示列表讀取一個必需的圖形上下文以執行表現處理(繪製處理)，在幀存儲器15上繪製多邊形。由於幀存儲器15還可以用作紋理存儲器，因此幀存儲器上存儲的任何像素圖像都可以作為一個紋理粘貼在要繪製的多邊形上。
主DMAC12是這樣一個半導體設備它不僅控制到連接到主總線B1的每個電路的DMA傳輸，而且還根據總線接口INT的情況，控制到連接到次總線B2的每個電路的DMA傳輸。MDEC13是這樣一個半導體設備它與主CPU10並行運行以解壓縮那些以諸如MPEG(運動圖像專家組)或JPEG(聯合圖像專家組)之類的格式壓縮的數據。
次總線B2與下列設備連接包括一個微處理器的次CPU20、由一個RAM構成的次內存15、一個次DMAC22，一個在上面存儲了諸如作業系統之類的控制程序的ROM23，一個聲音處理半導體設備(SPU聲音處理單元)40，該聲音處理單元讀取在聲音存儲器25中存儲的聲音數據，並產生與音頻輸出相同的數據，一個通信控制單元(ATM)26，它用於通過網絡(未顯示)從一個外置設備接收/向一個外置設備發送信息，一個媒體驅動器27，諸如CD-ROM和DVD-ROM之類的介質28裝載到該驅動器中，以及一個輸入設備31。
次CPU20根據存儲在ROM23中的控制程序控制各種操作。次DMAC22是這樣一個半導體設備只有在總線接口INT切斷主總線B1與次總線B2的連接的情況下，它才控制諸如到連接到次總線B2的每個電路的DMA傳輸之類的操作。輸入單元31包括一個連接終端32，通過它從操作設備35接收輸入信號，以及一個連接終端33，通過它從可攜式攝像機1接收圖像信號，以及一個連接終端34，通過它從可攜式攝像機1接收聲音信號。
需要注意的是，為了方便起見，本說明書中的說明只針對圖像，而不是針對聲音。
在具有上述配置的計算機中，主CPU10、次CPU20和GPU14讀取並執行存儲在記錄介質(如ROM23和介質28)中的預先確定的電腦程式，以形成作為圖像處理機2操作所需要的功能塊一個圖像輸入設備101、一個圖像反轉器102、一個對象數據存儲設備103、一個對象數據輸入設備104、一個對象控制器105、一個重疊圖像生成器106、一個差異值檢測器107和一個顯示控制器108。在圖1所示的硬體相互關係中，圖像輸入設備101由輸入設備31和控制它的操作的次CPU20構成。圖像反轉器102、對象數據輸入設備104、對象控制器105和差異值檢測器107由主CPU10構成。重疊圖像生成器106由GPU14構成。顯示控制器108由彼此協作的GPU14和CRTC16構成。對象數據存儲設備103在內存區域(如主內存11)中構成，該內存區域對主CPU10可訪問。
圖像輸入設備101通過輸入設備31的連接終端33接收可攜式攝像機1拍攝的圖像。在傳入的圖像是數字式圖像的情況下，圖像輸入設備101按原樣接收該圖像。在傳入的圖像是模擬式圖像的情況下，圖像輸入設備101在對該圖像進行模擬/數字轉換之後接收該圖像。
圖像反轉器102執行鏡像處理，即，將圖像輸入設備101接收到的圖像進行右/左倒轉，以形成一個鏡像移動圖像。
對象數據存儲設備103保存對象數據以及它的標識數據，對象數據用於創建一個對象，比如一個菜單(包括子菜單)、一個火柴杆或一個光標。
對象數據輸入設備104從對象數據存儲設備103接收必需的對象數據，並將它們發送到對象控制器105。
對象控制器105根據指令基於從對象數據輸入設備104集成的對象數據生成一個對象圖像。具體來說，對象控制器105基於從差異值檢測器107發出的差異值確定一個給定對象的顯示條件，並生成一個對象圖像以實現該顯示條件。稍後我們將對差異值進行詳細介紹。
重疊圖像生成器106在幀內存15中繪製一個合併圖像，合併圖像通過將從圖像反轉器102提供的鏡像移動圖像重疊在對象控制器105生成的對象圖像上來獲得。
需要注意的是，對象圖像可以通過對對象圖像的強加處理而不是重疊處理來創建一個合併圖像的方式來顯示在鏡像移動圖像上。
差異值檢測器107一個幀一個幀地比較由重疊圖像生成器106生成的合併圖像的鏡像移動圖像的圖像特徵，並得出前面的幀和後面的幀的鏡像移動圖像之間的圖像特徵的差異值。此外，差異值檢測器107還按需要生成一個前面的幀和後面的幀的鏡像移動圖像之間的差異圖像。
圖像特徵之間的差異值是這樣一個值它從量的角度表示鏡像移動圖像中包括的目標的移動組件的每一幀的變化。例如，差異值表示目標在鏡像移動圖像中或在移動之後的區域和移動之前的區域之間的一個區域中移動的距離。
當一個鏡像移動圖像內包括許多目標時，圖像特徵之間的差異值表示單個目標的移動的變化。因此，通過計算這種差異值來從量的角度計算每一個目標的移動的變化是可行的。
差異圖像是這樣一個圖像它表示在一個給定的時間點鏡像移動圖像中包括的每一個目標的每一個幀的移動的變化。例如，當一個目標的位置在兩個鏡像移動圖像之間移動時，差異圖像是一個由移動之前目標的圖像和移動之後目標的圖像組成的圖像。
為了獲得差異值和差異圖像，差異值檢測器107在主內存11中存儲了某一個鏡像移動圖像作為相對於其他幀的鏡像移動圖像的「參考圖像」。要存儲的鏡像移動圖像可以是一個幀的整個鏡像移動圖像。或者，它也可以只是目標的一部分的鏡像移動圖像，因為所需要的只是使獲取圖像特徵之間的差異值成為可能。
在下面的說明中，只要目標的區域和圖像的其餘的區域之間存在區別，這樣的目標區域就叫做「模板圖像」。
差異值檢測器107檢測到的差異值被發送到對象控制器105，並用於控制對象圖像的移動。
顯示控制器108將重疊圖像生成器106生成的合併圖像轉換成視頻信號，並提供給顯示設備3。顯示設備3使用此視頻信號將合併圖像(移動圖像)顯示在屏幕上。
圖像處理方法
接下來，我們將介紹一個使用上述圖像處理系統執行的圖像處理方法的實施例。
假設圖像處理機2在顯示設備3上產生了一個合併圖像，該合併圖像包括一個操作員的鏡像移動圖像，它是用可攜式攝像機1拍攝的並經過鏡像處理，以菜單圖像作為一個重疊的對象圖像的例子，如圖6所示。
作為一個目標，可以選擇各種對象中的任何一個，比如操作員的眼睛、嘴和手。這裡，我們將結合下列情況進行說明，在合併圖像中，操作員的手對應於目標，通過檢測手在顯示了一個菜單圖像的區域的移動量，藉助於該菜單圖像即可指定指令。
菜單圖像的結構是分層次的，如圖7所示。當操作員選擇最頂層上的「菜單」時，一個下拉圖像就會顯示出來，上面突出顯示了較低層次上的「select1」、「select2」或「select3」中的某一項。當操作員從下拉菜單中選中一個選項時，被選定的下拉圖像的較低層次上的菜單的進程確定圖像(例如，「process 21」、「brocess 22」、「process23」、「process 24」)就會顯示出來。
進程確定圖像存儲在對象數據存儲設備103中，以使它與一個程序關聯，以便使主CPU10執行一個確定的進程(事件)。當操作員選中某一個進程確定圖像時，與它關聯的程序就會運行以執行對應的進程(事件)。
圖4和圖5顯示了圖像處理機2啟動此類操作所執行的處理過程。
首先，請看圖4，當鏡像移動圖像被更新到後面的幀的鏡像移動圖像時以及當重疊圖像生成器106生成的合併圖像也相應地更新時(步驟S101)，差異值檢測器107就會比較包括在更新前後的合併圖像中的鏡像移動圖像的圖像特徵，並計算出它們之間的差異值(步驟S102)。這裡計算出的差異值是一個這樣的值它表示操作員的手在顯示了菜單圖像的區域的一個移動。計算出的差異值記錄在主內存11中，並不斷地累加到某一段時間(步驟S103)。要將差異值累加的原因是操作員操作指令的意圖是通過圖像處理機2基於操作員的手的許多移動來判斷的。如果操作員操作指令的意圖可以根據手的單個移動量來確定，那麼就根本不需要進行累加了。
差異值檢測器107將差異值(累加之和)發送到對象控制器105。
對象控制器105根據從差異值檢測器107收到的差異值(累加之和)確定菜單圖像的顏色(步驟S104)。例如，可為菜單圖像提供兩個或更多顏色，每次檢測到手的移動時，就會更改顏色。還可以將顏色從透明更改為半透明、不透明和其他。實際差異值(累加之和)將與預先確定的閾值進行比較(步驟S105)。當累加之和小於閾值(步驟S105否)時，例程將回到步驟S101，假設還不足以判斷菜單屏幕的 「菜單」已經被選中。
當累加之和等於或大於閾值(步驟S105是)時，對象控制器105確定，菜單屏幕的「菜單」被已經選中，就會顯示一個下拉圖像，並報告到差異值檢測器107(步驟S106)。
從上面的敘述中可以清楚地看出，當在顯示了菜單圖像的區域檢測到的操作員的手的移動的累加之和等於或大於閾值時，就會感覺到菜單圖像的「菜單」已經被選中，下拉圖像就會顯示出來。菜單圖像的顏色隨手的移動量的累加之和而變化，因此操作員可以知道要選中「菜單」手需要再移動多少的大致量。
此外，由於顯示設備3顯示了一個鏡像移動圖像，操作員可以採用與操作員看鏡子大致相同的方式執行上述的操作，從而可以提供一個對於操作員來說易於操作的人機界面。
再回過頭來看圖5，當判斷菜單屏幕上的「菜單」已經被選中，即，差異值(累加之和)等於或大於閾值時，差異值檢測器107就會作為一個模板圖像存儲那時的操作員的手(目標)的圖像(步驟S107)。
當幀被更新以及菜單圖像被其下級層次中的下拉圖像相應地替代以顯示一個合併圖像時(步驟S108)，就會開始進行搜索，以查找操作員的手的圖像在一個新的合併圖像中的位置。即，差異值檢測器107從合併圖像中搜索一個與模板圖像匹配的圖像(步驟S109)。
更具體來講，它將合併圖像分成與模板圖像的大小相同的若干個區域，並從所分開的許多區域中的圖像中搜索與模板圖像最相似的圖像。在該區域中與模板圖像最相似的圖像是，例如，當所比較的圖像的像素之間的差的絕對值(或平方)的總和可以表示成一個距離時，其與模板圖像的距離是最小距離的圖像。
當找到匹配的圖像(步驟S110是)之後，判斷匹配的圖像是否為一個下拉圖像(步驟S111)。如果匹配的圖像是一個下拉圖像(步驟S111是)，那麼它就檢測該下拉圖像屬於「select1」、「select2」或「select3」中的哪一個區域(步驟S112)。檢測到的下拉圖像是操作員所指出和選中的下拉圖像。有關被選中的下拉圖像的信息將從差異值檢測器107報告到對象控制器105。
對象控制器105從對象數據存儲設備103中讀取被選中的下拉圖像所附帶的進程確定圖像，並生成一個對象圖像，此進程確定圖像將被附加到對象圖像中(步驟S113)。
這樣，顯示設備3一個接一個地顯示操作員所選擇的菜單。
在圖7的例子中，操作員從最頂層上的菜單圖像中選擇了「select2」的下拉圖像，伴隨「select2」的下拉圖像的進程確定圖像(「process 21」、「process 22」、「process 23」和「process 24」)就會顯示出來。
每一個幀的模板圖像都會刷新。
更具體來講，差異值檢測器107廢棄前面的幀使用的模板圖像，並將上面描述的匹配的圖像(用於選擇下拉圖像的操作員的手的的圖像)作為一個新的模板圖像來存儲(步驟S114)。然後，例程就會返回到步驟S108，按照上面描述的方式指定其中一個進程確定圖像(「process 21」、「process 22」、「process 23」和「process 24」)。
在步驟S111中，當匹配的圖像位於下拉圖像區域的外部但又是進程確定圖像區域內的任何一個進程確定圖像時(步驟S111否，S115是)，該進程確定圖像被認為已經被選中，與它關聯的進程的內容就被確定，即，程序被啟動，使用該菜單圖像的進程也就完成(步驟S118)。
當匹配的圖像位於下拉圖像區域和進程確定圖像的外部但又在菜單圖像區域內時(步驟S111否，S115否，S116是)，這就意味著，操作員試圖選擇另一個下拉圖像，因此例程就會廢棄模板圖像，並將匹配的圖像作為一個新模板圖像存儲，並返回到步驟S108(步驟S117)。
在步驟S110中，當沒有找到要比較的匹配的圖像時(步驟S110否)或者當找到了一個匹配的圖像但它位於菜單圖像區域外部，那麼此時涉及該菜單圖像的進程就會終止(步驟S111否，S115否，S116否)。
通過執行上述過程中使用菜單圖像的處理，操作員可以輕鬆地選擇帶有一個想要的內容的進程，同時可以觀察到顯示在顯示設備3的屏幕上的他或她自己的鏡像移動圖像。此外，操作員還可以在輸入指令的同時隨時檢查屏幕上他/她自己的行為，這樣便可以防止操作員將他/她的眼睛離開顯示設備3，與使用鍵盤之類的輸入設備時一樣。
可以通過使用根據本實施例的圖像處理系統來在對象圖像和主CPU10使用的程序之間建立一個關聯，以便執行一個將要進行圖像處理的事件，這樣，相關的事件的處理根據操作員在對象圖像上的鏡像移動圖像內的操作來執行。
作為一個將要被重疊在鏡像移動圖像上一個對象圖像的例子，本實施例顯示了這樣一個情況使用一個火柴的圖像和一個表示該火柴已被點燃並燒起來的火焰的圖像。
作為一個前提，火柴的圖像(它是對象圖像)預先與一個用於在顯示設備3上顯示一個點燃動畫的程序關聯，表示火柴已經點燃。然後，當鏡像移動圖像中的操作員的行為好像是他/她擦著了合併圖像內的火柴的圖像，點燃動畫出現在對應於產生了火焰的一端的火柴的圖像的一部分。當操作員擦火柴時，火焰的圖像顯示出來。
火焰的圖像可以使用(例如)遞歸紋理繪製技術來生成。
「遞歸紋理繪製」是指這樣一個繪製技術從紋理映射所表現的對象的圖像重建一個給定圖像的紋理，並遞歸地執行紋理映射。「紋理映射」是這樣一個技術通過將紋理的位圖數據粘貼在對象的表面，表現一個對象的圖像，以增強圖像的紋理，該技術也可以通過使用幀存儲器15作為紋理存儲器來實現。當執行此類遞歸紋理繪製時，gouraud濃淡處理將會應用到要在上面繪製紋理的多邊形上。換句話說，gouraud濃淡處理會計算出多邊形的每一頂點的亮度，並插入到各個頂點之間以獲得多邊形內的亮度(此技術叫做「gouraud紋理映射」)。
為提供火焰圖像，形成火焰圖像的網孔內的各個頂點的位置使用隨機數字移動，如圖10所示，並確定出新頂點的位置。頂點的亮度也可以基於隨機數字來確定。頂點的位置和頂點的亮度在每次幀更新時確定。形成火焰圖像的網孔的每一單元都是一個多邊形。
在每一個多邊形上，變成在幀存儲器15中繪製的火焰的基礎的圖像是通過上述遞歸紋理繪製方法來構成的，上述gouraud濃淡處理基於多邊形的每一個頂點的亮度來應用。這樣，便使得在火焰上方冒煙、火焰閃爍以及火焰變暗淡可以更逼真地產生出來。
假設圖像處理機2產生了一個如圖9所示的合併圖像，在顯示設備3上，火柴的圖像重疊在操作員的鏡像移動圖像上。這裡，我們假設目標是操作員的手。通過檢測手在顯示了火柴圖像的區域的移動量，與火柴的圖像關聯的程序會被執行，點燃動畫就會顯示在顯示設備3上。
圖8顯示了圖像處理機2實現這樣一個操作所執行的處理過程。
當鏡像移動圖像被更新到後面的幀的鏡像移動圖像時以及當重疊圖像生成器106生成的合併圖像也相應地更新時(步驟S301)，差異值檢測器107就會比較包括在更新前後的合併圖像中的鏡像移動圖像的圖像特徵，並計算出火柴圖像的點燃部分的圖像之間的差異值，並生成火柴圖像的點燃部分之間的差異圖像(步驟S202)。這裡計算出的差異值是這樣一個值它從量的角度表示手在火柴圖像的點燃部分的周圍的移動。生成的差異圖像是這樣一個圖像它由手在火柴圖像的點燃部分的周圍的移動前後手的圖像組成。
計算出的差異值記錄在主內存11中，並不斷地累加到某一段時間(步驟S203)。
差異值檢測器107將累加之和(它是差異圖像和差異值的累加之和)發送到對象控制器105。
對象控制器105將根據從差異值檢測器107收到的累加之和確定差異圖像的顏色，並基於此差異圖像生成一個火焰圖像(步驟S204)。火焰圖像是通過下列方式生成的，例如，將差異圖像分成若干個網孔，並基於這些網孔使用上述的遞歸紋理。火焰圖像的顏色是根據差異圖像的顏色來確定的。生成的火焰圖像將重疊在火柴圖像的點燃部分。
這樣，根據手的移動量添加了顏色的火焰圖像顯示在這樣的區域該區域顯示了手在火柴圖像的點燃部分周圍的移動。
根據差異值的累加之和來確定火焰圖像的顏色這一做法可以使下面的做法成為可能例如，表示出顯示在火柴的點燃部分的火焰圖像的顏色隨手的移動量而逐漸變化的情況。
然後，對象控制器105將表示火焰圖像的顏色的值與預先確定的閾值進行比較(步驟S205)。例如，如果火焰圖像的顏色用R、G和B顏色值來表示，那麼就可以使用這些值的總和。
當表示顏色的值等於或大於閾值(步驟S205是)時，對象控制器105決定運行一個程序，以便顯示表示火柴已經點燃的點燃動畫(步驟S206)。
即，是否啟動點燃動畫是根據火焰圖像的顏色來確定的。例如，當根據手的移動量火焰圖像的顏色從紅色變為黃色時，點燃動畫在火焰圖像變為黃色時啟動。操作員可以知道為啟動點燃動畫手需要再移動多少的大致量。
重疊圖像生成器106，通過將一個已經將點燃動畫重疊在對象圖像(該對象圖像包括火柴圖像和火焰圖像)上的圖像重疊在可攜式攝像機1獲取的鏡像移動圖像上，從而生成一個合併圖像(步驟S207)。點燃動畫顯示在火柴圖像的點燃部分。
當表示顏色的值小於閾值(步驟S205否)時，對象控制器105將火焰圖像重疊在火柴圖像上面的對象圖像發送到重疊圖像生成器106。重疊圖像生成器106，通過將此對象圖像重疊在可攜式攝像機1獲取的鏡像移動圖像上，從而生成一個合併圖像(步驟S208)。
然後，(例如)如果從操作設備35收到一個終結處理的指令，處理就終止(步驟S209是)。如果沒有收到終止處理的指令(步驟S209否)，例程就返回到步驟S201，顯示控制器108就在顯示設備3上顯示在步驟S207或步驟S208中生成的合併圖像。
從上面的敘述中可以清楚地看出，系統執行這樣一個進程根據操作員在火柴圖像的點燃部分的周圍移動他/她的手的多少，確定是否執行一個程序，以便顯示與火柴圖像關聯的點燃動畫。
由於操作員可以執行旨在執行各種事件的操作同時又可觀察他自己或她自己的鏡像移動圖像，因此進行旨在執行各種進程的輸入操作是可以實現的，這些操作可以比傳統的使用諸如鍵盤和滑鼠之類的輸入設備的操作更輕鬆。
下面我們將介紹另一個實施例。作為一個前提，假設圖像處理機2在顯示設備3上產生一個帶有光標(指針)圖像的合併圖像，這是一個重疊在操作員的鏡像移動圖像上的對象圖像，如圖13(a)所示。還假設鏡像移動圖像中包括許多目標，如操作員的手、眼睛和嘴。
這裡，我們將結合下述情況進行說明操作員的手的移動在許多目標中比較突出，光標圖像後面跟著手的這種移動。
如圖13(a)所示，光標圖像是一個類似於臉的圖像，其中眼睛比較突出，這樣，便可以使眼睛跟隨目標轉動。此外，光標圖像跟隨目標的移動而移動。更具體來講，當光標圖像遠離目標時，光標圖像向目標方向移動。當光標圖像捕捉到目標時，光標圖像跟隨目標的移動。
圖11和圖12顯示了圖像處理機2啟動此類操作所執行的處理過程。
根據圖11，當鏡像移動圖像被更新到後面的幀的鏡像移動圖像時以及當重疊圖像生成器106生成的合併圖像也相應地更新時(步驟S301)，差異值檢測器107就會比較包括在更新前後的合併圖像中的鏡像移動圖像的圖像特徵，並計算出它們之間的差異值(步驟S302)。這裡計算出的差異值是這樣的一個值，它量化了操作員的手、眼睛、嘴等部位的移動，這些部位已經變成了鏡像移動圖像中的候選目標。
差異值檢測器107將每一個目標的差異值發送到對象控制器105。
對象控制器105基於從差異值檢測器107(步驟S303)發出的每一個目標的差異值檢測到一個目標。例如，它檢測一個其差異值達到最大值的目標。在這個例子中，假設操作員的手作為目標被檢測到。
在檢測到目標之後，對象控制器105根據目標確定光標圖像的顯示方式。
首先，對象控制器105確定在步驟S310中更新的合併圖像中的目標是否位於光標圖像的外部(步驟S304)。如果目標在光標圖像內(步驟S304否)，那麼對象控制器105就判斷光標圖像已經捕捉到目標(步驟S308)。
如果目標在光標圖像外部(步驟S304是)，那麼對象控制器105就判斷光標圖像還沒有捕捉到目標，並執行處理，以確定光標圖像的顯示方式。即，對象控制器105生成一個光標圖像，以使光標圖像中的眼睛跟隨目標轉動。
此外，它還根據光標圖像和目標之間的距離確定光標圖像向目標移動的速度(步驟S306)。光標圖像越是從離目標較遠的地方移動，這種速度就越快。這樣，便可以獲取一個圖像，在該圖像中，光標圖像離目標越遠，光標向目標移動得越快。
重疊圖像生成器106將這樣一個光標圖像重疊在後面的幀的鏡像移動圖像上，以生成一個合併圖像，如圖13(a)所示(步驟S307)。然後，例程回到步驟S301並對生成的合併圖像執行相同的操作。
例程執行步驟S301到S307的操作，直到光標圖像捕捉到目標，即，直到在步驟S304中判斷出目標位於光標圖像內為止。
此類操作可以提供一個如圖13(a)所示的圖像，在該圖像中，光標圖像中的眼睛跟隨目標(手)轉動，光標圖像跟隨目標移動。
然後，再回過頭來看圖12，當光標圖像捕捉到目標時，差異值檢測器107將此時的目標的圖像保存為模板圖像(步驟S309)。例如，它將鏡像移動圖像的與光標圖像重疊的那一部分作為模板圖像。
然後，差異值檢測器107從圖像反轉器102(步驟S310)獲取後面的幀的鏡像移動圖像。差異值檢測器107從獲取到的鏡像移動圖像中搜索匹配存儲的模板圖像的圖像的位置(步驟S311)。
更具體來講，它將獲取的鏡像移動圖像分成與模板圖像的大小相同的若干個區域，並從所分開的許多區域中的圖像中搜索與模板圖像最相似的該區域中的圖像。在作為搜索結果檢測到匹配的圖像之後，它將檢測到的圖像的位置報告到對象控制器105。
對象控制器105確定從差異值檢測器107報告的位置作為後面的合併圖像的光標圖像的位置(步驟S312)。
重疊圖像生成器106將在步驟S312中對象控制器105確定的位置處的光標圖像重疊在與在步驟S310中由差異值檢測器107獲取的鏡像移動圖像相同的鏡像移動圖像上，並生成一個合併圖像，如圖13(b)所示(步驟S313)。然後，幀被更新，顯示控制器108顯示出顯示設備3生成的合併圖像(步驟S314)。
通過在目標被捕捉到之後重複上述操作(步驟S309到步驟S314)，就會提供一個圖像，在該圖像中光標圖像跟隨目標移動。更具體來講，當光標圖像如圖13(b)所示捕捉到目標(手)之後，光標圖像此後顯示在目標的目的地，無論目標移動到哪裡。甚至當操作員伸展他的手時，如圖13(b)到圖13(c)所示，光標圖像顯示在操作員的伸展的手尖上，和手(被視為目標)的移動一起。
通過使用光標圖像，當從如實施例1所示的菜單圖像中選擇一個進程時，操作員一眼即可發現他的或她的身體的哪一部分作為光標在起作用(例如)。
此外，如果(例如)光標圖像的移動軌跡被設置為保留和顯示，則可以在顯示設備3上顯示目標的移動的軌跡。這樣，便可以(例如)顯示在顯示設備3的空間上繪製的照片和字符等等。
從前述的說明中可以清楚地看出，當操作員需要輸入數據或其他內容時，本發明可使操作員輕鬆地使用鏡像移動圖像輸入或選擇數據，同時觀察顯示在顯示設備上的合併圖像，從而可以提供對用戶友好的輸入界面而不必慢慢地習慣。
在不會偏離本發明的廣泛的實質和範圍的情況下可以採用各種實施例、進行更改和修改。上面所介紹的實施例只作說明，並不限制本發明的範圍。本發明的範圍由所附的權利要求書定義而不是由這裡的實施例定義。在所附的權利要求書的範圍內的各種實施例和它們的同等情況都屬於本發明的範圍。
權利要求
1.一臺圖像處理機，它包括圖像捕獲裝置，用於捕獲一個鏡像移動圖像，該圖像的其中一部分包括一個移動目標；圖像生成裝置，用於根據所述圖像捕獲裝置所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像；以及控制裝置，用於將圖像生成裝置生成的對象圖像與所述捕獲的鏡像移動圖像合併，並在一個預先確定的顯示設備上顯示合併圖像。
2.一臺圖像處理機，它包括圖像捕獲裝置，用於捕獲一個鏡像移動圖像，該圖像的其中一部分包括一個時間序列上的移動目標；檢測裝置，用於通過檢測當前鏡像移動圖像和緊前面的鏡像移動圖像之間的圖像特徵來檢測所述目標和它的移動組件；圖像生成裝置，用於生成一個表示預先確定的對象的對象圖像，以使對象圖像隨所述檢測裝置檢測到的目標的移動組件而變化；以及控制裝置，用於將圖像生成裝置生成的對象圖像與所述捕獲的鏡像移動圖像合併，並在一個預先確定的顯示設備上顯示合併圖像。
3.根據權利要求2所述的圖像處理機，其特徵在於所述圖像生成裝置被配置為生成所述對象圖像，以使對象圖像跟隨所述檢測到的目標的移動。
4.根據權利要求2圖像處理機，進一步包括一個裝置，用於作好準備，以根據所述目標的移動組件基於生成的對象圖像執行所需要的處理。
5.根據權利要求2所述的圖像處理機，進一步包括一個裝置，用於將通過合併所述圖像生成裝置生成的對象圖像和所述當前鏡像移動圖像而獲得的合併圖像，與一個模板圖像，即包括在所述緊前面的鏡像移動圖像中的目標的圖像進行比較，檢測所述合併圖象中其圖像特徵與所述模板圖像最相似的一部分，並作好準備，以在檢測到的合併圖像的一部分的圖像包括所述對象圖像的情況下，基於對象圖像執行所需要的處理。
6 根據權利要求2所述的圖像處理機，其特徵在於所述對象圖像與預先確定的處理關聯，所述圖像處理機進一步包括一個裝置，該裝置用於在所述檢測裝置檢測到的所述目標的移動組件滿足一個預先確定的條件的情況下，執行與所述對象圖像關聯的處理。
7.根據權利要求2所述的圖像處理機，其特徵在於所述鏡像移動圖像包括許多所述目標，所述檢測裝置被配置為檢測所述許多目標中的每一個目標的移動組件，並基於所述許多目標的被檢測到的移動組件檢測一個目標，以及所述圖像生成裝置被配置為根據所述檢測裝置檢測到的所述一個目標的所述移動組件更改所述對象圖像。
8.一種圖像處理方法，該方法包括下列步驟將一個鏡像移動圖像捕獲到一臺圖像處理機中，該圖像的其中一部分包括一個移動目標；所述圖像處理機根據所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像，將生成的對象圖像與捕獲的鏡像移動圖像合併，以在一個預先確定的顯示設備上顯示合併圖像。
9.一個電腦程式，用於使一臺連接到顯示設備的計算機執行以下處理過程捕獲一個鏡像移動圖像，該圖像的其中一部分包括一個移動目標；根據所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像；以及將生成的所述對象圖像與捕獲的鏡像移動圖像合併，以在所述顯示設備上顯示合併圖像。
10.一個計算機可讀的記錄介質，它記錄根據權利要求9所述的電腦程式。
11.一個半導體設備，它集成到一個安裝在計算機上的裝置，該計算機與一個顯示設備相連接，該半導體設備使計算機具備如下裝置的功能用於捕獲一個鏡像移動圖像的裝置，該圖像的其中一部分包括一個移動目標；一個裝置，用於根據所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像；以及一個裝置，用於將生成的所述對象圖像與捕獲的鏡像移動圖像合併，以在所述顯示設備上顯示合併圖像。
全文摘要
本發明提供了一種圖像處理機，以便使用由圖像拍攝裝置或其他設備拍攝的圖像作為輸入命令的輸入界面。本發明提供了一臺圖像處理機，包括一個圖像捕獲裝置，用於捕獲鏡像移動圖像，該圖像的其中一部分包括一個移動目標，一個圖像生成裝置，用於根據圖像捕獲裝置所捕獲的鏡像移動圖像中包括的目標的移動，生成一個表示預先確定的對象的對象圖像，以及一個控制裝置，用於將圖像生成裝置生成的對象圖像與捕獲的鏡像移動圖像合併，並在一個預先確定的顯示設備上顯示合併圖像。
文檔編號G06T13/00GK1393003SQ01803043
公開日2003年1月22日 申請日期2001年10月4日 優先權日2000年10月6日
發明者大場章男 申請人:索尼計算機娛樂公司