通過圖案位移產生抑制信號的製作方法
2023-05-28 22:28:51
專利名稱：通過圖案位移產生抑制信號的製作方法
背景技術：
投影到投影屏前演播員的那部分圖像會失真，且會使觀眾和演播員分心。美國專利號6,361,173公開了一種方法，即，產生遮光(α)信號，選擇性地抑制演播員佔據的屏幕區域中所投影的圖像。這樣演播員可以在屏幕前走動並看著他的觀眾，不會被投影儀搞得眼花繚亂。
屏幕和演播員均用紅外光照射，並用紅外攝像機觀察。在未遮光的屏幕區域中，存儲的紅外屏幕圖像的像素電平在從有演播員存在的屏幕的攝像機圖像中減去時是零。所有其它像素都應在演播員的輪廓區域內。描述了用於設置演播員位置的若干種其他方法。
由於開門或調節室內照明而增加的紅外照明導致不能產生可用的遮光信號，而且與屏幕的紅外反射相匹配的演播員或其服裝的一部分，也會破壞部分遮光信號。
發明目的開發一種能精確識別包含演播員輪廓的像素的可靠的二進位選擇性抑制信號；其中所述信號不受物體紅外反射度的影響，也不受對投影屏和演播員隨機發生的非均勻紅外泛光的影響。
發明概述將圖案用紅外投影儀投影到屏幕上。離開所述投影儀數英寸遠的紅外攝像機觀察所述投影圖案，將圖案信號存儲，以便創建參考幀。把來自包含演播員的當前幀的紅外信號與從參考幀獲得的信號加以比較，確定它們之差。在未遮光的屏幕區域中，圖案的圖像相匹配。由於位移的攝像機，關於演播員的紅外圖案被移動，不再與參考幀匹配，從而識別了演播員的輪廓區域。
附圖簡要說明
圖1示出相對於觀眾區域而言，投影儀屏幕、演播員、紅外攝像機和投影儀以及視頻投影儀的布置。
圖2是從演播員的位置看到的顯示紅外投影儀和攝像機相對於視頻投影儀的布置的視圖。
圖3是說明可以用來產生穩定的遮光信號的所選的信號處理步驟的方框圖。
圖4、5、6和7圖解說明用於產生和施加遮光信號以便選擇性地抑制投影圖像的四種物理配置。
發明的詳細說明有四個關鍵要素可以形成穩定的抑制信號。它們是1)使用利用非可見紅外光的在屏幕和演播員身上的投影圖案，2)橫向移動紅外攝像機，對於不在屏幕平面上的任何物體所述攝像機的圖案圖像將被移動，3)獨特的圖案，例如隨機噪聲圖案，其位移後的圖像不再與原來的圖像匹配，從而使演播員的紅外反射無關緊要，以及4)比較微分圖案信號，從而提供對投影屏上紅外溢出的抗擾度。
圖1示出禮堂或會議室的側視圖。圖中示出演播員2站在屏幕前。機殼4中的紅外攝像機和投影儀位於視頻投影儀3的下面，通常置於觀眾5的上方。觀眾5看見屏幕上的而不是演播員身上的投影數據圖像。數據圖像是附有說明的、由視頻投影儀投影的那些圖像。
圖2是從舞臺朝視頻圖像投影儀3和機殼4看的視圖，機殼4容納紅外投影儀6和紅外攝像機7，包括它們的關聯的電子設備。雖然圖中所示的攝像機7橫向偏移到投影儀6的左側，但是它可以向任何方向偏移，除了軸向之外。圖中示出的紅外攝像機7和投影儀6位於視頻投影儀3的正下方，不過其它位置也可以接受。
投影儀6利用紅外光將圖案投影到投影屏上。離開投影儀6數英寸的攝像機7觀察所述紅外圖案並將其圖像存儲在圖3的存儲器10中作為參考幀。所有隨後的圖像幀，通常包括演播員，都被發送到存儲器15並被識別為當前幀。每個隨後的當前幀以視頻速率取代存儲器15中的前一個當前幀。
存儲器15中的當前幀，如果沒有物體，就會和存儲的參考幀的存儲器10中的圖案相匹配。在包括演播員的當前幀中，屏幕上演播員輪廓區域外的像素將繼續匹配。
不處於屏幕平面上的演播員(而且由於位移的攝像機的緣故)將使圖案偏離其原來的位置，所述偏移的圖案使演播員輪廓區域中的大量像素不能和參考幀圖案中的相應像素匹配，它們的差顯著大於系統噪聲。
在相應的像素處把參考幀圖案信號和當前幀圖案信號進行比較就可確定它們差值的量度。一種這種量度就是它們的絕對算術差(即它們彼此的偏離)，第二種量度是它們微分的絕對差。當演播室的環境可以控制時算術差可用於產生遮光信號。當演播室的環境不能控制時，微分差是主要的。
比較參考幀和當前幀信號的微分，而不是比較原來的信號，就可不受隨機發生在投影屏上的紅外溢出的影響，特別是當溢出是從開著的門投射到屏幕上的光條時。無論所述差異是發生在低度或高度溢出光時，兩個鄰近像素之間的信號電平差(微分)總是相同的。
對存儲器10中參考幀信號的微分可以在微分器11中對每個像素進行，即，從隨後一個像素的信號電平中減去第一像素的信號電平。用它們的差來代替第一像素的信號電平。第二和第三像素的信號電平之間的差建立第二像素值。將鄰近像素相減的這個過程持續進行到每個掃描線結束，並應用於參考幀中的所有像素。除了上述水平方向的微分之外，或者代替上述水平方向的微分，還可以計算垂直方向或其它方向的微商。把這些參考幀的微分存儲在存儲器12中。由於參考幀的微分不受溢出光影響，在顯示期間不會改變，所以計算只需進行一次。
通過同樣的過程，在微分器14中對馬恩每一個當前幀的像素信號進行微分並將其存儲在存儲器13中。當從存儲器13中當前幀的信號的微分信號中減去存儲器12中的參考幀像素的微分信號且它們的絕對差大於噪聲電平時，所述像素就是在演播員輪廓區域內。
任何不在屏幕平面上的物體由於攝像機的位移而會使投影圖案的攝像機視圖移動，且位移的圖案信號和參考幀的圖案信號不再匹配，它們的微分也不再匹配。
把信號之間，或者最好是通過減法和存儲16計算的它們的微商之間的差值的所選量度，例如絕對算術差，與閾值(21)進行比較，閾值設定接近於零，但高於攝像機和系統噪聲，對在減法和存儲16中信號電平等於或低於該所選閾值的所有像素賦予二進位遮光信號電平1.0。對信號電平高於所述閾值的所有像素賦予遮光信號0.0。這些0.0和1.0是二進位信號，表現為黑斑散射。
然後利用模糊函數22使所述斑點二進位散射模糊，實際上是提供在每個像素附近斑點密度的估算。將所述模糊圖像轉換為二進位圖像，方法是把每個像素和第二閾值進行比較，對模糊函數22之後其遮光信號電平高於該閾值的所有像素賦予二進位遮光信號電平1.0，對所有其它像素賦予二進位遮光電平0.0。就是在這個階段二進位圖像才代表物體的有效輪廓或掩模。
在形成所述最初的有效掩模之後，就可以對它作進一步調節，包括但不限於以下各項可以設定尺寸，包括縮小(17)。縮小的一個方法是使之模糊和設定閾值(勿與以前的模糊和設定閾值相混淆)。
可以用模糊函數18再次模糊以使邊緣柔和。
圖像存儲9將存儲的數據圖像之一提供給抑制器功能20，在此它乘以通過模糊函數18產生的二進位遮光信號來抑制(減少到零)演播員輪廓區域中的數據圖像信號。再將抑制後的數據圖像傳送到視頻投影儀3上。
上述方法不限於圖案的紅外照射，可以使用能清晰聚焦的任何非可見光波長頻段。
波長範圍在700到1000毫微米的紅外頻段特別有用，因為在這個波長範圍內工作的部件已廣泛使用。
通過對當前和參考幀信號進行微分然後比較它們微商，本發明提供二進位遮光信號對因開門或重新調節室內照明引起的雜散紅外室內照明的變化的抗擾度。
通過使用移位的紅外圖案(而不是它們的紅外電平)來實現屏幕和演播員對紅外反射匹配的抗擾度。
選項可以使用另一種方法來校正室內光線變化對屏幕的影響，即，利用參考幀信號電平和當前圖像幀的未遮光區域中當前幀信號電平之間的平均差值(使用線性標度或對數標度均可)進行偏置校正。這種更新可以每二或三幀進行一次。但這種方法在處理紅外溢出到屏幕方面比使用微分更為複雜，而且更新會導致二進位遮光信號的暫時丟失。
實施方案配置本發明中所述的用於產生二進位遮光信號的方法可以以至少四種配置來實現，所有四種配置都選擇性地抑制視頻數據圖像。
圖4是一種配置，其中計算機21存儲數據圖像並進行圖3中以虛線框所示的全部計算。機殼4僅包含投影圖案的IR投影儀6和IR攝像機7，IR攝像機7將投影圖案的圖像提供給位於計算機21中的處理功能8。抑制功能20的輸出是抑制後的當前圖像，所述輸出被傳送到圖像投影儀3。這種配置的優點是簡單以及使用臺式計算機進行所有計算。
配置4的缺點是在進行必要計算時的計算機延遲。延遲的遮光信號導致抑制功能和應屏蔽物體的分離，演播員手臂的快速運動就是一個實例。過大的延遲會使演播員的手臂瞬間從掩模底下出來而進入投影圖像。
圖5示出從計算機21移到IR機殼4的遮光產生功能8。在此配置中，專用的硬接線電路實現遮光的產生，顯著降低了延遲。然後將遮光信號傳送到位於計算機9中的抑制功能20，抑制功能20抑制所選的用於投影的當前圖像。抑制後的圖像被傳送到圖像投影儀3。
圖6中的圖像抑制功能20已從計算機21移到IR機殼4，其中的硬接線電路進一步降低了抑制信號追隨演播員動作的延遲。圖像存儲9僅用來存儲演播員的數據圖像。在計算機21中存儲的數據圖像緩慢轉換到機殼4中的抑制功能20時，沒有抑制的不良後果。
配置6使用硬接線電路，在演播員的運動和覆蓋他的掩模運動之間提供最小的時延。
在圖7中，圖3框8中的全部功能都包括在投影儀機殼3中，構成集成產品。計算機21可位於操作員方便的位置，它還是存儲演播員的數據圖像，如圖7所示。
本發明的實現方案圖像存儲(10，15，12，13)、信號微分(11，14)、信號相減(16)、模糊和定尺寸(17，18，22)、大於和小於比較(21，23)以及乘法等功能，都是已知的計算機功能。紅外投影儀6可以是膠捲幻燈片投影儀，配備有白熾燈泡並包括二向色或其它玻璃濾光片以便反射或吸收可見光。紅外攝像機可以是任何小型視頻攝像機，配備有二向色或明膠濾光片以便反射或吸收可見光。視頻投影儀3可以是任何能接收視頻信號的視頻投影儀。獨特的圖案可以是有限帶寬的隨機噪聲圖案，或模擬有限帶寬隨機噪聲的圖案。
上述所需的計算功能，如果不是在計算機21中執行，則由可編程裝置執行，例如現場可編程邏輯裝置、或者可以從各種來源獲得的數位訊號處理器，這些裝置的編程是本領域中眾所周知的。
權利要求
1.一種產生二進位遮光信號的方法，所述二進位遮光信號選擇性地抑制投影屏前演播員的輪廓區域內像素的數據圖像信號電平，所述方法包括a)在所述演播員不在場的情況下，利用非可見光波長的照射將圖案投影到所述投影屏上，b)將由對所述非可見光波長敏感的攝像機觀察的所述投影圖案的信號電平存儲在參考幀存儲器中，c)在所述演播員在場的情況下，利用非可見光波長的照射將所述圖案投影到所述投影屏上，d)將所述攝像機觀察的在所述步驟c)投影的圖案的信號電平存儲在當前幀存儲器中，e)把所述參考幀信號電平與對應的像素地址上的所述當前幀信號電平進行比較，並將它們的差值的量度存儲在存儲器中，f)將其相鄰像素中至少包含預定數量的像素其當前幀和參考幀之間的信號電平差的量度高於預定閾值的那些像素識別為所述演播員輪廓區域，g)將遮光信號第一電平賦予識別的演播員輪廓區域中的像素，而將遮光信號第二電平賦予所有其它像素，所述第一電平不同於所述第二電平，從而產生二進位遮光信號。
2.如權利要求1所述的方法，其中所述參考幀信號和對應的像素地址上所述當前幀信號之間的所述存儲的差值量度是它們的微分差值的絕對值。
3.如權利要求2所述的方法，其中所述參考幀信號和它們的微分在存在之前僅僅獲取一次。
4.如權利要求2所述的方法，其中所述當前幀信號的微分是相對於每個隨後的當前幀確定的。
5.如權利要求1所述的方法，其中對所述二進位遮光信號進行模糊處理。
6.如權利要求5所述的方法，其中將所述模糊的二進位遮光信號應用於第二閾值，把第三電平賦予高於所述第二閾值的所有信號，把第四電平賦予低於所述第二閾值的所有信號，所述第三電平不同於所述第四電平，形成第二二進位遮光信號。
7.如權利要求6所述的方法，其中確定所述第二二進位遮光信號的大小，使其與所述演播員的大小和形狀基本上一致。
8.如權利要求7所述的方法，其中對所述第二二進位遮光信號進行模糊處理，以便使遮光信號的邊緣柔和。
9.如權利要求1所述的方法，其中所述圖案是這樣的圖案，使得所述圖案的位移具有匹配所述圖案的低的概率。
10.如權利要求1所述的方法，其中所述圖案包括有限帶寬的模擬隨機噪聲。
11.如權利要求1所述的方法，其中所述投影利用700到1000毫微米範圍內的紅外帶寬。
12.如權利要求1所述的方法，其中用於所述圖案的投影和成像中的照射限於紅外波長。
13.一種用於產生二進位遮光信號的裝置，所述二進位遮光信號選擇性地抑制投影屏前演播員的輪廓區域內像素的數據圖像信號電平，所述裝置包括a)投影儀裝置，用於在所述演播員不在場的情況下利用非可見光波長的照射將圖案投影到所述投影屏上，b)參考幀存儲器裝置，用於將由對所述非可見光波長敏感的攝像機觀察的所述投影圖案的信號電平存儲在參考幀存儲器中，c)所述投影儀裝置在所述演播員在場的情況下利用非可見光波長的照射將所述圖案投影到所述投影屏上，d)當前幀存儲器裝置，用於將所述攝像機觀察的所述投影圖案的信號電平存儲在當前幀存儲器中，e)比較裝置，用於把所述參考幀信號電平與對應的像素地址上的所述當前幀信號電平比較，並將它們的差值的量度存儲在存儲器中，其中，所述演播員輪廓區定義為這樣一些像素其相鄰像素至少包括預定數量的像素其當前幀和參考幀之間的信號電平的所述差值量度高於預定閾值，以及將遮光信號第一電平賦予演播員輪廓區域中的像素，而將遮光信號第二電平賦予所有其它像素，所述第一電平不同於所述第二電平。
14.如權利要求13所述的裝置，其中還包括連接到所述投影裝置和所述比較裝置的抑制器。
15.如權利要求1所述的方法，其中所述參考幀信號與對應的像素地址上所述當前幀信號之間的所述存儲的差值量度是它們的算數差值的絕對值。
16.如權利要求1所述的方法，其中按照選定的時間間隔，利用偏移校正法，以具有所述參考幀信號電平的像素和具有所述第二信號電平的像素之間的平均差值量來更新所述存儲的參考幀信號電平，以便補償在所述屏幕和演播員上逸出光的均勻改變。
全文摘要
使用非可見光波長照射將圖案由投影儀投影到屏幕上。離開所述投影儀數英寸遠的攝像機觀察所投影的圖案，然後將圖案信號存儲，創建參考幀。然後在存在演播員的情況下將圖案再次投影到屏幕上。攝像機觀察所投影的圖案，將圖案信號存儲，創建包括演播員的當前幀，把該信號與從參考幀獲得的信號進行比較，確定它們之差。在未遮光的屏幕區域中，各圖案的圖像相匹配。由於攝像機的位移，關於演播員的圖案被位移，不再與參考圖案匹配，從而識別了演播員的輪廓區域。
文檔編號G03B21/00GK1764870SQ200380110260
公開日2006年4月26日 申請日期2003年12月31日 優先權日2003年2月18日
發明者J·帕克, P·維拉霍斯, A·達杜裡安, A·伯曼 申請人:伊馬特公司