在顯示表面上投影輸出圖像的裝置的製作方法

2023-05-30 16:51:31

專利名稱：在顯示表面上投影輸出圖像的裝置的製作方法
技術領域：
一般地說，本發明涉及投影儀，更具體地說，涉及使圖像適應於顯示表面可變幾何尺寸的投影儀。
背景技術：
投影儀的最可利用的特性是它能顯示尺寸大於其對應物CRT和LCD所產生圖像的圖像，而且能把圖像放在與投影儀有一距離的任意表面上。與基於CRT和LCD的設備類似，投影儀通常顯示平的矩形圖像。可惜的是，基於投影儀的設備所獨有的許多特性大大地沒有被利用。
因為投影儀不與顯示表面耦合，而在CRT或LCD設備中則不是這樣，所以投影儀的尺寸能比它產生的圖像的尺寸小得多。來自多個投影儀的重疊圖像能被有效地疊加在顯示表面上，而且來自具有很不同的技術指標和構形(form)因子的投影儀的一些圖像能被混合在一起。再有，顯示表面不需要是平面或剛性的，這樣，許多類型的表面和混合的投影儀圖像能用於一個物理環境。
投影儀發展趨勢投影儀正在變得更小、更輕、更亮和更便宜。當設備變得更小時，構形因子的靈活性擴展新的使用方式和新的應用。例如，未來的投影儀能用於在固定的位置或者是在一個移動的裝置中。
分布式、物品化的計算趨勢計算越來越是分布於異構的、獨立型的計算單元的多個集群上而不是在一組組織得很好的主機上。更便宜、更強有力的計算機的發展加速了這一趨勢。
類似地，在投影儀系統中，人們希望從大的、整體的、同一的系統轉移到由異構的、獨立型的投影儀構成的網絡。這類投影儀能用於獨立工作方式，類似於PC或PDA，或者集群式合作操作，類似於計算網格。
在過去的幾年裡，投影儀已突破了它們在娛樂、飛行模擬器以及展示應用中的傳統作用。結果，基於投影儀的系統的進步受到更大的關注，而且投影儀已開始應用於非傳統的目的。
基於投影儀的環境近來，用於擴大物理環境的顯示設備已變得更加普及，例如大監視器、投影屏幕、固定安裝的LCD或等離子體屏幕、以及移動應用的手持PDA。沒入(immersion)不是大多數這類顯示的必定目標。
由於投影儀的尺寸和價格降低，投影儀越來越多地取代傳統的顯示設備和媒體，見Rasker等的「使用基於照相機配準的多投影顯示」，IEEE可視化，1999，Underkoffler等的「被解放的像素在光亮房間中的真實世界圖形」，SIGGRAPH 99會議文集，第385-392頁，1999，Pinhanez的「到處顯示的投影儀創建隨遇圖形接口的設備」，隨遇計算(Ubiquitous Computing)，Ubicomp』01，2001，Sukthanker等的「使用照相機單對應性樹的大格式多投影儀顯示的對準」，可視化文集，2002，以及Stork的「在工程應用中的基於投影的被放大的現實」，2002。
從幾何學觀點看，現有技術的這些投影儀系統使用一個或多個環境傳感器協助中央處理單元。該處理單元計算投影儀和顯示表面之間的歐幾裡德關係或仿射關係。
與此相反，人們希望提供一個基於單個內藏型(self-contained)投影儀的非集中化投影儀系統。
某些現有技術的投影儀系統為使用投影儀集群的無縫顯示提供自動配準，見Yang的「PixelFlex一種可重配置的多投影儀顯示系統」，IEEE可視化01，2001，和Brown等的「一種實用的和靈活的大格式顯示系統」，第十屆太平洋計算機圖形和應用大會，第178-183頁，2002。然而，那些系統需要環境傳感器，不允許投影儀超出任何一個傳感器的範圍，並只能工作於一階平面表面。
人們希望提供一種投影儀，它能在高階表面，如圓柱體和圓丘上顯示圖像而無需使用環境傳感器。
增強型投影儀一些現有技術的顯示系統使用增強型傳感器和額外的計算，見Underkoffler等在上文中描述的「I/O bulb」，它使用共位置的投影儀和照相機。一個傾斜傳感器能用於自動梯形校正，見Raskar的「一種自校正投影儀」，IEEE計算機視圖和模式識別，2001。
人們還希望提供具有網絡能力的投影儀並使投影儀具有幾何感知能力且可自配置，從而使多個投影儀能彼此通信並對顯示表面及在環境中存在的物體的物理形狀敏感。

發明內容
本發明提供新技術以支持有幾何感知能力的投影儀以及由一個或多個這些有幾何感知能力的投影儀構成的可自配置的顯示系統。
本發明還提供校準和再現技術，用於在存在其他投影儀的情況下在不同類型的表面和物體上顯示圖像。
這些技術能應用於傳統的基於投影儀的環境並允許新型應用和接口。
所以，本發明的一個目的是提供一種自適應於形狀的投影儀系統。這種自適應於形狀的或具有幾何感知能力的投影儀在平面或非平面上顯示圖像而其局部畸變達到最小。該系統處置相應的等角(conformal)投影問題及水平和垂直約束的改變。
本發明的又一目的是提供一個自配置的特用投影儀系統，它能從多個內藏型投影儀投影的圖像產生看來是單個無縫圖像的圖像，而無需使用任何環境傳感器。
本發明的一個目的是提供一種方法，以使用一個場景的主控和歐幾裡德信息全局對準(align)多個圖像。這包括在多個被投影的四邊形圖像的組合中確定最大內接(inscribed)矩形圖像的方法，而該組合是一個任意形狀的多邊形。
本發明的一個目的是提供一種投影儀系統，用於在彎曲顯示表面上，特別是在二次曲面上顯示圖像。所以，提供了一種簡化的參數化的轉換方法。為處理彎曲表面，本發明還提供一種方法，用於當由於曲面上的投影圖像畸變而造成成對關係中存在小誤差時全局地對準和配準圖像。


圖1是根據本發明的對幾何形狀有感知能力的投影儀的方塊圖；圖2A是根據本發明的一個可自配置的特製投影儀集群的方塊圖；圖2B是由圖2A的集群顯示的一個組合圖像的方塊圖；圖3是以圖1的投影儀自適應生成圖像的方法的流程圖；圖4是確定要被投影的輸出圖像的取向的方法流程圖；圖5是被投影儀集群放大的圓柱體對象的方塊圖；圖6是形成圖2A和圖2B的集群的方法流程圖；圖7是全局性對準由圖2A和圖2B的集群投影的圖像的方法流程圖；圖8是確定圖1的投影儀中歐幾裡德再現的方法流程圖；圖9是以圖1的投影儀生成圖像的方法流程圖；圖10是在被照亮的任意形狀多邊形中找出最大內接矩形圖像的方塊圖；圖11是為圖1的投影儀確定一個二次變換的方法流程圖；以及圖12是為圖1的投影儀確定一個剛性變換的方法流程圖。
具體實施例方式
對幾何形狀有感知(aware)能力的投影儀圖1顯示根據本發明的對幾何形狀有感知能力的投影儀100。應該指出，投影儀100能用於前投和背投兩種方式，並且能單獨使用或與其他類似投影儀組合使用。
我們的投影儀100包括微處理器110、存儲器120以及由總線140連接的I/O接口130，總體上是一個處理單元。該處理單元在其電子結構上是傳統的，但在進行這裡描述的步驟時的操作是非傳統的。
該投影儀還包括投影儀子系統150用於顯示輸出圖像以及照相機子系統160用於獲取輸入圖像。
網絡子系統170允許投影儀與其他類似的投影設備或其他本地或遠程的計算設備通信。所以，網絡系統能被連接到天線或紅外線收發信機180，這取決於通信媒體。
用戶接口190能提供輸入和輸出數據以便於投影儀的操作。內部傳感器195(例如傾斜傳感器或加速度計)能確定投影儀的取向。應該指出，傳感器只是內部的，不是感知傳感器外部的環境。
投影儀操作投影儀100能實現若干功能，如智能梯形(keystone)校正、取向補償圖像強度、自動亮度、變焦和聚焦，用於獲取幾何形狀和織構(texture)的3D掃描、以及用於照相機子系統160的智能閃光。對於這最後一個功能，投影儀功能對於照相機功能而言是輔助的。這裡，投影儀只是照亮被照相機觀察的場景中的特定區域。
下面將更詳細地描述若干附加的自適應功能因為我們不希望依靠投影儀外部的任何歐氏幾何信息，例如室內的工作著的標誌燈、顯示屏上的邊界或人的協助，所以我們使用一個完全自校準的投影儀-照相機立體對來支持「即插即顯示」能力。
投影儀100能與場景中的其他設備和對象進行通信以「學習」所需要的幾何關係。在投影儀操作時動態地學習這些關係的能力是與現有技術的投影儀的主要區別，現有技術的投影儀需要預先配置的幾何構成、複雜的校準、通信以及使用者的協助。
現有技術的那些使用簡單的平面單對應性(homography)和避免完全校準的投影系統需要顯示關於平面的某些歐氏幾何(Euclidean)信息，例如屏幕邊緣或標記的信息，或者假定投影儀處在一個「理想」位置，即其投影中心(CoP)基本上與平面顯示表面正交。
可自配置的特製投影儀集群如圖2A和2B中所示，投影儀100能單獨使用，或在經由網絡210(如無線乙太網、RF或紅外)彼此通信的多個投影儀的可自配置特製聯網集群中使用。當作為集群(cluster)200來配置時，多個投影儀100顯示認為是單個無縫組合圖像的圖像201，如圖2B中的點畫所示。組合圖像201事實上是由顯示表面230或其他物理對象上的多個投影圖像220組合而成。請注意，表面230能是一個二次曲面。在這一舉例中，兩個投影儀從下方投影，一個從上方投影，如從它的倒梯形可以看出。
如下文中描述的那樣，投影儀的放置可以是隨意的，就是說那些圖像的邊界不一定要對準。全部需要的就是在形成所看到的單一組合輸出圖像的顯示表面上由一組投影圖像形成一個n邊多邊形。
形狀自適應投影儀當隨意地使用投影儀100時，可能是在一個移動裝置中，並不總是能得到平面顯示表面。事實上，可能希望把圖像顯示在室內的角落上，柱子上或圓丘形天花板上。所以，必須校正輸出圖像以使畸變最小。如果使用多個投影儀，進一步的問題是無縫合併多個輸出圖像，它們可能是由具有不兼容的發光強度的投影儀產生的。請注意，這與現有技術的問題不同，在那種情況中對於放在「理想」位置的單個投影儀，即其投影中心(CoP)基本上與平面顯示表面正交的投影儀，其輸出圖像被預先捲曲了。
我們想要產生看來是單個的輸出圖像，它與表面的形狀相一致。三維矯正(cue)是人類視覺的一個組成部分，例如，當從一側觀看彎曲牆上的一個大字報時，或說一個柱狀物體的標籤時，或觀看彎曲建築物上的壁飾時，都會有這種情況。所以，我們投影的輸出圖像與正常的視覺經驗一致。
等角投影我們的方法所顯示的圖像在顯示表面上被照亮的區域上有最小畸變。例如，在類似於電影屏幕的平面表面上，其結果是投影圖像猶如觀眾在以「前面-平行(front-to-parallel)」方式觀看電影。如果投影儀被偏斜，則應用梯形校正。
對於一個彎曲表面，或者表面總體上非平面的，我們希望使這個或這些圖像成為顯示表面上的「壁紙」，從而當沿著表面法線觀看時在顯示表面上的局部每點是未受畸變的。
因業表面法線能改變，我們確定一個等角圖像，其中輸出圖像的各個區域與顯示表面上相應區域的比值是固定的。
只有當表面是可展開的時候，零拉伸(stretch)解決方案才是可能的。可展開(developable)表面的實例是兩個平面牆壁在牆角相遇，或一段直角柱，即垂直於平面突出的平面彎曲。在其他情況中，例如兩個平面牆壁和一個天花板在角處相遇，或一部分球面，我們是在最小二乘意義上解決最小拉伸問題。
利用我們的方法，在輸入圖像中織構(texture)的捲曲(scroll)在被照亮的表面上看起來是平滑的捲曲，各圖像區域的大小和形狀沒有改變。我們通過配上由Levy等描述的最小二乘等角映射(LSCM)來確定顯示表面3D形狀的映射(Levy等，「用於自動產生織構映射集的最小二乘等角映射」，SIGGRAPH 2002論文集，2002)。Levy關心的是當產生平面圖像時的織構映射三角形，然而，我們需要將圖像投影在可展開的表面上。
LSCM使3D表面上及其2D參數化空間上相應區域之間的角畸變和非均一標度(scaling)達到最小。對於一個可展開的表面，這一解決方案是充分等角的。對於3D網格上的給定點X，如果2D織構坐標(u，v)由一個複數(u+iv)代表，而顯示表面使用局部正交基(basis)中的坐標(x+iy)，則等角映射的目標是保證穿過X的等u和等v曲線的正切矢量是正交的，即ux=vy]]>和uy=-vx]]>Levy等基於每個三角形求解該問題，並通過把任何異物同形(homeomorphic)表面映射到具有(u，v)參數化的盤上來使畸變最小。
平面變換方法圖3顯示我們的等角投影方法300的步驟。
我們首先以投影儀子系統150將一個結構化圖案(structuredpattern)，例如一個均一的格盤(checkerboard)或正方形網格投影(310)到顯示表面。該結構化圖案的輸入圖像被照相機子系統160獲取(315)。
由該圖案在輸入圖像中的形狀，我們產生(320)一個3D多邊形網格DP，例如由多個三角形構成的網格。該網格是在投影儀的坐標框架(frame)內產生的。對於可展開的或彎曲的表面，該網格是被畸變的，因為它反映顯示表面的形狀。
在顯示表面的坐標框架D中投影儀的取向被內部傳感器195感測(330)，我們轉動(335)網格DP使其軸線與顯示表面的坐標框架D對準。
然後，使用LSCM確定(340)織構坐標U，從而找出坐標框架D在歐氏幾何平面中的二維嵌入區(embedding)D∏。
我們在嵌入區D∏中定位(345)一個可顯示區域，如一個矩形，該區域儘可能大，而且當最大區域被投影到顯示表面上時該區域在顯示表面的坐標框架D中儘可能地「向上取向」，並相應地更新(350)該織構坐標以適於該顯示區域。
然後，使用織構坐標U使一個輸出圖像織構映射(355)到網格DP上，並從投影儀的觀點使該網格再現(render)(360)於顯示表面上。傳統的基於硬體或軟體的技術能用於產生這些織構的三角形。
在步驟345，我們試圖找出輸出圖像在(u，v)平面中的取向Rtex。如果我們假定顯示表面是垂直直角柱的一部分，即一個曲線在水平平面中的垂直突出，如兩垂直牆壁相遇或支柱，則我們的目標是當輸出圖像投影到該顯示表面上時輸出圖像的垂直軸線與顯示表面的垂直軸線對準。
再有，我們使用投影儀在顯示表面的坐標框架中的取向，這是使用內部傳感器195的理由。如果該表面不是一個垂直直角柱，例如圓丘，則我們的解決方案是在最小二乘意義上對準輸出圖像。
取向方法如圖4中所示，確定2D取向Rtex的步驟如下。
在3D中的網格中每個頂點為p1、p2、p3的三角形tj上，我們首先確定(410)一個局部仿射(affine)(2D)x-y坐標系X＝p1+x(p2-p1)+y(p3-p1)我們通過在最小二乘意義上求解
T＝xj(p2-p1)+yj(P3-P1)在三角形tj上找出對應於顯示表面垂直軸線投影的矢量。
我們想要在織構空間中使全部[xj，yj]與
對準，這涉及2D旋轉和變換。所以，在規一化矢量[xj，yj]之後，我們確定(420)協方差矩陣M=jxjyjT01.]]>我們對矩陣M＝USVT進行奇異值分解，以得到所希望的2D旋轉Rt＝UVT。
最後，我們使用Uvertical＝RtexUT旋轉(440)所有織構坐標。
照亮垂直表面有時，希望保持沿一個方向圖像特徵的形狀，但以其他方向的畸變為代價。例如，例如投影在近垂直但非可展開表面(如球形段)上的標識文字應以所有文本字符看起來具有相同高度，即使這些字符在水平方向被畸變。
所以，我們修改LSCM技術以考慮這一新的限制。因為垂線的符號已被編碼到由於傳感器195的讀數造成的旋轉中，我們能改變最小二乘等角映射的成本函數(cost function)。我們以如下形式表示對四個偏導數的附加約束weightvy-const.]]>通常，只使用一個這樣的約束。例如，上述約束保持沿垂直方向延伸至一個最小值，即該方程式便在所有三角形上 的方差變小(penalize)直至最小化。請注意，在這一情況中，在各三角形上的局部正交x，y基的選擇使得x軸線在顯示表面上任何地方都指向水平方向。
上述等角投影方法能用於多種顯示表面，包括兩個或三個平面部分在一角相遇、「W」型表面以及不可展開表面，如凹型圓丘(dome)。
投影儀集群如圖5中所示，我們的具有幾何感知能力的投影儀100的集群200能用於在平面和彎曲顯示表面501上再現圖像。
特製投影儀集群200有若干優點。該集群的操作無需集中管理，從而單個投影儀能動態地加入或退出該集群。該集群不需要外部的環境傳感器，並且顯示的圖像超出任何一個內部傳感器的範圍。
我們在平面顯示表面的範圍內描述集群200的基本操作。對於高階顯示表面，如二次曲面，我們提供一種新的二次轉換方法。
使用特製集群的平面顯示使用特殊集群200進行無縫多投影儀重疊顯示提供許多好處。集群允許很寬的縱橫比，見圖2A和2B，並允許投影儀和顯示表面之間有短的距離。我們還能使用異構(heterogeneous)投影儀和高階表面。異構投影儀是指有不同顯示特性的投影儀，如不同的光強度、縱橫比和像素分辨力。集群允許更高的像素分辨力和更亮的顯示。此外，還能使用多個集群。
一些現有技術的系統利用具有基於照相機的配準的隨意對準的投影儀，這些系統使用由顯示平面引起的在不同投影儀視圖中的單對應性。這些單對應性關係與某種歐氏幾何參考框架一起用於預捲曲圖像，從而使顯示的圖像看起來在顯示表面上是幾何配準的(registered)和無畸變的。
然而，以寬的縱橫比顯示圖像一直是一個問題。我們通過使用一種新的全局對準方法克服這一問題，該方法依靠一個投影儀的投影儀子系統和相鄰投影儀的照相機子系統之間的成對的(pair-wise)單對應性。
多個分布式照相機在靠近的位置觀看被投影的有相似像素分辨力比值的圖像，這允許我們計算成對的單對應性。通過求解一個線性方程組，成對的單對應性被用於計算該集群的全局一致性的單對應性集合。這導致改善的像素配準。
全局對準操作的進行無需重大的預先計劃或編程。這所以成為可能是因為每個投影儀以對稱方式獨立地工作和以進行它自己的觀測和計算。屏幕角或主照相機的對準等歐氏幾何信息是不需要的。內部傳感器和照相機允許每個投影儀具有幾何感知能力，而且投影儀能動態地加入或退出集群。而現有技術的多投影儀顯示系統則難於建立和管理。
構成一個集群圖6顯示構成投影儀100的集群200的方法。該方法響應接收(610)一個「校準」消息。該校準消息能由想加入集群200的投影儀Uk廣播出來。另一種作法是，該校準消息能由已在該集群中的任何投影儀在其取向根據傳感器195被改變時廣播出來。此外，該消息能由環境中的某些其他源廣播，以指出例如顯示表面已改變了形狀或取向。當然，也能在使用者已隨意放置投影儀之後和集群需要在其第一次例化(instantiation)中被形成時廣播該消息。該消息經由附近的網絡210，如無線乙太網、RF或紅外，在附近的所有m個投影儀中被接收。
這使全部m個投影儀Ui，i＝1，…，m，的照相機處於「注意」方式，所有接收投影儀以廣播「準備好」消息作出響應(620)。
在這一點，各投影儀順序投影(630)一個結構化圖案，它能被嵌入該集群200各投影儀中的m個照相機Ci，i＝1，…，m，中的一個或多個觀看到。任何數量的通信協議技術能用於同步該結構化圖案的順序投影。
如果存在的集群中任何一個照相機獲取(640)所投影的圖案，則整個集群進行(650)全局校準以包括投影儀Uk或任何其他投影儀。對準包括確定集群中投影儀之間的成對幾何關係，如下文所述。
如果一個特定照相機不能獲取一個圖案，則認為一個投影儀在附近但它所投影的圖案沒有與該集群顯示的圖像的範圍重疊。然而，該方法不需要所有投影儀看到全部圖案。不失一般性，假定該集群現在包括n個投影儀。
成對的幾何仿射關係。
如圖7中所示，我們進行重疊圖像的圖像配準。各圖像之間的關係被表示為單對應性(homography)。在3D中一個不透明平表面的兩個任意透視圖之間的映射能用平面投影變換表示，表示為達到一個標度定義的3×3矩陣。
由兩個視圖中四個或更多個對應關係能計算出八個自由度。此外，由於線性關係，單對應性矩陣能被級聯以傳播該圖像變換。
使用網絡210，投影儀Pk指示集群中的每個投影儀Pi逐一投影一個結構化圖案，如均一的格盤。
所投影的圖像被集群中每個投影儀的照相機160同時獲取。這允許各投影儀確定成對的單對應性Hpicj，用於將來自投影儀Pi的結構化圖案變換為照相機Cj中的輸入圖像。還確定(740)一個置信值V。
每個投影儀的成對的單對應性Hpi，pj與置信值一起被間接計算為HpiciH-1pjci。為了簡單，我們把它寫作Hij。置信值V與結構化圖案在顯示表面上重疊的百分數有關。在全局對準過程中使用該置信值。
因為我們使用均一的檢驗板圖案，置信值的一個好的近似是(由照相機Ci獲取的投影儀Pj的結構化圖案特徵個數)與(投影儀Pj的圖案中特徵總數)之比rij。我們發現置信度hij＝rij4是一個好的評價尺度。如果照相機Ci看不見由投影儀Pj顯示的圖案，則該值自動為零。
全局對準在沒有環境傳感器的情況下，我們計算顯示屏和所有投影儀之間的相對3D姿勢(post)，以允許無縫的單一顯示的圖像。沒有已知的姿勢，所計算出的結果對於由單對應性進行的變換是正確的，而在顯示表面上看起來是被畸變的。再有，如果表面是一些垂直平面，則我們的解決方法自動地使投影的圖像與這些垂直平面的水平和垂直軸線對準。
然而，當計算(750)用於全局對準的3D姿勢，我們避免低置信度信息，如投影儀的立體校準和傾斜傳感器參數，而利用相對穩健的圖像空間計算，如上文所確定的單對應性。
這樣，我們首先計算全局一致的單對應性。沿一個循環級聯的一組單對應性變換 應同一(equal identity)。這裡，「％」符號代表求模算子。由於特徵位置的不確定性，這種情況是少見的。這樣，目標是在存在小誤差的情況下產生有意義的馬賽克。
一個簡單的解決方案將是使用單個照相機觀看顯示區域並在那個空間進行計算。當單個照相機不能看到整個顯示時，能使用基於最小掃描樹的解決方法。那裡，投影儀是連接到圖形邊緣重疊的投影儀的節點，只保持單對應性的最小集合。通過使用靠近顯示中央的投影儀作為樹的根節點，該方法可用於減小級聯單對應性的個數，從而減小累積誤差。
而我們的方法700通過使用來自所有可得到的單對應性的信息，尋找一個全局一致的配準。通過求解由獨立計算的成對單對應性矩陣導出的一個線性方程組，由於單對應性級聯造成的累積誤差能相對於選定的參考框架或平面被同時減小。我們的方法是從Davis描述的方法(「鑲嵌帶有移動對象的場景」，IEEE計算機視覺和模式識別(CVPR)，第354-360頁，1998)修改而成的。
我們修改那種方法以考慮被測量的成對投影儀單對應性Hij中的置信度hij。全局單對應性Gi將來自投影儀Pi的輸出圖像Ii變換(transfer)到全局參考框架。這還能表示為圖像Ii到圖像Ij的變換，以其單對應性Hij被變換為具有全局單對應性Gj的全局框架GjHij≌Gi。
這樣，當每個單對應性Hij已知時，我們建立一個稀疏線性方程組以計算未來的全局(global)變換。
因為每個單對應性的定義達到一個標度因子，所以重要的是我們要進行規一化，從而能直接使|GjHij-Gi|達到最小。規一化單對應性的行列式是1，即H^=H/(det|H|)1/3.]]>為了簡單，我們略去符號上的「尖角」。我們進一步用上述計算為hij的單對應性Hij的置信度標度單個線性方程。這樣，該方程組對每個i，j是Hij(GjHij-Gi)＝0。
如果獨立的成對單對應性的個數大於投影儀的個數，則該線程方程組的系統是過約束，並在最小二乘意義上對它求解。這產生一組全局配準矩陣，它最小偏離計算出的一組成對投影。
在交換成對單對應性之後，每個投影儀分別平行地進行全局對準(750)，把它自己的圖像作為參考平面對待。在這一階段，全局圖像變換和屏幕對準投影的結果的已知程度達到只有每個投影儀Pi和顯示表面之間有一個未知單對應性Hi0。
歐氏幾何重建在沒有來自環境的歐氏幾何信息的情況下，我們相對於屏幕計算投影儀Pj的3D姿勢，由此找出Hi0。儘管在3D中確定姿勢存在很大噪聲，但我們在各投影儀當中的圖像變換仍保持與以前相同，即基於全局變換保證無縫的單一輸出圖像。我們確定單對應性Hi0的方法是基於Raskar等描述的方法(「一種自校正投影儀」，IEEE計算機視覺和模式識別(CVPR)，2001)。
如圖8中所示，我們的進行重建的方法800是由每個投影儀Pi並行的。
其步驟如下。使投影儀Pi和照相機Ci圖像空間中的對應點構成三角形(810)以產生3D點X＝{x1，x2，…}。
定位(820)一個最佳擬合平面，並在局部坐標之間以旋轉R∏變換X，這裡顯示平面是z＝0。
應用(830)由於傾斜造成的旋轉X0＝RtiltRπX，從而使X0現在被對準，即z坐標為0。在顯示表面的垂直平面中的點有相同的x坐標，而在水平平面中的點有相同的y坐標。
確定(840)單對應性Hi0，它把投影儀Pi中點X的圖像映射到X0中的對應點，忽略z值。
最後，對所有其他投影儀，確定(850)單對應性Hj0＝Hi0Hji，這裡Hji是由投影儀Pi計算出的全局單對應性Gj。
再現由圖9中所示，為一個投影儀找到適當的投影矩陣以進行再現涉及首先計算該投影儀在屏幕上的貢獻區域，然後重新投影延伸到該投影儀圖像中的那個完整的顯示。在這第一步中，我們確定(910)由該集群中的一個投影儀照亮的四邊形的延伸範圍。這一範圍以屏幕對準(X0)的坐標表示。所以，使用Hj0[±1±1 1]T變換規一化投影儀圖像平面的四角[±1 ±1]。
在屏幕X0空間中全部投影四邊形的組合可能是一個凹形平面多邊形L。
接下來，我們將定位(920)一個將擬合到多邊形L內部的最大矩形圖像S，如下文所述。
n個投影儀每個計算一個稍有不同的Si，這取決於X0的歐氏幾何重建中的誤差。為了S的全局一致性，我們對Si四頂點每個取加權平均。該權重是投影儀距那個頂點的距離Pi。
在第二步，我們使用Hj0-1定位投影儀圖像空間中的矩形S各角點的投影。請注意，矩形S的重新投影的角點將最可能延伸到投影儀物理圖像尺寸之外。因為矩形S代表可顯示區域，它指出要顯示的輸入圖像T的範圍。所以，在輸出圖像中超出這一範圍的像素不被照亮。
這樣，我們能定位(940)輸出圖像與其投影之間的單對應性HTj。
最後，我們織構映射(texture map)(950)輸出圖像到正確縱橫比的單位矩形上，並以從HTj導出的投影矩陣再現圖像。
當圖像重疊時，使用圖形硬體中的α通道實現強度混合。所賦予的混合權重與到圖像邊界的距離成正比。所有步驟在全部投影儀中對稱地進行。
在多邊形中的最大內接矩形圖像圖10顯示如何在一個可能是凹形的多邊形L1001中定位一個具有預定縱橫比a的最大的軸線對準的矩形S。多邊形L是由一組投影四邊形構成的。能通過表述不等式得到三個未知數的解，其中兩個用於表示矩形S的位置，一個用於標度。對於凹形多邊形，方程式稍有不同。
我們提供對該問題的一個簡單的重新參數化。
多邊形L1001，圖中顯示出邊狀態(edge on)，是在深度值z＝1的第一深度平面1002中畫出的，縱橫比為α的矩形R1006是在z＝0的第二深度平面1003中畫出的。將矩形R投影到z＝1平面中的矩形S的投影1004的中心W＝(x，y，z)，其中z在範圍內
中，如果矩形S保持完全在多邊形L之內的話，則該中心被認為是有效的。這些深度平面能被存儲在深度緩存區中。
我們定位一個具有最小深度z的投影中心(CoP)，因為它定義最大的內接矩形S。
考慮對W的禁止區1005，圖中以陰影表示。在以矩形R作為基線由多邊形L上的點造成的一組四面體內部的任何CoP都是無效的。
我們構造將多邊形L的邊緣與矩形R的邊緣連接起來的四邊體。因為連接平面z＝0和z＝1的四面體的面都是三角形，我們的方法計算每個三角形三元組(each triangle triple)的交點，並得到有最小z值的三角形。
我們只需考慮兩類三角形，即把多邊形L的一個頂點與矩形R的一個邊緣連接起來的那些三角形和把多邊形L的一個邊緣與矩形R的一個頂點連接起來的那些三角形，如圖10中所示。
對於有n邊的多面形L 1001，如圖2B中n＝14，我們有8n個三角形，其複雜性為O(n4)。這與O(n2)方法相比顯示是次優的(見P.K.等，P.K.，「凸形多邊形的最大布局和運動規劃」，關於機器人學算法基礎的第二屆國際專門研討會，1996)。然而，我們的方法比較容易地以少數幾行代碼實現。因為n是O(投影儀個數)，所以我們的方法的運行時間仍可忽略。
例如，當投影儀被隨意放置並指向應發生投影圖像的一個總區域時，每個投影儀需要大約5秒鐘去發現成對的單對應性。全局對準(alignment)、內接矩形和混合加權的計算需要再加上3秒鐘。對於由6個隨意安裝的投影儀構成的集群，需要用大約30秒鐘形成一個操作集群。
使用特製集群的彎曲顯示在這一部分，我們描述在諸如圓丘、柱狀屏幕、橢球面或拋物面等二次曲面上自動配準的方法。在計算機視覺方面已知一些現有技術方法使用二次曲面進行圖像變換，見Shashua等的「二次參考面理論和應用」，國際計算機視覺雜誌(IJCV)，23(2)，185-198，1997。
在多投影儀系統中，已描述了根據平面變換(即平面單對應性)關係(見Chen等的「使用未校準照相機自動對準高分辨力多投影儀顯示」，IEEE可視化，2000)以及PixelFlex系統(見Yang等，上文)實現無縫多投影儀平面顯示的若干方法。
然而，我們尚不知用於參數化捲曲和自動配準更高階表面的任何技術。這看來是一個疏忽，因為二次曲面的確出現在基於投影儀的顯示中的許多形狀和構造中。大格式飛行模擬器傳統上是圓柱形或圓丘形的，天文館和OmniMax劇場使用半球形屏幕，而許多虛擬實境系統使用圓柱形屏幕。
在現有技術中，對準通常是人工完成的。有時，人工過程輔之以投影一個「導航」圖案，見Jarvis的「在Silicon Graphics IG上的實時60Hz畸變校正」，實時圖形學5，7，第6-7頁，1997年2月。一些使用彎曲顯視屏幕的多投影儀系統把屏幕各塊作為小塊平面處理。
我們提供一個與上述平面方法類似的完全自動方法。我們的參數方法導致減小了對照相機分辨力的約束，對像素局部化誤差有更好的容錯能力，能更快地校準以及簡單得多的參數化彎曲過程。
我們對二次變換問題重建方程並把解用於無縫顯示應用中。
二次變換的簡化在3D中一個不透明二次表面Q的兩個任意透視圖之間的映射能用一個二次變換表示。儘管平面變換能從4個或更多個像素對應關係計算出來，但二次變換T需要9個或更多個對應關係。
如果在3D中的一個單一點X被表示為4×1矢量，而點X位於二次表面Q上，該表面被表示為對稱4×4矩陣，則XTQX＝0，在兩個視圖中的對應像素x和x′的單一坐標的關係是xBx-(qTx(qTx)2-xTQ33x)e]]>如果給定像素對應關係(x，x′)，這一方程傳統上用於計算下列未知量3D二次Q＝[Q33q∶qT1]，3×3單對應性矩陣B以及在單一坐標中的外極(epipole)e。由Shashua等使用的這一形式以及甚至近來的工作包含21個變量，見Wexler等的「Q-彎曲二次參考面的直接計算」，IEEE關於計算機視覺和模式識別(CVPR)會議，1999年6月。這比實際需要的變量數多4個。
我們的方法是基於一個簡單的觀察。我們能通過定義A＝B-eqT和E＝qqT-Q33來去掉部分不定性，並得到我們使用的形式xAx(xTEx)e]]>這裡xTEx＝0定義上無撇(x)視圖中的二次表面的輪廓圓錐，而A是加上撇(x′)視圖和無上撇(x)視圖之間通過極平面的單對應性。
除了總體標度外，我們的形式只包含一個不定性自由度，它來自E和e的相對標度。通過引入附加的規一化約束，如E(3，3)＝1，能去掉這一不定性(ambiguity)。再有，在圖像中的輪廓圓錐內，平方根前面的符號是固定的。
對於照相機，由點對應關係直接計算二次變換(transfer)參數(即A、E和e)的現有技術方法涉及在3D中估計二次曲面Q，見Shashua等。用於照相機的另一種線性方法使用相應像素的三角形分割，見Cross等的「從雙空間幾何重建二次表面」，第六屆國際計算機視覺大會文集，笫25-31頁，1998。如果兩個視圖的內部參數未知，則所有計算是在計算基本矩陣之後在投影空間中完成的。
然而，我們觀察到，當涉及的是投影儀而不是照相機時，現有技術的線性方法產生很大的再投影誤差，對於XGA投影儀，其誤差在20或30個像素的量級。如果由單個投影儀照亮的二次表面上的點在大多數情況下沒有顯著的深度變化的話，基本矩陣的計算固有地是病態的。
所以，我們使用已知的內部參數和估計的歐氏幾何剛性變換。因此，與平面的情況不同，在這種情況中準確圖像變換的計算在計算的早期涉及三維量。
二次變換方法如圖11中所示，我們的方法1100首先確定(111)照相機和投影儀之間的對應關係。接下來，我們分成三角形(triangulate)和產生(1120)3D中的二次變換方程。然後，我們確定二次變換參數並使用二次變換參數捲曲(1140)輸入圖像。
如在平面集群的情況中那樣，每個投影儀Pk，k＝1，…，n，在二次表面上依次投影一個結構化圖案。該圖案由照相機Ci，i＝1，…，n，看到。然而，我們不能直接找到二次變換TPiCk，而是要首先找到投影儀Pi和照相機Ck之間的剛性變換 圖12顯示用於照相機Ck的步驟。因為 是已知的，我們對投影儀Pi和照相機Ci中的相應點分成三角形(1210)以得到顯示表面上的3D點Di，並把這些點存儲在照相機的Ci坐標系中。
給定由投影儀Pi投影的點Di以及由相鄰投影儀的照相機Ck觀察到的相應點，我們確定(1220)剛性變換PiCk=PiCkPiCi.]]>然後，我們用一個3D二次變換Qi擬合(fit)(1230)Ci坐標系中的點Di。
我們使用我們的簡化二次變換公式，由Qi、投影矩陣Mck和Mpi、以及像素對應關係確定(1240)變換參數Ai、Ei和ei。
最後，我們進行(1250)變換參數Ai、Ei和ei的非線性精細化，以使像素再投影誤差最小。
請注意，由二次表面上的已知3D點找出照相機的3D姿勢是容易出錯的，這是因為3D點通常相當靠近平面。因為我們知道照相機內部參數，我們首先根據單對應性對外部參數做初始猜想，然後使用迭代過程校正這一猜想，見Lu等的「由視頻圖像進行快速和全局收斂姿勢估計」，IEEE模式分析和機器智能學報，22，6，第610-622頁，2000。
圖像再現為了圖像再現，我們把二次變換作為經由極平面的單對應性對待，即A加上由E和e定義的每像素位移。與平面顯示用的集群類似，不藉助任何外部環境傳感器或場景中的歐氏幾何標記，我們利用這一單對應性和在投影儀Uk處的內部傳感器讀數，使輸出圖像與顯示表面的水平和垂直軸線對準。
給定輸出圖像和由照相機Ck獲取的輸入圖像之間的關係，以及照相機Ck和全部投影儀Pi，i＝1，…，n，之間的二次變換，每個投影儀使輸出圖像捲曲到它自己的照相空間中。請注意，使用二次變換捲曲一個圖像不同於現有技術中已知的現有技術再現二次表面，見Watson等的「在光柵顯示上再現二次曲線的快速算法」，第27屆SEACM年度大會論文集，1989。
我們使用簡單的頂點陰影器(Shader)或圖形硬體進行圖像再現。對於每個投影儀，我們將輸出圖像作為織構(texture)映射到矩形形狀的、密集鑲嵌的三角形網格上，並使用二次變換計算網格每個頂點的投影。
我們的系統和方法對於單個或多個投影儀的無縫顯示是理想的，且無需昂貴的基礎設施。由我們的發明能得到的新的應用包括低成本和靈活的圓丘顯示、購物拱廊以及在圓柱上的顯示。我們的方法還能作為平面和任意自由形狀顯示之間的中間步驟。
雖然已經以優選實施例的舉例方式描述了本發明，但應該理解，能在本發明的精神和範圍內做出各種其他適應和修改。所以，所附權利要求的目的是要覆蓋所有這些變化和修改，作為進入本發明的真正精神和範圍之中。
權利要求
1.一種在顯示表面上投影輸出圖像的裝置，包含處理單元，包括由總線連接的微處理器、存儲器和I/O接口；投影儀子系統，與處理單元耦合併被配置成在顯示表面上顯示輸出圖像；照相機子系統，與處理單元耦合併被配置成獲取反映顯示表面幾何形狀的輸入圖像，照相機子系統與投影儀子系統有固定的物理關係；以及內部傳感器，與處理單元耦合併被配置成確定投影儀子系統和照相機子系統相對於顯示表面的取向。
2.權利要求1的裝置，進一步包含網絡子系統，與處理單元耦合併被配置成與其他計算設備通信。
3.權利要求1的裝置，進一步包含與處理單元耦合的用戶接口。
4.權利要求1的裝置，進一步包含捲曲輸出圖像以適應於一個二次表面的裝置。
5.權利要求2的裝置，其中其他計算設備與權利要求1的裝置完全相同。
6.權利要求1的裝置，進一步包含將結構化圖案投影到顯示表面上的裝置；獲取結構化圖案第一輸入圖像的裝置；根據第一輸入圖像在投影儀子系統的坐標框架中產生該結構化圖案網格的裝置；在投影儀子系統的坐標框架中確定織構的坐標的裝置；根據顯示表面更新該織構的坐標的裝置；將該織構映射到該網格上的裝置；以及在顯示表面上再現織構化網格的裝置。
全文摘要
在顯示表面上投影輸出圖像的裝置包括一個處理單元。該處理單元包括由總線連接的微處理器、存儲器和I/O接口。與處理單元耦合的投影儀子系統用於在顯示表面上顯示輸出圖像。與處理單元耦合的照相機子系統用於獲取反映顯示表面幾何形狀的輸入圖像。該照相機子系統與投影儀子系統有固定的物理關係。與處理單元耦合的內部傳感器用於確定投影儀子系統和照相機系統相對於顯示表面的取向。
文檔編號G06T5/00GK1698358SQ200480000309
公開日2005年11月16日 申請日期2004年3月18日 優先權日2003年3月21日
發明者拉梅施·拉斯克爾, 傑羅恩·范·巴爾, 保羅·A·比爾茲利 申請人:三菱電機株式會社