用單應變換校正雙目攝影的系統和方法
2023-09-16 16:09:25
用單應變換校正雙目攝影的系統和方法
【專利摘要】本發明涉及用單應變換校正雙目攝影的系統和方法。提供裝置和方法以實現管理立體圖像的技術。在一實現方式中，計算機系統使用單應變換來校正原生立體板，即，使用用於立體成像的兩個攝像機所記錄的圖像，中的失準。
【專利說明】用單應變換校正雙目攝影的系統和方法
[0001]相關申請的交叉引用
[0002]本申請要求本申請的受讓人擁有的於2012年7月2日提交的題為「CORRECTINGBINOCULAR PHOTOGRAPHY WITH HOMOGRAPHIC PLATE TRANSFORMATIONS」 的美國臨時專利申請序列號61/667，135的優先權權益，該申請的整體內容通過引用合併於此。
【技術領域】
[0003]本申請總體上涉及3D攝影，更特別地，涉及用單應變換校正雙目攝影的系統和方法。
【背景技術】
[0004]以3D呈現的電影十分流行。實現三維圖像的一種方式是藉助於立體攝影。在立體攝影中，兩個圖像被捕獲並呈現給用戶，一個來自左攝像機且用於觀眾的左眼，一個來自右攝像機且用於觀眾的右眼。立體攝影是為觀眾產生3D圖像的最古老的方式之一。
[0005]然而，常從3D圖像觀眾聽到的一個抱怨是，觀看這種圖像經常導致諸如頭痛或噁心之類的煩惱。這些抱怨一般本質上不涉及觀看體驗的3D屬性，而是與未正確對準或失準的圖像有關，這導致觀眾的眼睛看到的圖像不是它們在真實生活中的那樣。
[0006]更詳細地說，在兩個攝像機一起捕獲圖像的情況下，原生拍攝的立體內容採用安裝有兩個攝像機的裝備，這兩個攝像機意圖除了它們的水平偏移之外處於準確相同的位置。然而，實際上，沒有安裝是完美的，因此由於攝像機可能沿非平行方向取向或具有其它旋轉差異，所以誤差可能潛入圖像中，其中術語「旋轉」是在3D旋轉的意義上使用。此外，變焦水平可能不同，以及有其它差異。
[0007]更詳細地說，參照現有技術的圖1，示出了系統10，其中第一立體攝像機12和第二立體攝像機14示為具有各自的鏡頭16和18。攝像機12和14安裝在基座15上。除了產生立體效果的水平位移D之外，攝像機12和14意圖在各方面相似並以相同方式定位。
[0008]無論如何嘗試在位置和取向上對準攝像機，誤差一般總是潛入。例如，攝像機14可以實際上具有攝像機14』的取向，因此沿與攝像機12稍微不同的方向指向，即它們的取向可能是不平行的。注意，在圖1中，攝像機定位誤差被誇大以使它們更明顯。以相同方式，攝像機14〃以與攝像機14稍微不同的方向指向，並且也繞與鏡頭平面垂直的軸旋轉。
[0009]解決這些誤差是電源製作人的重要考量。例如，攝像機的垂直定位在減少用戶煩惱方面是非常重要的。包括旋轉差異或者變焦或縮放差異在內的其他誤差也是非常重要的。
[0010]除了實際的膠片攝像機之外，為了適當地使CG元素呈現在映像中的圖像上，一組相應的虛擬攝像機22和24可以與立體攝像機12和14相關聯。該組虛擬攝像機22和24定位成它們的像平面與相應的攝像機12和14的像平面一致，但是為了某些視覺效果，虛擬攝像機可以不同地定位，例如，有不同的水平間隔，以提供具有不同廣延量的CG元素。
[0011]為了將CG攝像機正確地放置在物理立體攝像機的位置處，採用了導致「攝像機提取(camera extraction)」或攝像機位置確定的各種「匹配移動」技術。攝像機提取通常關於每個單獨攝像機進行，因此物理立體攝像機之間的旋轉差異將傳播到相應的虛擬攝像機。
[0012]無論是從實際拍攝場景還是從CG模型，旋轉和其它差儘管微小，但可能在觀看立體內容時充當視覺擾亂因素，使得難以立體地觀看內容。因此，需要改善的3D觀看體驗。
[0013]提供本【背景技術】是為了介紹下面的
【發明內容】
和【具體實施方式】的簡要上下文。本【背景技術】無意幫助確定所要求保護的主題的範圍，也不應被視為將所要求保護的主題限制到解決了以上提出的任何或所有缺點或問題的實現方式。
【發明內容】
[0014]在一實現方式中，計算機系統調整圖像，從而校正立體圖像之間的對準，以解決上述現有技術缺陷。所述系統使用單應變換來校正原生立體板(native stereo plate)中的失準。所述系統例如通過使用匹配移動數據來提取攝像機位置而計算攝像機位置和取向。所述系統然後確定應如何改變攝像機旋轉以具有期望的對準。在一實現方式中，所述系統使用視角或節點移位來解決旋轉校正。
[0015]與對攝像機進行這些旋轉改變並行地，所述系統可以將對應的板照片(platephotography )解扭曲，然後將相等的單應變換應用到解扭曲的立體板。該操作能以與角釘扎(corner pin)類似的方式工作。一般而言，雖然所述系統和方法針對視角移位(即，節點移動(nodal pan))進行校正,而不針對變換差或平移(translation),但是所述系統和方法可以與針對這些進行校正的系統和方法協力起作用。該系統和方法還可以解決梯形失真的情況。
[0016]在一方面中，本發明涉及一種用於校正立體圖像的方法，包括:確定第一攝像機的位置；確定所述第一攝像機的取向；確定第二攝像機的位置；確定所述第二攝像機的取向；基於所述第一攝像機的位置、所述第一攝像機的取向、所述第二攝像機的位置以及所述第二攝像機的取向，確定所述第一攝像機與所述第二攝像機之間的差；以及執行單應變換以基於所述旋轉差來調整所述第二攝像機的取向。
[0017]本發明的實現方式可以包括以下中的一個或多個。確定所述差的步驟可以包括:確定所述第一攝像機與所述第二攝像機之間的視角移位(perspective shift)。所述第一攝像機可以是第一物理攝像機，所述第二攝像機可以是第二物理攝像機，所述方法還可以包括提供第一虛擬攝像機和第二虛擬攝像機，所述第一虛擬攝像機具有與所述第一物理攝像機一致的位置和取向，所述第二虛擬攝像機具有與所述第二物理攝像機一致的位置和取向，確定差的步驟可以基於所述第一虛擬攝像機的位置、所述第一虛擬攝像機的取向、所述第二虛擬攝像機的位置以及所述第二虛擬攝像機的取向。所述方法還可以包括:執行單應變換以基於所述差來調整所述第一虛擬攝像機或第二虛擬攝像機的取向。可以使用匹配移動步驟來執行確定第一攝像機的位置和確定第二攝像機的位置的步驟。執行單應變換以調整第二攝像機的取向可以包括:執行第二攝像機的節點旋轉。執行單應變換可包括:調整來自第二攝像機的圖像的縮放或變焦。所述方法還可以包括:從第一攝像機接收一系列第一圖像；從第二攝像機接收一系列第二圖像；以及在確定差和執行單應變換的步驟之前，對所述一系列第一圖像進行解扭曲並且對所述一系列第二圖像進行解扭曲。
[0018]在另一方面，本發明涉及一種非暫時性計算機可讀介質，該介質包括用於使計算機環境執行上述方法的指令。
[0019]在另一方面，本發明涉及一種在非暫時性計算機可讀介質上實現的用於校正立體圖像的模塊，包括:位置確定模塊，用於確定第一物理攝像機和第二物理攝像機的位置；取向確定模塊，用於確定第一物理攝像機和第二物理攝像機的取向；差確定模塊，用於基於所述第一物理攝像機的位置、所述第一物理攝像機的取向、所述第二物理攝像機的位置以及所述第二物理攝像機的取向來確定所述第一物理攝像機與所述第二物理攝像機之間的差；以及單應變換模塊，用於基於所述旋轉差來調整所述第二物理攝像機的取向。
[0020]本發明的實現方式可以包括以下中的一個或多個。所述模塊還可以包括:虛擬攝像機模塊，用於使第一虛擬攝像機位於與所述第一物理攝像機一致的位置和取向，並且使第二虛擬攝像機位於與所述第二物理攝像機一致的位置和取向。所述模塊還可以包括:虛擬攝像機單應變換模塊，用於基於所述差來調整所述第一虛擬攝像機或第二虛擬攝像機的取向。所述模塊還可以包括:匹配移動模塊，用於至少確定攝像機位置和取向，其中所述位置確定模塊和所述取向確定模塊在它們的確定中採用所述匹配移動模塊。所述模塊還可以包括:解扭曲模塊，用於在所述差確定模塊確定旋轉差之前，對來自所述第一物理攝像機和所述第二物理攝像機的圖像進行解扭曲，其中所述調整模塊調整解扭曲了的圖像的取向。所述調整模塊可以配置為執行縮放或變焦、節點旋轉或視角移位的單應變換。
[0021]本發明的特定實現方式的優點可以包括以下中的一個或多個。可以通過方便的方式獲得明顯改善的立體結果。所述系統和方法的某些實現方式允許在立體電影製作流水線早期解決旋轉差，允許影片製作者在製作期間看到改善的結果。雖然所述系統和方法的一些實現方式並不解決平移或變換差，但校正旋轉差本身就導致顯著改善的結果。
[0022]提供本
【發明內容】
以通過簡化的形式介紹一部分概念，概念將在下面的【具體實施方式】中進一步描述。本
【發明內容】
不意圖標識所要求保護的主題的關鍵特徵或必要特徵，也不意圖用於幫助確定所要求保護的主題的範圍。
【專利附圖】
【附圖說明】
[0023]圖1示出現有技術立體系統，指示了立體攝像機之間的一般相對位置誤差。
[0024]圖2是流程圖，示出根據這裡公開的原理的方法。
[0025]圖3示出根據這裡公開的原理的示例性計算環境。
[0026]圖4示出另一示例性計算環境，在該計算環境中可以體現根據這裡公開的原理的系統，並且可以使用該計算環境實施根據這裡公開的原理的方法。
[0027]相似的附圖標記始終指示相似的元件。元件不是按比例繪製的，除非另有說明。
【具體實施方式】
[0028]在優選實施例中，根據這裡公開的原理的某些實現方式的系統和方法涉及校正立體攝像機之間的圖像的旋轉差。旋轉差也可稱為視角改變或節點移位。旋轉差可以包括通過繞公共光學中心或樞轉點進行樞轉所導致的任何差。例如，如果攝像機放置在三腳架上並且繞其鏡頭的準確光學中心或節點中心樞轉，則在觀看中體驗到的改變將是角色的旋轉。將沒有視差轉變。元素將被看成繞框搖攝，但隨著攝像機旋轉，沒有元素將通過視差轉變而被揭露或發現。除了旋轉差之外，也可以解決變焦或縮放差。根據這裡公開的原理解決的這些類型的改變被稱為單應變換。
[0029]注意，所公開的系統和方法無需針對視差改變進行調整，因為這需要額外數據，即先前被屏障隱藏的一部分3D場景。然而，所解決的旋轉差可以是還包括解決視差改變的途徑的系統的一部分。
[0030]參照圖2，示出流程圖20，其具有第一步驟:確定第一攝像機的位置和取向(步驟26)。示出第二步驟:確定第二攝像機的位置和取向(步驟28)。這些步驟可以通過匹配移動步驟(步驟32)來實現，雖然也可以採用其它技術。
[0031]然後下一步驟可以是，基於第一攝像機和第二攝像機的位置和/或取向確定它們之間的旋轉差(步驟34)。所確定的旋轉差通常是三維旋轉差，因此可以被認為是大體上繞X軸、y軸和/或z軸的旋轉。在一些實現方式中，可以採用如下步驟:不僅接收圖像以檢測旋轉差，而且在對所接收的圖像進行解扭曲的步驟(步驟46)之後還這樣做。
[0032]在確定第一攝像機與第二攝像機之間的旋轉差時，可以採用如下步驟:確定第一攝像機與第二攝像機之間的視角移位或節點移位(步驟36)。
[0033]然後可以基於所確定的旋轉差來調整來自一個或兩個攝像機的圖像的取向(步驟38)。在這樣做時，可以對一個或兩個攝像機的圖像執行節點或單應變換(步驟42)。在輔助步驟中，也可以基於旋轉差來調整第一虛擬攝像機或第二虛擬攝像機的取向(步驟44)。
[0034]在替選實現方式中，確定第一攝像機與第二攝像機之間的旋轉差的步驟可以基於對應的虛擬攝像機的位置的分析。例如，如果兩個虛擬攝像機的位置之間的絕對差是已知的或可以被確定，則可以採用軟體(包括來自加利福尼亞的聖拉斐爾的Autodesk公司的
Maya?)來檢測差，然後對虛擬攝像機執行節點或單應變換。在Maya?.軟體的情況下，
其可以被用來檢測和修正與取向、旋轉、焦距等有關的差。然後相同的變換可以應用到來自物理立體攝像機的圖像。
[0035]這些變換可以包括與角釘扎相似的變換，其一般用於解決梯形失真(這是對象或部分對象如果靠近觀眾則顯得更大的屬性)。作為角釘扎變換的示例，如果從不垂直於矩形平面的方向看，則矩形CG形狀的外觀通常是梯形的。在一些情況下，矩形的垂直邊緣可以保持垂直，但矩形的水平邊緣可以根據觀眾的位置而呈現為分開或聚攏，或者二者。在角釘扎變換中，通過擴展角部並且向外延伸圖片內容的一部分，梯形可以變換為矩形。即使該單應變換僅是近似的，當看作立體對(stereo pair)的一部分時，圖像的總體效果得到明顯增強。
[0036]雖然角釘扎變換是單應變換的很常用的子集，但本領域技術人員應理解，也可以採用各種其它技術。變換可以包括變焦差、縮放差、焦距差等。實際上，可以應用本質上是節點的任何變換，即，可以通過繞樞轉點對攝像機進行樞轉來實現的任何變換，其中樞轉點位於攝像機的光學中心，或通過改變透鏡焦距或膠片背(film back)性質(或等效「縮放」操作)來實現的任何變換。
[0037]圖3示出用於調整圖像的模塊化計算環境30。計算環境30可以形成被稱為「板準備部門(department plate preparation)」的一部分，並且可以包括處理器66和輸入模塊68，輸入模塊68接受具有對準問題的立體板以及關於具有相同或相似對準問題的虛擬攝像機的細節。
[0038]解扭曲模塊72可以用於移除來自圖像的扭曲以允許對其執行更準確的分析，例如，實際直線將在解扭曲圖像中呈現為直的而不是彎曲的。以此方式，可以執行更準確的匹配移動等。
[0039]可以提供虛擬攝像機模塊86以在與物理立體攝像機相同的位置或在藝術設計所規定的其它位置處實現虛擬攝像機。
[0040]可以採用位置確定模塊76和取向確定模塊78來確定攝像機的位置和取向。這些模塊中的每個可以採用匹配移動模塊92來從圖像提取攝像機信息。也可以採用其它技術。
[0041]可以提供差確定模塊82以檢測立體圖像之間的旋轉或其它節點差。其它這樣的節點差可以包括變焦、焦距等。差確定模塊82可以是獨立的，或可以實現在另一軟體應用中，例如Nuke? (由位於英國的The Foundry提供)。可以採用調整模塊84來根據所檢測
到的或所確定的旋轉或其它差來對圖像進行調整。以此方式，可以使用單應變換來使圖像對準。可以採用虛擬攝像機調整模塊88來變換對應虛擬攝像機的位置和取向。
[0042]可以採用重扭曲(re-warping)模塊74來對圖像進行重扭曲，從而為觀眾實現更自然呈現的圖像，並且保留原始板照片的自然特性。
[0043]可以採用其它模塊來解決圖像之間的平移差，並且其可以執行圖2的流程圖未示出的步驟。然而，這些模塊和方法將受益於這裡公開的系統和方法的某些實現方式，因為所公開的系統和方法為這些過程提供更好、更乾淨和數學上更正確的起點。
[0044]已經描述了用於調整圖像以提供來自立體攝像機的圖像之間以及虛擬或CG攝像機所描繪的圖像之間的增強的對準的系統和方法。
[0045]一種實現方式包括一個或多個可編程處理器和對應的計算機系統部件以存儲和執行計算機指令，諸如提供用於確定攝像機位置和取向的工具以及應用單應變換以校正對準。以下描述一種這樣的計算環境。
[0046]參照圖4，示出用於立體圖像處理工作站的示例性計算環境40的表示。
[0047]計算環境40包括控制器102、存儲器106、儲存器112、介質設備96、用戶接口 104、輸入/輸出(I/o)接口 106以及網絡接口 108。部件通過公共總線124互連。替選地，可以使用不同的連接配置，例如控制器在中心的星圖案。
[0048]控制器102包括可編程處理器並且控制圖像處理系統104的操作。控制器102加載來自存儲器106或嵌入式控制器存儲器(未示出)的指令，並且執行這些指令以控制該系統。
[0049]可以包括非暫時性計算機可讀存儲器108的存儲器106臨時存儲供系統的其它部件使用的數據。在一實現方式中，存儲器106實現為DRAM。在其它實現方式中，存儲器106還包括長期或永久性存儲器，例如快閃記憶體和/或ROM。
[0050]可以包括非暫時性計算機可讀存儲器114的儲存器112臨時或長期存儲供系統的其它部件使用的數據，例如用於存儲數據或指令。在一實現方式中，儲存器112是硬碟驅動器或固態驅動器。
[0051]可以包括非暫時性計算機可讀存儲器98的介質設備96接收可移除介質並且從其讀取數據和/或寫入數據到所插入的介質。在一實現方式中，介質設備96是光碟驅動器或盤刻錄器,例如Blu-ray?盤驅動器115。
[0052]用戶接口 116包括用於接受用戶輸入的部件，例如偽像的用戶指示以及上述其它方面，並且用於向用戶呈現顯示，例如先前的或隨後的變換圖像的顯示。在一實現方式中，用戶接口 116包括鍵盤、滑鼠、音頻揚聲器和顯示器。控制器102使用來自用戶的輸入以調整計算環境的操作。
[0053]I/O接口 118包括一個或多個I/O埠以連接到對應的I/O設備，例如外部儲存器或輔助設備，例如雲存儲設備、印表機或PDA。在一實現方式中，I/O接口 118的埠包括例如以下埠:USB埠、PCMCIA埠、串行埠和/或並行埠。在另一實現方式中，I/O接口 118包括用於與外部設備進行無線通信的無線接口。可以採用這些I/O接口來連接到一個或多個內容回放設備。
[0054]網絡接口 122允許與本地網絡的連接，並且包括有線和/或無線網絡連接，例如RJ-45或乙太網連接或「W1-Fi」接口(802.11)。大量其它類型的網絡連接將被理解為可行的，包括WiMax、3G或4G、802.15協議、802.16協議、衛星、藍牙?等。
[0055]系統可以包括其他硬體和軟體，典型的這些設備例如為電力系統和作業系統，雖然為了簡單起見，這些部件並未在附圖中具體示出。在其它實現方式中，可以使用不同的設備配置，例如不同的總線或存儲配置或多處理器配置。
[0056]已經描述了本發明的各種說明性實現方式。然而，本領域技術人員應理解，附加實現方式也是可能的，並且在本發明的範圍之內。例如，所公開的系統和方法可以應用於來自電影、電視、視頻遊戲等的圖像。
[0057]相應地，雖然在對於結構特徵和/或方法動作特定的語言中已經描述了主題內容，但應理解，所附權利要求中限定的主題內容不一定受限於以上描述的特定特徵或動作。此外，以上描述的特定特徵和動作被公開為實現權利要求的示例形式。
【權利要求】
1.一種用於校正立體圖像的方法，包括: a.確定第一攝像機的位置； b.確定所述第一攝像機的取向； c.確定第二攝像機的位置； d.確定所述第二攝像機的取向； e.基於所述第一攝像機的位置、所述第一攝像機的取向、所述第二攝像機的位置以及所述第二攝像機的取向來確定所述第一攝像機與所述第二攝像機之間的差；以及 f.執行單應變換以基於所述旋轉差來調整所述第二攝像機的取向。
2.如權利要求1所述的方法，其中，確定所述差包括:確定所述第一攝像機與所述第二攝像機之間的視角移位。
3.如權利要求1所述的方法，其中，所述第一攝像機是第一物理攝像機，所述第二攝像機是第二物理攝像機，並且還包括第一虛擬攝像機和第二虛擬攝像機，所述第一虛擬攝像機具有與所述第一物理攝像機一致的位置和取向，所述第二虛擬攝像機具有與所述第二物理攝像機一致的位置和取向，並且其中，確定差是基於所述第一虛擬攝像機的位置、所述第一虛擬攝像機的取向、所述第二虛擬攝像機的位置以及所述第二虛擬攝像機的取向的。
4.如權利要求3所述的方法，還包括:執行單應變換以基於所述差來調整所述第一虛擬攝像機或所述第二虛擬攝像機的取向。
5.如權利要求3所述的方法，其中，使用匹配移動步驟來執行確定第一攝像機的位置和確定第二攝像機的位置的步驟。`
6.如權利要求1所述的方法，其中，執行單應變換以調整所述第二攝像機的取向包括:執行所述第二攝像機的節點旋轉。
7.如權利要求1所述的方法，其中，執行單應變換包括:調整來自所述第二攝像機的圖像的縮放或變焦。
8.如權利要求5所述的方法，還包括: a.從所述第一攝像機接收一系列第一圖像； b.從所述第二攝像機接收一系列第二圖像；以及 c.在確定差和執行單應變換的步驟之前，對所述一系列第一圖像進行解扭曲並且對所述一系列第二圖像進行解扭曲。
9.一種非暫時性計算機可讀介質，包括用於使計算機環境執行權利要求1的方法的指令。
10.一種實現在非暫時性計算機可讀介質上的用於校正立體圖像的模塊，包括: 位置確定模塊，用於確定第一物理攝像機和第二物理攝像機的位置； b.取向確定模塊，用於確定第一物理攝像機和第二物理攝像機的取向； c.差確定模塊，用於基於所述第一物理攝像機的位置、所述第一物理攝像機的取向、所述第二物理攝像機的位置以及所述第二物理攝像機的取向來確定所述第一物理攝像機與所述第二物理攝像機之間的差；以及 d.單應變換模塊，用於基於所述旋轉差來調整所述第二物理攝像機的取向。
11.如權利要求10所述的模塊，還包括:虛擬攝像機模塊，用於將第一虛擬攝像機置於與所述第一物理攝像機一致的位置和取向，並且將第二虛擬攝像機置於與所述第二物理攝像機一致的位置和取向。
12.如權利要求11所述的模塊，還包括:虛擬攝像機單應變換模塊，用於基於所述差來調整所述第一虛擬攝像機或所述第二虛擬攝像機的取向。
13.如權利要求12所述的模塊，還包括:匹配移動模塊，用於至少確定攝像機位置和取向，其中所述位置確定模塊和所述取向確定模塊在它們的確定中採用所述匹配移動模塊。
14.如權利要求10所述的模塊，還包括:解扭曲模塊，用於在所述差確定模塊確定旋轉差之前對來自所述第一物理攝像機和所述第二物理攝像機的圖像進行解扭曲，其中所述調整模塊調整所解扭曲了的圖像的取向。
15.如權利要求10所述的模塊，其中，所述調整模塊被配置為:執行縮放或變焦的單應變換。
16.如權利要求10所述的模塊，其中，所述調整模塊被配置為:執行節點旋轉。
17.如權利要求10所述的 模塊，其中，所述調整模塊被配置為:執行視角移位。
【文檔編號】G06T7/00GK103530870SQ201310270954
【公開日】2014年1月22日 申請日期:2013年7月1日 優先權日:2012年7月2日
【發明者】B·亨德裡克斯 申請人:索尼公司, 索尼圖片技術股份有限公司