背景限制新視圖插值的製作方法

2023-12-12 22:13:42

專利名稱：背景限制新視圖插值的製作方法
技術領域：
本發明總體上涉及照相機或視覺系統，更具體而言涉及生成場景的新視圖。
背景技術：
新視圖插值(NVI)試圖從其他視圖插值或合成新的或新穎的圖像視圖。存在合成 新視圖的很多方法，這些方法可以分類為三個一般的類別不使用幾何結構的NVI、使用明 確幾何結構的NVI以及使用隱式幾何結構的NVI。光場渲染屬於第一類別。它不假設場景的幾何結構，而是使用大量照相機來採集 輸入圖像，這限制了其應用。第二類別中的方法通過從所有參考圖像投影像素生成虛擬視圖。因此，該類別的 方法需要精確的幾何結構來合成新視圖。該類別的典型方法包括視點相關紋理映射、3D變 形、分層深度圖像以及寬基線立體。這些方法一般採用立體匹配來獲得精確的幾何結構，這 是立體視覺領域中的巨大挑戰。使用隱式幾何結構的NVI試圖在第一和第二類別之間找到折中，要求較少的圖像 且需要較不精確的幾何結構。在該類別方法中同時估算新視圖及其深度。該類別方法將 NVI建模為最大似然估計(MLE)問題。因為受到嚴格限制，需要強大的先驗知識(prior)來 獲得好的解析度。例如，紋理字典用作馬可夫隨機場(MRF)模型中的先驗知識。該工作通 過使用不同的先驗知識、專家領域和配對字典來擴展。這些方法具有關於觀察的數據的獨 立假設的缺點。建議用基於條件隨機場(CRF)的NVI方法來去除這種限制。該方法看上去 具有良好的結果，但是輸入圖像總是高質量的。該類別的當前算法傾向於關注於遮擋問題， 一些關注於NVI上大視點變化效果。例如，在輻射度變化、無紋理以及非朗伯表面的其他復 雜場景中還沒有進行研究工作。儘管存在試圖從其他視圖提取信息以生成新視圖的若干新視圖插值算法，複雜場 景提出的若干挑戰通常是好的新視圖插值的障礙。這些挑戰包括但不限於不良擺放的姿 態、場景內的透明度、遮擋、變形、照明以及大視點變化。而且，複雜場景中的新視圖插值可 能經歷若干其他問題，例如包括輻射度變化、無紋理和非朗伯表面以及複雜結構(例如，頭 發、樹等)。這些困難局面不能提供用於點對應的可靠信息，且典型地生成大量誤報匹配。 儘管用於NVI的這些專門方法可用於解決這些困難局面其中的一兩個，它們的本質弱點使 得它們在其他局面中不適用。因為場景可以包含或經歷這些挑戰其中之一或更多，難以正確地插值場景新視 圖。因此，所需要的是可以生成新場景視圖的更魯棒的系統。

發明內容
為了緩解上述限制，此處提出背景限制新視圖插值系統和方法。在實施方式中，一個圖像的像素的背景由其空間背景域中觀察到的其鄰近特徵的 位置上的幾何結構限制表達。該像素的幾何結構限制可用於基於局部斑塊中的對應關係(correspondence)的位置之間的變換的假設來估算其他視圖中其對應的位置。 在實施方式中，通過使用三維重構驗證對應關係。如果三維重構得出具有可承受
誤差的點，則對應關係被添加到特徵對應關係組中。 在實施方式中，尋找更多特徵對應關係的處理可以迭代以增加對應關係的數目和 對應關係的精確性。因而，在實施方式中，從粗略到精細的機制用於建立密集對應關係，且 通過重構驗證改善視圖之間的立體匹配的精確性。給定一組對應關係，可以插值新視圖。在實施方式中，可以使用從新視點圖像中的 像素投影到三維網格上的交點的射線和從交點投影到源圖像的射線之間測量的角度來確 定用於組合來自在源圖像中識別的像素的像素顏色值的加權因子。此處提出的方法可以包含在電腦程式產品中，該電腦程式產品包含存儲一個 或更多指令序列的至少一個計算機可讀介質，其中通過一個或更多處理器執行該一個或更 多指令序列導致一個或更多處理器執行用於校準投影儀系統的計算機實現方法。本發明的 實施方式包括用於生成新視點圖像的(多個)計算機系統。在概述部分已經一般性地描述了本發明的一些特徵和優點；然而，此處提出附加 特徵、優點和實施方式，或者當考慮附圖、說明書和其權利要求時，本領域技術人員將顯見 這些附加特徵、優點和實施方式。因此，應當理解本發明的範圍不受此概述部分中公開的特 定實施方式限制。


下面將詳細描述本發明的優選實施方式，在附圖中例示出了其示例。這些附圖旨 在說明而非限制。儘管在這些實施方式的上下文中一般性地描述本發明，應當理解，並不旨 在將本發明的範圍限制為這些特定實施方式。圖1說明根據本發明的各個實施方式的用於新視圖插值的照相機系統。圖2提出一種根據本發明的各個實施方式的用於生成一個或更多新視圖的方法。圖3示意根據本發明的各個實施方式，用於獲得從一個視點得出的場景的參考圖 像和從該場景的不同視點得出的一個或更多圖像之間的一組對應關係的方法。圖4示意根據本發明的各個實施方式，用於獲得從一個視點得出的場景的參考圖 像和從該場景的不同視點得出的一個或更多圖像之間的附加對應關係的方法。圖5A和5B示意根據本發明的各個實施方式，用於獲得從一個視點得出的場景的 參考圖像和從該場景的不同視點得出的一個或更多圖像之間的附加對應關係的方法。圖6以圖形的形式示意根據本發明的各個實施方式，將三維點投影到兩個照相機 視圖。圖7示意根據本發明的各個實施方式，用於渲染新視圖的方法。圖8示意根據本發明的各個實施方式，用於混合像素顏色值以獲得用於新視點圖 像的像素顏色值的方法。圖9說明根據本發明的各個實施方式，判斷在混合像素顏色的過程中使用的射線 的角度。圖10-14說明根據本發明的各個實施方式的示例性新視點圖像。圖15示意根據本發明的各個實施方式的計算系統。
具體實施例方式在下面的描述中，用於解釋目的，提出特定細節以提供本發明的理解。然而，對於 本領域技術人員而言，很明顯，本發明可以不使用這些細節實踐。本領域技術人員將意識到 一些在下面描述的本發明的實施方式可以結合到很多不同系統和裝置中，作為例示而非限 制性，這些系統和裝置包括照相機(攝像機和/或靜止圖像照相機)、多媒體系統、劇場系 統、視頻會議系統、投影系統、遊戲系統、計算機系統、視覺系統等。本發明的方面可以以軟 件、硬體、固件或其組合實現。框圖中示出的組件或模塊是本發明的示例性實施方式的說明且旨在避免混淆本 發明。還應當理解，貫穿這種討論，組件可以被描述為可以包括子單元的單獨功能單元，但 是本領域技術人員將意識到，各個組件或其部分可以分割成單獨的組件或可以整體形成， 包括集成在單個系統或組件中。此外，附圖內的組件/模塊之間的連接並不旨在限制於直接連接。而是，這些組件 之間的數據可以被中間組件修改、重新格式化或改變。而且，可以使用附加或更少的連接。 還應當注意，術語「耦合」或「通信耦合」應理解成包括直接連接、通過一個或更多中間裝置 的間接連接以及無線連接。說明書中對於「一個實施方式」、「一實施方式」或「實施方式」的引用意味著結合 實施方式或多個實施方式描述的特定特徵、結構、特性或功能被包括在本發明的至少一個 實施方式中且可以包括在多於一個實施方式中。短語「在一個實施方式中」或「在一實施方 式中」或「在實施方式中」在本說明書中各處的出現並不一定都引用相同的實施方式或多個 實施方式。A、概覽此處提出的是用於一小組複雜場景的輸入圖像的新視圖插值(NVI)的系統和方 法。本專利文件提出了提供結合背景信息來限制視圖插值的框架的系統和方法的實施方 式。儘管以前在新視圖插值中還沒有使用背景，視覺背景在對象識別、對象檢測、分 段、跟蹤和場景理解中扮演重要角色。已經顯示，建模空間結構的背景方法可以粗略地分為 三個類別嚴格結構模型、無結構模型和靈活結構模型。嚴格結構模型在感興趣的區域(例 如，圖像模板)周圍的圖像像素或斑塊(patch)中強加嚴格的空間配置。它在匹配時趨於 具有高精確度，但是對於遮擋和變型很不敏感。無結構模型忽略空間關係，例如很多特徵或 特徵直方圖。它們提供建模複雜場景的靈活性，但是可能導致誤報匹配和錯亂。結構靈活 模型的目標在於採集場景的粗略幾何結構且允許空間配置(諸如形狀背景和隨機圖形)的 某些變形。儘管背景建模在歷史上具有缺點，本發明的一個方面是利用背景來幫助提取用 於新視圖插值的信息。新視圖插值(VNI)典型地是諸如多視點圖像/視頻壓縮、目光注視校正和多視點 三維顯示之類的基於計算機視覺的應用的算法組件。新視圖插值算法一般首先建立視圖之 間的對應關係，然後基於相應強度合成新視圖。因此，立體匹配典型地是重要的部分且是 NVI的核心挑戰之一。匹配成本的選擇決定了立體算法的性能。先前已經評估了各種匹配 成本。對於紋理圖像是高質量的場景，在強加空間一致性的重構中，諸如像素的強度差異或小窗口上的關聯之類的簡單匹配成本工作良好。儘管高效地處理了遮擋，使用小斑塊的 方法可能經歷亮度變化、重複圖案、無紋理表面以及無郎伯表面。另一方面，基於較大鄰域 (neighborhood)的方法在大視點變化方面和部分遮擋方面具有困難。這些變化往往發生在 真實世界的複雜場景中且使得立體匹配算法失效。因此，需要魯棒的立體匹配方法來處理 NVI中的這些問題。已經顯示，還沒有什麼匹配成本對於強局域變化是十分健壯的。這種局限性的根 源在於任意像素被單獨考慮，而不管其附近的像素如何。因此，誤報對應關係可能是好的匹 配，且好的匹配並不一定對應於真實匹配。不管場景有多複雜，像素隔離和獨立於整個場景 是十分少見的。例如，因為輸入圖像中的遮擋或亮度變化，一個像素的強度可能經歷大的變 化，但是其背景(諸如鄰近特徵)可能更加穩定且經歷較少的顯著改變。因而，因為空間背 景提供附加的驗證，可以以高效的方式有利地使用背景信息來魯棒性以找到對應關係。在實施方式中，此處提出背景限制NVI系統和方法。在實施方式中，一個圖像的像 素的一個獨立背景由在其空間背景域中觀察的其鄰近仿射特徵的位置上的幾何結構限制 表示。該像素的幾何結構限制可用於基於局部斑塊中對應關係的位置之間的變換的假設估 算其他視圖中其對應的位置。在實施方式中，與該像素相關的仿射特徵可以非常稀少且鄰 域窗口的尺寸可以增大以包括更多的特徵，這與局部線性假設相牴觸。因此，在實施方式 中，從粗略到精細的機制用於建立密集對應，且通過重構驗證改善視圖之間立體匹配的精 確性。此處提出的系統和方法的實施方式的優點包括但不限於(1)提供用於建立視圖 之間密集且精確的點對應關係；(2)提供結合背景來限制從匹配局部亮度到匹配用於NVI 的幾何結構背景的特徵對應關係的方法；以及(3)提供更健壯的對應關係——因為背景對 於小的局部外觀變化非常不敏感，匹配背景導致更健壯的對應關係。因此，即使當輸入圖像 是複雜場景時，本發明的實施方式也可用於新視圖插值。B、方法實施方式1、概述圖1示意了根據本發明的實施方式的系統100的配置。系統100包括耦合到計算 系統120的一組照相機ΙΙΟχ。照相機IlOx布置為從場景130的不同視點採集圖像。注意， 此處參考照相機的討論應解讀為涵蓋在唯一位置具有多個照相機、一個或多個照相機移動 到不同位置以採集多個視點圖像或其組合。還應當注意，如上下文允許，所述的照相機應解 讀為涵蓋照相機視圖或照相機圖像。還應當注意，照相機位置不需要均勻或線性地布置。如圖1所示，存在位置140A-X，在這些位置上沒有採集的照相機圖像。如果需要來 自該視點的圖像，則本發明的實施方式可以渲染新視點圖像以近似從該位置採集的圖像， 就像布置了照相機來採集視點圖像一樣。在實施方式中，計算系統120與照相機相接口以協調來自照相機的圖像的採集和 存儲。在實施方式中，計算系統還生成(一個或多個)新視點圖像。下面將更詳細地描述 計算系統120的實施方式。圖2提出根據本發明的各個實施方式，用於生成一個或更多新視圖的方法。在實 施方式中，校準照相機組(20 且獲得本徵參數、焦距、圖像中心以及失真信息。而且，在實 施方式中，執行立體校準005)以獲得照相機相對於參考照相機的外在參數。應當注意，照相機校準為本領域普通技術人員所熟知，且執行照相機校準的校準工具或工具組也容易獲得。在所示實施方式中，照相機組被調整010)，這為本領域普通技術人員所熟知。在 實施方式中，通過將立體對擴展到不同視點來調整照相機。因此，針對每個視圖存在變換矩 陣和投影矩陣。在調整之後，每個視點具有相同的垂直坐標、相同的旋轉矩陣和相同的本徵 矩陣。出於說明4個照相機視點的調整的目的，提供下面的方程組，其中照相機視點2是 參考圖像視點
權利要求
1.一種電腦程式產品，其包括存儲一個或更多個指令序列的至少一個計算機可讀介 質，其中一個或更多個處理器執行所述一個或更多個指令序列導致所述一個或更多個處理 器通過執行以下步驟生成場景的新視圖形成從一個視點取得的所述場景的參考圖像的一組特徵與在不同視點取得的一組圖 像中的至少一些圖像中的各圖像的一組特徵之間的一組對應關係；檢測所述參考圖像中的邊緣像素；針對從所述參考圖像中檢測出的邊緣像素取得的一組邊緣像素中的各邊緣像素，使用 從所述一組對應關係中選擇的局部對應關係來幫助在所述一組圖像中的至少一些圖像中 的各圖像中選擇匹配像素，其中所述邊緣像素和所述匹配像素形成像素匹配組；檢查至少一些匹配組，並且響應於一像素匹配組是可接受的，將所述匹配組添加到所 述一組對應關係；以及使用所述一組對應關係來生成所述場景的新視圖。
2.根據權利要求1所述的電腦程式產品，其中，「針對從所述參考圖像中檢測出的邊 緣像素取得的一組邊緣像素中的各邊緣像素，使用從所述一組對應關係中選擇的局部對應 關係來幫助在所述一組圖像中的至少一些圖像中的各圖像中選擇匹配像素，其中所述邊緣 像素和所述匹配像素形成像素匹配組」的步驟包括以下步驟對於所述一組邊緣像素中的各邊緣像素在所述參考圖像中識別從所述一組對應關係中選擇的一組最鄰近鄰居像素；和對於從所述一組圖像中選擇的至少一些圖像中的各圖像使用所選的一組最鄰近鄰居像素以及它們在根據所述一組對應關係獲得的從所述一 組圖像中選擇的圖像中的對應像素，計算所述參考圖像和所述從所述一組圖像中選擇的圖 像之間的變換；向所述參考圖像中的邊緣像素應用所述變換以獲得所述從所述一組圖像中選擇的圖 像中的變換像素；以及將所述參考圖像的包括所述邊緣像素的局部窗口與包括所述變換像素的局部窗口進 行模板匹配，以識別從所述一組圖像中選擇的圖像中的與所述參考圖像中的邊緣像素對應 的對應像素，其中該對應像素被認為是匹配像素。
3.根據權利要求1所述的電腦程式產品，其中，「檢查至少一些匹配組，並且響應於 一像素匹配組是可接受的，將所述匹配組添加到所述一組對應關係」的步驟包括以下步驟對於所述至少一些像素匹配組中的各像素匹配組使用該像素匹配組中的至少一些像素來計算三維點；將所述三維點投影到從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像；計算投影的三維點的誤差值；以及響應於該誤差值小於閾值，將該匹配組添加到所述一組對應關係。
4.根據權利要求3所述的電腦程式產品，其中，「計算投影的三維點的誤差值」的步 驟包括對於從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像中的各圖像，計 算投影的三維點與其在從所述像素匹配組中選擇的該圖像中的對應像素之間的偏離值；和對所述偏離值取平均以獲得所述誤差值。
5.根據權利要求1所述的電腦程式產品，該電腦程式產品還包括以下步驟校準一組照相機視點，該一組照相機視點中的各照相機視點具有唯一的位置且生成所 述一組圖像中的圖像；和調整所述一組照相機視點。
6.根據權利要求1所述的電腦程式產品，其中，「使用所述一組對應關係來生成所述 場景的視圖」的步驟包括以下步驟根據所述一組對應關係獲得三維點； 生成所述三維點的三維三角網格； 對於該新視圖的各個像素給定用於該場景的新視圖的投影矩陣，計算用於該像素的三維射線；識別在所述三維三角網格上所述三維射線與所述三維三角網絡相交的交點；對於從包括所述參考圖像和所述一組圖像的組中選擇的所述至少一些圖像中的各圖像投影從所述交點到該圖像的射線； 基於所述射線和該圖像的交點識別該圖像中的像素；以及 識別所述射線和所述三維射線之間的角度；以及使用所述角度混合所識別出的像素的像素顏色，來獲得所述新視圖的所述像素的顏色值。
7.根據權利要求6所述的電腦程式產品，其中，「使用所述角度混合所識別出的像素 的像素顏色，來獲得所述新視圖的所述像素的顏色值」的步驟包括識別射線和所述三維射線之間的最大角度；對於所述至少一些圖像中的各圖像，使用到該圖像的射線與所述三維射線之間的角度 以及所述最大角度來計算權重因子； 歸一化所述權重因子；以及將所述新視圖的所述像素的顏色值計算為各個所識別出的像素顏色與相應的歸一化 權重因子的乘積之和。
8.根據權利要求6所述的電腦程式產品，其中，所述三維三角網格上所述三維射線 與所述三維三角網格相交的交點是最前交點。
9.一種用於生成場景的新視圖的系統，該系統包括一個或更多個接口，該一個或更多個接口用於接收在不同視點取得的場景的一組圖像；數據存儲部，該數據存儲部用於存儲所述一組圖像；以及一個或更多個處理器以及存儲一個或更多個指令序列的至少一個計算機可讀介質，其 中一個或更多個處理器執行所述一個或更多個指令序列導致所述一個或更多個處理器通 過執行以下步驟生成該場景的新視圖形成從一個視點取得的所述場景的參考圖像一組特徵與在不同視點取得的所述場景 的一組圖像組中的至少一些圖像中的各圖像的一組特徵之間的一組對應關係； 檢測所述參考圖像中的邊緣像素；針對從所述參考圖像中檢測出的邊緣像素取得的一組邊緣像素中的各邊緣像素，使用 從所述一組對應關係中選擇的局部對應關係來幫助在所述一組圖像中的至少一些圖像中 的各圖像中選擇匹配像素，其中所述邊緣像素和所述匹配像素形成像素匹配組；檢查至少一些匹配組，並且響應於一像素匹配組是可接受的，將該匹配組添加到所述 一組對應關係；以及使用所述一組對應關係生成所述場景的新視圖。
10.根據權利要求9所述的系統，其中，「針對從所述參考圖像中檢測出的邊緣像素取 得的一組邊緣像素中的各邊緣像素，使用從所述一組對應關係中選擇的局部對應關係來幫 助在所述一組圖像中的至少一些圖像中的各圖像中選擇匹配像素，其中所述邊緣像素和所 述匹配像素形成像素匹配組」的步驟包括以下步驟對於所述一組邊緣像素中的各邊緣像素在所述參考圖像中識別從所述一組對應關係中選擇的一組最鄰近鄰居像素；和 對於從所述一組圖像中選擇的至少一些圖像中的各圖像使用所選的一組最鄰近鄰居像素以及它們在根據所述一組對應關係獲得的從所述一 組圖像中選擇的圖像中的對應像素，計算所述參考圖像和所述從所述一組圖像中選擇的圖 像之間的變換；向所述參考圖像中的邊緣像素應用所述變換以獲得從所述一組圖像中選擇的圖像中 的變換像素；以及將所述參考圖像的包括所述邊緣像素的局部窗口與包括所述變換像素的局部窗口進 行模板匹配，以識別從所述一組圖像中選擇的圖像中的與所述參考圖像中的邊緣像素對應 的對應像素，其中該對應像素被認為是匹配像素。
11.根據權利要求9所述的系統，其中，「檢查至少一些匹配組，且並響應於一像素匹配 組是可接受的，將所述匹配組添加到所述一組對應關係」的步驟包括以下步驟對於所述至少一些像素匹配組中的各像素匹配組 使用所述像素匹配組中的至少一些像素來計算三維點；將所述三維點投影到從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像；計算投影的三維點的誤差值；以及響應於該誤差值小於閾值，將該匹配組添加到所述一組對應關係。
12.根據權利要求11所述的系統，其中，「計算投影的三維點的誤差值」的步驟包括 對於從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像中的各圖像，計算投影的三維點與其在從所述像素匹配組中選擇的該圖像中的對應像素之間的偏離值；和 對所述偏離值取平均以獲得所述誤差值。
13.根據權利要求9所述的系統，該系統還包括以下步驟校準一組照相機視點，該一組照相機視點中的各照相機視點具有唯一的位置且生成所 述一組圖像中的圖像；和調整所述一組照相機視點。
14.根據權利要求9所述的系統，其中，「使用所述一組對應關係來生成所述場景的視 圖」的步驟包括根據所述一組對應關係獲得三維點； 生成所述三維點的三維三角網格； 對於該新視圖的各個像素給定用於該場景的新視圖的投影矩陣，計算用於該像素的三維射線；識別在所述三維三角網格上所述三維射線與所述三維三角網絡相交的交點；對於從包括所述參考圖像和所述一組圖像的組中選擇的所述至少一些圖像中的各圖像投影從所述交點到該圖像的射線； 基於所述射線和該圖像的交點識別該圖像中的像素；以及 識別所述射線和所述三維射線之間的角度；以及使用所述角度混合所識別出的像素的像素顏色，來獲得所述新視圖的所述像素的顏色值。
15.根據權利要求14所述的系統，其中，「使用所述角度混合所識別出的像素的像素顏 色，來獲得所述新視圖的所述像素的顏色值」的步驟包括以下步驟識別射線和所述三維射線之間的最大角度；對於所述至少一些圖像中的各圖像，使用到該圖像的射線與所述三維射線之間的角度 以及所述最大角度來計算權重因子； 歸一化所述權重因子；以及將所述新視圖的所述像素的顏色值計算為各個所識別出的像素顏色與相應的歸一化 權重因子的乘積之和。
16.根據權利要求9所述的系統，其中，所述接口包括用於採集所述一組圖像的傳感 器。
17.一種電腦程式產品，其包括存儲一個或更多個指令序列的至少一個計算機可讀 介質，其中一個或更多個處理器執行所述一個或更多個指令序列導致所述一個或更多個處 理器生成場景的新視圖，該方法包括獲得從所述場景的一個視點取得的所述場景的參考圖像與從所述場景的另一視點取 得的第二圖像之間的一組對應關係；使用所述一組對應關係和局部背景信息來識別所述參考圖像和所述第二圖像之間的 附加對應關係，該附加對應關係被添加到所述一組對應關係；使用根據所述一組對應關係中的至少一些對應關係獲得的三維坐標，構建三維網格；以及使用從所述新視圖的像素到所述三維網絡的投影識別來自所述參考圖像和所述第二 圖像的像素顏色值以及用於混合所識別出的像素顏色值的權重因子，來渲染所述場景的所 述新視圖。
18.根據權利要求17所述的電腦程式產品，其中，「使用從所述新視圖的像素到所述 三維網絡的投影識別來自所述參考圖像和所述第二圖像的像素顏色值以及用於混合所識 別出的像素顏色值的權重因子，來渲染所述場景的所述新視圖」的步驟包括針對所述新視圖的各像素給定用於所述場景的所述新視圖的投影矩陣，計算用於該像素的三維射線；識別所述三維網格上所述三維射線與所述三維網格相交的交點； 針對所述參考圖像和所述第二圖像中的每一個 投影從所述交點到該圖像的照相機中心的射線； 識別與該射線相交的該圖像中的像素；以及 確定該射線和所述三維射線之間的角度；以及使用所述角度生成用於混合所識別出的像素的顏色的權重因子，來獲得該新視圖中的 該像素的顏色值。
19.根據權利要求18所述的電腦程式產品，其中，「使用所述角度生成用於混合所識 別出的像素的顏色的權重因子，來獲得該新視圖中的該像素的顏色值」的步驟包括以下步 驟使用各相應角度生成用於所述參考圖像和所述第二圖像中的每一個的權重因子，使得 對較小角度賦予的權重因子大於對較大角度賦予的權重因子；以及將用於該新視圖中的該像素的顏色值計算為各所識別出的像素顏色與相應權重因子 的乘積之和。
20.根據權利要求17所述的電腦程式產品，其中，「使用所述一組對應關係和局部背 景信息來識別所述參考圖像和所述第二圖像之間的附加對應關係，該附加對應關係被添加 到所述一組對應關係」的步驟包含以下步驟檢測所述參考圖像中的邊緣像素； 針對所述一組邊緣像素中的各邊緣像素在所述參考圖像中識別從所述一組對應關係選擇的一組最鄰近鄰居像素； 使用所選的一組最鄰近鄰居像素以及它們在從所述一組對應關係獲得的所述第二圖 像中的對應像素，計算所述參考圖像和所述第二圖像之間的變換；向所述參考圖像中的邊緣像素應用所述變換以獲得所述第二圖像中的變換像素；以及 將所述參考圖像的包括所述邊緣像素的局部窗口與所述第二圖像的包括所述變換像 素的局部窗口進行匹配，以識別所述第二圖像中與所述參考圖像中的邊緣像素對應的對應 像素。
全文摘要
本發明涉及背景限制新視圖插值。本發明的方面包括用於生成新視圖插值的系統和方法。在實施方式中，基於局部線性變換的假設，使用特徵對應關係和幾何背景來獲得附加對應關係。對應關係匹配的精確性和數目可以通過迭代細化而改善。在獲得一組對應關係之後，可以生成新的視點圖像。
文檔編號G06T3/40GK102096901SQ20101055209
公開日2011年6月15日 申請日期2010年11月17日 優先權日2009年11月17日
發明者王先旺, 肖京 申請人:精工愛普生株式會社