利用內插值的新視圖生成的製作方法

2023-07-14 18:24:06

專利名稱：利用內插值的新視圖生成的製作方法
技術領域：
本發明涉及數字圖像，尤其涉及用於生成新的視圖的一種或多種系統和/或技術。
背景技術：
數字圖像在當前計算應用中扮演著普遍的角色。例如，用戶可上傳、更改以及共享數字照片；廣告公司可生成用於在線廣告的數字圖像；地圖繪製應用程式可包括地球上各種位置的衛星圖像；等等。在一些實例中，數字圖像可在圖像的特定點具有已知數值的情況下生成。在一個示例中，相機可捕捉場景的密集採樣。立體過程可恢復圖像中的部分點但不是全部點處的深度信息。在另一示例中，在圖像內的幾個特定點處可知曉圖像的色彩信息 (例如，用戶在物體的各個區域上提供色彩的畫筆筆畫，諸如椅子附近的褐色筆畫以及蘋果附近的紅色筆畫)。然而，這種圖像仍可能缺少某些信息。

發明內容
提供本發明內容以便以簡化形式介紹將在以下的具體實施方式
中進一步描述的一些概念。本概述並不旨在標識出所要求保護的主題的關鍵因素或必要特徵，也不旨在用於限定所要求保護的主題的範圍。特別地，此處公開了用於生成新的視圖的一種或多種系統和/或技術。圖像可包括表示像素的點。已賦值的點可包括表示深度、位置和/或3D位置數據的值。已賦值的點的值可基於手動用戶輸入、立體過程、幀捆綁過程等來確定。可以理解，值可用於確定圖像和/或圖像的新視圖內的點的位置。通常，並不是圖像中的所有點都具有已知值。即，圖像可包括已賦值的點和未賦值的點，其中未賦值的點沒有值。例如，某些像素可以是已賦值的點，而大多數像素是未賦值的點。可基於圖像內的已賦值點的值內插未賦值點的值。具體地，對於相應的未賦值點， 可為未賦值點確定已賦值點的集合。可以理解，值可涉及深度、位置和/或3D位置數據。已賦值點的集合可包括具有期望成本路徑的已賦值點。可以理解，成本可表示兩個點之間的差異，諸如色差、紋理差異、梯度差異、反射率等。成本路徑可表示基於行進通過圖像內的相鄰點的路徑從未賦值點「行進」到已賦值點的成本(例如，從A到C的成本路徑可以是從未賦值點A到未賦值點B的成本+從未賦值點B到已賦值點C的成本)。例如，期望成本路徑可以是從未賦值點到已賦值點的點的路徑，其中沿著該路徑的點之間的成本的總和較小 (例如，沿從未賦值點到已賦值點的路徑的點之間的色彩變化較小)。可以理解，在未賦值點和已賦值點之間存在期望低成本路徑的情況下，未賦值點可具有與已賦值點相似的值的概率可能增大。例如，如果在著為綠色的未賦值點和深度為 50cm的著為綠色的已賦值點之間存在點的期望低成本路徑(例如，沿期望低成本路徑的點在綠色上變化較小)，則這兩個點是相似對象的一部分的概率增大，並且著為綠色的未賦值點的深度與著為綠色的已賦值點的50cm的深度相似。這樣，已賦值點的集合可包括具有期望成本路徑的預定數量(k)的已賦值點，其中該期望成本路徑由沿從未賦值點到已賦值點的路徑的點之間的色彩、紋理、梯度、反射率和/或其它相似性度量的期望(例如，較小)變化來表示。可將模型應用於與未賦值點相關聯的已賦值點的集合以內插未賦值點的值。在一個示例中，已賦值點的集合內的已賦值點的值的平均數可作為未賦值點的值內插。在另一個示例中，與已賦值點的集合內的已賦值點相交的平面可用於內插未賦值點的值。可以理解，預期各種模型落入所要求保護的主題的範圍內(例如，各種幾何形狀)。這樣，可生成包括具有值的已賦值點和具有基於圖像內的一個或多個已賦值點內插的值的未賦值點的內插圖像。可基於將點從內插圖像內投影到新視圖內的位置上來生成新的視圖。可基於點的值(例如，深度和/或3D位置值)將點投影到位置上。在一個示例中，對色彩值的正向映射分配可用於投影點。在另一個示例中，對深度值的反向映射分配可用於投影點。可以理解， 特徵識別技術可用於確定內插圖像和新視圖之間的特徵，這可有助於確定所投影的點的新視圖內的位置。附加的信息可用於確定位置。例如，新視圖的期望「相機」視角可用於確定新視圖內的位置以投影點。可以理解，一個或多個圖像可用於生成新的視圖。即，可基於將內插圖像獨立地投影到新視圖上生成融合的新視圖。可以理解，零緩衝器、相關性度量、時間度量、質量度量和 /或其它圖像信息可用於生成融合的新視圖。例如，可向內插圖像和/或其中的點賦予權重以確定內插圖像和/或其中的點的值對將點投影到融合的新視圖內的位置上的貢獻有多大。為實現上述內容和相關目的，以下描述和附圖闡述了各個說明性方面和實現。這些方面和實現僅指示可以使用一個或多個方面的各種方式中的一些。結合附圖閱讀以下詳細描述，則本發明的其他方面、優點、以及新穎特徵將變得顯而易見。


圖1是示出生成新的視圖的示例性方法的流程圖。圖2是示出用於基於圖像生成新的視圖的示例性系統的組件框圖。圖3是示出用於基於多個輸入圖像生成融合的新視圖的示例性系統的組件框圖。圖4是為圖像內的未賦值點確定已賦值點的集合的示例的圖示。圖5是內插表的示例的圖示。圖6是與未賦值點相關聯的已賦值點的集合的示例的圖示。圖7是基於內插圖像生成新視圖的投影器的示例的圖示。圖8是基於第二內插圖像和新視圖生成融合的新視圖的投影器的示例的圖示。圖9是基於第一內插圖像和第二內插圖像生成融合的新視圖的投影器的示例的圖示。圖10是示例性計算機可讀介質的圖示，其中可包括被配置成實現此處所闡述的原理中的一個或多個的處理器可執行指令。圖11示出了其中可以實現此處所闡述的實施方式中的一種或多種的示例性計算環境。
具體實施例方式現在參考附圖來描述所要求保護的主題，所有附圖中使用相同的附圖標記來指代相同的元素。在以下描述中，為解釋起見，闡明了眾多具體細節以提供對所要求保護的主題的全面理解。然而，很明顯，所要求保護的主題可以在沒有這些具體細節的情況下實施。在其它情況下，以框圖形式示出了各種結構和設備以便於描述所要求保護的主題。很多圖像包含關於圖像所描繪事物的豐富信息。例如，可以知曉紋理、色彩、深度和/或各種其它數據。不幸的是，該附加圖像信息可能是稀少的。即，對於圖像內的部分而不是全部像素和/或對象，可以知曉深度值。如果知曉或可確定足夠的附加信息，則具有附加信息的圖像可用於生成圖像所描繪的事物的新視圖。即，諸如深度之類的附加圖像信息可用於將點從圖像投影到圖像的新視圖內的位置中。在一個示例中，圖像可描繪房間的場景。從不同角度描繪房間的新視圖可從圖像得出(例如，深度、3D位置和/或色彩數據可用於確定在新視圖中對象屬於何處)。在另一個示例中，描繪人在擁擠的人行道上行走的五個連續圖像可用於確定人行道場景的附加新視圖。這五個連續視圖和新視圖可用於生成人在人行道上行走的運動。在另一個示例中，汽車的幾個圖像可用於生成汽車的新視圖。這樣， 汽車的實時虛擬「遊蕩旅行」可從原始的幾個圖像和新的視圖生成。用於新視圖生成的一種當前技術直接從輸入圖像生成新視圖而不生成3D模型作為中間階段。該技術可指定應當如何基於輸入圖像給新視圖內的像素著色。一些像素可能易於匹配。然而，將匹配信息展布到未匹配像素是個挑戰。另一當前技術可能嘗試基於輸入圖像生成模型。例如，立體重構可用於確定幾何形態，使得紋理可被投影到幾何形態上。 然而，生成良好的模型可能是困難的，因為點可能難以匹配(例如，未紋理化的點)和/或由於遮擋而不可見。例如，在像素具有未知數據的情況下可能生成偽像。因此，此處提供了用於基於一個或多個輸入圖像生成新視圖的一種或多種系統和 /或技術。輸入圖像可能缺少關於圖像的特定特徵的信息的完整集合。例如，對於圖像內的部分但不是全部像素可以知曉深度、位置和/或3D位置信息。測地仿射性可用於「填充」 缺少的值。具體地，圖像內的已賦值點的值可用於內插未賦值點的值。這樣，值可用於確定圖像和/或圖像的新視圖內的點的位置。未賦值點的測地仿射性可被解釋為在沿從未賦值點到已賦值點的路徑的相鄰點之間的成本所限定的差異度量。可以理解，測地仿射性可以指期望成本路徑。具體地，可為未賦值點確定具有低測地仿射性(期望低成本路徑)的已賦值點的集合。未賦值點和已賦值點之間的期望低成本路徑可指示未賦值點和已賦值點共享相似值的概率增大，因為從未賦值點行進到已賦值點的低成本(例如，色彩的較小變化)可指示這兩個點都是圖像內的相似對象的一部分。例如，已賦值點可以具有IOOcm的深度值。可基於沿已賦值點和未賦值點之間的路徑的點之間的色彩的較小變化確定未賦值點和已賦值點之間的低期望成本路徑(例如，已賦值的像素可以是綠色，未賦值的像素可以是深綠色，以及沿從已賦值的像素到未賦值的像素的路徑的相鄰像素可以是淺綠色，因而可以確定已賦值的像素和未賦值的像素是具有一致深度的綠色對象的一部分)。可以理解，測地仿射性(例如，點之間的期望成本路徑)可以不基於點之間的實際距離，而是可以基於點之間的差異度量。生成新視圖的一個實施例由圖1中的示例性方法100示出。在102，該方法開始。 在104，可通過基於圖像內的已賦值點的值內插圖像內的未賦值點的值來生成內插圖像。具體地，在106，對於相應的未賦值點，在108可確定用於未賦值點的已賦值點的集合。S卩，可為第一未賦值點確定已賦值點的第一集合，可為第二未賦值點確定已賦值點的第二集合， 等等。已賦值點的集合可包括一個或多個已賦值點(例如，圖像可包括50個已賦值點，而 5個已賦值點可被確定為已賦值點的集合)。可基於具有期望成本路徑的已賦值點將已賦值點包括在已賦值點的集合內。例如，期望低成本路徑可以是具有從未賦值點「行進」到已賦值點的低成本的點的路徑，其中成本可基於沿著該路徑的點之間的差異度量(例如，點之間的色彩或紋理變化)來限定。在一個示例中，已賦值點的集合可包括具有從未賦值點到相應的已賦的點的期望低成本路徑的預定數量(k)的已賦值點。期望低成本路徑可對應於沿未賦值點和已賦值點之間的點的路徑的色彩、紋理、梯度、反射率和/或其它差異度量的較小變化。這樣，可為未賦值點確定具有期望成本路徑的已賦值點的集合，使得相對於已賦值點的集合內未包括的已賦值點，未賦值點的值(例如，深度、位置和/或3D位置)與已賦值點的集合內的已賦值點的值相似的概率可能增大。可以理解，在一個示例中，已賦值點的值可基於用戶輸入的值、來自立體過程的值、來自幀捆綁過程的值、和/或從各種技術得出的值確定。可以理解， 諸如面部檢測之類的附加技術可用於確定未賦值點的值。可以理解，可基於比較未賦值點和相鄰的未賦值點來確定成本路徑(例如，行進通過第一相鄰點到第一已賦值點，而不是行進通過第二相鄰點到第一已賦值點和/或第二已賦值點，可能是「更便宜的」)。在內插的一個示例中，可生成圖像內的點的維數陣列。可遍歷(例如，正向循環和/或反向循環)維數陣列以生成包括維數陣列內的相應的未賦值點的預定數量(k)的已賦值點的內插表。為確定具有期望成本路徑的(k個)已賦值點，維數陣列可被遍歷一次或多次以比較當前點的已賦值點的集合內的已賦值點的成本路徑和相鄰點的已賦值點的集合內的已賦值點的成本路徑。這樣，可基於比較當前點和相鄰點的成本路徑來確定和/或更新當前點的已賦值點的集合。在110，對於相應的未賦值點，可將模型應用於與未賦值點相關聯的已賦值點的集合以內插未賦值點的值。可以理解，模型可以是用於基於已賦值點的值導出單個值的技術。 在一個示例中，已賦值點的集合內的已賦值點的值的平均數可用作未賦值點的「內插」值。 在另一個示例中，與已賦值點的集合內的已賦值點相交的平面和/或各種幾何形狀可用於內插未賦值點的值。已賦值點的集合內的已賦值點的一個或多個值可被確定為異常值。在一個示例中，在應用模型之前可將具有異常值的已賦值點從已賦值點的集合中去除。這樣，可基於相關值將「內插」值分配給未賦值點以生成內插圖像。具體地，圖像可被解釋為包括具有值的已賦值點和具有「內插」值的未賦值點的內插圖像。在112，對於內插圖像內的相應點，可基於點的值將點投影到新視圖內的位置上。 例如，未賦值點和已賦值點的值可對應於相應點的深度、位置和/或3D位置數據。點的深度值可用於確定新視圖內的點的位置。在一個示例中，可執行正向映射分配，其中可將與點相關聯的色彩值分配為新視圖內的位置的色彩值。在另一個示例中，可執行反向映射分配， 其中可將與點相關聯的深度值分配為新視圖內的位置的深度值。可以理解，各種投影技術可用於基於點的值將內插圖像內的點投影到新視圖內的位置上。附加的信息可用於確定位置。例如，新視圖的期望「相機」視角可用於確定新視圖內的位置以投影點。
可以理解，可基於多個內插圖像生成融合的新視圖。在一個示例中，可將第二內插圖像投影到新視圖上以生成融合的新視圖。即，可獨立地將內插圖像投影到新視圖上以創建融合的新視圖。例如，可將第二內插圖像內的點投影到新視圖內的位置上以生成融合的新視圖。在另一個示例中，第一內插圖像和第二內插圖像可以彼此協調，使得在融合的新視圖上執行單次投影而無需創建中間的新視圖。可向內插圖像和/或其中的點分配權重。權重可對應於相關性度量(例如，內插圖像與新視圖多麼相關)、時間度量(例如，內插圖像與新視圖在時間上多麼接近)、質量度量(例如，關於內插圖像的精度或質量的置信度量)、零緩衝器和/或其它度量。在生成融合的新視圖時可考慮權重。例如，第一內插圖像可具有1的權重，因為第一內插圖像與新視圖高度相關和/或在時間上接近。第二內插圖像可具有0. 04的權重，因為第二內插圖像與第一內插圖像相比而言較不相關和/或在時間上較遠。這樣，在確定新視圖內的點的位置時，第一內插圖像內的點的值比第二內插圖像內的點的值可能貢獻大。在114，該方法結束。在生成融合的新視圖的一個示例中，可接收三個或更多個圖像，其中圖像包括不具有值的未賦值點和具有3D位置值的已賦值點。對於相應的圖像，可為圖像內的未賦值點確定已賦值點的集合，其中已賦值點的集合內的相應的已賦值點具有期望低成本路徑。可基於將模型應用於與圖像相關聯的已賦值點的集合來生成內插圖像。具體地，可基於將模型應用於與未賦值點相關聯的已賦值點的集合為未賦值點內插「內插」3D位置值。這樣，可為相應的圖像生成內插圖像。可基於相應內插圖像內的未賦值點的「內插」 3D位置值和已賦值點的3D位置值將內插圖像投影到融合的新視圖上。圖2示出被配置為基於圖像202生成新視圖210的系統200的示例。圖像202可包括表示像素的點。具有值的點可被解釋為已賦值點。不具有值的點可被解釋為未賦值點。 值可對應於與圖像202相關聯的度量，諸如深度、位置、3D位置和/或在確定新視圖內的像素的位置時有用的其它信息。系統200可包括內插器204和/或投影器208。內插器204 可被配置為基於根據圖像202內的已賦值點的值來確定圖像202內的未賦值點的值而生成內插圖像206。內插器204可被配置成為圖像202內的相應的未賦值點確定已賦值點的集合。已賦值點的集合可包括具有期望成本路徑的一個或多個已賦值點。例如，期望成本路徑可以是沿著從未賦值點到已賦值點的路徑的點之間的期望低累積成本(例如，未賦值點(1)和已賦值點(15)之間的成本路徑可包括從未賦值點(1)到未賦值點(6)的成本+從未賦值點(6)到未賦值點⑶的成本+從未賦值點⑶到已賦值點(15)的成本)。這樣，可保留具有與未賦值點的期望測地仿射性的已賦值點，而將其它已賦值點(例如，具有到未賦值點的高成本路徑的已賦值點，這是因為沿該路徑的這些點中的很多點在色彩、紋理和/或一些其它度量中變化較大)從已賦值點的集合中排除。在一個示例中，內插器204可被配置成將預定數量(k)的已賦值點確定為已賦值點的集合，其中已賦值點具有期望低成本路徑，該期望低成本路徑對應於沿未賦值點和已賦值點之間的點的路徑的色彩、紋理、梯度和 /或反射率變化較小。可以理解，可基於比較未賦值點的當前成本路徑和相鄰的未賦值點的成本路徑來確定期望成本路徑，使得為未賦值點保留具有期望成本路徑的已賦值點。內插器204可被配置成將模型應用於已賦值點的集合以內插相對應的未賦值點的值。在一個示例中，內插器204可被配置成應用包括求平均函數的模型。求平均函數可用於基於已賦值點的集合內的已賦值的點的平均值內插未賦值點的值。在另一個示例中， 內插器204可被配置成應用包括使已賦值點的集合內的已賦值點相交的平面相交函數和/ 或幾何形狀相交函數的模型。這樣，可基於未賦值點相對於幾何形狀或平面的位置為未賦值點內插值。內插器204可被配置成在內插值時去除異常值以提高精度。內插器204可被配置成基於已賦值點的值和未賦值點的值生成內插圖像206。艮口， 內插圖像206可包括具有深度、位置和/或3D位置數據的已賦值點以及具有內插深度、位置和/或3D位置數據的未賦值點。可以理解，內插器204可被配置成生成一個或多個內插圖像。投影器208可被配置成基於內插圖像206內的點的值將內插圖像206內的點投影到新視圖210內的位置上。具體地，深度、位置和/或3D位置值可用於確定在何處將點(像素)從內插圖像206投影到新視圖210上。可以理解，諸如圖像(圖像202和/或內插圖像206)和新視圖210之間的匹配特徵(例如，拐角、圖像內的對象、圖像內的人等)之類的附加信息可用於確定投影位置。在另一個示例中，第一圖像(輸入圖像和/或內插圖像) 和第二圖像(輸入圖像和/或內插圖像)之間的匹配特徵可用於確定投影位置。在另一個示例中，諸如新視圖210的期望「相機」視角之類的附加信息可用於確定投影位置。可基於相關性度量、時間度量、質量度量、零緩衝器和/或度量由投影器208向內插圖像和/或其中的點分配權重。這樣，投影器208可基於所分配的權重生成融合的新視圖。例如，在將點投影到融合的新視圖內的位置時可更多地考慮權重比第一內插圖像大的第二內插圖像。圖3示出被配置為基於多個輸入圖像生成融合的新視圖312的系統300的示例。 系統300可包括內插器306和/或投影器310。內插器306可被配置成基於多個輸入圖像生成內插圖像308。例如，可基於第一輸入圖像302生成第一內插圖像，可基於第二輸入圖像生成第二內插圖像，等等。投影器310可被配置成基於內插圖像308生成融合的新視圖 312。例如，投影器310可組合新視圖內的內插圖像308的多個投影以生成融合的新視圖 312。某些內插圖像可比其它內插圖像貢獻大。具體地，可向內插圖像和/或其中的點分配權重，其中權重對應於特定的內插圖像和/或點對融合的新視圖312的貢獻有多大。在一個示例中，投影器310可被配置成將新視圖(例如，內插圖像的投影)合併成融合的新視圖312。這樣，可將新視圖獨立地投影到融合的新視圖312上。在另一個示例中，可將第一內插圖像投影到融合的新視圖312上，並且隨後將第二內插圖像投影到融合的新視圖312上等等，同時利用零緩衝器基於深度確定融合的新視圖312內的點的最終位置。可以理解，各種投影技術可由投影器310利用。圖4示出為圖像402內的未賦值點(1)確定已賦值點的集合的示例400。圖像402 可包括具有諸如色彩數據之類的信息的點(像素)。圖像402內的某些點可包括附加信息， 諸如深度值、位置值和/或3D位置值。具體地，圖像402可包括具有未知值的未賦值點406 和具有已知值的已賦值點408。對於圖像402內的相應的未賦值點406，可確定已賦值點的集合。例如，已賦值點的集合可包括預定數量(k)的已賦值點，其中已賦值點具有在已賦值點和相應的未賦值點之間的期望低成本路徑。成本404可與圖像402內的點之間的邊緣相關聯。成本可表示兩點之間的度量(例如，色彩、紋理、梯度、反射率等)的變化。例如，高成本可與從具有綠色的第一點行進到具有紅色的第二點相關聯。低成本可與從具有紅色的第二點行進到具有深紅色的第三點相關聯。這樣，成本可反映兩點可具有相似值(例如，深度值)的概率，因為具有相似色彩的點可以是具有一致深度的對象的一部分。例如，綠色點和紅色點之間的高成本可指示兩點駐留於圖像402內的不同對象上，並且因而可具有不同的深度值。可以理解，圖像402內的未賦值點406可被遍歷一次或多次以確定和/或更新與未賦值點相關聯的已賦值點的集合。具體地，可將當前未賦值點與相鄰點相比較以確定和/ 或更新具有期望低成本路徑的已賦值點的集合。例如，當前未賦值點可與包括具有相應成本路徑的4個已賦值點的已賦值點的集合相關聯。然而，這4個已賦值點可利用新的已賦值點和/或成本路徑來更新(例如，已賦值點可用不同的已賦值點替代；可基於行進通過不同的相鄰點到已賦值點利用「更期望」成本路徑來更新已賦值點的成本路徑)。這樣，用於當前未賦值點的已賦值點的集合可被更新以包括具有期望低成本路徑的已賦值點。可以理解，特定命名約定被應用於圖4中的某些點以便於描述以下示例，但是在另一個示例中相同的點可具有不同的標記。即，圖4所示的點的名稱在另一個點被檢查時可以改變。在該示例中，某些點是指未賦值點(1)410，未賦值點(2)416，未賦值點(3)418， 未賦值點(4)420，相鄰的未賦值點(1)412，相鄰的未賦值點(2)414，已賦值點(1)422，已賦值點(2)424，已賦值點(3)426，已賦值點(4)428，已賦值點(5)430，以及已賦值點(6)432。 這些標記允許討論各個方面(例如，遍歷通過不同的路徑/點)。在一個示例中，未賦值點(1)410可與3個已賦值點的集合相關聯。示例400可示出在遍歷圖像402的迭代期間(例如，確定已賦值點的初始集合的第一迭代之後的第二迭代)未賦值點(1)410與相鄰點的比較。可以理解，在遍歷圖像402時可能發現新的已賦值點和/或成本路徑，因為未賦值點(1)410可與相鄰點比較以更新已賦值點的集合(例如， 可發現到已賦值點的較低成本路徑)。可基於將與未賦值點(1)410相關聯的已賦的點的集合與相鄰點的已賦值點的集合相比較來確定和/或更新與未賦值點(1)410相關聯的已賦值點的集合。在一個示例中， 未賦值點(1)410可與相鄰的未賦值點(1)412相比較。相鄰的未賦值點(1)412可具有3個已賦值點在已賦值點的集合內。例如，用於相鄰的未賦值點(1)412的已賦值點的集合可包括具有為3的成本路徑的已賦值點(3) 426，具有為17的成本路徑的已賦值點(1)422，以及具有從相鄰的未賦值點(1)412到已賦值點的成本路徑的另一個已賦值點。可執行與未賦值點(1)410相關聯的已賦值點的成本路徑和與相鄰的未賦值點(1)412相關聯的成本路徑之間的比較。可以確定從未賦值點(1)410通過相鄰的未賦值點(1)412到已賦值點(3)426 的成本路徑可具有期望成本路徑(例如，比與未賦值點(1)410相關聯的已賦值點的集合內的已賦值點的至少一個成本路徑小的成本路徑)。這樣，與未賦值點(1)410相關聯的已賦值點的集合可被更新以包括具有總成本為5(2+3)的已賦值點(3)426。未賦值點(1)410可與另一個相鄰點相比較，諸如已賦值點(2)424。成本50可與從未賦值點(1)410行進到已賦值點(2)424相關聯。例如，未賦值點(1)410可具有白色， 而已賦值點(2)424可具有黑色，因此這兩點之間存在高成本。這樣，用於未賦值點(1)410 的已賦值點的集合可以不被更新，因為已賦值點的集合內的已賦值點可以具有更期望的成本路徑(例如，低於50的成本)。未賦值點(1)410可與相鄰的未賦值點(2)414相比較。相鄰的未賦值點(2)414可與已賦值點的集合相關聯，該已賦值點的集合包括具有為8(1+5+2)的成本路徑的已賦值點(5)430、具有為10(1+3+6)的成本路徑的已賦值點(6)432以及具有從相鄰的未賦值點(2)414到已賦值點的成本的另一個已賦值點。可執行與未賦值點(1)410相關聯的已賦值點的成本路徑和與相鄰未賦值的點(2)414相關聯的成本路徑之間的比較。可以確定從未賦值點(1)410通過相鄰的未賦值點(2)414到已賦值點(5)430的成本路徑可具有為 12(4+1+5+2)的期望成本路徑。具體地，期望成本路徑12可從未賦值點(1)410和相鄰的未賦值點(2)414之間的成本+相鄰的未賦值點(2)414和未賦值點(2)416之間的成本+未賦值點(2)416和未賦值點(3)418之間的成本+未賦值點(3)418和已賦值點(5)430之間的成本得出。用於未賦值點(1)410的已賦值點的集合可利用已賦值點(5)430來更新，因為成本路徑12可能比用於未賦值點(1)410的已賦值點的集合內的已賦值點的成本路徑更加合乎需要(例如，較小)。另外，從未賦值點(1)410通過相鄰的未賦值點(2)414到已賦值點(6)432的成本路徑可被確定為期望成本路徑，因為該成本路徑可能比用於未賦值點(1)410的已賦值點的集合內的已賦值點的成本路徑更加符合需要(例如，較小)。例如，可存在基於沿從未賦值點(1)410通過相鄰的未賦值點(2)414到已賦值點(6)432的路徑的點之間的色彩較小變化的低成本。成本路徑可以是未賦值點(1)410和相鄰的未賦值點(2)414之間的成本 +相鄰的未賦值點(2)414和未賦值點(2)416之間的成本+未賦值點(2)416和未賦值點 (4)420之間的成本+未賦值點(4)420和已賦值點(6)432之間的成本。這樣，可在圖像402的一個或多個遍歷期間比較未賦值點(1)410和相鄰點以確定具有期望成本路徑的已賦值點的最終集合。在一個示例中，用於未賦值點(1)410的已賦值點的集合可包括具有為5的成本路徑的已賦值點(3)426、具有為12的成本路徑的已賦值點(5)430、以及具有為14的成本路徑的已賦值點(6)432。已賦值點的集合可排除已賦值點(1)422、已賦值點(2) 424、已賦值點(4) 428、和/或具有較不期望成本路徑(例如，大於 14的成本路徑)的其它已賦值點。圖5示出了內插表500的示例502。內插表502可與包括已賦值點和未賦值點的圖像相關聯。內插表502可包括未賦值點(例如，未賦值點(1)、未賦值點(2)等)。未賦值點可與內插表502內的已賦值點的集合相關聯。例如，未賦值點(1)可與已賦值點的集合504相關聯。已賦值點的集合504可包括具有未賦值點(1)和相應的已賦值點之間的期望成本路徑的預定數量(k)的已賦值點。例如，期望成本路徑可以是期望低成本路徑。這樣，已賦值點的集合504可包括具有成本路徑5的已賦值點(3)、具有成本路徑12的已賦值點(5)和/或具有成本路徑14的已賦值點(6)，因為相應的成本路徑的成本可以比未賦值點(1)和其它已賦值點之間的其它路徑的成本較小。(可以理解，圖5中的已賦值點的集合504對應於圖4中所提供的示例。)成本路徑可表示從未賦值點「行進」到已賦值點的成本，其可指示已賦值點和未賦值點的深度、位置和/或3D位置值可以多麼相似。可以理解， 可基於遍歷圖像(例如，圖4的圖像402)來生成和/或更新內插表502。這樣，內插表502 可包括用於相應的未賦值點的已賦值點的集合。圖6示出與未賦值點(1)602相關聯的已賦值點的集合604的示例600。已賦值點的集合604可包括具有期望成本路徑的3個已賦值點。(可以理解，圖6中的已賦值點的集合604對應於圖4和圖5中所提供的示例。)已賦值點的集合604可包括具有成本5的已賦值點(3)606、具有成本12的已賦值點(5)608、以及具有成本14的已賦值點(6)610。在一個示例中，成本路徑可表示沿從未賦值點(1)602到圖像內的已賦值點的路徑的點之間的色彩的變化。已賦值點的集合內的已賦值點可包括值。例如，已賦值點(3)606可具有深度值150cm，已賦值點(5)608可具有深度值150cm，以及已賦值點(6)610可具有深度值120cm。可基於將模型應用於已賦值點的集合604內的已賦值點的值來確定內插深度值612。例如，值(150cm、150cm以及 120cm)的平均數可用作用於未賦值點(1)602的為140cm的內插深度值612。圖7示出基於內插圖像702生成新視圖706的投影器704的示例700。內插圖像 702可具有表示像素的點。內插圖像702內的點可以是具有值的已賦值點或者具有「內插」 值的未賦值點，其中這些值表示深度、位置和/或3D位置數據。可以理解，內插圖像702可從描繪靠近湖和三棵樹的人的場景的圖像得出。投影器704可被配置成將點從內插圖像702投影到新視圖706內的位置。具體地， 點的值(例如，深度、位置和/或3D位置數據)可用於確定新視圖706內的投影位置。諸如期望「相機」視角之類的附加信息可用於確定投影位置。在一個示例中，新視圖706可以是新視角下的靠近湖710和三棵樹的人的視圖。新視圖可以是場景的視圖，其中人已從原來位置向北行走。例如，新視圖可描繪人離湖較近，但離西南方向的樹較遠。另外，新視圖可從不同角度描繪場景，好像取景相機被逆時針方向傾斜一樣。因此，來自內插圖像702的點可被投影到新視圖706上以描繪其中人已稍微向北朝著湖行走且相機視圖被逆時針方向稍微傾斜的場景的視圖。圖8示出基於第二內插圖像802和新視圖804生成融合的新視圖的投影器806的示例800。新視圖804可以是基於第一內插圖像生成的視圖(例如，基於圖7的內插圖像 702生成的新視圖706)。投影器806可被配置成將第二內插圖像802內的點投影到新視圖 804內的位置上以生成新的融合視圖808。在融合第二內插圖像802和新視圖804的一個示例中，可基於第二內插圖像802 內的點的值將第二內插圖像802內的點投影到新視圖804內的位置上。例如，可在第二內插圖像802內由一個或多個點來描繪雲。然而，雲可以不在新視圖804內。投影器806可基於與雲相對應的點的值和/或關於融合的新視圖808的期望屬性的附加信息(例如，期望視角)將「縮小」版本的雲投影到新視圖上。在第二內插圖像802內所描繪的最東北方向的樹的位置可比其在新視圖804內的位置更靠近相機視點。即，最東北方向的樹在第二內插圖像802中被描繪成比在新視圖 804中更為向下。投影器806可基於樹的值和/或關於融合的新視圖808的期望屬性的附加信息，將與樹相關聯的點投影到新視圖804上。這樣，融合的新視圖808可在第二內插圖像802和新視圖804內的樹的位置之間的位置處描繪該樹。另外，第二內插圖像802的視角比新視圖804在逆時針方向傾斜較多。融合的新視圖808可具有基於融合的新視圖808的期望屬性與第二內插圖像802相對應的視角以具有更加逆時針的視圖。這樣，融合的新視圖808可基於將點從第二內插圖像802投影到新視圖804內的位置上來生成，以生成融合的新視圖808。圖9示出基於第一內插圖像902和第二內插圖像904生成融合的新視圖908的投影器906的示例900。投影器906可被配置成將第一內插圖像902和第二內插圖像904內的點投影到新的融合視圖908的位置上。在一個示例中，第一內插圖像902內的點的第一值和第二內插圖像904內的點的第二值可用於確定用以投影新的融合視圖908內的點的位置。因此，通過在執行投影時考慮第一值和第二值來執行點的單次投影。在另一個示例中，第一內插圖像902內的點可基於該點的第一值被投影到融合的新視圖908內的位置上。可基於第二內插圖像904內的點的第二值來執行點的第二獨立投影。因此，第一內插圖像902內的點可被投影到融合的新視圖908上，並且第二內插圖像 904內的點隨後可被投影到融合的新視圖908上。這樣，投影器906可合併這兩個投影以生成最終版本的融合的新視圖908。投影器906可考慮分配給第一內插圖像902和第二內插圖像904的權重。例如，可將權重1分配給第一內插圖像902，因為融合的新視圖908可與由第一內插圖像902所描繪的場景的視圖高度相關(例如，在時間上接近)。可將權重0. 56分配給第二內插圖像904， 因為融合的新視圖908可與由第二內插圖像904所描繪的場景的視圖較不相關(例如，在時間上遠離)。這樣，與第二內插圖像904的值相比，投影器906可給予第一內插圖像902 的值更多的考慮。例如，來自第一內插圖像902的整朵雲可被投影到融合的新視圖908中， 即使該雲不在第二內插圖像904中。這樣，可基於內插圖像內的點的值生成融合的新視圖 908，其中內插圖像和/或其中的點具有分配的權重。再一實施例涉及包括被配置成實現此處所呈現的技術中的一種或多種的處理器可執行指令的計算機可讀介質。可以用這些方式設計的一種示例性計算機可讀介質在圖10 中示出，其中實現1000包括其上編碼有計算機可讀數據1016的計算機可讀介質1014(例如，⑶-R、DVD-R、或硬碟驅動器碟片)。該計算機可讀數據1014又包括被配置成根據此次闡述的原理中的一個或多個來操作的一組計算機指令1012。在一個這樣的實施例1000中， 處理器可執行計算機指令1012可被配置成執行一種方法1010，諸如例如，圖1的示例性方法100。在另一個這樣的實施例中，處理器可執行指令1012可被配置成實現一種系統，諸如例如，圖2的示例性系統200和/或圖3的示例性系統300。本領域普通技術人員可以設計可被配置成根據此處描述的技術操作的許多這樣的計算機可讀介質。儘管用對結構特徵和/或方法動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限於上述具體特徵或動作。相反，上述具體特徵和動作是作為實現權利要求的示例形式公開的。如在本申請中所使用的，術語「組件」、「模塊」、「系統」、「接口 」等等一般旨在表示計算機相關的實體，其可以是硬體、硬體和軟體的組合、軟體、或運行中的軟體。例如，組件可以是，但不限於是，在處理器上運行的進程、處理器、對象、可執行碼、執行的線程、程序和 /或計算機。作為說明，運行在控制器上的應用程式和控制器都可以是組件。一個或多個組件可以駐留在進程和/或執行線程中，並且組件可以位於一個計算機內和/或分布在兩個或更多的計算機之間。此外，所要求保護的主題可以使用產生控制計算機以實現所公開的主題的軟體、 固件、硬體或其任意組合的標準編程和/或工程技術而被實現為方法、裝置或製品。如這裡所使用的術語「製品」可以包含可以從任何計算機可讀的設備、載體或介質進行訪問的電腦程式。當然，本領域的技術人員將會認識到，在不背離所要求保護的主題的範圍或精神的前提下可以對這一配置進行許多修改。圖11以及下面的討論提供了用於實現這裡所闡述的供應中的一個或多個的實施方式的合適計算環境的簡要概括描述。圖11的操作環境只是合適的操作環境的一個示例， 並且不旨在對操作環境的使用範圍或功能提出任何限制。示例計算設備包括，但不限於，個人計算機、伺服器計算機、手提式或膝上型設備、行動裝置(諸如行動電話、個人數字助理 (PDA)、媒體播放器等等)、多處理器系統、消費電子產品、小型計算機、大型計算機、包括上面的系統或設備的中的任何一種的分布式計算環境等等。儘管並非必需，但各實施例在由一個或多個計算設備執行的「計算機可讀指令」的一般上下文中描述。計算機可讀指令可以通過計算機可讀介質來分發(下面將討論)。計算機可讀指令可被實現為執行特定任務或實現特定抽象數據類型的程序模塊，諸如函數、 對象、應用程式編程接口(API)、數據結構等等。通常，計算機可讀指令的功能可按需在各個環境中組合或分布。圖11示出了包括被配置成實現此處所提供的一個或多個實施例的計算設備1110 的系統1112的示例。在一種配置中，計算設備1112包括至少一個處理單元1116和存儲器 1118。取決於計算設備的確切配置和類型，存儲器1118可以是易失性的(如RAM)、非易失性的(如ROM、快閃記憶體等)或是兩者的某種組合。該配置在圖11中由虛線1114來例示。在其它實施例中，設備1112可以包括附加特徵和/或功能。例如，設備1112還可以包括附加存儲(例如，可移動和/或不可移動)，其中包括但不限於磁存儲、光存儲等等。 這樣的附加存儲在圖11中由存儲1120示出。在一個實施例中，用於實現此處所提供的一個或多個實施例的計算機可讀指令可以在存儲1120中。存儲1120還可以儲存實現作業系統、應用程式等的其它計算機可讀指令。可以在存儲器1118中加載計算機可讀指令以供例如處理單元1116執行。此處所使用的術語「計算機可讀介質」包括計算機存儲介質。計算機存儲介質包括以用於存儲諸如計算機可讀指令或其他數據之類的信息的任何方法或技術實現的易失性和非易失性、可移動和不可移動介質。存儲器1118和存儲1120都是計算機存儲介質的示例。計算機存儲介質包括，但不限於，RAM、R0M、EEPR0M、快閃記憶體或其他存儲技術，CD-ROM、數字多功能盤(DVD)或其他光存儲、磁帶盒、磁帶、磁碟存儲或其他磁存儲設備，或可以用來存儲所需信息並可以被計算設備1112訪問的任何其他介質。任何這樣的計算機存儲介質可以是設備1112的一部分。設備1112還可以包括允許設備1112與其他設備進行通信的通信連接11沈。通信連接11 可以包括，但不限於，數據機、網絡接口卡(NIC)、集成網絡接口、射頻發射機/接收機、紅外線埠、USB連接，或用於將計算設備1112連接到其他計算設備的其他接口。通信連接1126可以包括有線連接或無線連接。通信連接11 可以發送和/或接收通信介質。術語「計算機可讀介質」可以包括通信介質。通信介質通常以諸如載波或其他傳輸機制等「已調製數據信號」來體現計算機可讀指令或其他數據，並包括任何信息傳送介質。 術語「已調製數據信號」可以包括以對信號中的信息進行編碼的方式設置或改變其一個或多個特徵的信號。設備1112可以包括輸入設備1124，諸如鍵盤、滑鼠、筆、語音輸入設備、觸摸輸入設備、紅外照相機、視頻輸入設備、和/或任何其他輸入設備。設備1112還可以包括輸出設備1122，諸如一個或多個顯示器、揚聲器、印表機、和/或任何其他輸出設備。輸入設備IlM 和輸出設備1122可以通過有線連接、無線連接、或其任何組合來連接到設備1112。在一個實施方式中，可以使用來自另一計算設備的輸入設備或輸出設備作為計算設備1112的輸入設備IlM或輸出設備1122。計算設備1112的組件可通過多種互連來連接，例如總線。這樣的互連可以包括諸如PCIExpress之類的外圍部件互連(PCI)、通用串行總線(USB)、火線(IEEE13114)、光學總線結構等等。在另一實施方式中，計算設備1112的組件可以通過網絡互連。例如，存儲器 1118可以包括位於通過網絡互連的不同物理位置的多個物理存儲器單元。本領域的技術人員將認識到，用來存儲計算機可讀指令的存儲設備可以分布在網絡上。例如，可以通過網絡1130訪問的計算設備11 可以儲存實現此處所提供的一個或多個實施例的計算機可讀指令。計算設備1112可以訪問計算設備1130，並下載計算機可讀指令的一部分或全部以便執行。或者，計算設備1112可以根據需要下載計算機可讀指令的一部分，或者一些指令可以在計算設備1112上執行而一些指令則在計算設備1130上執行。這裡提供了實施方式的各種操作。在一個實施方式中，所描述的操作中的一個或多個可以組成存儲在一個或多個計算機可讀介質上的計算機可讀指令，這些指令如果由計算設備執行則使得計算設備執行所描述的操作。描述一些或所有操作的順序不應該被解釋為暗示這些操作一定是依賴於順序的。從本說明書獲益的本領域技術人員將認識到替換順序。此外，應該理解，並非所有的操作都一定存在於這裡所提供的每一個實施方式中。
此外，在此使用詞語「示例性」意指用作示例、實例或說明。這裡作為「示例性」所描述的任何方面或設計不必被解釋為有利於其他方面或設計。相反，使用詞語「示例性」旨在以具體的方式呈現各個概念。如本申請中所使用的，術語「或」意指包括性「或」而非互斥性「或」。即，除非另有指定或從上下文可以清楚，「X使用A或B」意指任何自然的包括性排列。即，如果X使用A ；X使用B^X使用A和B兩者，則在任何以上情況下，都滿足「X使用A或B」。此外，本申請中和所附權利要求書所使用的冠詞「一」和「一個」 一般可以解釋為「一個或多個」，除非另有指定或從上下文可以清楚是指單數形式。 同樣，雖然參考一個或多個實現示出並描述了本發明，但本領域技術人員基於對本說明書和附圖閱讀和理解，可以想到各種等效更改和修改。本發明包括所有這樣的修改和更改，並且僅由所附權利要求書的範圍來限定。具體地，對於由上述組件(例如，元素、資源等)執行的各種功能，除非另外指明，否則用於描述這些組件的術語旨在對應於執行所描述的執行此處在本發明的示例性實現中所示的功能的組件的指定功能(例如，功能上等效)的任何組件，即使這些組件在結構上不等效於所公開的結構。此外，儘管可相對於若干實現中的僅一個實現來公開本發明的一個特定特徵，但這一特徵可以如對任何給定或特定應用所需且有利地與其他實現的一個或多個其他特徵相組合。此外，就在「具體實施方式
」 或者權利要求書中使用術語「包括」、「具有」、「帶有」或其變體而言，這些術語旨在以與術語 「包括」相似的方式為包含性的。
權利要求
1.一種用於生成新視圖的方法(100)，包括基於圖像內的已賦值點的值為所述圖像內的未賦值點內插(104)值，所述內插包括 對於相應的未賦值點106 為未賦值點確定(108)已賦值點的集合，所述已賦值點的集合內的相應的已賦值點具有期望成本路徑；以及將模型應用(110)於所述已賦值點的集合以為所述未賦值點內插值；以及對於內插圖像內的相應的點，基於點的值將所述點投影(112)到新視圖內的位置上。
2.如權利要求1所述的方法，其特徵在於，包括 生成第二內插圖像；對於所述第二內插圖像內的相應的點，將點投影到所述新視圖內的位置上以生成融合的新視圖。
3.如權利要求2所述的方法，其特徵在於，包括對於所述第二內插圖像內的相應的點，基於相關性度量、時間度量、質量度量以及零緩衝器中的至少一個向點分配權重；以及基於所分配的權重生成所述融合的新視圖。
4.如權利要求1所述的方法，其特徵在於，來自所述已賦值點的值和用於所述未賦值點的值包括深度數據、位置數據以及3D位置數據中的至少一個。
5.如權利要求1所述的方法，其特徵在於，所述確定已賦值點的集合包括確定具有從所述未賦值點到相應的已賦值點的期望低成本路徑的預定數量(k)的已賦值點，所述期望低成本路徑對應於沿所述未賦值點和所述已賦值點之間的點的路徑的色彩、紋理、梯度以及反射率中的至少一個的較小變化。
6.如權利要求1所述的方法，其特徵在於，所述應用模型包括以下各項中的至少一個 使用所述已賦值點的集合內的已賦值點的值的平均數為所述未賦值點內插值； 使用與所述已賦值點的集合內的已賦值點相交的平面為所述未賦值點內插值； 使用與所述已賦值點的集合內的已賦值點相交的幾何形狀為所述未賦值點內插值。
7.如權利要求1所述的方法，其特徵在於，所述應用模型包括基於所述已賦值點的集合內的具有異常值的一個或多個已賦值點去除所述一個或多個已賦值點。
8.如權利要求1所述的方法，其特徵在於，所述將點投影到新視圖內的位置包括 執行與所述點相關聯的色彩值到與所述位置相關聯的色彩值的正向映射分配。
9.如權利要求1所述的方法，其特徵在於，所述將點投影到新視圖內的位置包括 執行與所述點相關聯的深度值到與所述位置相關聯的深度值的反向映射分配。
10.如權利要求1所述的方法，其特徵在於，所述將點投影到新視圖內的位置包括 基於所述圖像和所述新視圖之間的所標識的特徵確定所述位置。
11.如權利要求1所述的方法，其特徵在於，包括 基於以下各項中的至少一個來確定已賦值點的值 用戶輸入的值；來自立體過程的值；以及來自幀捆綁過程的值。
12.一種用於生成新視圖的系統(200)，包括 內插器(204)，其被配置成對於圖像內的相應的未賦值點為未賦值點確定已賦值點的集合，所述已賦值點的集合內的相應的已賦值點具有期望成本路徑；將模型應用於所述已賦值點的集合以為所述未賦值點內插值；以及基於已賦值點的值和未賦值點的值生成內插圖像；以及投影器(208)，其被配置成對於所述內插圖像內的相應的點，基於點的值將所述點投影到新視圖內的位置上。
13.如權利要求12所述的系統，其特徵在於，所述投影器被配置成對於第二內插圖像內的相應的點，將點投影到所述新視圖內的位置上以生成融合的新視圖。
14.如權利要求12所述的系統，其特徵在於，所述模型包括以下各項中的至少一個 求平均函數；平面相交函數；以及幾何形狀相交函數。
15.如權利要求12所述的系統，其特徵在於，所述內插器被配置成將預定數量(k)的已賦值點確定為所述已賦值點的集合，已賦值點具有從所述未賦值點到所述已賦值點的期望低成本路徑，所述期望低成本路徑對應於沿所述未賦值點和所述已賦值點之間的點的路徑的色彩、紋理、梯度以及反射率中的至少一個的較小變化。
全文摘要
圖像提供關於其所描述的事物的豐富信息。例如，對於圖像內的某些點，圖像可具有附加信息，諸如深度和/或3D位置值。將來自已賦值點的值外插到整個圖像可以是有利的，因為圖像的新視圖可基於點的值生成。因此，可通過基於已賦值點的值內插未賦值點的值來生成內插圖像。特別地，可為未賦值點確定具有期望成本路徑的已賦值點的集合。可將模型應用於已賦值點的集合以內插未賦值點的值。一個或多個內插圖像可被投影到新視圖上。具體地，內插圖像內點可基於點的值被投影到新視圖內的位置上。
文檔編號G06T11/00GK102298783SQ201110159649
公開日2011年12月28日 申請日期2011年6月3日 優先權日2010年6月7日
發明者B·H·A·y·阿爾卡斯, E·歐弗克, Y·韋克斯勒 申請人:微軟公司