分布式圖像重定向的製作方法

2023-06-19 01:19:46 1

專利名稱：分布式圖像重定向的製作方法
技術領域：
本發明涉及圖像重定向領域。
背景技術：
顯示技術領域的最新發展已經見證了顯示尺寸方面的極大多樣性，並且相同的內容需要為不同的設備以不同的尺寸和長寬比來顯示。通常，為舊的4:3比例的CRT電視錄製的視頻現在顯示在16:9的寬屏電視上。因此，需要能夠使圖像適應不同於其原本用於的顯示器的算法。基本的圖像尺寸修改技術是線性縮放或裁剪。然而，由於細節丟失、各向異性擠壓或拉伸、裁剪窗口之外的區域的壓縮(suppression)等原因，這些技術導致圖像質量下降。因此，需要考慮到圖像內容的圖像有效自適應。這樣的智能自適應在本領域已知為「圖像重定向，，或(如果把視頻考慮進來)「視頻重定向」。關於「智能地」修改圖像，很多方法使用了為每個像素定義了信息值的顯著圖。例如，文獻EP 1968008公開了一種用於已知為「接縫雕刻」的內容感知圖像重定向方法。根據能量函數，往往是亮度梯度函數，來生成來自源圖像的顯著圖(也稱為能量圖像)。從能量圖像中，根據最小化函數確定一個或多個接縫，以使每個接縫具有最小的能量。 通過壓縮(suppress)或複製接縫將每個接縫應用到源圖像以獲得目標圖像，該目標圖像保留了內容但具有不同的長寬比。這個技術通過在3D視頻時空立方體中定義2D接縫表面擴展到視頻重定向。就該文獻而言，該表面與每個幀的交叉定義了接縫。流形(manifold)接縫表面允許接縫隨時間自適應地變化，維持時間相干性。無論使用了哪個重定向方法，顯著圖的計算是計算機密集的操作。通過這些內容感知重定向方法獲得的更好質量的重新縮放創建了對於更好的處理功耗使用的需求。

發明內容
將會有利的是實現一種方法和設備，其降低計算成本同時維持通過內容感知重新縮放方法而獲得的高質量。為了更好地解決這些關注中的一個或多個，根據本發明的第一方面，一種用於在包括通過通信網絡連接到至少一個接收機的發射機的系統中重定向圖像的方法包括
-由發射機計算圖像顯著-通過通信網絡從發射機向至少一個接收機發送圖像和顯著圖； -由至少一個接收機基於所發送的顯著圖來重定向所發送的圖像。通過在發射機層計算顯著圖，此計算機密集的操作可以在許多接收機之間共有。 此外，無論最終的長寬比是什麼，唯一的顯著圖都是可用的。因此，每個接收機的長寬比無需相同。該方法還具有將計算傳輸到通常為高端專業裝備的發射機上的優點。相對應，接
3收機通常為諸如行動電話或電視機之類的通用公共裝備，其製造成本必須保持為儘可能的低。還可以事先計算好顯著圖，並且將顯著圖存儲在發射機中直到請求發送為止，以消除計算所需的時間。在特定的實施例中，顯著圖包括分別用於水平和垂直縮放的兩個一維顯著曲線。這個顯著圖變換顯著地減少了通過通信網絡發送的數據量。根據本發明的第二方面，一種用於重定向圖像的系統，包括 -發射機，包括
-顯著圖計算器，用於計算圖像的顯著圖；以及 -網絡接口，用於將圖像和顯著圖發送到通信網絡上； -接收機，包括
-接收器，連接到通信網絡以用於接收所發送的圖像和所發送的顯著圖； -圖像修改器，用於基於所發送的顯著圖重定向所發送的圖像。根據本發明的第三方面，一種在用於重定向圖像的系統中的發射機包括 -顯著圖計算器，用於計算圖像的顯著圖；以及
-網絡接口，用於將圖像和顯著圖發送到通信網絡上。根據本發明的第四方面一種在用於重定向圖像的系統中的接收機包括 -接收器，連接到通信網絡以用於接收所發送的圖像和所發送的顯著-圖像修改器，用於基於所發送的顯著圖重定向所發送的圖像。取決於圖像的類型，特定的實施例可以優選為更易於適應或給出更好的結果。然而，可以視情況或依照要求對這些特定的實施例的各方面進行組合或修改。


根據下文中描述的實施例，本發明的這些和其他方面是顯而易見的，並且參考這些實施例來闡明本發明的這些和其他方面，其中
圖1是根據本發明實施例的系統的示意圖2是根據本發明的第一實施例的重定向方法的流程圖3是根據本發明的第二實施例的重定向方法的流程圖4示出三個不同的局部放大曲線；
圖5示出劃分為8個垂直部分和4個水平部分的圖像；
圖6示出了非線性位置變換曲線的使用；
圖7示出通過圖6的非線性位置變換曲線獲得的經縮放的圖像；
圖8-11示出通過使用根據本發明實施例的方法獲得的不同放大曲線；
圖12是示出根據本發明的用於修正長寬比的第二實施例的第一變體的流程圖13是示出根據本發明的用於修正長寬比的第二實施例的第二變體的流程圖14是示出圖13的變體的另一流程圖。
具體實施例方式參考圖1，諸如網際網路之類的通信網絡1連接發射機3和至少一個接收機5。
發射機3包括網絡接口 7，其將發射機3連接到通信網絡1，並向接收機5發送數據。發射機3還包括計算器9和存儲區11以及用諸如MPEG-2、MPEG_4或其他格式之類的壓縮格式來傳送視頻的多個輸入源13。解碼器15根據所接收的視頻原始圖像數據IMD-I 生成將由計算器9使用的畫面流，其中每幀一個畫面。接收機5包括接收器17，其可以是類似於發射機3的網路接口 7的網絡接口。接收器17將接收機5連接到通信網絡1來接收由發射機3發送的數據。接收機5還包括圖像修改器19，以將接收的圖像尺寸修改到適合於顯示器21的新長寬t匕。圖2以流程圖的形式示出發射機3和至少一個接收機5之間的關係，其中，欄中的每個矩形指代在相應設備中執行的步驟。在步驟31處，發射機3通過其輸入源13之一接收視頻流。在步驟33處，視頻流被解碼成發送到計算器9的原始圖像流。在步驟35處，計算器9通過使用某個能量函數計算圖像的顯著圖。例如，計算器可以使用根據EP 1968008計算的顯著圖。在步驟37處，將每個圖像及其顯著圖發送到接收機5。為了優化發送的吞吐率，圖像及其顯著圖可以使用公知的算法來進行壓縮。例如，為了避免壓縮步驟，所發送的圖像可以是通過輸入源13接收的壓縮圖像。因此，解碼的圖像僅用於計算顯著圖。在步驟39處，接收機5接收圖像及其顯著圖，並且如有必要就對它們進行解壓縮。 在步驟41處，圖像修改器19通過使用所發送的顯著圖將圖像重定向到期望的長寬比。由圖像修改器使用的重定向方法被選擇為與顯著圖兼容。例如，如果根據EP 1968008計算顯著圖，則重定向方法會是接縫雕刻方法。隨後，在步驟43處，將重定向的圖像顯示在顯示器21上。在圖3的變體中，在步驟51處，在步驟35處計算的顯著圖在發送前被變換成分別用於水平和垂直縮放的兩個一維(ID)曲線。這個變換顯著減少了在步驟53處要發送的信
息裡ο在步驟55處，接收圖像和兩個一維顯著曲線，並且隨後在步驟57處，一維顯著曲線由接收機使用來計算縮放曲線，以便在步驟59處，將縮放曲線應用到所接收的圖像以用於對其進行重定向。圖4示出三條示例性縮放曲線，並且更具體地，示出描述局部放大的放大曲線。這些曲線是一條具有恆定放大倍數的線性縮放曲線、一條具有負倍數的線性縮放曲線，以及所謂的「浴缸」曲線。浴缸曲線的形狀使得在圖像的中心處使用統一縮放，而放大率向圖像的邊緣增加。圖像中心處的統一縮放意指圖像中心處的對象保持沒有失真。通常放大率在 0. 5和2. 0之間。圖5、6和7示出通過使用非線性縮放曲線並且更具體地使用位置變換(或映射)曲線的非線性圖像縮放。位置變換曲線是放大曲線的積分的結果。圖5示出圖像61，其被劃分成等寬的8個垂直部分和等寬的4個水平部分。還示出了從圖像的一角到對角的線63。為了得出如圖7所示的非線性縮放圖像67，使用了如圖6所示的非線性位置變換曲線65。圖6清楚地示出是放大曲線的積分的結果的圖像縮放曲線，即位置變換曲線。在水平/垂直位置上對水平/垂直放大曲線進行積分以結果導致水平/垂直位置變換曲線。在圖中，還可以看出，接近圖像的邊緣，垂直部分變得更窄，而靠近中心，水平部分保持不變。 通過使用這種曲線，假設圖像最重要的信息位於圖像的中心附近。在圖7中，由於在水平方向非線性縮放的原因，具有斜度的直線63顯示為曲線69。然而，需要注意的是，最相關的信息並非總是位於圖像的中心附近。為此，可以有利地使用不同的縮放曲線。為了確定要使用的縮放曲線，在一個方向(水平或垂直)累積關於局部顯著性，即每個像素的顯著性的信息，這將在稍後進行更詳細的闡述。累積的局部顯著性用於計算不同縮放曲線的成本。在這個示例中，定義了初始的水平和/或垂直縮放曲線集，其包括標準曲線，即「浴缸曲線」，而且還包括在標準曲線無用的情況下可能適用的一些曲線。這主要在最重要的一個或多個對象處於屏幕的側面板(side panel)附近時發生。存儲的初始縮放曲線的數目至少為2，但是小於圖像中像素的數量。在大多數應用中，使用3-10個初始縮放曲線就足夠了。給定當前圖像的顯著特徵或局部顯著性，可以計算這些初始曲線的每一個的「成本」。縮放曲線的成本取決於圖像中諸如面部、移動對象等重要對象的位置，使得局部縮放因子尤其在這些重要的對象位置處越不同於統一縮放(縮放因子1)，成本越增加。換言之， 處於縮放因子不同於1的位置的大量顯著特徵導致高成本值。對於成本值的計算，可以忽略處於縮放因子為1的位置的顯著特徵。要在實際圖像重新縮放中使用的縮放曲線，即位置變換曲線，被計算為各單獨曲線的加權平均，其中權重與前面提到的成本逆相關。這意味著隨著預定義的縮放曲線的成本增加，權重減小。所有的備選曲線(水平和垂直縮放曲線兩者)各自造成期望的長寬比變化。在權重之和等於1的情況下，結果獲得的曲線也將導致期望的長寬比變化。如果輸入視頻序列具有很好的時間穩定性(沒有場景變化)，權重將只是逐漸地變化，這導致輸出的重定向視頻也是在時間上穩定的。在輸入視頻的低時間穩定性(場景變化)的情況下，輸出可以對經更新的成本立即作出反應而沒有餘留來自先前場景的影響。因此，提出的重新縮放方法所非常令人欣賞的時間穩定性沒有阻止快速適應新的鏡頭。此外，通過或多或少大膽地選擇初始曲線(即，不同於標準曲線的曲線)，可以確保長寬比校正的偽影是適度的。表1-4示出用於計算要在圖像縮放中使用的校正放大曲線的具體示例。在這些表中，每一欄表示圖像中特定的水平位置。為簡單起見，在這些示例中的預定義縮放曲線僅使用兩個不同的放大率值，即值1和2。更廣泛地，這些放大率值也稱為局部放大率值或局部縮放曲線。因此，可以將預定義縮放曲線視為包括若干被認為是粘合在一起的局部縮放曲線。在每個示例中，預定義縮放曲線集包括三個縮放曲線。表中示出的質量指數與成本值逆相關，其中如以上解釋的那樣，通過將圖像中的局部顯著性考慮在內來為預定義集中的每條曲線計算成本值。對於最終的縮放曲線，可以通過使用以下公式為每個位置Y計算在一個方向上，即水平或垂直方向上結果獲得的放大率
權利要求
1.一種用於在系統中重定向圖像的方法，所述系統包括通過通信網絡連接到至少一個接收機的發射機，所述方法包括-由所述發射機計算(35)所述圖像的顯著圖；-通過所述通信網絡從所述發射機向所述至少一個接收機發送(37)所述圖像和所述顯著圖；-由所述至少一個接收機基於所述發送的顯著圖來重定向(41)所發送的圖像。
2.根據權利要求1所述的方法，其中所述顯著圖包括分別用於水平和垂直縮放的兩個一維顯著曲線。
3.根據權利要求1或2所述的方法，其中所述系統包括多個接收機。
4.一種用於重定向圖像的系統，包括 -發射機(3)，包括-顯著圖計算器(9)，用於計算所述圖像的顯著圖；以及 -網絡接口(7)，用於將所述圖像和所述顯著圖發送到通信網絡上； -接收機(5)，包括-接收器(17)，連接到所述通信網絡以用於接收所發送的圖像和所發送的顯著圖；-圖像修改器(19)，用於基於所發送的顯著圖重定向所發送的圖像。
5.一種在用於重定向圖像的系統中的發射機(3)，包括 -顯著圖計算器(9)，用於計算所述圖像的顯著圖；以及-網絡接口(7)，用於將所述圖像和所述顯著圖發送到通信網絡上。
6.一種在用於重定向圖像的系統中的接收機(5)，包括-接收器(17)，連接到所述通信網絡以用於接收所發送的圖像和所發送的顯著圖； -圖像修改器(19)，用於基於所發送的顯著圖重定向所發送的圖像。
全文摘要
一種用於在系統中重定向圖像的方法，該系統包括通過通信網絡連接到至少一個接收機的發射機，該方法包括由發射機計算(35)圖像的顯著圖；通過通信網絡從發射機向至少一個接收機發送(37)圖像和顯著圖；由至少一個接收機基於所發送的顯著圖來重定向所發送的圖像。
文檔編號G06T3/40GK102473288SQ201080033899
公開日2012年5月23日 申請日期2010年7月27日 優先權日2009年7月30日
發明者德哈安 G. 申請人:皇家飛利浦電子股份有限公司