視訊處理方法及視訊系統的製作方法
2023-04-23 17:50:36 1
專利名稱：視訊處理方法及視訊系統的製作方法
技術領域：
本發明涉及一種視訊處理方法及視訊系統，特別是涉及一種即使頻寬 動態地大幅變動，輸出影像也能維持可接受的清晰度的視訊處理方法及視
訊系統。
背景技術：
請參閱圖l所示，是一說明現有的視訊會議系統的影像處理方法的系
統方塊圖。視訊會議(video conference)系統是一種目前常見的網路應用 技術，其主要是將包括多張的原始影像9011~901n即時的一影像序列 (image sequence)，經由視訊編碼器(video encoder) 91壓縮成一視訊信號 (信號即訊號，本文均稱為信號)後，再藉由網路8進行傳輸，將該視訊信號 傳送到一視訊解碼器(video decoder) 92，再由該視訊解碼器92逐一解碼 還原出一連串的輸出影4象9021 ~ 902n。
然而，目前的視訊會議系統實際運作時，原始影像9011 901n從輸入 視訊編碼器91、經由網路8傳輸及輸出到視訊解碼器92的整個傳輸過程只 有一個固定的解析度，所以，當網路8實際能使用的頻寬改變時，解析度 並不能隨之改變。因此，若是實際頻寬由很大變成很小，為了維持每秒傳 輸一定的畫框(frame)個數，視訊編碼器91的編碼位元率會根據實際頻寬 而變得很小，導致視訊解碼器92解碼後的輸出影像9021 ~ 902n的清晰度 變得令人無法接受。
每一張解碼後的解碼影像9021 ~ 902n的清晰度，取決於其相對的原始
影像9011 ~ 901n被壓縮後的畫框數據量(即畫框資料量，資料即數據，本文 中將資料均稱為數據)，也就是，網路8的頻寬有限，在傳輸時必須保持每 秒能夠發送固定的畫框個數，就是每秒畫框數(frame rate;單位畫框個 數/秒)，而每個畫框數據量x每秒畫框數-編碼位元率(bit rate;單位編 碼數據量/秒)必須小於頻寬(單位傳輸數據量/秒)才能有清晰的畫面；若 編碼位元率高於頻寬時，每秒畫框數不變的情況下，畫框數據量被犧牲，將 導致畫面斷斷續續或有不清晰的結果。
因此，若使用者預設的頻寬小，則輸入影像的解析度會設得較小(如 320x240)以得到解碼後可接受的影像解析度，而若使用者預設的頻寬大，則 輸入影像解析度可以設得較大(如640x480)。
如Windows Live Messenger的視訊會議軟體(軟體)通常將輸入影像的解析度設為320x240，以避免設成大解析度而頻寬變小時輸出影像會很不清 楚，但是這樣也造成在頻寬變得很大時使用者無法得到更大解析度、內容更 詳細的輸出影像。
一種視訊會議系統的設計，則是在視訊編解碼器91運作之前作一次頻 寬偵測，之後根據此偵測到的頻寬決定系統的解析度，但是在視訊編解碼 器91運作起來後，則不再調整系統的解析度；另一個做法，是將視訊會議 系統停止再重新設定解析度並重新啟動系統，但是這樣的方法則會造成視 訊接收裝置的視訊畫面產生停頓的現象。
因此，目前現有的視訊會議系統的處理技術存在有下述的缺失
一、 影像解析度不佳頻寬設定太小，影像解析度不佳，且頻寬變得 很大時使用者無法得到更大解析度、內容更詳細的輸出影像；但是頻寬設 定太大，當頻寬變得低時，影像解析度也會面臨品質不佳的問題。
二、 頻寬偵測缺乏彈性只有一次頻寬偵測然後根據此頻寬決定系統 的解析度的處理方式，缺乏彈性。
三、 設定解析度時畫面會中斷停止再重新設定解析度並重新啟動系 統的方式，對使用者觀看時畫面會產生停頓。
由此可見，上述現有的i見訊處理方法及^L訊系統在處理方法、系統結 構及使用上，顯然仍存在有不便與缺陷，而亟待加以進一步改進。為了解 決上述存在的問題，相關廠商莫不費盡心思來謀求解決之道，但長久以來 一直未見適用的設計被發展完成，而一般方法及系統又沒有適切的方法及 結構能夠解決上述問題，此顯然是相關業者急欲解決的問題。因此如何能 創設一種新的視訊處理方法及視訊系統，實屬當前重要研發課題之一，亦成 為當前業界極需改進的目標。
有鑑於上述現有的視訊處理方法及視訊系統存在的缺陷，本發明人基 於從事此類產品設計製造多年豐富的實務經驗及專業知識，並配合學理的 運用，積極加以研究創新，以期創設一種新的視訊處理方法及視訊系統，能 夠改進一般現有的視訊處理方法及視訊系統，使其更具有實用性。經過不 斷的研究、設計，並經反覆試作及改進後，終於創設出確具實用價值的本發 明。
發明內容
本發明的一個目的在於，克服現有的視訊處理方法存在的缺陷，而提供 一種新的視訊處理方法，所要解決的技術問題是使其提供一種隨著頻寬變 化能修改影像內容可以避免遺失重要資訊的視訊處理方法，非常適於實用。
本發明的另一目的在於，提供一種新的視訊處理方法，所要解決的技 術問題是使其提供一種無論頻寬高低皆能維持高解析度品質呈現的視訊處理方法，從而更加適於實用。
本發明的還一目的在於，克服現有的視訊系統存在的缺陷，而提供一種 新的視訊系統，所要解決的技術問題是使其提供一種具有隨著頻寬變化能 夠修改影像內容可避免遺失重要資訊的解析度處理模組的視訊系統，非常 適於實用。
本發明的再一目的在於，提供一種新的視訊系統，所要解決的技術問 題是使其提供一種具有無論頻寬高低皆能維持高解析度品質呈現的解析度 還原模組的視訊系統，從而更加適於實用。
本發明的目的及解決其技術問題是採用以下技術方案來實現的。依據 本發明提出的一種視訊處理方法，是由一發送裝置通過一網路傳輸數據給
一接收裝置，所述的視訊處理方法包括以下的步驟(a).發送裝置自一影 像序列取得至少 一標準解析度的原始影像，並偵測網路每秒傳輸數據量的 一頻寬；(b).發送裝置判斷原始影像的編碼位元率未超出頻寬時直接輸出 影像，若影像的編碼位元率超出頻寬時，將影像內容縮小並配合將其他區域 以低數據量填補以輸出一編碼位元率不超出頻寬的中繼影像；以及(c).發 送裝置編碼輸出步驟(b)的影像並通過網路傳送給接收裝置，且接收裝置解 碼影像後將中繼影像的影像內容還原為標準解析度。
本發明的目的及解決其技術問題還可採用以下技術措施進一步實現。 較佳地，前述的視訊處理方法，其中所述的步驟(b)若影像的編碼位元 率超出頻寬時，還產生一具有影像內容的解析度的還原指令，並通過網路 傳送給接收裝置。
較佳地，前述的視訊處理方法，其中所述的步驟(b)的影像內容縮小方 式是將中繼影像區分成一第一區域及一第二區域，且第一區域加上第二區 域的大小就是原始影像的標準解析度大小，且第一區域的影像是由對影像 內容作等比例縮小。
較佳地，前述的視訊處理方法，其中所述的步驟(c)包括下述的子步 驟(cl).接收裝置通過網路接收來自發送裝置的數據後，隨著不同時間動 態地將接收到的影像暫存至一儲存空間；以及(c2),判斷是否收到還原指 令，若未收到還原指令，則輸出標準解析度的影像，若收到還原指令，則進行 將影像內容還原為標準解析度的還原處理程序。
較佳地，前述的視訊處理方法，其中所述的還原處理程序包括下述的 子步驟(dl).自儲存空間取得取得維持標準解析度的後一影像及維持標準 解析度的前一影像，將維持標準解析度的後一影像及維持標準解析度的前 一影像二者計算出一第一峰值訊雜比；(d".取得維持標準解析度的前一影 像，以及將後一影像依據還原指令的解析度切割並放大成標準解析度以輸 出一還原影像，然後將維持標準解析度的前一影像及還原影像二者計算出
7一第二峰值訊雜比；(d3).判斷第一峰值訊雜比大於第二峰值訊雜比時，輸 出標準解析度的後一影像並接續步驟(d4)，若第一峰值訊雜比不大於第二 峰值訊雜比時，輸出還原影像並接續步驟(d4);以及(d4).播放輸出影像。 較佳地，前述的視訊處理方法，其中所述的峰值訊雜比的值定義為
10
M促
其中，MAX為一預定值，且MSE定義為
^卜0
I及K為要比較差異的兩張大小相同的影像；I(i)及K(i)為影像I在 像素i的表示值；及N為I的像素總個數亦等於K的像素總個數。
本發明的目的及解決其技術問題還採用以下技術方案來實現。依據本 發明提出的一種視訊系統，包括一與一網路連線的發送裝置，所述的發送裝 置具有 一影像取得模組，自一影像序列取得至少一標準解析度的原始影 像;一頻寬監測模組，偵測網路每秒傳輸數據量的一頻寬； 一解析度處理模 組，判斷原始影像的編碼位元率未超出頻寬時直接輸出影像，若影像的編碼 位元率超出頻寬時，將影像內容縮小並配合將其他區域以低數據量填補以 輸出一編碼位元率不超出頻寬的中繼影像，並輸出一具有影像內容的解析 度的還原指令； 一視訊編碼器，編碼解析度處理模組輸出的影像為一影像編 碼信號；以及一數據傳送模組，將影像編碼信號及還原指令傳送至網路。
本發明的目的及解決其技術問題還可採用以下技術措施進一步實現。
較佳地，前述的視訊系統，其中所述的發送裝置的解析度處理模組將 影像內容縮小的方式是將中繼影像區分成一第一區域及一第二區域，且第 一區域加上第二區域的大小是原始影像的標準解析度大小，第一區域的影 像是由對影像內容作等比例縮小。
較佳地，前述的視訊系統，其中該視訊系統還包括一與網路連線的接 收裝置，接收裝置通過網路與發送裝置連線並接收來自發送裝置的影像編 碼信號及還原指令，且解碼影像編碼信號後利用還原指令將影像內容還原
為標準解析度。
較佳地，前述的視訊系統，其中所述的接收裝置包括 一數據接收模
組，通過網路接收來自發送裝置的影像編碼信號及還原指令； 一視訊解碼
器，對於影像編碼信號加以解碼，且隨不同時間動態地將前一張解碼影像並 將其暫存於一儲存空間； 一解析度還原模組，判斷是否收到還原指令，若未
收到還原指令，則輸出標準解析度的影像，若收到還原指令，則進行將影像
內容還原為標準解析度的還原處理程序；以及一影像播放模組，播放解析
度還原模組輸出的影像。較佳地，前述的視訊系統，其中所述的解析度還原模組執行的還原處
理程序包括下述的子步驟自儲存空間取得取得維持標準解析度的後一影 像及維持標準解析度的前一影像，將維持標準解析度的後一影像及維持標 準解析度的前一影像二者計算出一第一峰值訊雜比；取得維持標準解析度 的前一影像，以及將後一影像依據還原指令的解析度切割並放大成標準解 析度以輸出一還原影像，然後將維持標準解析度的前一影像及還原影像二 者計算出 一第二峰值訊雜比；及判斷第 一峰值訊雜比大於第二峰值訊雜比 時，輸出標準解析度的後一影像至影像播放模組，若第一峰值訊雜比不大於 第二峰值訊雜比時，輸出還原影像至影像播放模組。
較佳地，前述的視訊系統，其中所述的峰值訊雜比的值定義為
I及K為要比較差異的兩張大小相同的影像；I(i)及K(i)為影像I在 像素i的表示值；及N為I的像素總個數亦等於K的像素總個數。
本發明與現有技術相比具有明顯的優點和有益效果。由以上技術方案 可知，本發明的主要技術內容如下
本發明的一目的在提供一種隨著頻寬變化能修改影像內容以避免遺失 重要資訊的視訊處理方法。本發明的另一目的，在於提供一種無論頻寬高 低皆能維持高解析度品質呈現的視訊處理方法。
為達到上述目的，本發明的視訊處理方法，是由一發送裝置通過一網 路傳輸數據給一接收裝置，視訊處理方法包括下述步驟(a).發送裝置自 一影像序列取得至少一標準解析度的原始影像，並偵測網路每秒傳輸數據 量的一頻寬；(b).發送裝置判斷原始影像的編碼位元率未超出頻寬時直接 輸出影像，若影像的編碼位元率超出頻寬時，將影像內容縮小並配合將其 他區域以低數據量填補以輸出 一編碼位元率不超出頻寬的中繼影像；以及 (c).發送裝置編碼輸出步驟(b)的影像並通過網路傳送給接收裝置，且接收 裝置解碼中繼影像後將影像內容還原為標準解析度。
本發明的又一目的在於提供一種具有隨著頻寬變化能修改影像內容以 避免遺失重要資訊的解析度處理模組的視訊系統。本發明的再一目的在於 提供一種具有無論頻寬高低皆能維持高解析度品質呈現的解析度還原模組 的S見ifl系統。
為達到上述目的，本發明的視訊系統包括一發送裝置，且發送裝置與 一網路連線；發送裝置具有一自一影像序列取得至少一標準解析度的原始
其中，MAX為一預定值，且MSE定義為:影像的影像取得模組、 一偵測網路每秒傳輸數據量的 一頻寬的頻寬監測模 組、 一解析度處理模組、 一編碼解析度處理模組輸出的影像為一影像編碼 信號的視訊編碼器及一數據傳送模組。
解析度處理模組判斷原始影像的編碼位元率未超出頻寬時直接輸出影 像，若影像的編碼位元率超出頻寬時，將影像內容縮小並配合將其他區域以 低數據量填補以輸出一編碼位元率不超出頻寬的中繼影像，並輸出一具有
影像內容的解析度的還原指令；再由數據傳送模組通過網路將中繼影像編 碼信號及還原指令傳送至網路。
藉由上述技術方案，本發明視訊處理方法及視訊系統至少具有下列優 點及有益效果
一、 影像解析度佳將影像內容縮小並配合將其他區域以低數據量填 補以輸出一編碼位元率不超出頻寬的中繼影像，可以避免遺失重要資訊。
二、 頻寬偵測具有彈性隨著頻寬變化修改影像內容，可以避免一次 偵測缺乏彈性的處理。
三、 畫面不中斷配合由接收裝置還原影像，能讓視訊系統在持續運 作不間斷的情形下，即使頻寬動態地大幅變動，其輸出影像也能維持可接 受的清晰度，也就是無論頻寬高低皆能維持高解析度品質呈現。
綜上所述，本發明提供了 一種隨著頻寬變化能修改影像內容可以避免 遺失重要資訊的視訊處理方法；本發明另提供了一種無論頻寬高低皆能維 持高解析度品質呈現的視訊處理方法，藉由本發明的方法，視訊系統無論 頻寬高低皆能維持高解析度的影像品質輸出。本發明還提供了 一種具有隨 著頻寬變化能夠修改影像內容可避免遺失重要資訊的解析度處理模組的視 訊系統；本發明另再提供了 一種具有無論頻寬高低皆能維持高解析度品質 呈現的解析度還原模組的視訊系統，非常適於實用。本發明具有上述諸多 優點及實用價值，其不論在處理方法、系統結構或功能上皆有較大改進，在 技術上有顯著的進步，並產生了好用及實用的效果，且較現有的視訊處理 方法及視訊系統具有增進的突出功效，從而更加適於實用，誠為一新穎、進 步、實用的新設計。
上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的 技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和 其他目的、特徵和優點能夠更明顯易懂，以下特舉較佳實施例，並配合附 圖，詳細i^明如下。
圖1是一說明現有的視訊會議系統的影像處理方法的系統方塊圖。 圖2是一說明本發明視訊處理方法較佳實施例的運作原理的示意圖。圖3是一系統方塊圖，說明本發明視訊系統的較佳實施例包括發送裝 置及接收裝置，且發送裝置是通過網路傳輸數據給接收裝置。
圖4是一說明本發明視訊處理方法的發送處理程序的步驟的流程圖。 圖5是一說明解析度處理模組修改輸入影像的內容將其區分成兩個區 域的示意圖。
圖6是一示意圖，說明(a)是標準解析度的原始輸入影像，及(b)所示是 將原始輸入影像降低解析度而成為縮小影像。
圖7是一示意圖，說明第二區域的影像產生方式(a)是將像素的向量值 都設為O，及(b)是將像素的向量值以0和255交錯。
圖8是一說明本發明視訊處理方法的接收處理程序的步驟的流程圖。
具體實施例方式
為更進一步闡述本發明為達成預定發明目的所採取的技術手段及功 效，以下結合附圖及較佳實施例，對依據本發明提出的視訊處理方法及視訊 系統其具體實施方式
、方法、步驟、結構、特徵及其功效，詳細說明如後。
通過具體實施方式
的說明，當可對本發明為達成預定目的所採取的技 術手段及功效得一更加深入且具體的了解，然而所附圖式僅是提供參考與 說明之用，並非用來對本發明加以限制。
一、技術原理
請參閱圖2所示，是一說明本發明視訊處理方法較佳實施例的運作原 理的示意圖。本發明較佳實施例的視訊處理方法，是應用於一發送裝置1及 一接收裝置2，且發送裝置1通過一網路3傳輸數據給接收裝置2。
請同時參閱圖2及圖3所示，上述的發送裝置1，可依序取得一張張的 原始影像101 ~ 10n，其標準解析度為640x480,且對應各原始影像101 ~ 10n 計算出 一編碼位元率(Bi t _ ra te);
然後，發送裝置1偵測網路3每秒傳輸數據量的頻寬301;
接著，判斷各原始影像101-10n的編碼位元率是否超出頻寬？以其中 一原始影像IOI為例來說明，若未超出時，直接輸出原始影像101;若超出 時，將原始影像101的內容的解析度降低(從640x480降低至例如320x240) 而產生一影像內容1011，將該影像內容1011配合將其他區域1012以低數 據量填補以輸出編碼位元率不超出頻寬的中繼影像101，，此外，發送裝置 1產生一對應於影像內容1011的解析度320x240的還原指令303，並通過 網路3發送還原指令303及影像編碼信號302發送給接收裝置2。
當接收裝置2通過網路3接收來自發送裝置1的影像編碼信號302,就 會將影像編碼信號302解碼出中繼影像201，，並在收到還原指令303後判 斷何者為需要還原的影像，再利用還原指令303將影像內容2011自需要還原的中繼影像201，切割出來，並放大還原為標準解析度的影像201，然後依 序播放出影像201 20n。 二、硬體架構
請參閱圖3所示，是一系統方塊圖，說明本發明的視訊系統的較佳實 施例包括發送裝置及接收裝置，且發送裝置是通過網路傳輸數據給接收裝 置。現將本發明的視訊系統100的硬體架構及處理流程介紹說明如下
上述的發送裝置1，包括一影像取得(Image Sequence Capture)模組 11、 一頻寬監測(Network Bandwidth Monitor)才莫組12、 一解析度處理 (Pseudo Resolution Modification)才莫糹且13、 一 一見訊編碼器(Video Encoder) 14及一數據傳送才莫組(Data Sender) 15。
該影像取得模組11,是取得一影像序列取得具有一標準解析度的原始 影像101 ~ 10n,其方式是每隔一個極短暫的時間會即時產生一張影像，並將 影像送至解析度處理;漠組13;需要注意的是，本發明揭露的方法會將輸入 影像固定設為大解析度(如640x480)，如此在頻寬變大時接收端才能獲得更 清楚的輸出影像。
該頻寬監測模組12,偵測每秒傳輸數據量的一頻寬301，其方式是隨 時監控網路3實際可用的頻寬301,並將量測得到的實際頻寬301資訊送給 解析度處理模組13及視訊編碼器14;其中，視訊編碼器14收到頻寬301 資訊後會自動調整其輸出的編碼位元率，使得編碼位元率小於實際頻寬301 以維持一定的每秒畫框數。
該解析度處理模組13，主要有兩個動作， 一個是產生還原指令303經 由數據傳送模組15傳送給遠端的接收裝置2,告知接收裝置2輸入影像內 容將被改變；另一個是根據頻寬監控模組12偵測到的實際頻寬改變輸入影 像內容，再將內容被修改後的中繼影像IOI， ~10n，送給視訊編碼器14;解 析度處理模組13如何改變輸入影像的內容的詳細處理流程請參考圖4的說 明。
解析度處理模組13所輸出的中繼影像101' 10n，，每一個影像101， ~ 10n，的像素色彩可以用三個色彩表示，如R、 G及B(R表示紅色、G表示 綠色^及B表示藍色丄或是Y、 U及V ( Y表示明亮度(Luminance、 Luma ), "U"表示色度(Chrominance)和"V"是表示濃度(Chroma)),視訊編碼 器14的演算法通常是以YUV作運算，若輸入影像不是用YUV表示，則在解 析度處理模組13修改輸入影像前會將輸入影像的表示法轉成YUV。
該數據傳送模組15,負責通過網路3發送中繼影像101' ~10n，的編 碼信號1Q4糹合接收裝置2。
上述的接收裝置2，包含一數據接收模組21、 一視訊解碼器22、 一解 析度還原模組23及一影像播放模組24。
12該數據接收模組21,是接收自發送裝置1傳來的還原指令303及影像 的編碼信號204;
該視訊解碼器22，則解碼編碼信號204為中繼影-像201' ~ 20n'，並將 其暫存於一儲存空間(圖未示)，且視訊編碼器14和視訊解碼器22是成對 的編解碼器，可以採用一般標準的組件，如MPEG4及M64等，除了提供對 視訊解析度作初始設定的介面外，也需要提供動態調整視訊編碼器輸出編 碼位元率的介面，而本發明揭露的方法並不會去改動視訊編碼器14或視訊 解碼器22的內部演算法。
該解析度還原模組23，則是依據各還原指令303將各中繼影像201' ~ 20n，還原為各輸出影像201 20n,解析度還原模組23如何還原影像內容 的詳細處理流程請參考圖8的說明；最後，由影像播放模組24將解析度還 原模組23傳來的影像播放出來。
三、處理流程
下面配合圖3的系統架構，將本發明的視訊處理方法的流程詳細說明 如下:
(一)發送處理程序
請參閱圖4所示，是一說明本發明視訊處理方法的發送處理程序的步 驟的流程圖。在發送裝置l方面，先由影像取得模組ll自一影像序列依序 取得原始影像101 ~ 10n(步驟401);然後，解析度處理模組13偵測網路3每 秒傳輸數據量的頻寬301 (步驟402);接著，解析度處理模組13執行步驟 403至407;視訊編碼器14則是將解析度處理模組13處理後的影像編碼為 影像編碼信號(步驟408),然後輸出影像編碼信號至節點I。
解析度處理模組13處理的過程如下
首先，對應各原始影像101~10n計算出一編碼位元率(Bit —rate)(步 驟403);然後，判斷各原始影像101 ~ 10n的編碼位元率是否超出頻寬(步驟 4(M) 以一原始影像101為例，若未超出時，直接輸出原始影像IOI(步驟 405);若超出時，以另一原始影像103為例，將原始影像103的影像內容縮 小後配合將其他區域以低數據量填補以輸出編碼位元率不超出頻寬的中繼 影像103'(步驟406);在執行步驟406時，也將產生一對應於縮小後的影 像內容的解析度的還原指令303 (步驟407)至節點II。
步驟406修改影像內容的過程為
請參閱圖5所示，是一說明解析度處理模組修改輸入影像的內容將其 區分成兩個區域的示意圖。輸入影像的所有像素在三個色彩空間所表示的 向量值分別形成三張灰階影像(以最小向量值為O，最大向量值為255,可表 示出灰階影像)，這三張影像皆會被區分成一第一區域71及一第二區域72。
第一區域71加上第二區域72的大小就是輸入影像的大小，第一區域71的影像是由對原始輸入影像內容作等比例縮小而來，可由數位訊號(即數
位訊號)處理的降低取樣(downsamp 1 ing)技術完成，例如輸入影像內容的解 析度是640x480會被縮小為400x300或是320x240等。
請參閱圖6所示，是一示意圖，圖6 (a)所示是說明標準解析度的原始輸 入影像71，及圖6(b)所示是將原始輸入影像降低解析度而成為縮小影像 71"。原始輸入影像71，是標準解析度640x480，將原始輸入影像71，降低 解析度而成為縮小影像71"。當實際頻寬愈小，例如初始的頻寬為300kbps (KB per second;千比特的資料傳輸量/每秒)，則圖5的第一區域71的大 小等於輸入標準解析度640x480,若實際頻寬之後降為100kbps，則縮小影 像71"的大小會改為320x240;如果之後實際頻寬再增回200kbps，則第一 區域71的縮小影像71"大小會是480x360;若實際頻寬維持不變，則第一 區域71的縮小影像71"大小也會維持當下的值而不作改變；實際頻寬與第 一區域71的縮小影像71"大小的絕對關係式取決於選用的視訊編碼器14 的特性，可由實驗求得。
請參閱圖7所示，是一示意圖，說明第二區域的影像產生方式(a)是將 像素的向量值都設為O，以及影像產生方式(b)是將像素的向量值以0和255 交錯。圖5的第二區域72的影像產生方式有兩種，如圖7 (a)所示，第二 區域72'是將像素的向量值都設為0，如圖7 (b)所示，第二區域72"是將 像素的向量值以0和2"交錯，這兩種特殊的圖形經由視訊編碼器14後會 產生極小的數據量。
另外需要說明的是，在解析度處理模組13第一次傳送影像給視訊編碼 器15之前，和每次第一區域71的大小被改變之前，解析度處理模組13會 發送一個訊息(以下稱為還原指令)給接收裝置2,訊息內容包含第一區域 71被修改成的大小。
(二)接收處理程序
請參閱圖8所示，是一說明本發明視訊處理方法的接收處理程序的步 驟的流程圖。在接收裝置2方面，數據接收模組21取得影像編碼信號204 及還原指令303後，接續圖4的節點I及節點II,視訊解碼器22依序解碼 影像2Q1， ~2Qn，(步驟511)供給解析度還原模組23作處理，且解析度還 原模組23可隨著不同時間動態地將接收到的影像201， ~20n，暫存(步驟 512)至一儲存空間51。
在說明後續步驟531至538之前，先介紹峰值訊雜比(PSNR; peak signal-to-noise ratio)的概念如果利用兩張影像的峰值訊雜比的值作 比較，可判斷兩張影像是否相似，峰值訊雜比的值愈大表示兩者越近似，相 反的，則兩者具有差異，峰值訊雜比的值定義為公式1
其中MAX為255， MSE是均方差(mean squared error)，且MSE定義為:
其中I及K為要比較差異的兩張大小相同的影像；I(i)為影像I在像 素i的表示值，例如I在YUV其中任何一個色彩空間的向量值)；K(i)類似 I (i) , N為I的像素總個數，亦等於K的像素總個數。
另外，需要說明的是，由於收到還原指令後，因為網路延遲或暫存影 像201， ~20n，後解碼時間延遲等因素，並不能立刻確定收到還原指令後 的第一張影像就是需要被還原的影像，唯一可以確定的是，需要被還原的 影像會比收到還原指令的時間還晚的時間出現，本發明就是利用比對峰值 訊雜比的值的方式來找出哪一張影像才是需要被還原的影像，然後再將影 像適當地還原出來。
因此，該解析度還原模組23會先判斷是否收到還原指令303 (步驟 521) 若未收到還原指令，表示輸出標準解析度的影像Imagel (步驟538)至 影像播放模組24播放影像(步驟541)，若收到還原指令303，則必須進行 步驟531至538的處理程序。
當解析度還原模組23判斷收到還原指令303時，解析度還原模組"會 自儲存空間51取得取得維持標準解析度的後一影像Imagel (步驟531)及維 持標準解析度的前一影像ImageO(步驟532),將二者計算出一第一峰值訊 雜比PSNR1 (步驟534)。
另外，取得維持標準解析度的前一影像ImageO(步驟532),以及將後 一影像Imagel依據還原指令的解析度切割並放大成標準解析度以輸出 一還 原影像Imagel，(步驟533)，然後將二者計算出一第二峰值訊雜比PSNR2 (步 驟535)。
步驟534及535的用意在於藉由前一影4象ImageO作為基準，來與後一 原始影像Imagel與後一原始影像Imagel切割後放大的影像Imagel，兩兩 比較後，然後依據相似度決定是否需要還原。
因此，解析度還原模組23接下來會判斷第一峰值訊雜比PSNR1〉第二 峰值訊雜比PSNR2(步驟536) 由於PSNR值越大者代表越相近，因此，若第 一峰值訊雜比PSNR1較第二峰值訊雜比PSNR2大，代表維持標準解析度大 小的前一影像Image0及維持標準解析度大小的後一影像Imagel是相似度 較高的，因此輸出標準解析度的影像Imagel (步驟538)並予以播放影像(步 驟541)。
相反的，若第一峰值訊雜比PSNR1較第二峰值訊雜比PSNR2小，代表維持標準解析度大小的前一影像ImageO及後一原始影像切割後放大的還原影 像Imager是相似度較高的，因此輸出還原影像Imagel，(步驟541)並予 以播放影像(步驟541)。
歸納上述，本發明的視訊處理方法在發送影像前，先經過如圖4所示 的偵測頻寬及隨著頻寬變化修改影像內容等步驟，因此能夠避免遺失重要 資訊，並且接收影像時能執行如圖8所示的還原影像內容的步驟；另外，本 發明的視訊系統100的發送裝置1提供了隨著頻寬變化能修改影像內容以 避免遺失重要資訊的解析度處理模組13，並且接收裝置2具有無論頻寬高 低皆能維持高解析度品質呈現的解析度還原模組23，所以無論在頻寬高低 的情況下，本發明的視訊系統100都能夠維持高解析度的品質呈現。
由以上說明可知，本發明一見訊處理方法及^見訊系統，不但未見於以往且 還具有下述功效
一、 影像解析度佳將影像內容縮小並配合將其他區域以低數據量填 補以輸出一編碼位元率不超出頻寬的中繼影像，以避免遺失重要資訊。
二、 頻寬偵測具有彈性隨著頻寬變化修改影像內容，避免一次偵測缺 乏彈性的處理。
三、 畫面不中斷配合由接收裝置還原影像，能讓視訊系統在持續運作 不間斷的情形下，即使頻寬動態地大幅變動，其輸出影像也能維持可接受 的清晰度，也就是無論頻寬高低皆能維持高解析度品質呈現。
以上所述，僅是本發明的較佳實施例而已，並非對本發明作任何形式 上的限制，雖然本發明已以較佳實施例揭露如上，然而並非用以限定本發 明，任何熟悉本專業的技術人員，在不脫離本發明技術方案範圍內，當可利 用上述揭示的技術內容作出些許更動或修飾為等同變化的等效實施例，但 凡是未脫離本發明技術方案內容，依據本發明的技術實質對以上實施例所 作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。
權利要求
1、一種視訊處理方法，是由一發送裝置通過一網路傳輸數據給一接收裝置，其特徵在於所述的視訊處理方法包括以下步驟(a).發送裝置自一影像序列取得至少一標準解析度的原始影像，並偵測網路每秒傳輸數據量的一頻寬；(b).發送裝置判斷原始影像的編碼位元率未超出頻寬時直接輸出影像，若影像的編碼位元率超出頻寬時，將影像內容縮小並配合將其他區域以低數據量填補以輸出一編碼位元率不超出頻寬的中繼影像；以及(c).發送裝置編碼輸出步驟(b)的影像並通過網路傳送給接收裝置，且接收裝置解碼影像後將中繼影像的影像內容還原為標準解析度。
2、 如權利要求1所述的視訊處理方法，其特徵在於其中所述的步驟(b) 若影像的編碼位元率超出頻寬時，還產生一具有影像內容的解析度的還原 指令，並通過網路傳送給接收裝置。
3、 如權利要求1或2所述的視訊處理方法，其特徵在於其中所述的 步驟(b)的影像內容縮小方式是將中繼影像區分成一第 一 區域及一第二區 域，且第一區域加上第二區域的大小就是原始影像的標準解析度大小，且第 一區域的影像是由對影像內容作等比例縮小。
4、 如權利要求2所述的視訊處理方法，其特徵在於其中所述的步驟(c) 包括下述的子步驟(cl).接收裝置通過網路接收來自發送裝置的數據後，隨著不同時間動 態地將接收到的影像暫存至一儲存空間；及(c2).判斷是否收到還原指令，若未收到還原指令，則輸出標準解析度 的影像，若收到還原指令，則進行將影像內容還原為標準解析度的還原處理 程序。
5、 如權利要求4所述的視訊處理方法，其特徵在於其中所述的還原處 理程序包括下述的子步驟(dl).自儲存空間取得取得維持標準解析度的後一影像及維持標準解 析度的前一影像，將維持標準解析度的後一影像及維持標準解析度的前一 影像二者計算出 一第 一峰值訊雜比；(d2).取得維持標準解析度的前一影像，以及將後一影像依據還原指令 的解析度切割並放大成標準解析度以輸出一還原影像，然後將維持標準解 析度的前一影像及還原影像二者計算出 一第二峰值訊雜比；.判斷第一峰值訊雜比大於第二峰值訊雜比時，輸出標準解析度的 後一影像並接續步驟(d4),若第一峰值訊雜比不大於第二峰值訊雜比時，輸 出還原影像並接續步驟(d4);以及(d4).播放輸出影像。
6、 如權利要求5所述的視訊處理方法，其特徵在於其中所述的峰值訊 雜比的值定義為其中，MAX為一預定值，且MSE定義為I及K為要比較差異的兩張大小相同的影像；I(i)及K(i)為影像I在 像素i的表示值；及N為I的像素總個數亦等於K的像素總個數。
7、 一種視訊系統，包括一與一網路連線的發送裝置，其特徵在於所述的 發送裝置具有一影像取得模組，自 一影像序列取得至少一標準解析度的原始影像； 一頻寬監測模組，偵測網路每秒傳輸數據量的一頻寬； 一解析度處理模組，判斷原始影像的編碼位元率未超出頻寬時直接輸 出影像，若影像的編碼位元率超出頻寬時，將影像內容縮小並配合將其他 區域以低數據量填補以輸出一編碼位元率不超出頻寬的中繼影像，並輸出 一具有影像內容的解析度的還原指令；一視訊編碼器，編碼解析度處理模組輸出的影像為一影像編碼信號；以及一數據傳送模組，將影像編碼信號及還原指令傳送至網路。
8、 如權利要求7所述的視訊系統，其特徵在於其中所述的發送裝置的 解析度處理模組將影像內容縮小的方式是將中繼影像區分成一第 一 區域及 一第二區域，且第一區域加上第二區域的大小是原始影像的標準解析度大 小，第 一 區域的影像是由對影像內容作等比例縮小。
9、 如權利要求7所述的視訊系統，其特徵在於該視訊系統還包括一與 網路連線的接收裝置，接收裝置通過網路與發送裝置連線並接收來自發送 裝置的影像編碼信號及還原指令，且解碼影像編碼信號後利用還原指令將 影像內容還原為標準解析度。
10、 如權利要求9所述的視訊系統，其特徵在於其中所述的接收裝置包括一數據接收模組，通過網路接收來自發送裝置的影像編碼信號及還原 指令；一視訊解碼器，對於影像編碼信號加以解碼，且隨不同時間動態地將前 一張解碼影像並將其暫存於一儲存空間；一解析度還原模組，判斷是否收到還原指令，若未收到還原指令，則輸出標準解析度的影像，若收到還原指令，則進行將影像內容還原為標準解析度的還原處理程序；以及一影像播放模組，播放解析度還原模組輸出的影像。
11、 如權利要求1Q所述的視訊系統，其特徵在於其中所述的解析度還 原模組執行的還原處理程序包括下述的子步驟自儲存空間取得維持標準解析度的後一影像及維持標準解析度的前一 影像，將維持標準解析度的後一影像及維持標準解析度的前一影像二者計 算出一第一峰值訊雜比；取得維持標準解析度的前一影像，以及將後一影像依據還原指令的解 析度切割並放大成標準解析度以輸出一還原影像，然後將維持標準解析度 的前一影像及還原影像二者計算出一第二峰值訊雜比；及判斷第一峰值訊雜比大於第二峰值訊雜比時，輸出標準解析度的後一 影像至影像播放模組，若第一峰值訊雜比不大於第二峰值訊雜比時，輸出還 原影像至影像播放模組。
12、 如權利要求11所述的視訊系統，其特徵在於其中所述的峰值訊雜 比的值定義為其中，MAX為一預定值，且MSE定義為I及K為要比較差異的兩張大小相同的影像；I(i)及K(i)為影像I在 像素i的表示值；及N為I的像素總個數亦等於K的像素總個數。
全文摘要
本發明有關一種視訊處理方法及視訊系統。該視訊處理方法，包括(a)發送裝置自一影像序列取得至少一標準解析度的原始影像，並偵測網路每秒傳輸數據量的一頻寬；(b)發送裝置判斷原始影像的編碼位元率未超出頻寬時直接輸出影像，若影像編碼位元率超出頻寬時，降低影像內容解析度並配合將其他區域以低數據量填補以輸出一編碼位元率不超出頻寬的中繼影像；及(c)發送裝置編碼輸出步驟(b)的影像並通過網路傳送給接收裝置，且接收裝置解碼中繼影像後將影像內容還原為標準解析度。該視訊系統，包括一與網路連線的發送裝置，具有影像取得模組、頻寬監測模組、解析度處理模組、視訊編碼器及數據傳送模組。藉由本發明視訊系統無論頻寬高低皆能維持高解析度的影像品質輸出。
文檔編號H04N7/15GK101686382SQ20081016127
公開日2010年3月31日 申請日期2008年9月24日 優先權日2008年9月24日
發明者林志祥, 江啟逞 申請人:宏碁股份有限公司