影像穩定方法及裝置、以及使用其的影像傳送與接收方法

2023-12-08 10:34:36 2

專利名稱：影像穩定方法及裝置、以及使用其的影像傳送與接收方法
技術領域：
本發明是有關於影像穩定方法及裝置、以及使用其的影像傳送與接收 方法，且特別是有關於運用臉部偵測技術的影像穩定方法及裝置、以及使 用其的影像傳送與接收方法。
背景技術：
隨著通信與網絡技術的結合，視訊通話也漸漸成為手機(mobile phone)
的重要加值功能，並形成為一股新興的通話潮流。通話雙方僅需啟用手機 的視訊通話功能，便能傳送彼此的影像，使得雙方在視訊通話的過程中， 不但能聽見對方的聲音，還能實時看見對方的影像。這樣的功能，非常便 於忙碌的現代人與身處遠方的家人或朋友聯絡，也無形中縮短了彼此的距 離。
一般而言，在進行視訊通話的時候，拍攝點會固定在自己的臉，然由 於使用者通常是將手機拿在手上來進行拍攝，因此拍攝到的畫面會產生不 想要的抖動。這種問題同樣也出現在其它具有攝影功能的手持式裝置、車 載攝影機之類的電子產品。針對這類問題，傳統的解決方法如圖l所示。
請參照圖1，其所示為已知的影像穩定(video image stabilization)裝置 及其耦接方式。在此圖中，標示104即為所述的影像穩定裝置，其包括有 移動估計(motion estimation)單元106及影像穩定單元108。移動估計單元 106用以接收攝影單元102所擷取到的動態影像，並估計此影像的移動向 量(motion vector)。影像穩定單元108則會從此影像的整個畫面中選擇一個 移動向量最小的區域，或是從中選擇多個移動向量較小的區域來作為固定 對象，將選定的區域的大小及位置固定，而其它未獲選的區域則根據移動 向量的估計結果施以適量的反向調整，進而獲取穩定的影像OUTPUT。
然而，由於在進行視訊通話時，無論是發話端或是受話端，最希望看 到的就是對方的臉，因此在拍攝人臉這個特殊應用時，由於在上述已知技術的解決策略上，並沒有特別去穩定影像中的臉部區域，以致於會產生人 臉抖動的問題，故穩定過後的影像並非是通話者想要的影像。

發明內容
本發明的目的是提供一種影像穩定方法，其可穩定一影像中的臉部區 域，解決影像的人臉抖動問題。
本發明的另一目的是提供一種影像穩定裝置，其可穩定一影像中的臉 部區域，解決影像的人臉抖動問題。
本發明的又一目的是提供一種影像傳送方法，其可穩定欲傳送的影像 中的臉部區域，解決影像的人臉抖動問題。
本發明的再一 目的是提供一種影像接收方法，其可穩定所接收到的影 像中的臉部區域，解決影像的人臉抖動問題。
為實現上述目的，本發明提出了一種影像穩定方法。在此方法中，首 先是對一影像進行臉部偵測，以取得此影像中的一臉部區域。接著，固定 上述臉部區域的大小及位置。
本發明還提出了一種影像穩定裝置，其包括有臉部偵測單元及影像穩 定單元。臉部偵測單元用以對一影像進行臉部偵測，以取得此影像中的一 臉部區域。影像穩定單元則用以固定上述臉部區域的大小及位置。
本發明還提出了一種影像傳送方法。在此方法中，首先是對一影像進 行臉部偵測，以取得此影像中的一臉部區域。接著，固定此臉部區域的大 小及位置。然後，壓縮上述已固定臉部區域的影像，以傳送至遠程。
本發明還提出了一種影像接收方法。在此方法中，首先是接收並解壓 縮一影像壓縮數據，以取得一影像。接著，對此影像進行臉部偵測，以取 得影像中的一臉部區域。然後，固定上述臉部區域的大小及位置，以獲得 一顯示影像。
依照本發明一實施例所述的影像穩定方法，其還包括估計上述影像的 移動向量，並根據移動向量的估計結果調整影像中，臉部區域以外的其它 區域。
依照本發明一實施例所述的影像穩定裝置，其還包括一移動估計單 元。此移動估計單元用以估計上述影像的移動向量，以將移動向量的估計
6結果輸出至影像穩定單元，使影像穩定單元據以調整影像中，臉部區域以 外的其它區域。 —
依照本發明一實施例所述的影像傳送方法，其中在壓縮上述已固定臉 部區域的影像前，還包括估計此影像的移動向量，並根據移動向量的估計 結果調整影像中，臉部區域以外的其它區域。
依照本發明一實施例所述的影像接收方法，其中在固定臉部區域的大 小及位置時，還包括估計上述影像的移動向量，並根據移動向量的估計結 果調整影像中，臉部區域以外的其它區域，以獲得顯示影像。
本發明因對影像進行臉部偵測，以取得此影像中的一臉部區域，然後 再固定此臉部區域的大小及位置，故可穩定影像中的臉部區域，解決影像 的人臉抖動問題。此外，若是再搭配估計上述影像的移動向量，並根據移 動向量的估計結果調整影像中，臉部區域以外的其它區域，便可得到更佳 的影像。


圖1所示為一已知的影像穩定裝置及其耦接方式；
圖2所示為依照本發明一實施例的影像穩定裝置及其耦接方式；。
圖3所示為依照本發明一實施例的影像穩定方法的流程；
圖4所示為依照本發明一實施例的影像傳送方法的流程；
圖5所示為依照本發明一實施例的影像接收方法的流程。
具體實施例方式
為讓本發明的上述和其它目的、特徵和優點能更明顯易懂，下文特舉 較佳實施例，並配合附圖作詳細說明如下。
圖2所示為依照本發明一實施例的影像穩定裝置及其耦接方式。在此 圖中，標示204即為所述的影像穩定裝置，其主要包括有臉部偵測單元208 及影像穩定單元210，此外，還包括有移動估計單元206。臉部偵測單元 208用以對攝影單元202所擷取到的動態影像進行臉部偵測(face detection),以取得此影像中的一臉部區域。移動估計單元206則用以估計 此影像的移動向量(motion vector),以產生移動向量的估計結果。至於影像穩定單元210，其用以固定上述臉部區域的大小及位置，並依據移動向量 的估計結果調整此影像中，臉部區域以外的其它區域，進而獲取穩定的影 像OUTPUT 。
在此例中，移動估計單元206估計移動向量的方式，可以是採用估計 此影像的區域移動向量(local motion vector)及全域移動向量(global motion vector)的方式來實現，亦或是採用其它可行的估計方式來實現，並無特殊 限定。而臉部偵測單元208所採用的臉部偵測方式，可以是利用偵測人臉 的五官特徵，例如偵測眼睛、鼻子、嘴巴...等特徵來取得影像中的臉部區 域，也可以是利用偵測顏色的特徵，例如偵測膚色、發色...等特徵來取得 影像中的臉部區域，甚至是利用偵測紋理、形狀...等其它方式來取得所需 的臉部區域，也並無特殊限定。
至於上述的影像穩定單元210，其固定臉部區域的位置的方式，可以 是將臉部區域固定在影像的畫面上的原獲取位置上，也可以是將臉部區域 固定在影像的畫面上的任何一預設位置。然而，在視訊通話的應用中，最 理想的方式，就是將臉部區域固定在影像的畫面中央。而影像穩定單元210
固定臉部區域的大小的方式，可以是將臉部區域固定在原獲取大小，也可 以是將臉部區域的大小與影像的整個畫面的大小固定在一預設比例，亦或 者是將臉部區域的大小固定在一預設面積。舉例來說，在視訊通話中，最 希望看到的就是大小及位置皆穩定的人臉，因此可將影像穩定單元210設 計成能將臉部區域固定在影像的畫面中央，且臉部區域的大小也與整個畫 面維持一定比例，因此就不會有人臉抖動的情形發生。換句話說，無論視 訊通話中的手機怎麼晃動，此影像穩定單元210都可將偏移的臉部區域拉 回畫面中央，並利用縮放(zoomin/zoomout)臉部區域的方式將其大小固定 住。
此外，當臉部偵測單元208對上述影像進行臉部偵測，因而取得多個 臉部區域時，那麼影像穩定單元210便會選擇這些臉部區域的其中的一個 來作為固定對象，而其餘的臉部區域則視為背景。而影像穩定單元210選 擇固定對象的方式，可以是選擇最大的臉部區域、於畫面最中央的臉部區 域或符合一預設臉孔的臉部區域來作為固定對象，也可以是依據其它的預 設條件來選擇其中一臉部區域來作為固定對象。利用上述操作，可以歸納出一些基本的操作步驟，如圖3所示。圖3 所示為依照本發明一實施例的影像穩定方法的流程。在此方法中，首先是 對一影像進行臉部偵測，以取得此影像中的一臉部區域(如步驟S302所 示)。接著，固定上述臉部區域的大小及位置(如步驟S304所示)。如此一 來，便可穩定此影像中的臉部區域，解決影像的人臉抖動問題。若欲取得 更佳的影像質量，則可再估計此影像的移動向量，並根據移動向量的估計 結果調整上述影像中，臉部區域以外的其它區域(如步驟S306所示)。
若欲傳送拍攝到的影像，則其基本操作步驟如圖4所示。圖4所示為 依照本發明一實施例的影像傳送方法的流程。在此方法中，首先也是對一 影像進行臉部偵測，以取得此影像中的一臉部區域(如步驟S402所示)。接 著，固定上述臉部區域的大小及位置(如步驟S404所示)。然後，壓縮上述 己固定臉部區域的影像，以傳送至一遠程(如步驟S406所示)。如此一來， 便可在傳送影像之前，先行穩定此影像中的臉部區域，解決影像的人臉抖 動問題。當然，若欲取得更佳的影像質量，則可在壓縮上述己固定臉部區 域的影像前，估計上述影像的移動向量，並根據移動向量的估計結果調整 影像中，臉部區域以外的其它區域。
若欲接收對方所拍攝到的影像，然對方卻沒有穩定影像中的臉部區域 的功能，則其基本操作步驟如圖5所示。圖5所示為依照本發明一實施例 的影像接收方法的流程。在此方法中，首先是接收並解壓縮一影像壓縮數 據，以取得一影像(如步驟S502所示)。接著，對此影像進行臉部偵測，以 取得影像中的一臉部區域(如步驟S504所示)。然後，固定臉部區域的大小 及位置，以獲得一顯示影像(如步驟S506所示)。如此一來，便可在取得對 方所傳送的影像之後，先行穩定此影像中的臉部區域，解決影像的人臉抖 動問題，然後再顯示出來。當然，若欲取得較佳的影像，則可在固定臉部 區域的大小及位置時，估計上述影像的移動向量，並根據移動向量的估計 結果調整影像中，臉部區域以外的其它區域，以獲得所需的顯示影像。
綜上所述，本發明因對影像進行臉部偵測，以取得此影像中的一臉部 區域，然後再固定此臉部區域的大小及位置，故可穩定影像中的臉部區域， 解決影像的人臉抖動問題。此外，若是再搭配估計上述影像的移動向量， 並根據移動向量的估計結果調整影像中，臉部區域以外的其它區域，便可
9得到更佳的影像。當然，本發明除了可應用在手機、其它具有攝影功能的 手持式裝置及車載攝影機之類的電子產品之外，亦可應用在其它需要實時 傳送影像的相關領域。
雖然本發明已以較佳實施例描述如上，然其並非用以限定本發明，本 領域技術人員在不脫離本發明的精神和範圍內，當可作些許得更動與潤 飾，因此本發明的保護範圍應當以權利要求書所界定的內容為準。
權利要求
1、一種影像穩定方法，其特徵是，包括對影像進行臉部偵測，以取得上述影像中的臉部區域；以及固定上述臉部區域的大小及位置。
2、 根據權利要求1所述的影像穩定方法，其特徵是，上述影像穩定 方法包括估計上述影像的移動向量，並根據上述移動向量的估計結果調整 上述影像中，上述臉部區域以外的其它區域。
3、 根據權利要求2所述的影像穩定方法，其特徵是，上述移動向量 的估計方式包括估計上述影像的區域移動向量及全域移動向量。
4、 根據權利要求1所述的影像穩定方法，其特徵是，當對上述影像 進行臉部偵測，因而取得多個臉部區域時，還選擇上述這些臉部區域的其 中一個來作為固定對象，而其餘的臉部區域則視為背景。
5、 根據權利要求4所述的影像穩定方法，其特徵是，選擇最大的臉 部區域、於畫面最中央的臉部區域或符合預設臉孔的臉部區域來作為固定 對象。
6、 根據權利要求1所述的影像穩定方法，其特徵是，固定上述臉部 區域的位置的方式，包括將上述臉部區域的位置固定在上述影像的畫面中 央。
7、 根據權利要求1所述的影像穩定方法，其特徵是，固定上述臉部 區域的大小的方式，包括將上述臉部區域的大小與上述影像的整個畫面的 大小固定在預設比例。
8、 根據權利要求1所述的影像穩定方法，其特徵是，固定上述臉部 區域的大小的方式，包括是將上述臉部區域的大小固定在預設面積。
9、 一種影像穩定裝置，其特徵是，包括臉部偵測單元，用以對影像進行臉部偵測，以取得上述影像中的臉部 區域；以及影像穩定單元，用以固定上述臉部區域的大小及位置。
10、 根據權利要求9所述的影像穩定裝置，其特徵是，上述影像穩定裝置還包括移動估計單元，用以估計上述影像的移動向量，以將上述移動向量的 估計結果輸出至上述影像穩定單元，使上述影像穩定單元據以調整上述影 像中，上述臉部區域以外的其它區域。
11、 根據權利要求10所述的影像穩定裝置，其特徵是，上述移動估 計單元估計上述移動向量的方式包括估計上述影像的區域移動向量及全 域移動向量。
12、 根據權利要求9所述的影像穩定裝置，其特徵是，當上述臉部偵 測單元對上述影像進行臉部偵測，因而取得多個臉部區域時，上述影像穩 定單元還選擇上述這些臉部區域的其中一個來作為固定對象，而其餘的臉 部區域則視為背景。
13、 根據權利要求12所述的影像穩定裝置，其特徵是，上述影像穩 定單元選擇最大的臉部區域、於畫面最中央的臉部區域或符合預設臉孔的 臉部區域來作為固定對象。
14、 根據權利要求9所述的影像穩定裝置，其特徵是，上述影像穩定 單元固定上述臉部區域的位置的方式，包括將上述臉部區域的位置固定在 上述影像的畫面中央。
15、 根據權利要求9所述的影像穩定裝置，其特徵是，上述影像穩定 單元固定上述臉部區域的大小的方式，包括將上述臉部區域的大小與上述 影像的整個畫面的大小固定在預設比例。
16、 根據權利要求9所述的影像穩定裝置，其特徵是，上述影像穩定 單元固定上述臉部區域的大小的方式，包括將上述臉部區域的大小固定在 預設面積。
17、 一種影像傳送方法，其特徵是，包括 對影像進行臉部偵測，以取得上述影像中的臉部區域； 固定上述臉部區域的大小及位置；以及 壓縮己固定上述臉部區域的上述影像，以傳送至遠程。
18、 根據權利要求17所述的影像傳送方法，其特徵是，在壓縮已固 定上述臉部區域的上述影像前，上述影像傳送方法還包括估計上述影像的 移動向量，並根據上述移動向量的估計結果調整上述影像中，上述臉部區 域以外的其它區域。
19、 一種影像接收方法，其特徵是，包括接收並解壓縮影像壓縮數據，以取得影像；對上述影像進行臉部偵測，以取得上述影像中的臉部區域；以及 固定上述臉部區域的大小及位置，以獲得顯示影像。
20、 根據權利要求19所述的影像接收方法，其特徵是，在固定上述 臉部區域的大小及位置時，上述影像接收方法還包括估計上述影像的移動 向量，並根據上述移動向量的估計結果調整上述影像中，上述臉部區域以 外的其它區域，以獲得上述顯示影像。
全文摘要
一種影像穩定方法及裝置、以及使用其的影像傳送與接收方法。在此影像穩定方法中，首先是對一影像進行臉部偵測，以取得此影像中的一臉部區域。接著，固定此臉部區域的大小及位置。據此，可解決影像中的人臉抖動問題。
文檔編號H04N5/14GK101668114SQ200810215860
公開日2010年3月10日 申請日期2008年9月5日 優先權日2008年9月5日
發明者簡演龍 申請人:華碩電腦股份有限公司