能夠識別人臉的視頻編碼方法及裝置製造方法
2023-07-02 03:42:56 1
能夠識別人臉的視頻編碼方法及裝置製造方法
【專利摘要】本發明涉及領域攝像設備的圖像編碼領域。提供一種能夠識別人臉的視頻編碼方法，包括步驟：將圖像傳感器採集的信號轉化為YUV數據；YUV數據分別發送至第一緩存器和第二緩存器，送入第一緩存器的YUV數據為具有原始解析度的第一數據，送入第二緩存器的YUV數據為解析度被壓縮的第二數據；對第二數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息；對第一數據進行編碼，並根據區域信息提高第一數據中對應區域的宏塊的編碼碼率。本發明還提供一種能夠識別人臉的視頻編碼裝置。本發明的有益效果在於：由於第二數據的解析度低，執行人臉檢測算法時具有較快的運算速率，運算耗時顯著縮短。
【專利說明】能夠識別人臉的視頻編碼方法及裝置
【技術領域】
[0001]本發明涉及領域攝像設備的圖像編碼領域，尤其涉及一種能夠識別人臉的視頻編碼方法及裝置。
【背景技術】
[0002]很多監控場景都需要智能識別的功能，比如基於人臉檢測技術的人臉識別功能。人臉檢測是基於Adaboost算法，採用瀑布模型，算法中掃描圖像的區域有一個強分類器和多個弱分類器，強分類器由這一系列的弱分類器組成，每個弱分類器中包含了特定區域的圖像數據，然後分析圖像中是否存在人臉的特徵(眼、口、鼻、額頭、眉毛等)，若存在上述的特徵，那麼就將這些具有人臉特徵的分類器組合起來，如果組合起來的特徵符合人臉的特性，那麼就確定這個區域中有一張人臉，並且返回圖像中符合人臉特徵區域的像素起始坐標和該區域的大小。
[0003]但由於現在的網絡帶寬有限，當需要從監控圖像獲取更多信息的時候，因為圖像存在主要和次要的信息，相同帶寬下，需要更多更詳細的信息的時候，就必須突出顯示主要的信息，削弱次要的信息。例如，攝像機設備檢測到圖像視野範圍內有人臉，要將人臉更清晰地顯示就必須將人臉出現的主要區域的編碼質量提高，但是設備當前設置的總的碼率(帶寬)是固定的，一旦將部分區域中的編碼質量升高，那麼其他區域中的編碼質量就會降低。
[0004]智能編碼是一種基於H.264編碼規範的人臉檢測編碼方式，在圖像總碼率(總帶寬)不變的情況下，提高視頻圖像中客戶感興趣的區域的編碼質量，降低不感興趣的區域的編碼質量。但其編碼過程是針對原始視頻數據進行的，由於原始視頻的解析度非常高，因此智能編碼的過程需要耗費很長的時間，影響編碼的效率和人臉檢測算法的效率，如果原始視頻數據是高清的圖像(720P/1080P/4K)的話，其影響效果更明顯。
【發明內容】
[0005]本發明所要解決的技術問題是針對現有技術進行人臉檢測的智能編碼的時間過長的缺陷，提供一種能夠識別人臉的視頻編碼方法及裝置。
[0006]為了解決上述技術問題，本發明採用的技術方案為:一種能夠識別人臉的視頻編碼方法，包括步驟:
[0007]將圖像傳感器採集的信號轉化為YUV數據；
[0008]所述YUV數據分別發送至第一緩存器和第二緩存器，送入第一緩存器的YUV數據為具有原始解析度的第一數據，送入第二緩存器的YUV數據為解析度被壓縮的第二數據；
[0009]對所述第二數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息，所述區域信息包括人臉特徵所在區域的像素坐標和區域大小；
[0010]對所述第一數據進行編碼，並根據區域信息提高第一數據中對應區域的宏塊的編碼碼率。[0011]本發明採用的另一個技術方案為:一種能夠識別人臉的視頻編碼裝置，包括:
[0012]圖像處理器，用於將圖像傳感器採集的信號轉化為YUV數據；
[0013]傳輸單元，用於將所述YUV數據分別發送至第一緩存器和第二緩存器，送入第一緩存器的YUV數據為具有原始解析度的第一數據，送入第二緩存器的YUV數據為解析度被壓縮的第二數據；
[0014]人臉檢測單元，用於對所述第二數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息，所述區域信息包括人臉特徵所在區域的像素坐標和區域大小；
[0015]編碼單元，用於對所述第一數據進行編碼，並根據區域信息提高第一數據中對應區域的宏塊的編碼碼率。
[0016]本發明的有益效果在於:將採集到的原始視頻數據分為具有原始解析度的第一數據和降低解析度的第二數據，並分發至不同的緩存器進行處理，對第二數據執行人臉檢測算法得到具有人臉特徵的區域信息，結合該區域信息對第一數據進行編碼，得到提高人臉所在區域的碼率的編碼視頻，由於第二數據的解析度低，執行人臉檢測算法時具有較快的運算速率，運算耗時顯著縮短。
【專利附圖】
【附圖說明】
[0017]圖1為本發明的第一實施方式能夠識別人臉的視頻編碼方法的流程圖；
[0018]圖2為本發明的第二實施方式能夠識別人臉的視頻編碼裝置的結構框圖；
[0019]圖3為本發明的另一實施方式的示意圖。
[0020]主要元件符號說明:
[0021]10、圖像處理器；20、傳輸單元；30、人臉檢測單元；40、編碼單元；
[0022]50、網絡攝像機；51、圖像傳感器；52、ISP ;53、人臉檢測緩存；54、編碼緩存；55、DSP ;56、編碼晶片；57、碼流輸出單元；
[0023]60、顯示終端。
【具體實施方式】
[0024]為詳細說明本發明的技術內容、構造特徵、所實現目的及效果，以下結合實施方式並配合附圖詳予說明。
[0025]本發明最關鍵的構思在於:採用兩個緩存器對具有不同解析度的同一視頻分別進行人臉識別運算和編碼，進行人臉識別運算的視頻數據經過壓縮，可提升識別速率，減少用於識別人臉的耗時。
[0026]以下是實施方式中提及的英文縮寫的解釋:
[0027]YUV數據:一種顏色編碼數據。
[0028]ISP:1mage Signal Processor的縮寫，即圖像處理,主要作用是對前端圖像傳感器輸出的信號做後期處理，主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等。
[0029]DSP:Digital Signal Processor的縮寫,是一種專用於數位訊號處理的處理器。
[0030]請參閱圖1本發明的第一實施方式，一種能夠識別人臉的視頻編碼方法，包括步驟:[0031]S1、將圖像傳感器採集的信號轉化為YUV數據；
[0032]S2、所述YUV數據分別發送至第一緩存器和第二緩存器，送入第一緩存器的YUV數據為具有原始解析度的第一數據，送入第二緩存器的YUV數據為解析度被壓縮的第二數據；
[0033]S3、對所述第二數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息，所述區域信息包括人臉特徵所在區域的像素坐標和區域大小；
[0034]S4、對所述第一數據進行編碼，並根據區域信息提高第一數據中對應區域的宏塊的編碼碼率。
[0035]本實施方式的有益效果在於，與第一數據相比，第二數據僅具有解析度上的差別，第二數據在執行人臉檢測算法時具有較快的運算速率，運算耗時顯著縮短，通過第二數據計算出符合人臉特徵的宏塊的區域信息後，憑藉該信息對第一數據進行編碼，可直接對第一數據中具有人臉特徵的宏塊進行碼率提升。
[0036]具體地，所述第一數據的解析度為widthXheight，所述第二數據的解析度為fd_widthXfd_height,所述像素坐標的起始像素地址為(fd_x, fd_y),所述區域大小為(fd_size_x, fd_size_y)，則
[0037]所述「根據區域信息提高第一數據中對應區域的宏塊的編碼碼率」中還包含坐標換算步驟:
[0038]第一數據中具有人臉特徵的宏塊的位置坐標為
[0039]([width/fd_width]X fd_x, [height/fd_height]X fd_y)，
[0040]第一數據中具有人臉特徵的宏塊的區域大小為
[0041]([width/fd_width]X fd_size_x, [height/fd_height]X fd_size_y)。
[0042]通過該換算步驟可準確地將由第二數據中提煉出的具有人臉特徵的宏塊的區域信息對應到第一數據中，從而使對第一數據進行編碼時能夠直接提升該宏塊的碼率，時人臉特徵能夠更清晰地顯示。
[0043]優選地，作為對第一實施方式的改進，所述「對所述第一數據進行編碼」採用的是基於H.264編碼技術的宏塊編碼。H.264編碼技術是一種視頻壓縮標準，包含了一系列的新特徵，使得它比起以前的編解碼器不但能夠更有效的進行編碼，還能在各種網絡環境下的應用中使用，本實施例中採用該技術可以提高編碼後的視頻質量，特別是當圖像傳感器採集的YUV數據具有較高的解析度時(例如720P、1080P甚至4k的解析度)，採用該技術進行視頻編碼可同時具備更高的壓縮比例和更少的畫質損失。
[0044]優選地，所述第二數據的解析度不小於352 X 288，且更進一步地，該解析度可設置為720X480。第二數據的解析度越小，對其執行人臉檢測算法的速率越快、耗時越短，但是若將其設置為低於352X288的解析度，則會出現失真率高、人臉檢測樣本小、誤報率大的問題。而採用720X480的解析度可在執行算法的速率、耗時和對人臉識別的準確度上具有最佳的平衡。另外，第二數據的解析度也不宜過大，否則就失去對視頻分別進行處理的意義。
[0045]請參閱圖2本發明的第二實施方式，一種能夠識別人臉的視頻編碼裝置，包括圖像處理器10、傳輸單元20、人臉檢測單元30和編碼單元40。
[0046]所述圖像處理器10用於將圖像傳感器採集的信號轉化為YUV數據。[0047]所述傳輸單元20用於將所述YUV數據分別發送至第一緩存器和第二緩存器，送入第一緩存器的YUV數據為具有原始解析度的第一數據，送入第二緩存器的YUV數據為解析度被壓縮的第二數據。
[0048]所述人臉檢測單元30用於對所述第二數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息，所述區域信息包括人臉特徵所在區域的像素坐標和區域大小。
[0049]所述編碼單元40用於對所述第一數據進行編碼，並根據區域信息提高第一數據中對應區域的宏塊的編碼碼率。
[0050]一般地，圖像處理器10採用ISP。
[0051]本實施方式的有益效果在於，設置了兩個緩存器用來分別存儲第一數據和第二數據，與第一數據相比，第二數據僅具有解析度上的差別，第二數據在執行人臉檢測算法時具有較快的運算速率，運算耗時顯著縮短，通過第二數據計算出符合人臉特徵的宏塊的區域信息後，憑藉該信息對第一數據進行編碼，可直接對第一數據中具有人臉特徵的宏塊進行碼率提升。
[0052]進一步地，所述編碼單元40中還包含坐標換算模塊，所述坐標換算模塊用於計算:
[0053]第一數據中具有人臉特徵的宏塊的位置坐標為
[0054]([width/fd_width]X fd_x, [height/fd_height]X fd_y)，
[0055]第一數據中具有人臉特徵的宏塊的區域大小為
[0056]([width/fd_width]X fd_size_x, [height/fd_height]X fd_size_y)。
[0057]其中，widthXheight為第一數據的解析度，fd_widthXfd_height為第二數據的解析度，(fd_x,fd_y)為像素坐標的起始像素地址,所述(fd_size_x,fd_size_y)為區域大小。
[0058]通過該換算模塊的換算，可準確地將由第二數據中提煉出的具有人臉特徵的宏塊的區域信息對應到第一數據中，從而使對第一數據進行編碼時能夠直接提升該宏塊的碼率，時人臉特徵能夠更清晰地顯示。
[0059]優選地，作為對第二實施方式的改進，所述編碼單元40採用的是基於H.264編碼技術的宏塊編碼。H.264編碼技術是一種視頻壓縮標準，包含了一系列的新特徵，使得它比起以前的編解碼器不但能夠更有效的進行編碼，還能在各種網絡環境下的應用中使用，本實施例中採用該技術可以提高編碼後的視頻質量，特別是當圖像傳感器採集的YUV數據具有較高的解析度時，採用該技術進行視頻編碼可同時具備更高的壓縮比例和更少的畫質損失。
[0060]優選地，所述第二數據的解析度不小於352 X 288，且更進一步地，該解析度可設置為720X480。第二數據的解析度越小，對其執行人臉檢測算法的速率越快、耗時越短，但是若將其設置為低於352X288的解析度，則會出現失真率高、人臉檢測樣本小、誤報率大的問題。而採用720X480的解析度可在執行算法的速率、耗時和對人臉識別的準確度上具有最佳的平衡。另外，第二數據的解析度也不宜過大，否則就失去設置雙緩存對視頻分別進行處理的意義。
[0061]請參閱圖3，在實際應用中，對上述實施方式進行整合，以下述裝置和方法來實現。
[0062]本裝置包括網絡攝像機50和與網絡攝像機50通過網絡連接的顯示終端60，網絡攝像機50的組成包括圖像傳感器51、ISP52、人臉檢測緩存53、編碼緩存54、DSP55、編碼晶片56和碼流輸出單元57，其中編碼晶片55為標準的H.264編碼晶片。
[0063]上述裝置的使用方法如下:
[0064]1、圖像傳感器51採集YUV數據，並傳送至ISP圖像處理器52 ；
[0065]2、ISP52對YUV數據進行調整，即降低YUV數據的解析度，然後輸出原始YUV數據到編碼緩存54、輸出調整後的YUV數據到人臉檢測緩存53 ；
[0066]3、DSP55對人臉檢測緩存53中的數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息，並將該區域信息反饋到編碼晶片56 ；
[0067]4、編碼晶片56根據上述區域信息對編碼緩存54中的數據進行編碼，採用編碼晶片的Bit Control功能，提升具有人臉特徵的區域的宏塊的編碼質量，生成H.264視頻數據；
[0068]5、碼流輸出單元57將H.264視頻數據和區域信息通過網絡發送到顯示終端60，顯示終端60在顯示圖像時，不僅人臉特徵區域顯示更加清晰，而且突出了顯示圖像中出現人臉特徵的區域，例如根據區域信息在圖像渲染時對圖像中的人臉特徵區域加邊框突出顯
/Jn ο
[0069]綜上所述，本發明提供的能夠識別人臉的視頻編碼方法及裝置通過將採集到的原始視頻數據分為具有原始解析度的第一數據和降低解析度的第二數據，並分發至不同的緩存器進行處理，對第二數據執行人臉檢測算法得到具有人臉特徵的區域信息，結合該區域信息對第一數據進行編碼，得到提高人臉所在區域的碼率的編碼視頻，由於第二數據的解析度低，執行人臉檢測算法時具有較快的運算速率，運算耗時顯著縮短。並且，本發明採用了 H.264編碼技術，能在各種網絡環境下的應用中使用，可以提高編碼後的視頻質量，特別是當圖像傳感器採集的YUV數據具有較高的解析度時，採用該技術進行視頻編碼可同時具備更高的壓縮比例和更少的畫質損失。
[0070]以上所述僅為本發明的實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的【技術領域】，均同理包括在本發明的專利保護範圍內。
【權利要求】
1.一種能夠識別人臉的視頻編碼方法，其特徵在於，包括步驟: 將圖像傳感器採集的信號轉化為YUV數據； 所述YUV數據分別發送至第一緩存器和第二緩存器，送入第一緩存器的YUV數據為具有原始解析度的第一數據，送入第二緩存器的YUV數據為解析度被壓縮的第二數據； 對所述第二數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息，所述區域信息包括人臉特徵所在區域的像素坐標和區域大小； 對所述第一數據進行編碼，並根據區域信息提高第一數據中對應區域的宏塊的編碼碼率。
2.根據權利要求1所述的能夠識別人臉的視頻編碼方法，其特徵在於， 所述第一數據的解析度為widthXheight, 所述第二數據的解析度為fd_widthXfd_height, 所述像素坐標的起始像素地址為(fd_x，fd_y)， 所述區域大小為(fd_size_x, fd_size_y), 所述「根據區域信 息提高第一數據中對應區域的宏塊的編碼碼率」中還包含坐標換算步驟: 第一數據中具有人臉特徵的宏塊的位置坐標為 ([width/fd_width]X fd_x, [height/fd_height]X fd_y)， 第一數據中具有人臉特徵的宏塊的區域大小為
([width/fd_width]X fd_size_x, [height/fd_height]X fd_size_y)。
3.根據權利要求1所述的能夠識別人臉的視頻編碼方法，其特徵在於，所述「對所述第一數據進行編碼」採用的是基於H.264編碼技術的宏塊編碼。
4.根據權利要求1所述的能夠識別人臉的視頻編碼方法，其特徵在於，所述第二數據的解析度不小於352X288。
5.根據權利要求1所述的能夠識別人臉的視頻編碼方法，其特徵在於，所述第二數據的解析度為720X480。
6.一種能夠識別人臉的視頻編碼裝置，其特徵在於，包括: 圖像處理器，用於將圖像傳感器採集的信號轉化為YUV數據； 傳輸單元，用於將所述YUV數據分別發送至第一緩存器和第二緩存器，送入第一緩存器的YUV數據為具有原始解析度的第一數據，送入第二緩存器的YUV數據為解析度被壓縮的第二數據； 人臉檢測單元，用於對所述第二數據執行人臉檢測算法，獲取符合人臉特徵的宏塊的區域信息，所述區域信息包括人臉特徵所在區域的像素坐標和區域大小； 編碼單元，用於對所述第一數據進行編碼，並根據區域信息提高第一數據中對應區域的宏塊的編碼碼率。
7.根據權利要求6所述的能夠識別人臉的視頻編碼裝置，其特徵在於， 所述第一數據的解析度為widthXheight, 所述第二數據的解析度為fd_widthXfd_height, 所述像素坐標的起始像素地址為(fd_x，fd_y)， 所述區域大小為(fd_size_x, fd_size_y),所述編碼單元中還包含坐標換算模塊，所述坐標換算模塊用於計算 第一數據中具有人臉特徵的宏塊的位置坐標為 ([width/fd_width]X fd_x, [height/fd_height]X fd_y)， 第一數據中具有人臉特徵的宏塊的區域大小為
([width/fd_width]X fd_size_x, [height/fd_height]X fd_size_y)。
8.根據權利要求6所述的能夠識別人臉的視頻編碼裝置，其特徵在於，所編碼單元採用的是基於H.264編碼技術的宏塊編碼技術。
9.根據權利要求6所述的能夠識別人臉的視頻編碼裝置，其特徵在於，所述第二數據的解析度不小於352X288。
10.根據權利要求6所述的能夠識別人臉的視頻編碼裝置，其特徵在於，所述第二數據的解析度為720X480。
【文檔編號】H04N19/17GK103905821SQ201410167076
【公開日】2014年7月2日 申請日期:2014年4月23日 優先權日:2014年4月23日
【發明者】蔣承昌, 餘靈先, 彭明明, 夏永奇 申請人:深圳英飛拓科技股份有限公司