基於背景建模的靜態攝像機視頻壓縮方法與系統的製作方法

2023-05-10 17:17:41 1

專利名稱：基於背景建模的靜態攝像機視頻壓縮方法與系統的製作方法
技術領域：
本發明涉及數字媒體處理技術領域中的視頻壓縮技術，尤其涉及一種基於背景建
模的靜態攝像機視頻壓縮方法與系統。
背景技術：
視頻壓縮(也稱為視頻編碼)是數字媒體存儲與傳輸等應用中的關鍵技術之一， 其目的是通過消除冗餘信息來減少存儲與傳輸中的數據量。當前所有的主流視頻壓縮標準 都採用了基於塊的預測變換混合編碼框架，即通過預測、變換、熵編碼等方法消除視頻圖像 中的統計冗餘(包括空間冗餘、時間冗餘和信息熵冗餘)，以達到減少數據量的目的。目前 大多數視頻壓縮技術是面向非特定的應用，即適用於包括數位電視、網絡視頻、移動視頻等 等多種應用。近年來，隨著數字視頻應用範圍的擴展，針對專門應用(如視頻監控)的特點 和特殊需求開發視頻壓縮技術，成為倍受關注的研究方向。 以視頻監控應用為例，系統中絕大多數攝像機都採用固定位置部署。系統中的攝 像機分兩類，一類為靜態攝像機，它們的指向和焦距固定；另一類為PTZ攝像機，但也在大 部分時間裡採用靜態工作方式(即指向和焦距固定不變)。靜態攝像機以及靜態方式工作 的PTZ攝像機(以下統稱為"靜態攝像機")採集的視頻具有場景固定、沒有鏡頭切換的特 點。對於視頻監控應用，採集的視頻還具有時間較長的特點。合理地利用這些先驗知識，可 以進一步消除視頻中的信息冗餘，從而獲得更好的壓縮性能。 基於對象的視頻壓縮方法，採用背景建模、對象檢測、對象跟蹤等技術，將視頻中 的各個對象分離出來，通過對不同的對象採取不同的壓縮方式，進一步挖掘視頻中的信息 冗餘，從而提高壓縮效率。基於對象的視頻壓縮方法可以用於靜態攝像機採集的視頻的壓 縮，但也存在兩個問題其一，視頻中的對象檢測與分割仍然是計算機視覺和圖像處理領域 中一個未解決的問題，現有方法在檢測、分割的正確率和準確率方面仍不夠理想，成為向對 象的視頻壓縮方法的一個瓶頸；其二，上述對象檢測與分割方法的計算複雜性較高，不利於 編碼器的實現。 視頻前景/背景分割是與對象檢測與分割類似的問題，一般採用建立背景模型的 方法如建立背景，再分離出前景。在此基礎上，可以進一步採取對前景和背景分別編碼的方 法提高壓縮效率。然而，顯式地進行視頻前景/背景分割面臨著與對象檢測與分割類似的 困難。

發明內容
本發明的目的在於提供一種基於背景建模的靜態攝像機視頻壓縮方法與系統，基 於本發明，能夠利用視頻序列場景固定的特點，通過建立和更新描述了視頻中相對固定的 場景的模型，對視頻的固定場景部分和其餘部分分別進行壓縮處理，以更大程度上消除視 頻序列中的冗餘，獲得更好的壓縮性能。 本發明一種基於背景建模的靜態攝像機視頻壓縮方法，包括背景建模步驟，對輸入的視頻序列，選取一個訓練圖像集，建模生成背景圖像；背景圖像編碼步驟，採用編碼器， 對所述背景圖像進行編碼壓縮，生成背景圖像碼流；重構步驟，採用解碼器，對所述背景圖 像碼流進行解碼重構，以獲取重構的背景圖像；差分圖像計算步驟，對所述輸入視頻序列中 的圖像和所述重構的背景圖像進行差分，計算差分結果，依據所述差分結果獲取差分圖像； 差分圖像編碼步驟，對所述差分圖像進行編碼壓縮。 上述視頻壓縮方法，優選所述背景建模步驟中，還包括背景更新步驟，定期重新 選取所述輸入視頻序列中的訓練圖像集以更新生成的所述背景圖像。 上述視頻壓縮方法，優選所述背景更新步驟中，將所述輸入的視頻序列被劃分為
多個首尾相接的視頻段，每一視頻段使用同一幅重構的背景圖像來計算差分圖像；利用當
前視頻段中的圖像生成背景圖像，用於編碼下一個視頻段；對第一個視頻段，對指定數目圖
像進行編碼，以生成背景圖像，該背景圖像用於編碼所述第一視頻段中其餘的圖像。 上述視頻壓縮方法，優選所述重構步驟中採用的解碼器與所述與背景圖像編碼步
驟中的編碼器相對應。 上述視頻壓縮方法，優選所述差分圖像計算步驟中，還包括取值變換步驟，對所 述差分結果的取值範圍進行變換，以使差分圖像的格式符合所述差分圖像編碼步驟中的編 碼格式。 另一方面，本發明還提供了一種基於背景建模的靜態攝像機視頻壓縮系統，包括 背景建模模塊，用於對輸入的視頻序列，選取一個訓練圖像集，建模生成背景圖像；背景圖 像編碼模塊，用於採用編碼器，對所述背景圖像進行編碼壓縮，生成背景圖像碼流；重構模 塊，用於採用解碼器，對所述背景圖像碼流進行解碼重構，以獲取重構的背景圖像；差分圖 像計算模塊，用於對所述輸入視頻序列中的圖像和所述重構的背景圖像進行差分，計算差 分結果，依據所述差分結果獲取差分圖像；差分圖像編碼模i央，用於對所述差分圖像進行編 碼壓縮。 上述視頻壓縮系統，優選所述背景建模模塊中，還包括背景更新單元，用於定期重 新選取所述輸入視頻序列中的訓練圖像集以更新生成的所述背景圖像。 上述視頻壓縮系統，優選所述背景更新單元中，將所述輸入的視頻序列被劃分為
多個首尾相接的視頻段，每一視頻段使用同一幅重構的背景圖像來計算差分圖像；利用當
前視頻段中的圖像生成背景圖像，用於編碼下一個視頻段；對第一個視頻段，對指定數目圖
像進行編碼，以生成背景圖像，該背景圖像用於編碼所述第一視頻段中其餘的圖像。 上述視頻壓縮系統，優選所述重構模塊中採用的解碼器與所述與背景圖像編碼模
塊中的編碼器相對應。 上述視頻壓縮系統，優選所述差分圖像計算步驟中，還包括取值變換單元，對所 述差分結果的取值範圍進行變換，以使差分圖像的格式符合所述差分圖像編碼步驟中的編 碼格式。 本發明與基於對象的視頻壓縮方法以及基於前景/背景分割的視頻壓縮方法的 區別在於一方面僅僅使用計算複雜度低且技術上更為成熟的背景模型及差分方法描述場 景，避免了對象或前景/背景的分割；另一方面，仍然以塊為單位進行編碼，可以重複使用 已有的編碼技術。因而，顯著的提高了壓縮效率。 本發明的有效性由如下實驗結果證明在8個3000幀標清(720X576)或CIF(352X288)的室內/室外場景的靜止攝像機序列上，與通用配置的H. 264/AVC編碼系 統進行比較，在標清視頻上具有1. 20 2. 65dB的性能增益，對應於36. 1% 68. 0%的碼 率節省；在CIF視頻上具有1. 30 2. 90dB的性能增益，對應於37. 1% 91. 0%的碼率節 省。並且，本發明除了能夠提高編碼性能，還具有不增加編碼延遲，以及碼流本身包含了背 景圖像，有利於進一步處理的優點。


圖1為本發明基於背景建模的靜態攝像機視頻壓縮方法實施例的步驟流程圖；
圖2為本發明基於背景建模的靜態攝像機視頻壓縮方法中，視頻序列結構示意 圖； 圖3為本發明基於背景建模的靜態攝像機視頻壓縮方法中，最終編碼的碼流結構 圖； 圖4為本發明基於背景建模的靜態攝像機視頻壓縮系統實施例的結構示意圖；
圖5為本發明基於背景建模的靜態攝像機視頻壓縮系統實施例與解碼裝置相結 合的結構示意圖； 圖6為8個用於測試的序列的場景；
圖7a為圖6中，6b場景的率失真曲線；
圖7b為圖6中，6g場景的率失真曲線。
具體實施例方式
為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實 施方式對本發明作進一步詳細的說明。 本發明針對靜態攝像機採集的視頻序列提出了一種高效的壓縮方法和相應的系 統。這種方法和系統利用上述視頻序列場景固定的特點，通過建立和更新描述了視頻中相 對固定的場景的模型，對視頻的固定場景部分和其餘部分分別進行壓縮處理，從而更大程 度上消除視頻序列中的冗餘，獲得更好的壓縮性能。基於背景建模的靜態攝像機視頻壓縮 方法實施例 基於背景建模的靜態攝像機視頻壓縮方法的基本思想如下使用背景圖像和差分 圖像來分別描述視頻圖像的固定場景信息和其餘部分的信息，分別使用傳統編碼器壓縮這 些背景圖像和差分圖像。其中，背景圖像利用原始輸入視頻圖像經過背景建模得到，而差分 圖像由輸入圖像和重構的背景圖像經過差分計算得到。 參照圖1，圖1為本發明基於背景建模的靜態攝像機視頻壓縮方法實施例的步驟 流程圖，包括如下步驟 背景建模步驟IIO，對輸入的視頻序列，選取一個訓練圖像集，建模生成背景圖像； 背景圖像編碼步驟120，採用編碼器，對所述背景圖像進行編碼壓縮，生成背景圖像碼流; 重構步驟130，採用解碼器，對所述背景圖像碼流進行解碼重構，以獲取重構的背景圖像； 差分圖像計算步驟140，對所述輸入視頻序列中的圖像和所述重構的背景圖像進行差分，計 算差分結果，依據所述差分結果獲取差分圖像；差分圖像編碼步驟150，對所述差分圖像進 行編碼壓縮。
上述背景建模步驟110從原始輸入視頻中選擇的一個訓練圖像集，通過背景建模
算法生成背景圖像。為了適應長時間視頻採集過程中場景的變化(如光照等)，背景建模步
驟中，還包括背景更新步驟，定期重新選取訓練圖像集、進行背景建模、更新背景圖像以提
高編碼質量；其中，背景更新步驟依據圖2所示的序列結構確定訓練圖像集。 下面對圖2進行具體的說明輸入的視頻序列被劃分為多個首尾相接的視頻段，
每一視頻段使用同一幅重構的背景圖像來計算差分圖像；利用當前視頻段中的圖像生成背
景圖像，用於編碼下一個視頻段；對第一個視頻段，對指定數目圖像進行編碼，以生成背景
圖像，該背景圖像用於編碼所述第一視頻段中其餘的圖像。也就是說，一個視頻段是一段較
長的輸入視頻序列(幾百幀或更長)，整個輸入視頻序列可以看作是由一個個首尾相接的
視頻段構成。每個視頻段使用同一幅重構的背景圖像計算差分圖像。在編碼時，背景建模
模塊從當前視頻段中選取訓練圖像集，進行背景建模並生成一幅背景圖像，供下一個視頻
段編碼使用。從另一個角度看，當前視頻段編碼時，使用的是在前一個視頻段編碼的同時生
成的背景圖像，因此，整個編碼方法不會因為背景圖像的生成而帶來額外的延遲。 背景圖像編碼步驟120中，對背景圖像使用傳統的視頻/圖像壓縮技術進行壓
縮。可以獨立地使用有損或無損的、圖像或視頻的編碼方法編碼每一幅背景圖像；也可以把
所有背景圖像看作一個序列，使用傳統的視頻編碼算法如MPEG-l/2/4、 H. 263、 H. 264/AVC、
VC1、 AVS、 JPEG、 JPEG2000、 MJPEG進行編碼。參照圖3，圖3為本發明基於背景建模的靜態
攝像機視頻壓縮方法中，最終編碼的碼流結構圖。 重構步驟130中，採用與背景圖像編碼步驟120相對應的解碼器，將已編碼的背景 圖像解碼重構，用於計算差分圖像，從而保證編解碼匹配。 差分圖像計算步驟140中，將輸入的視頻圖像與重構的背景圖像進行差分計算， 並且通過對於差分結果的取值範圍進行變換，保證得到的差分圖像的格式符合差分圖像編 碼模塊的輸入格式，例如保證差分圖像的位深度與差分圖像編碼模塊所要求的一致。
差分圖像編碼步驟150中，對差分圖像使用傳統的視頻/圖像壓縮技術進行壓縮。 實現技術包括但不限於MPEG-l/2/4、 H. 263、 H. 264/AVC、 VC1、 AVS、 JPEG、 JPEG2000、 MJPEG。
另外，差分圖像碼流和背景圖像碼流可以複合在一起傳輸，也可以在不同信道分 別傳輸。 上述實施例利用視頻序列場景固定的特點，通過建立和更新描述了視頻中相對固 定的場景的模型，對視頻的固定場景部分和其餘部分分別進行壓縮處理，以更大程度上消 除視頻序列中的冗餘，獲得更好的壓縮性能。在8個3000幀標清(720X576)或CIF (352 X 288)的室內/室外場景的靜止攝像
機序列上，與通用配置的H. 264/AVC編碼系統進行比較，在標清視頻上具有1. 20 2. 65dB
的性能增益，對應於36. 1% 68. 0%的碼率節省；在CIF視頻上具有1. 30 2. 90dB的性
能增益，對應於37. 1% 91.0%的碼率節省。並且，本發明除了能夠提高編碼性能，還具有
不增加編碼延遲，以及碼流本身包含了背景圖像，有利於進一步處理的優點。 需要指出的是，視頻監控只是靜態攝像機採集視頻的典型應用之一，其它使用靜
態攝像機採集視頻的應用還包括視頻會議、智能房間等等，這些應用場景的視頻具有同樣
的特點，可以採用相同的技術提高視頻壓縮效率。 基於背景建模的靜態攝像機視頻壓縮系統實施例
參照圖4，圖4為本發明基於背景建模的靜態攝像機視頻壓縮系統實施例的結構 示意圖。包括背景建模模塊40，用於對輸入的視頻序列，選取一個訓練圖像集，建模生成 背景圖像；背景圖像編碼模塊42，用於採用編碼器，對所述背景圖像進行編碼壓縮，生成背 景圖像碼流；重構模塊44，用於採用解碼器，對所述背景圖像碼流進行解碼重構，以獲取重 構的背景圖像；差分圖像計算模塊46，用於對所述輸入視頻序列中的圖像和所述重構的背 景圖像進行差分，計算差分結果，依據所述差分結果獲取差分圖像；差分圖像編碼模塊48， 用於對所述差分圖像進行編碼壓縮。 參照圖5，圖5為本發明基於背景建模的靜態攝像機視頻壓縮系統實施例與解碼 裝置相結合的結構示意圖。圖5包括位於虛線左側的視頻壓縮系統和位於虛線右側的解碼 裝置，視頻壓縮系統包括接收輸入視頻序列的連背景建模模塊51、接收所述背景建模模塊 輸出的背景圖像的背景圖像編碼模塊52、連接所述視頻編碼模塊的重構模塊53、接收輸入 視頻序列和視頻解碼模塊輸出的重構背景圖像的差分圖像計算模塊54、接收差分圖像輸入 的差分圖像編碼模塊55。解碼裝置包括連接所述背景圖像編碼模塊的背景圖像解碼模塊 56、連接所述差分圖像編碼模塊的差分圖像解碼模塊57、連接所述背景圖像解碼模塊和差 分圖像解碼模塊並生成輸出圖像序列的差分圖像補償模塊58。下面對各個模塊的功能作用 進行詳細的描述。 背景建模模塊51，對輸入的視頻序列，選取一個訓練圖像集，建模生成一幅背景圖 像傳遞給視頻編碼模塊3進行壓縮。在第一個背景圖像生成之前，該模塊的輸出為O。以亮 度分量為例，所用建模方法包含但不局限於基於mean-shift算法的背景建模方法。
下面，對mean-shift算法進行詳細的說明。 首先，輸入訓練圖像集T二 (fi(x，yM，其中fi(x，y)是視頻段中訓練圖像集的一 幅圖像，i = 1 N， N為訓練圖像集的大小。第二、初始化用於聚類和mean-shift算法過程的聚類數Nc，閾值Tc，背景圖像
Bg，像素位置(x， y)處的像素值為Bg(x， y) 第三、建模 對於每個像素位置(x， y) 1.建立像素集合S = {Iji = 1 Nh其中Ii = fi(x，y)是選練圖像集T的第i
幅圖像在位置(x， y)處的亮度像素值。 2.使用k-mean算法將S劃分為Nc類。 3.對於k = 1 : Nc 3. 1.為第k個聚類計算平均值mk(x， y) 3. 2.從mk(x， y)開始，在集合S中完成一個mean shift算法過程，並得到收斂值 ck(x， y); 4.對於k = 1 : Nc
4. 1計算 wk(x， y) = |U|， U = {Cj(x， y) |ck(x， y)_Tc《Cj(x， y)《ck(x， y)+Tc， j = 1 Nc}，其中|U|表示U集合中的元素數。
5.令Bg(x，y) = ck(x， y)，其中"argf ax{W"X，y)lk=1~Nc};
輸出背景圖像Bg。 與背景圖像更新所需的序列結構相對應，每當輸入一個訓練圖像集，便重新進行 背景建模，生成一幅背景圖像，完成背景圖像更新。色度分量的建模過程是相同的。
背景圖像編碼模塊52，對背景建模模塊生成的背景圖像進行編碼壓縮，把編碼結 果寫入碼流並傳遞給背景圖像重構模塊。編碼所用的編碼器包含但不局限於MPEG-l/2/4、 H. 263、H. 264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG。編碼器的配置包含但不局限於獨立幀 內編碼每幅背景圖像、將所有背景圖像視作背景圖像序列使用IPPP結構編碼以及無損壓 縮每幅背景圖像等方式。 背景圖像重構模塊53，對背景圖像編碼模塊輸出的背景圖像碼流進行解碼重構， 傳遞重構的背景圖像給差分圖像計算模塊，使得編解碼匹配。 差分圖像計算模塊54，在背景建模完成後，計算輸入視頻序列1中的圖像和視頻 解碼模塊4傳遞過來的重構背景圖像之間的差分圖像，並把差分圖像傳遞給視頻編碼模塊 6進行編碼壓縮。以亮度差分計算為例，設s(x，y)是原始視頻圖像在位置(x，y)的一個8 比特亮度像素值，b(x， y)重構背景圖像在位置(x， y)的一個8比特亮度像素值，他們的差 值s(x，y)-b(x，y)位於區間[-255，255]，於是最終的計算方法包含但不局限於如下公式所 述兩種算法 r (x， y) = s (x， y) -b (x， y) +256. (1)
r(x，y) = (s (x， y)-b (x， y)) >> 1+128. (2) 其中公式(1)計算得到的r(x，y)為9比特，可以但不僅限於採用H. 264/AVC參考 編碼器Jml6.0對其進行編碼，公式(2)計算得到的r(x，y)為8比特，可以但不僅限於採用 AVS參考編碼器Rm52k對其進行編碼。由於第一次背景建模過程中，背景建模模塊的輸出結 果為零，剛開始的一組原始圖像(第一個訓練圖像集)經過本單元計算後的差分圖像仍為 原始圖像。 差分圖像編碼模塊55，對差分圖像計算模塊54生成的差分圖像進行編碼壓縮。選 擇的編碼算法要與差分圖像的輸出相一致，例如當差分圖像的輸出為9比特時，應該選擇 可以配置成9比特的視頻壓縮算法，如差分圖像計算模塊54中所述。 視頻壓縮端(即編碼端)可以利用如圖2所示的序列結構下進行背景更新，同時 保證整個編碼方案可以無延遲工作。背景建模模塊51中，背景圖像定期更新可以通過一 種新的視頻序列結構——視頻段進行說明和實現。 一個視頻段是一段較長的輸入視頻序列 (幾百幀或更長)，整個輸入視頻序列可以看作是由一個個首尾相接的視頻段構成。每個視 頻段使用同一幅重構的背景圖像計算差分圖像。在編碼時，背景建模模塊從當前視頻段中 選取訓練圖像集，進行背景建模並生成一幅背景圖像，供下一個視頻段編碼使用。從另一個 角度看，當前視頻段編碼時，使用的是在前一個視頻段編碼的同時生成的背景圖像，因此， 整個編碼方法不會因為背景圖像的生成而帶來額外的延遲。對於第一個視頻段，其中前若 幹圖像可以採用傳統的視頻編碼技術(包括但不限於MPEG-l/2/4、H. 263、H. 264/AVC、VC1、 AVS、 JPEG、 JPEG2000、MJPEG)進行編碼。在編碼這些圖像的同時，背景建模模塊從這些圖像 中選取訓練圖像集，生成第一個背景圖像並傳輸到解碼端。對於第一個視頻段中接下來的圖像，可以利用上述第一個背景圖像的重構圖像，生成差分圖像進行編碼。上述方法可以保 證整個序列開始編碼時，也不會因背景建模而產生額外的延遲。 與上述序列結構相對應，最終編碼的碼流結構如圖3所示。首先被編入碼流的是 直接編碼的第一個訓練圖像集。隨後是第一幅背景圖像的編碼碼流。接下來，則是第一個 視頻段的第一個訓練圖像集之外其他部分所對應的差分圖像編碼碼流。以後則交替得將每、流。
個視頻段編碼對應的背景圖像和差分圖像編入最終碼流
上述虛線左側的編碼系統產生的碼流可以由虛線右側的解碼裝置進行解碼，下面 對解碼裝置中的各個模塊進行詳細的說明。 背景圖像解碼模塊56，對背景圖像碼流進行解碼，傳遞解碼出的背景圖像給差分 圖像補償模塊。差分圖像解碼模塊57，對編碼端寫入的差分圖像碼流進行解碼，傳遞解碼出 的差分圖像給差分圖像補償模塊。差分圖像補償模塊58，對輸入的解碼背景圖像和差分圖 像實施補償運算，要求與編碼端的差分圖像計算模塊相匹配。以亮度分量為例，設b' (x， y)和r' (x， y)分別是解碼出的背景圖像和差分圖像在位置(x， y)處的像素值，則輸出圖 像在該位置的像素值c(x， y)可以按照公式(3)、 (4)進行解碼，公式(3)、 (4)分別與編碼 端的公式(1)、 (2)相匹配。
ro C(X,力= (3)
其中，r'
0
255
6'(x，力+ ,'(x，力+ 256
(x， y)為9比特像素值c
6'(x,力+ -256 < 0
6'(x,力+ ,(x，力-256 >255 0《6'(x,力+ r'(x,力-256 2 255
=〗255
6'(x,力+ (0"'(jc,力-128)《1)255 + 256 0W(x,力+ (O'(x，力-128)《1)^255 (4) 其中，r' (x， y)為8比特像素值。 下面，舉一個實例來說明本發明基於背景建模的靜態攝像機視頻壓縮系統。設定 輸入視頻為YUV4:2:0格式，設定視頻段長度為1000幀圖像。背景建模模塊51採用上述 mean-shift的方法，選擇每個視頻段末尾的120幅圖像作為訓練圖像集，閾值Tc設定為7， 聚類數Nc設為10，分別對亮度和各個色度分量進行背景建模，為下一個視頻段生成背景圖 像。對於第一個視頻段，選取前120幅圖像用於生成第一個背景圖像。同時，上述前120幅 圖像採用H. 264/AVC編碼器直接進行編碼。背景圖像編碼模塊採用8比特H. 264/AVC編碼 器，將背景圖像編碼為I幀。為了保證重構的背景圖像質量，從而提高編碼性能，編碼背景 圖像是採用小的QP(本實例中QP = 0)。背景圖像重構模塊採用8比特H. 264/AVC解碼器， 實現背景圖像的重構。差分計算模塊採用前述公式(1)所述的方法進行差分計算和取值區 間變換。差分圖像編碼模塊採用9比特H. 264/AVC編碼器，9比特之外的配置採用通用的編 碼器參數。背景圖像和差分圖像的碼流採用如圖4所示的方式複合，碼流的內容按順序為 直接編碼的前120幅圖像、第一個背景圖像、第一個視頻段其餘880幅差分圖像、第二個背景圖像、第二個視頻段的1000幀差分圖像、第三個背景圖像......。 採用上述實施例中的視頻壓縮系統，進行了如下性能測試。選取8個3000幀的室 內/室外場景的靜止攝像機序列進行測試，並與通用配置的H. 264參考編碼器JM16. 0的比 較。參照圖6，圖6a 圖6h為8個用於測試的序列的場景，其中，圖6a 6d為4個3000 幀標清(720X576)靜止攝像機序列，圖6e 6h為4個3000幀CIF (352X288)靜止攝像 機序列。 參照圖7a、圖7b，圖7a為圖6中，6b場景的率失真曲線，圖7b為圖6中，6g場景 的率失真曲線。7a和7b中的橫坐標表示測試場景序列的編碼比特率，單位為千比特每秒 (kbps)，縱坐標表示測試場景的編碼的峰值信噪比(PSNR)，單位為分貝(dB)。繪製不同方 法在峰值信噪比和比特率坐標系下的測試曲線是一種通用的編碼質量的客觀評價方法。
圖7a中，曲線a代表本發明視頻壓縮系統的性能，曲線b代表通用配置的H. 264 編碼器JM16. 0的壓縮性能，所示的兩條曲線說明了本發明的實例相對於通用配置的H. 264 編碼器JM16. O，在場景6b的測試序列下能夠實現約1. 20dB的的性能增益，約36. 1%的碼 率節省。 圖7b中，所曲線c代表本發明視頻壓縮系統的性能，曲線d代表通用配置的H. 264 編碼器JM16. 0的壓縮性能，所示的兩條曲線說明了本發明的實例相對於通用配置的H. 264 編碼器JM16. O，在場景6g的測試序列下能夠實現約1. 57dB的性能增益，約55. 8%的碼率 節省。 參照表一，表一為採用本發明的編碼系統與通用配置的H. 264圖6所示的在8個 序列上的比較結果，其中，PSNR為峰值信噪比，單位為分貝(dB)，是一種最普遍，最廣泛使
用的評價客觀編碼質量的測試方法。 表一
6a6b6c6d6e6f6g6h
PSNR增力口1. 421. 202. 650. 841. 681. 301. 572. 90
碼率節省-60. 7%-36. 1%-68. 0%-40. 7%-72. 4%37. 1%-55. 8%-91. 0% 可以看到，本發明可以在SD序列上實現1. 20 2. 65dB的性能增益、36. 1 % 68. OX的碼率節省，在CIF序列上實現1. 30 2. 90dB的性能增益、37. 1% 91. 0%的碼率 節省。 以上對本發明所提供的一種基於背景建模的靜態攝像機視頻壓縮方法與系統進 行了詳細介紹，本文中應用了具體實施例對本發明的原理及實施方式進行了闡述，以上實 施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術 人員，依據本發明的思想，在具體實施方式
及應用範圍上均會有改變之處。綜上所述，本說 明書內容不應理解為對本發明的限制。
1權利要求
一種基於背景建模的靜態攝像機視頻壓縮方法，其特徵在於，包括背景建模步驟，對輸入的視頻序列，選取一個訓練圖像集，建模生成背景圖像；背景圖像編碼步驟，採用編碼器，對所述背景圖像進行編碼壓縮，生成背景圖像碼流；重構步驟，採用解碼器，對所述背景圖像碼流進行解碼重構，以獲取重構的背景圖像；差分圖像計算步驟，對所述輸入視頻序列中的圖像和所述重構的背景圖像進行差分，計算差分結果，依據所述差分結果獲取差分圖像；差分圖像編碼步驟，對所述差分圖像進行編碼壓縮。
2. 根據權利要求1所述的視頻壓縮方法，其特徵在於，所述背景建模步驟中，還包括 背景更新步驟，定期重新選取所述輸入視頻序列中的訓練圖像集以更新生成的所述背景圖像。
3. 根據權利要求2所述的視頻壓縮方法，其特徵在於，所述背景更新步驟中，將所述輸 入的視頻序列被劃分為多個首尾相接的視頻段，每一視頻段使用同一幅重構的背景圖像來 計算差分圖像；利用當前視頻段中的圖像生成背景圖像，用於編碼下一個視頻段；對第一 個視頻段，對指定數目圖像進行編碼，以生成背景圖像，該背景圖像用於編碼所述第一視頻 段中其餘的圖像。
4. 根據權利要求1所述的視頻壓縮方法，其特徵在於，所述重構步驟中採用的解碼器 與所述與背景圖像編碼步驟中的編碼器相對應。
5. 根據權利要求1所述的視頻壓縮方法，其特徵在於，所述差分圖像計算步驟中，還包括取值變換步驟，對所述差分結果的取值範圍進行變換，以使差分圖像的格式符合所述 差分圖像編碼步驟中的編碼格式。
6. —種基於背景建模的靜態攝像機視頻壓縮系統，其特徵在於，包括 背景建模模塊，用於對輸入的視頻序列，選取一個訓練圖像集，建模生成背景圖像； 背景圖像編碼模塊，用於採用編碼器，對所述背景圖像進行編碼壓縮，生成背景圖像碼流；重構模塊，用於採用解碼器，對所述背景圖像碼流進行解碼重構，以獲取重構的背景圖像；差分圖像計算模塊，用於對所述輸入視頻序列中的圖像和所述重構的背景圖像進行差 分，計算差分結果，依據所述差分結果獲取差分圖像；差分圖像編碼模塊，用於對所述差分圖像進行編碼壓縮。
7. 根據權利要求6所述的視頻壓縮系統，其特徵在於，所述背景建模模塊中，還包括 背景更新單元，用於定期重新選取所述輸入視頻序列中的訓練圖像集以更新生成的所述背景圖像。
8. 根據權利要求7所述的視頻壓縮系統，其特徵在於，所述背景更新單元中，將所述輸 入的視頻序列被劃分為多個首尾相接的視頻段，每一視頻段使用同一幅重構的背景圖像來 計算差分圖像；利用當前視頻段中的圖像生成背景圖像，用於編碼下一個視頻段；對第一 個視頻段，對指定數目圖像進行編碼，以生成背景圖像，該背景圖像用於編碼所述第一視頻 段中其餘的圖像。
9. 根據權利要求6所述的視頻壓縮系統，其特徵在於，所述重構模塊中採用的解碼器與所述與背景圖像編碼模塊中的編碼器相對應。
10.根據權利要求6所述的視頻壓縮系統，其特徵在於，所述差分圖像計算步驟中，還包括取值變換單元，對所述差分結果的取值範圍進行變換，以使差分圖像的格式符合所述 差分圖像編碼步驟中的編碼格式。
全文摘要
本發明公開了一種基於背景建模的靜態攝像機視頻壓縮方法與系統。該方法包括對輸入的視頻序列，選取一個訓練圖像集，建模生成背景圖像；採用編碼器，對所述背景圖像進行編碼壓縮，生成背景圖像碼流；採用解碼器，對所述背景圖像碼流進行解碼重構，以獲取重構的背景圖像；對所述輸入視頻序列中的圖像和所述重構的背景圖像進行差分，計算差分結果，依據所述差分結果獲取差分圖像；對所述差分圖像進行編碼壓縮。本發明利用視頻序列場景固定的特點，通過建立和更新描述了視頻中相對固定的場景的模型，對視頻的固定場景部分和其餘部分分別進行壓縮處理，以更大程度上消除視頻序列中的冗餘，獲得更好的壓縮性能。
文檔編號H04N7/26GK101742319SQ20101003411
公開日2010年6月16日 申請日期2010年1月15日 優先權日2010年1月15日
發明者張賢國, 梁路宏, 高文, 黃倩, 黃鐵軍 申請人:北京大學