一種視頻壓縮採集系統的製作方法
2023-05-16 03:21:21
一種視頻壓縮採集系統的製作方法
【專利摘要】本實用新型涉及一種視頻壓縮採集系統。景物通過物鏡成像於無源光信號調製器件的調製面，高精度位移裝置使無源光信號調製器件產生精密位移及連續變換的調製效應，景物的視頻信號經無源光信號調製器件的變換調製，再由面陣探測器完成積分和採集，經面陣探測器採集的壓縮圖像信號可重建並獲得景物的原始視頻信號。採用本實用新型技術方案，解決了高幀率視頻採集數據採樣率高、難以在時域實現數據壓縮的問題。本實用新型通過信號在時域的壓縮大幅減少了高幀率視頻採集的數據量，無需額外耗費光電信號處理所需的電功率與數據頻帶，具有數據壓縮率可調、利於實現視頻圖像修復的優點，尤其適用於高解析度高幀頻視頻信號的採集。
【專利說明】一種視頻壓縮採集系統
【技術領域】
[0001]本實用新型涉及一種壓縮成像裝置，特別涉及一種視頻壓縮採集系統。
【背景技術】
[0002]遙感成像、機器視覺、生物成像等諸多領域的應用發展對高幀頻高解析度圖像連續採集技術提出了新的要求。在過往十年中，隨著探測器性能和圖像採集技術的不斷提升，數字相機單幅圖像的像素數由「兆」(百萬)量級邁入「吉」(十億)量級，圖像幀頻由每秒百幀突破每秒千幀達到每秒萬幀，這使大陣列圖像的高頻採集所獲視頻的數據率達到每秒「艾」(百億)像素的量級。如此高的數據率給系統帶寬和存儲容量等數據管理資源帶來極大負擔，高帶寬的數據輸出和存儲又增大了成像系統所需耗費的電功率，這使高解析度高幀率的視頻採集技術難以被應用於資源受限的平臺，其實際應用能力受到了限制。
[0003]為克服大數據率成像的數據管理問題，先前技術在數據傳輸和存儲兩端對其進行壓縮和解壓縮，這在一定程度上減輕了數據管理資源面臨的巨大負擔。然而，額外的數據壓縮和數據解壓過程需通過特定的數據處理模塊予以實現，後者提高了系統設計和構成的複雜度，增加了硬體開銷，此外，數據的壓縮和解壓進一步增加了成像數據的處理耗時和功率開銷。
[0004]壓縮感知技術在過去十年得到了持續研究和廣泛關注。在本發明作出之前， 文獻「Single-Pixel Imaging via Compressive Sampling，，(IEEE SIGNALPROCESSING MAGAZINE, MARCH 2008,83-91, 2008)和「 Development of a DMD-basedCompressive Sampling Hyperspectral Imaging (CS-HSI) System，， (Proc.0f SPIE,7932，793201，2013)報導了將成像技術與壓縮感知技術融合，成功研製了種類繁多的壓縮成像系統。壓縮成像系統首先對景物的光學信息進行一定的預處理，再將目標信息投射至面陣、線陣直至點探測器上，成像信息經空間維的壓縮後，探測器採集到的是關於景物原始信息的壓縮圖像，基於壓縮圖像利用最優化算法可對目標原始信息進行重建。近年來，壓縮成像從最初的灰度成像拓展至彩色成像、光譜成像等方向，並已被成功應用於偏振成像、層析成像等應用領域。
[0005]中國發明專利「基於分離式二維壓縮感知理論的壓縮成像系統」(CN102821236A)，該成像系統採用順序結構，將圖像通過聚焦透鏡成像於數字微鏡器件DMD，由構造的隨機行測量矩陣控制DMD的微鏡角度對圖像的行信息進行處理；將獲取的行信息通過微透鏡陣列聚焦於線陣CMOS圖像傳感器上，由構造的隨機列測量矩陣控制CMOS傳感器像素讀取對圖像的列信息進行處理，至此實現一次成像過程，通過一定次數的成像過程獲取圖像的壓縮信息，完成整個壓縮成像。所述方法的不足主要有兩點:一是其與現有眾多基於壓縮感知的壓縮成像方法一樣，實現了圖像信息在空間維的壓縮，但無法實現連續視頻圖像數據在時間維的壓縮，二是其選取了數字微鏡器件(DMD)實現圖像信息的預處理，這需要額外耗費巨大的電功率和信號帶寬。中國發明專利「基於壓縮感知的高光譜成像儀及成像方法」(CN101893552A)，成像儀包括透鏡組、色散元件、空間光調製器、線列探測器和外圍電路；被採集的線光源經過色散元件在空間上分開形成由空間維和光譜維組成的面光源，該面光源通過空間光調製器調製後在空間維的方向上重新匯聚，形成由光譜維組成的線光源，由線列探測器完成採樣和量化；其成像方法是利用得到的高光譜壓縮觀測向量，通過分組及重構，得到高光譜圖像。所述的方法實現了光譜數據立方體中一維空間信號和一維光譜信號的壓縮，使三維光譜數據立方體得以降維至一維採集，但僅實現了採集目標的光譜圖像，無法對連續視頻信號在時間域的壓縮及採集。
[0006]現有的壓縮成像技術在成像過程中實現了數據的並行壓縮，大幅減小了成像數據量，在機器視覺、生物成像等領域展現出一定的應用能力。然而，現有壓縮成像技術具有如下幾處缺陷:1.當前的壓縮成像技術主要被用以實現成像信息在空間域或頻域的壓縮，但尚未實現信息在時間維的壓縮，這使現有壓縮成像技術僅能用以採集離散圖像，無法實現連續視頻的獲取，難以滿足現有應用亟需的高幀頻特別是超高幀頻的視頻採集需要；2.現有壓縮成像裝置藉助於空間光調製器、數字微鏡器件等光電器件實現對景物光學信息的預處理，對上述面陣器件進行的選址和顯示控制需要耗費大量控制信息，上述新增的控制數據開銷折損了壓縮成像技術本身對數據採集量的降低效用，當器件面陣大、像素個數多時，上述折損效應愈加明顯；3.現有壓縮裝置光電器件的驅動和顯示在較大程度上增加了系統的功率開銷，這使得現有壓縮成像技術的使用受限於功率有限的應用平臺(如遙感平臺、野外工程車輛等)；4.當採用現有壓縮成像技術對運動目標進行成像時，難以依據目標的運動狀態開展有效的運動補償，所獲圖像具有運動模糊，這不利於空間目標探測、產品流水在線監測、生物瞬態現象等運動目標的場景拍攝。
【發明內容】
[0007]本實用新型所要解決的問題是針對現有壓縮成像技術存在的不足，通過信號在時域的壓縮大幅減少高幀率視頻採集的數據量，提供一種具有數據壓縮率可調，有利於實現視頻圖像修復，尤其適用於高解析度高幀頻視頻信號採集的視頻壓縮採集系統。
[0008]實現本實用新型發明目的的技術方案是提供一種視頻壓縮採集系統，它包括物鏡、無源光信號調製器件、高精度位移裝置、位移裝置驅動器、聚焦鏡頭和面陣探測器；景物經物鏡成像於無源光信號調製器件，無源光信號調製器件對景物的光信號進行空間調製；面陣探測器的焦平面與無源光信號調製器件的調製平面，通過聚焦透鏡呈共軛成像關係，在面陣探測器的焦平面上採集得到經調製的視頻圖像的壓縮積分圖像；所述的高精度位移裝置為微米級位移步長的直流步進電機，所述的無源光信號調製器件為透射式或反射式的編碼掩摸板；所述的面陣探測器為灰度探測器。
[0009]本實用新型技術方案中，所述的面陣探測器為面陣CCD探測器或面陣CMOS探測器。所述的編碼掩摸板，其調製圖案為二元化的編碼矩陣或隨機矩陣。
[0010]所述的高精度位移裝置其位移精度高於或等於探測器像元尺寸；高精度位移裝置的位移總長度大於或等於調製器件的調製單元尺寸與視頻採集壓縮率的乘積；高精度位移裝置完成單次位移的時間大於或等於採集視頻的幀間間隔與視頻採集壓縮率的乘積。
[0011]本實用新型提供的視頻壓縮採集系統，其視頻壓縮的採集方法可採用如下步驟:
[0012](I)成像配準步驟
[0013]將景物通過物鏡成像於無源光信號調製器件的調製單元陣列上，經調製單元陣列調製的出射光由聚焦鏡頭聚焦至面陣探測器焦平面；
[0014](2) 一個數據採集周期內的視頻壓縮採集步驟
[0015]無源光信號調製器件與位移裝置連接，驅動器控制位移裝置在小於或等於面陣探測器單次曝光採集幀數對應的總時間間隔內移動預設的距離，位移裝置每完成一次位移，無源光信號調製器件的調製圖案得以改變；
[0016]面陣探測器在預設的數據採集周期內完成一次或若干次的曝光，在面陣探測器的曝光間隔內，面陣探測器的焦平面上採集經調製圖案調製的景物的視頻信號；每次曝光採集得到曝光時間內相應的調製圖像的積分壓縮圖像；
[0017](3) 一個數據採集周期內的視頻重建步驟
[0018]基於一個數據採集周期內得到的所有累積壓縮圖像，採用圖像識別算法，得到景物在對應的這個數據採集周期內具有的運動矢量；
[0019]採用最優化算法，重建一個對應數據採集周期內景物的原始視頻圖像；
[0020](4)數據採集周期內步驟的重複
[0021 ] 重複步驟(2 )和(3 )，直至完成所需視頻的壓縮採集與重建。
[0022]在步驟(2 )的視頻壓縮採集步驟中，經偶數個數據採集周期後位移裝置回到位移初始位置。在步驟(3)的視頻重建步驟中，採用運動補償算法，消除重建視頻圖像的運動模糊現象。
[0023]本實用新型提供的視頻壓縮採集系統，能通過光學壓縮手段直接實現視頻數據的並行壓縮和採集，繼而高保真的重建原始視頻數據。它能大比率壓縮視頻數據採集量，減輕視頻採集的數據管理負擔，特別適用於高解析度及高幀頻參數下的視頻採集要求。該視頻採集系統硬體開銷低，無需消耗額外的光電信號處理功率和帶寬，能依據視頻採集要求實現可變化的數據壓縮率，並能有效消除運動目標引起的視頻圖像運動模糊。
[0024]本實用新型提供的視頻壓縮採集系統，將景物通過物鏡成像於無源光信號調製器件的調製單元陣列上，經調製單元陣列調製的出射光由聚焦鏡頭聚焦至面陣探測器焦平面；驅動器控制位移裝置在滿足幀頻要求的時間間隔內移動預設的距離，完成一次位移後，用以實現空間調製的調製圖案發生變換，其對景物實施調製後的光信號被持續積分至焦平面。探測器在預設的曝光積分時間內逐次完成曝光，每次曝光獲得的是積分時間內若干調製圖像的累積信號。計算機採集該信號後，經數據解算可重建特定幀數的視頻圖像，在數據重建過程中加以修復算法還可消除視頻圖像中可能存在的運動模糊。
[0025]該視頻壓縮採集系統中，無源光信號調製器件的作用是實現入射光信號的空間調製，經特定工藝製備的編碼掩摸板即可滿足要求，調製單元的尺寸可經視頻採集壓縮率和視頻圖像解析度的綜合考慮後設計並確定，其上調製圖案一般選自二元化的特定編碼圖案或隨機圖案，選用無源器件消除了信號調製所需的功率及帶寬損耗。所述高精度位移裝置的作用是保證與其連接的無源光信號調製器件在視頻採集期間能實現連續的精密位移，高精度位移裝置的位移步長需比調製器件的調製單元尺寸低一至二個數量級，其單次位移所需時間應滿足視頻幀頻要求，高精度直流步進電機可滿足要求。所述位移裝置驅動器的作用是為高精度位移裝置提供位移驅動和控制信號。所述聚焦鏡頭的作用是將調製信號聚焦至面陣探測器的焦平面上。所述面陣探測器為灰度探測器，一般選自面陣CCD探測器或面陣CMOS探測器，其積分時間和採樣間隔應能滿足視頻壓縮採集的壓縮率要求。
[0026]與現有技術相比，本實用新型具有如下的有益效果:
[0027]1、能實現高解析度高幀頻視頻的連續壓縮採集，在視頻採集過程中大比率的壓縮採集數據量，經壓縮數據重建的視頻數據具有良好的解析度和數據保真度。
[0028]2、使用無源光學器件實現視頻光學信息的預處理，並加以位移裝置實現無源光學器件預處理變換，消除了光電信息預處理器件所需的控制信息流，降低了信息預處理所需的功率消耗。
[0029]3、基於連續視頻壓縮採集結果，在視頻數據重建過程中，可通過後續算法消減運動拖影，減輕圖像的運動模糊，實現視頻圖像的自修復。
[0030]4、依據應用需求，通過對無源光電器件位移方式和探測器積分間隔的控制，可以靈活有效的調節視頻採集的實際壓縮率。
[0031]5、具有良好的功能拓展性，將本技術與偏振成像、光譜成像等技術融合，可實現兼顧偏振成像、光譜成像等功能的視頻壓縮採集。
【專利附圖】
【附圖說明】
[0032]圖1是本實用新型實施例提供的一種視頻壓縮採集系統的結構示意圖。
[0033]圖2是利用本實用新型實施例提供視頻壓縮採集系統，在一個數據採集周期內的視頻壓縮採樣和視頻圖像重建流程示意圖。
[0034]其中:1、景物；2、物鏡;3、無源光信號調製器件(passive light modulator)；4、聚焦鏡頭；5、面陣探測器；6、高精度位移裝置；7、位移裝置驅動器；8、場景視頻第I至第6幀圖像數據；9、場景視頻第7至第12幀圖像數據；10、場景視頻第13至第18幀圖像數據；11、探測器第I次曝光時無源調製器件的調製圖案；12、探測器第2次曝光時無源調製器件的調製圖案；13、探測器第3次曝光時無源調製器件的調製圖案；14、探測器第I次曝光採集的視頻壓縮圖像；15、探測器第2次曝光採集的視頻壓縮圖像；16、探測器第3次曝光採集的視頻壓縮圖像；17、基於一個數據採集周期內採集的視頻壓縮圖像重建獲得的景物原始視頻圖像。
【具體實施方式】
[0035]下面結合附圖及實施例對本實用新型技術方案作進一步描述。
[0036]實施例1
[0037]參見附圖1，它是本實施例提供的一種視頻壓縮採集成像系統的結構示意圖。將視頻壓縮採集系統置於景物I正前方的適當位置，並完成成像所需的對準和調焦；景物I經由物鏡2成像在無源光信號調製器件3的調製面上；調製器件的調製單元陣列(在本實施例中選用隨機二值化陣列)對入射光信號實施振幅調製(本實施例選用透射式的調製)，經振幅調製的光信號再由成像透鏡4聚焦至面陣探測器5的焦平面上。視頻壓縮採集系統的視頻圖像採樣壓縮率的理論最大值，為無源光信號調製器件3調製單元尺寸與面陣探測器5像元尺寸的比值，在系統設計時，這一比率應被設為一個幾至幾十量級的整數(本實施例中將這一比率設為18)。無源光信號調製器件3被可靠的固定於高精度位移裝置6上，高精度位移裝置的位移精度應不低於面陣探測器5的像元尺寸，高精度位移裝置的位移總長應不小於調製器件的調製單元尺寸與視頻採集壓縮率的乘積。在數據採樣的一個周期內，高精度位移裝置6在位移裝置控制器7的驅動下，完成距離為無源光信號調製器件調製單元尺寸的位移，該位移使在任意數據採樣周期內，無源光信號調製器件3實際用以調製的調製圖案保持持續有效的變化。由於高精度位移裝置6的行程是有限的，在相鄰兩個數據採樣周期內，高精度位移裝置6的位移方向應被依次設定為相反的方向，這使經過偶數次數據採樣周期後，高精度位移裝置6均可回到位移坐標的初始原點。在每個數據採樣周期內，面陣探測器5執行一次或若干次相同時間間隔的曝光(為便於說明，本實施例中將曝光次數設為3)。在相鄰曝光間隔內，高精度位移裝置6在位移裝置控制器7的驅動下完成特定距離的位移，該距離應同時滿足如下條件:一是不應大於無源光信號調製器件調製單元尺寸，二是該值應為面陣探測器5像元尺寸的整數倍(依照設定，本實施例將該值定為6)。綜上，在一個數據採樣周期內，面陣探測器6採集到經一次或若干次曝光(本實施例中為3次)得到的一幅或若干幅(本實施例中為3幅)視頻壓縮積分圖像，計算機以其作為輸入，經由最優化算法重建，可獲得一個數據採樣周期內特定數量(即視頻圖像採樣壓縮率的理論最大值，本實施例中為18)的景物視頻圖像。
[0038]參見附圖2，它是本實施例利用圖1所示的視頻壓縮採集系統，提供的在一個數據採集周期內的視頻壓縮採樣和視頻圖像重建的流程示意圖。由圖1和2可以看到，在一個數據採集周期內，面陣探測器5分三次曝光採集景物的18幀視頻數據。探測器第一次曝光採集場景視頻的第I至第6幀得到圖像數據8，上述圖像數據經無源調製器件的調製圖案11調製，探測器採集的是6幀調製圖像的積分壓縮圖像14。完成第一次曝光後，高精度位移裝置6在位移裝置控制器7的驅動下完成特定距離的位移，無源光信號調製器件3的調製圖案11相應的變為調製圖案12，調製圖案12對場景視頻的第7至第12幀圖像數據9實施調製，探測器第2次曝光採集這些調製圖像的積分壓縮圖像15。完成第2次曝光後，高精度位移裝置6繼續完成特定距離的位移，無源光信號調製器件3的調製圖案12相應的變為調製圖案13，調製圖案13對場景視頻的第13至第18幀圖像數據10實施調製，探測器第3次曝光採集這些調製圖像的積分壓縮圖像16。依據積分圖像，採用特定最優化算法(如閾值迭代法、梯度投射法等)可以實現景物原始視頻圖像的重建，即可由積分圖像14、積分圖像15、積分圖像16聯合重建景物的第I至第18幀原始視頻圖像17。在之後的數據採集周期內，重複上述流程，可不間斷的實現景物原始視頻的壓縮採樣與重建。基於一定數量數據採集周期內採集的視頻壓縮圖像，採用最優化法算法(如差分法等)對景物目標運動矢量進行估計和判定，再以運動補償算法(如盲反卷積法等)進行處理，可有效降低重建視頻圖像的運動模糊。
【權利要求】
1.一種視頻壓縮採集系統，其特徵在於:它包括物鏡(2)、無源光信號調製器件(3)、高精度位移裝置(6)、位移裝置驅動器(7)、聚焦鏡頭(4)和面陣探測器(5);景物經物鏡(2)成像於無源光信號調製器件，無源光信號調製器件對景物的光信號進行空間調製；面陣探測器(5)的焦平面與無源光信號調製器件(3)的調製平面，通過聚焦透鏡(4)呈共軛成像關係，在面陣探測器(5)的焦平面上採集得到經調製的視頻圖像的壓縮積分圖像；所述的高精度位移裝置(6)為微米級位移步長的直流步進電機，所述的無源光信號調製器件(3)為透射式或反射式的編碼掩摸板；所述的面陣探測器(5)為灰度探測器。
2.根據權利要求1所述的一種視頻壓縮採集系統，其特徵在於:所述的面陣探測器為面陣CCD探測器或面陣CMOS探測器。
【文檔編號】H04N19/48GK204069217SQ201420285732
【公開日】2014年12月31日 申請日期:2014年5月30日 優先權日:2014年5月30日
【發明者】陳宇恆, 沈為民 申請人:蘇州大學