一種即插即用的深度攝像裝置製造方法
2023-09-10 08:00:25 1
一種即插即用的深度攝像裝置製造方法
【專利摘要】本發明公開了一種即插即用的深度攝像裝置，通過編碼圖案投射器投射編碼圖案，對投射空間和目標物體進行特徵標定，由圖像傳感器獲取所投射的編碼圖案，經深度感知計算模塊進行深度計算、深度到灰度映射、縮放和格式轉換，再經編碼壓縮USB驅動模塊進行壓縮、打包和USB上傳到智能終端，最後由視頻流數據深度恢復模塊進行解碼，恢復出投射空間和目標物體的深度信息。本發明基於結構光的主動視覺模式，可以與任何支持USB接口的智能終端相連，實時輸出高解析度、高幀率的深度圖序列，即插即用，並支持常見的視頻攝像頭程序無縫地調用深度視頻流。
【專利說明】一種即插即用的深度攝像裝置
【技術領域】
[0001]本發明屬於圖像處理、人機互動和機器視覺【技術領域】，具體涉及一種即插即用的深度攝像裝置。
【背景技術】
[0002]視覺是人類觀察與認知世界最直接、最主要的途徑。我們生活在一個三維世界中，人類視覺不僅能感知物體表面的亮度、顏色、紋理信息，運動情況，而且能判斷其形狀、空間及空間位置(深度、距離)。如何讓機器視覺能實時獲得高精度的三維深度信息、提高機器的智能水平是當前機器視覺系統研究的難點。
[0003]在工業領域，高解析度、高精度的三維深度信息在汽車輔助安全駕駛、高速工具機加工、工業建模、3D列印、醫療成像、物聯網3D視覺感知等領域有著廣泛的應用需求。在消費電子領域，深度感知技術和裝置有助於提高電子產品的智能水平和交互能力，可為用戶帶來「科幻」般的操控方式和全新的人機互動體驗，在智能電視、智慧型手機、家電、平板PC等領域實現創新應用。
[0004]現有的深度獲取裝置在實時性、操作應用簡便性方面存在限制。如雙目立體攝像頭技術成熟，但未能實時生成並輸出深度圖序列；微軟體感交互設備Kinect採用紅外結構光的主動視覺模式可以實時輸出深度圖(0.8?3.8米範圍，640*480，30f/s)，但其驅動及應用開發包安裝複雜，一般與Xbox遊戲機綁定，無法做到與任意兼容USB接口的智能設備或OS系統平臺連接進行即插即用。2013年美國蘋果公司新申請一項發明專利「DepthPerception Device and System,深度感知設備與系統」,利用雷射發射圖形、攝像頭獲取散斑圖後計算出深度距離，該技術有可能作為其未來創新產品的虛擬交互和輸入設備進行應用。2014年I月英特爾公司推出嵌入式3D深度攝像頭，認為「虛擬世界正無限接近於現實世界；人機互動模式將會變得更加自然(natural)、直觀(intuitive)和身臨其境(immersive) 」。開發一種能快速、準確地獲取目標物體深度信息的設備裝置已成為國內外相關行業研究的熱點和難點。
【發明內容】
[0005]鑑於此，本發明提供了一種即插即用的深度攝像裝置，基於結構光的主動視覺模式，通過USB 口即插即用的方式與任何支持USB 口的智能設備(PC、平板、智能電視、智能家電、穿戴式設備等)、0S系統相連接，並實時輸出高解析度、精確的深度圖序列。
[0006]本發明採用以下技術方案予以實現:
[0007]—種即插即用的深度攝像裝置，包括編碼圖案投射器、圖像傳感器、深度感知計算模塊、編碼壓縮USB驅動模塊，其中，
[0008]編碼圖案投射器用於投射出一定波長範圍的編碼圖案，對有效範圍內待測量的投射空間和目標物體進行結構光編碼，即特徵標定；
[0009]圖像傳感器用於實時接收編碼圖案投射器投射的編碼圖案，生成輸入編碼圖像序列，並將輸入編碼圖像序列以一定的視頻格式送入深度感知計算模塊；
[0010]深度感知計算模塊用於利用輸入編碼圖像序列和參考編碼圖像進行深度計算、深度-灰度映射、視頻縮放和圖像數據格式轉換，輸出視頻流數據；
[0011]編碼壓縮USB驅動模塊用於將符合其編碼格式要求的視頻流數據進行壓縮和打包，再通過即插即用的USB接口上傳到智能終端。
[0012]本發明具有結構簡單、低成本、使用方便可靠的優點。採用本發明技術方案的有益效果還將通過以下實施例的闡述而得到具體的體現。
【專利附圖】
【附圖說明】
[0013]圖1是本發明實施例的裝置結構圖；
[0014]圖2是本發明實施例的雷射散斑編碼圖案示意圖；
[0015]圖3是本發明實施例的深度感知計算模塊結構圖；
[0016]圖4是本發明實施例的視頻縮放子模塊結構圖；
[0017]圖5是本發明實施例的圖像數據格式轉換子模塊結構圖。
【具體實施方式】
[0018]下面結合附圖對本發明進行進一步的詳細說明。
[0019]本發明的總體構思為:採用編碼圖案投射器(雷射散斑投射器或其它投影裝置)投射出一定波長範圍的編碼圖案，對投射空間和目標物體進行結構光編碼，即特徵標定，再利用與編碼圖案投射器在同一基線上的圖像傳感器獲取所投射的編碼圖案；深度感知計算模塊將採集到的編碼圖像序列經圖像預處理後與已知距離的參考編碼圖像進行塊匹配運動估計、深度計算和深度到灰度映射，生成所投射空間和目標物體的深度信息，再經視頻縮放子模塊和圖像數據格式轉換子模塊輸出視頻流數據到編碼壓縮USB驅動模塊；通過視頻壓縮、數據打包和即插即用的USB接口上傳到智能終端；智能終端的視頻流數據深度恢復模塊對接收到的壓縮視頻流數據進行解碼，並進行灰度到深度的逆映射，恢復出投射空間和目標物體的深度信息。
[0020]圖1示出了本發明實施例的即插即用的深度攝像裝置，該裝置包括:編碼圖案投射器、圖像傳感器、深度感知計算模塊、編碼壓縮USB驅動模塊。
[0021]編碼圖案投射器可以是雷射散斑投射器或其他投影裝置，其中，雷射散斑投射器可以投射出的相干雷射束(紅外、可見光、紫外線、不可見光)，雷射束經幹涉成像和物體表面的漫反射形成由散斑點組成的散斑圖像；投影裝置可以投射出可控的編碼圖案。編碼圖案投射器所投射出的圖案一般是固定的，或採用一定的同步控制策略與接收圖像的圖像傳感器進行同步後改變其投射出的圖案；同一幅圖案在水平或垂直方向的一定範圍內，其特徵不重複或屬於隨機分布。編碼圖案投射器所投射的視場角FoV(包括水平、垂直視場角)一般大於圖像傳感器的視場角FoV。編碼圖案投射器的投射有效距離有一定範圍限制，跟其光源強度、產生機理、投射光學透鏡有關。
[0022]圖像傳感器包含光學聚焦成像透鏡和濾波裝置，用於接收特定波長範圍的編碼圖案。圖像傳感器的光學焦距f 一般是固定的，其光軸與編碼圖案投射器的光軸平行、基線距離為S。[0023]深度感知計算模塊包括圖像預處理子模塊、塊匹配運動估計子模塊、深度計算子模塊、深度-灰度映射子模塊、視頻縮放子模塊、圖像數據格式轉換子模塊。在特定實施例中，其物理載體可以是可編程邏輯晶片FPGA或專用集成電路塊。
[0024]編碼壓縮USB驅動模塊可以是可編程邏輯晶片FPGA上的IP核或專用集成電路塊ICo
[0025]為了清楚說明，下文中將結合圖2、圖3、圖4、圖5來進一步描述本發明實施例的即插即用的深度攝像裝置的工作機制。
[0026]首先，編碼圖案投射器(雷射散斑投射器或其它投影裝置)投射出一定波長範圍的編碼圖案，對有效範圍內待測量的投射空間和目標物體進行結構光編碼，即特徵標定。其中，該編碼圖案滿足在水平或垂直方向的一定範圍內，其特徵不重複或屬於隨機分布。
[0027]圖2為採用雷射散斑投射器投射出的雷射散斑編碼圖案示意圖，在水平或垂直方向的一定範圍內其散斑點的分布不重複。其中，事先由編碼圖案投射器投射出一定波長範圍(紅外、可見光、紫外線、不可見光)的編碼圖案到與編碼圖案投射器的光軸(Z軸)相垂直的、且已知垂直距離為d的平面上，形成的非規則編碼圖像，稱為參考編碼圖像。該平面可由投影布、平板等構成，用於呈現清晰穩定的編碼圖案，可稱之為參考基準平面。參考編碼圖像將由圖像預處理模塊進行與輸入編碼圖像相同的預處理(參見下文)後，存儲固化在內部或外部存儲器中，作為後續深度感知計算的匹配基準圖形，且在深度感知計算過程中其數據保持不變。
[0028]接下來，圖像傳感器實時接收編碼圖案投射器投射的編碼圖案，生成輸入編碼圖像序列，並將所獲取的輸入編碼圖像序列以一定的視頻格式(例如Bayer、ITU601、ITU656、MIPI)送入深度感知計算模塊。其中，圖像傳感器與編碼圖案投射器的光軸平行，且在同一基線上，基線距離為S，焦距為f。優選地，圖像傳感器可以通過濾波裝置(例如特定波長範圍的濾光片)濾除接收波長範圍外的光線，以消除幹擾。
[0029]接著，深度感知計算模塊利用輸入編碼圖像序列和參考編碼圖像進行深度計算、深度映射、視頻縮放和圖像數據格式轉換，輸出視頻流數據。深度感知計算模塊的結構框圖見圖3，其中深度計算的過程如下:
[0030]首先，圖像預處理子模塊對輸入的編碼圖像進行圖像預處理。圖像預處理一般包括視頻格式轉換(例如Bayer、ITU601、ITU656視頻解碼、MIPI接口格式轉換)、色度空間轉換(例如RGB轉YUV)、灰度圖像自適應去噪和增強等，其中增強方法包括直方圖增強、灰度線性增強、二值化處理等，但不限於這些傳統的增強方法。通過視頻格式轉換、一致性去噪和增強等預處理，可以使編碼圖案更清晰，有利於減少深度感知計算過程中的誤匹配和噪聲幹擾，提高深度計算的精確性。
[0031]其次，塊匹配運動估計子模塊從輸入編碼圖像中提取一定大小的圖像塊，以一定的搜索策略和相似度測量指標在參考編碼圖像中搜尋最優匹配塊，獲得該圖像塊與最優匹配塊之間的最優偏移量，即運動向量,用X和Y軸的偏移量(Δχ，Ay)表示。塊匹配運動估計是現有技術，在一個特定實施例中，塊匹配運動估計可以採用本發明人已申請的中國發明專利(CN201210490235.4，一種雷射散斑圖像的運動向量生成方法)。
[0032]深度計算子模塊將得到的最優偏移量Am(Ax或Ay)結合參考編碼圖像的已知距離參數d、圖像傳感器與編碼圖案投射器的基線距離S、焦距f及圖像傳感器點距μ，計算得到圖像塊中心點的深度信息d'。
[0033]在本實施例中，根據以下深度計算公式計算d':
【權利要求】
1.一種即插即用的深度攝像裝置，包括編碼圖案投射器、圖像傳感器、深度感知計算模塊、編碼壓縮USB驅動模塊，其中， 編碼圖案投射器用於投射出一定波長範圍的編碼圖案，對有效範圍內待測量的投射空間和目標物體進行結構光編碼，即特徵標定； 圖像傳感器用於實時接收編碼圖案投射器投射的編碼圖案，生成輸入編碼圖像序列，並將輸入編碼圖像序列以一定的視頻格式送入深度感知計算模塊； 深度感知計算模塊用於利用輸入編碼圖像序列和參考編碼圖像進行深度計算、深度-灰度映射、視頻縮放和圖像數據格式轉換，輸出視頻流數據； 編碼壓縮USB驅動模塊用於將符合其編碼格式要求的視頻流數據進行壓縮和打包，再通過即插即用的USB接口上傳到智能終端。
2.根據權利要求1所述的深度攝像裝置，其中，所述深度感知計算模塊包括圖像預處理子模塊、塊匹配運動估計子模塊、深度計算子模塊、深度-灰度映射子模塊、視頻縮放子模塊、圖像數據格式轉換子模塊。
3.根據權利要求1所述的深度攝像裝置，其中， 所述圖像預處理子模塊用於對輸入的編碼圖像進行圖像預處理； 所述塊匹配運動估計子模塊從預處理後的輸入編碼圖像中提取一定大小的圖像塊，以一定的搜索策略和相似度測量指標在參考編碼圖像中搜尋最優匹配塊，獲得該圖像塊與最優匹配塊之間的最優偏移量，即運動向量，用X和Y軸的偏移量表示； 所述深度計算子模塊用於將得到X或Y軸的最優偏移量Λ m結合參考編碼圖像的已知距離參數d、圖像傳感器與編碼圖案投射器的基線距離S、焦距f及圖像傳感器點距μ，計算得到圖像塊中心點的深度信息d'； 所述深度-灰度映射子模塊用於根據深度-灰度映射關係將計算出的深度信息映射為灰度值，利用深度圖表示投射空間和目標物體的距離信息； 所述視頻縮放子模塊用於按照縮放控制參數對深度圖進行比例縮放； 所述圖像數據格式轉換子模塊用於將縮放後的深度圖進行數據格式轉換，以符合編碼壓縮USB驅動模塊的視頻流數據格式。
4.根據權利要求3所述的深度攝像裝置，其中，所述深度計算子模塊根據以下深度計算公式計算d,:
5.根據權利要求3所述的深度攝像裝置，其中，所述映射關係為非線性關係，深度距離越近灰度值越大，深度距離越遠灰度值越小。
6.根據權利要求3所述的深度攝像裝置，其中，所述視頻縮放子模塊包括IIC控制單元、輸入檢測單元、行同步產生單元、第一 FIFO、多條行存、垂直縮放單元和第二 FIFO。
7.根據權利要求6所述的深度攝像裝置，其中，所述IIC控制單元用於以IIC總線方式接收縮放控制參數，控制水平縮小、垂直縮放和水平放大的縮放比例，並控制縮放後的行場同步信號的產生； 所述行同步產生單元用於根據輸入的行場同步信號結合縮放控制參數產生縮放後的行場同步信號； 所述第一 FIFO通過雙線性或雙三次插值方式對深度圖進行水平縮小； 所述多條行存用於為垂直縮放單元同時提供垂直方向對齊的多個寄存器組； 所述垂直縮放單元用於根據行存提供的垂直方向對齊的多個寄存器組對經水平縮小的深度圖在垂直方向進行縮放； 所述第二 FIFO通過雙線性或雙三次插值方式對經垂直縮放的深度圖進行水平放大。
8.根據權利要求1所述的深度攝像裝置，還包括深度恢復模塊，安裝在所述智能終端上，用於對接收到的壓縮視頻流數據進行相應的視頻解碼，生成灰度值表示的深度圖，再根據深度-灰度映射關係進行灰度到深度的逆映射，從而恢復出投射空間和目標物體的深度信息。
9.根據權利要求1所述的深度攝像裝置，其中，所述編碼圖案滿足在水平或垂直方向的一定範圍內，其特徵不重複或屬於隨機分布。
10.根據權利要求1所述的深度攝像裝置，其中，所述圖像傳感器包括濾波裝置，用於濾除接收波長範圍外的 光線。
【文檔編號】H04N19/597GK103841406SQ201410050742
【公開日】2014年6月4日 申請日期:2014年2月13日 優先權日:2014年2月13日
【發明者】周豔輝, 葛晨陽, 倫建坤, 王菁 申請人:西安交通大學, 寧波盈芯信息科技有限公司