廣角或超廣角全方位視覺監控方法和系統的製作方法

2023-05-11 02:53:21 1

專利名稱：廣角或超廣角全方位視覺監控方法和系統的製作方法
技術領域：
本發明涉及一種廣角或超廣角全方位視覺監控方法和系統，尤其是智能監控系統的方法與實現。
背景技術：
傳統的攝像頭只能觀察其鏡頭前方一個有限的空間角範圍，現有的廣角和超廣角視覺系統不能具有高精度的監控效果，在許多場合這是需要具備，例如在重要的安全監控場合，無特殊情況，現有的廣角和超廣角視覺系統可以滿足要求，一旦有異常情況，就需要對異常之處進行高精度的監控(包括照相或攝像)，而且智能監控系統的運行視自動化的，無需人員幹預。已有的技術方案可以實現全方位高解析度視覺監控。現有的視覺監控方案(包括超魚眼鏡頭)可能實現廣角方位視覺監控，但不能解決上述問題。

發明內容
本發明目的是提出一種廣角或超廣角全方位視覺監控方法和系統，尤其是智能監控系統的方法與實現。超廣角全方位視覺系統只用一隻攝像頭，不用任何運動部件，便可以連續實時觀察其周圍360度全方位範圍內所發生的所有事件。將這種超廣角全方位視覺系統與稿精度轉球相機結合，可以實現全方位高解析度視覺監控。將這種系統與其他監控模式(比如聲音，運動)檢測和高性能視覺監控算法相結合，可以獲得高可靠性智能監控系統。
本發明目的還在於根據視覺圖像信息或其附加信息的變化來檢測目標物體的改變或運動，例如通過聲音定向的透視視窗根據檢測到的講話人，結合定向的麥克風，從而調節透視視窗的視窗方向。使用全方位系列圖像實現變化/運動檢測的方法，取代常規需要不變形圖源變化/運動檢測的方法，可直接使用變形的全方位圖源。一旦在全方位圖像上檢測到變化，可將自動檢測到變化目標的透視視窗參數如旋轉(Pan)、俯仰(Tilt)、及變焦(Zoom)PZT算出，它們來自動控制其他監控裝置(如高解析度轉球相機)並報警提醒操作人員注意。
本發明目的是這樣實現的廣角或超廣角全方位視覺智能監控方法和系統，根據第一視覺圖像信息或其附加信息的變化來檢測目標物體的改變或運動，其特徵在於以下述之一方法在檢測圖像變化時直接使用連續的全方位圖像，將在先得到的一幅為參照幀，記作I0，儲存起來；對每一幅連續的圖像Ii，作圖像相減運算DIFF＝I0-Ii如果餘量圖像任一像素「DIFF」都大於預先設定的下限值，則對此像素小範圍鄰近的可疑象素作檢驗論證或進行報警或將像素點轉變為不變形的透視圖像，從圖像表面上檢查狀況；或在直接在檢測圖像變化時採用」自適應」目標檢測的方法超限值像素進行計算對於第N幀圖像中每一象素pn，用一個」滑動平均」pn和一個標準方差σpn來定義一個時序濾波器pn+1＝σpn+(1-σ)pn， σn+1＝σ|pn+1-pn+1|+(1-σ)σn這一統計模型應用對噪聲的統計測量來確定象素下限值的取值；或在直接檢測圖像變化時每幅圖像之間匹配代價函數對目標進行跟蹤其方法是對於每一個可疑目標的圖像」板塊」，記錄以下數據·按圖像坐標來描述位置p(t)和速度v(t)構成的運動軌跡·對攝像頭標定參數，因而將目標運動軌跡在一個絕對坐標系中進行歸一化 和 ·圖像「板塊」本身參數大小S，中心位置C，顏色統計H在上一步tlast時刻Ti的位置和速度被用來確定預測到的當前時刻tnow的位置p^i(tnow)p^i(tlast)+v^i(tlast)(tnow-tlast)]]>利用這一信息，用匹配代價函數來確定一個已知圖像」板塊」Ti是否與當前運動的圖像」板塊」Ri匹配C(Ti,Ri)=f(|p^i-p^j|,|si-sj|,|ci-cj|,|hi-hj|)]]>匹配的目標軌跡被繼續跟蹤，以建立運動軌跡檔案；在全方位圖像中確定可疑區域的中心，通過計算可疑象素的重心確定i0=i=1NiiN,]]>j0=i=1NjiN,]]>上述檢測到的目標物體的改變或運動的參數用於精確控制第二視覺監控的攝像頭，第二視覺監控的攝像頭是高解析度相機或攝像頭，用於控制攝像頭旋轉俯仰平臺和焦距控制，用於實施精確目標監測，跟蹤，識別和監控。
上述獲得第一視覺圖像的攝像頭為全方位攝像頭，所運全方位攝像頭用於捕捉涵蓋接近於180×360度空間角度的整個半球視場圖像，其構成是用廣角光學鏡頭或在常規照相機前面的放置一凸面反射鏡，所述凸面反射鏡為圓錐鏡、球鏡、雙曲面或拋物面鏡，被稱為全方位成像反射鏡，投影點M落在鏡面某處時，相機接收到的入射光的延長線總是通過單一視點0，得到變形的全方位圖像；或從變形的全方位圖像象素直接映射成透視視窗圖像；所述變形的全方位圖像或透視視窗圖像在三維空間使用三個參數旋轉，俯仰，焦距；將第二視覺監控攝像頭或高解析度相機與旋轉俯仰平臺和高解析度相機的焦距控制相結合，檢測到的可疑區域的圖像信息，自動確定旋轉、俯仰和聚焦的參數，並用高解析度相機對可疑目標的自動跟蹤和記錄；通過供給參數使攝像頭或高解析度相機自動聚焦到可疑區域；自動聚焦的方法是
(1)在全方位圖像中確定可疑區域的中心，可通過計算可疑象素的重心確定i0=i=1NiiN,]]>j0=i=1NjiN,]]>(2)使用照相機傳感器「針孔」模型追蹤源自照相機焦點的投影光線在廣角反射鏡上撞擊點，通過中心象素(i0，j0)，鏡面上的撞擊點記為M0。
(3)使用源自廣角反射鏡焦心並通過撞擊點M0的投影光確定透視視窗的法線，法線向量定義透視視窗的Pan和Tilt參數。
(4)使用同樣的光線追蹤法，根據可疑象素組的邊界確定縮放因子。
對全方位圖像的實時處理，把變形的全方位圖像或不變形透視視窗內的象素點W(p，q)與在變形全方位圖像上相應的象素位置I(i，j)建立一個映射矩陣；這樣，對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值用於視窗中對應的象素；使用了實時全方位圖像處理的運算法則一旦透視或全景視窗配置決定，從變形的全方位圖像象素直接映射成透視視窗；透視視窗在三維空間使用三個參數旋轉，俯仰，焦距任意定義，把在不變形透視視窗內的象素點W(p，q)與在變形全方位圖像上相應的象素位置I(i，j)建立一個映射矩陣。由於這種一一對應的關係，把變形的全方位圖像轉變為不變形圖像，在廣角反射鏡之上W平面裡每個象素的投影可以使用直接的光線追蹤法從W平面象素位置W(p，q)到廣角反射鏡焦心0的直線，交於鏡面一點，記為M(p，q)(見圖8)，點M(p，q)再投影至圖像傳感器焦點；從M(p，q)到點C的投影線截圖像平面I於象素位置I(i，j)。於是，一一對應的關係就此建立W(p，q)I(i，j)，這樣，對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值(如RGB)可用於視窗中對應的象素。表示為MAP的映射矩陣建立起來，它的維數與在W視窗象素的維數相同。MAP每個單元存儲在全方位圖像I上對應象素的2個指數值(i，j)；對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值(如RGB)可用於視窗中對應的象素；並進行象素插值，反射點M(p，q)後投影的交點以下述方法獲得W(p，q)的象素值(1)使用在圖像平面I最鄰近點的象素值而不需任何插入法；(2)使用插入法解決小數坐標的象素值。假定(i0，j0)落在(i，j)，(i，j+1)，(i+1，j)，和(i+1，j+1)格子裡，相應的W(p，q)象素值可從以下公式W(p，q)＝(j0-j)·[(i0-i)·I(i，j)+(i+1-i0)·I(i+1，j)]+(j+1-j0)·[(i0-i)·I(i，j+1)+(i+1-i0)·I(i+1，j+1)](3)使用平均法、二次插入法或樣條法，保證轉變後圖像的精度。
本發明方法可以使用集成電路(IC)晶片實現映射運算，在透視視窗情況下，參數空間是三維的；在全景視窗，參數空間是二維的；對在參數空間每一可能組態，預計算出映射矩陣；映射矩陣可用以下格式儲存所有可能的映射矩陣預先儲存在一系列存儲晶片，一旦用戶選擇了視窗配置，即找到儲存中的MAP矩陣，用於計算或直接調用視窗的圖像式中I是全方位圖像。″顯示/記憶/本地控制邏輯模塊″設計有內置存儲器、圖像顯示、用戶界面和自含操作結構，不依賴其他的計算機。
需要採用動態圖像穩定的方法是(1)自動特徵提取利用每一幅圖像中亮度變化最為激烈的部分作為該圖像的特徵如果用I(x，y)來表示圖像的亮度函數，則可以定義一個局部亮度變化矩陣Z=2Ix22Ixy2Ixy2Iy2]]>用一個小窗口一定面積的象素；如果這一矩陣Z的兩個特徵值λ1和λ1超過事先給定的閥值，λmin(λ1，λ2)＞λ，則將這一窗口的中心象素取為一個特徵的候選者；(2)自動跟蹤在大多數情況下，連續視覺流中各個圖像之間存在多個共有的和不變的特徵點。這些共有的特徵點被用來校準圖像之間由于震動等原因引起的不穩定偏移(平移和旋轉)，達到穩定圖像的作用。首先對兩幅圖像分別進行特徵提取，得到B組圖像。B組圖像中的特徵點以紅色表示。這些特徵點的空間位置應該是固定的，由此可以用它們來將圖像#2以圖像#1為依據，進行對準變換。結果如C組所示。通過對圖像#2的平移和旋轉，使其包涵的特徵點對齊。從而使得圖像得到穩定。
上述動態圖像穩定的方法中，對於超廣角全方位圖像，其步驟如下(1)採集一幅參考圖像；(2)對參考圖像進行特徵提取，得到分布在整個半球空間中的」最好」的一組特徵點pi，i＝1，2，...M，(比如說，M＝20)；(3)利用已知全方位相機參數，將超廣角全方位參考圖像投影到一個虛擬的半球面S上；(4)開始採集超廣角全方位圖像流；假設新一幅圖像為In；；(5)對新一幅圖像進行特徵提取，找出與pi，i＝1，2，...M，相對應的特徵點組p』，i＝1，2，...M；(6)利用已知全方位相機參數，將新一幅圖像投影到同一個虛擬的半球面S；上；(7)兩幅圖像之間的3×3旋轉矩陣R可以用以下方式通過偽逆求出[p』1p』2... p’m]＝R[p1p2... pm]
(8)利用R來變換新圖像In中的所有象素，將它們投影到S中去。
視覺智能監控裝置，採用第一視覺圖像信息和第二視覺圖像信息獲得裝置，其中一隻攝像頭為一個超廣角全方位攝像頭2210，超廣角全方位攝像頭由視覺傳感器2250)和一隻全方位成像反射鏡構成，第二視覺圖像信息獲得裝置為高解析度可變焦相機，第一視覺圖像信息和第二視覺圖像信息獲得裝置共用一圖像顯示裝置。
上述視覺傳感器2250)可以裝在全方位成像反射鏡2260下方，對準全方位成像反射鏡反射鏡的中軸線，與之同軸安裝的一隻由旋轉或俯仰驅動的高解析度可變焦相機2230裝在全方位成像反射鏡上部或視覺傳感器的下部。由一旋轉俯仰平臺2220驅動的高解析度可變焦相機是變焦轉球相機。在攝像頭旁或與攝像頭集成為一體的圖像處理單元。且圖像處理單元為嵌入式CPU和裝置，在攝像頭旁或與攝像頭集成為一體的圖像處理單元2350提供了一個高效率的引擎來實現這些實時處理功能。檢測到的可疑區域的方位信息被用來控制旋高解析度轉球相機的聚焦，使高解析度相機能夠自動跟蹤可疑區域的運動，實現全方位自動PTZ系統。
本發明還可以根據視覺圖像的附加信息進行視覺智能監控，視覺圖像的附加信息是在攝像頭所攝的區域周圍設有麥克風陣列，以檢測聲音方向，根據多個聲源的空間和時間(相位)的差異，估計聲源的方向，根據麥克風接收到聲音信號的不同，聲源的空間方向就可以估算出來，根據聲源的方向，確定相機的旋轉俯仰和聚焦參數，對高分辨相機進行運動控制，將其對準麥克風陣列檢測到的方向。
本發明視覺監控系統的一個主要目的是建立起目標事件的時序模型，對目標進行行為分析，從而對其可能產生的危害進行評估。為了建立時序模型，必須對每一個可能的目標在其活躍時期內進行跟蹤。我們可以將運動檢測算法從圖像中得出的可疑」板塊」，安時序從每一幅連續圖像流中提取，得到其運動趨勢。為了避免系統噪聲的幹擾，我們採用Kalman濾波器對」板塊」的位置序列進行平滑濾波。但這種簡單的濾波器可能只能達到有限的結果，因為他們是根據統一的高斯模型進行設計，不能支持其他可能的運動軌跡假設。
圖1展示了一個基於超廣角全方位視攝像頭的智能監控系統。由超廣角全方位攝像頭(110)採集的圖像被裝置在攝像頭旁或者與攝像頭相結合的圖像處理單元(140)處理，執行智能目標檢測等功能。一旦在全方位圖像中發現可疑目標，圖像處理單元(140)便利用檢測出的目標方位信息控制俯仰旋轉平臺(120)和高解析度相機的變焦機構，將高解析度相機(130)調整到合適方向和焦距，抓取可疑目標的高解析度圖像。由於超廣角攝像頭不會由於視場的限制而丟失目標，本系統可以實現實時連續目標跟蹤，並獲取高質量的目標圖像。重要數據，圖像，信息被傳輸到遠程控制主機(150)，進行進一步目標核實，識別，記錄，存儲，和報警等功能。在主機處設有人機接口(160)，以便操作人員檢視系統運行情況。而且智能監控系統的運行視自動化的，無需人員幹預。
本發明特點是提供了一個有效的全方位圖像獲取和處理方法與裝置，根據由全方位圖像傳感器得到的實時全方位圖像，獲取實時不變形的透視和全景圖像及錄像。本發明的全方位照相機，能實時捕捉全方位圖像而不需可移動部件。在此運用映射矩陣定義用戶定義的透視或全景視窗上的象素和原始的全方位圖源象素位置之間一一對應的關係，取代了以前解複雜的高次非線性方程的運算，不變形圖像的計算以視覺速率(比如每秒30幅)實時進行。映射矩陣方案便利了全方位圖像運算的硬體執行。
將本發明用於電話會議時，為了滿足電話會議的需要，有必要確定會議中的講話人並將照相機焦點對準講話人。將麥克風排列與全方位圖像傳感器結合，由聲音定向的視窗根據由麥克風排列檢測到的聲音信號自動調節透視視窗對準會議中的講話人。且根據遙控監測和監視實現全方位圖像傳遞方法。在此呈現的全方位成像方法和裝置，可以解決許多需要360度視角和三維測量才能解決的實際問題。呈現於此的是實時全方位圖像處理系統，以及用聲音定向的自動視窗選擇方法，同時介紹通過Internet和全方位傳感器實現遠程監控和監視的系統結構。在此呈現的全方位成像方法和裝置為需要同時在360度範圍監視的很多實際問題提供了獨特的解決辦法。顯然，本發明是智能監控系統，運行自動化，滿足對大範圍與高精度的(包括照相或攝像)相結合監控要求。


圖1是本發明利用超廣角攝像頭的智能視覺監控系統。
圖2展示常規照相機、全景照相機和全方位照相機視場比較。
圖3是本發明舉例說明全方位成像的反射凸鏡。注意這些凸鏡不滿足單一視點的約束條件，即反射光線的延長線不相交於同一點，也就是說，實際視點應光線撞擊鏡面的位置而不同。
圖4是本發明利用由旋轉相機所採集的多幅圖像拼接成為一幅完整360度圖像。
圖5是本發明通過超廣角反射鏡獲得超廣角全方位(半球)視場-放置在C位置上的照相機能從虛擬的單一視點，反射鏡焦心0「看到」整個半球的視場。
圖6是本發明從變形的全方位圖像象素直接映射成透視視窗。
圖7表示在三維空間中定義透視視，除了旋轉，俯仰，變焦這幾個參數外，用戶還可調整在透視視窗顯示的象素的維數。
圖8建立從透視窗口到傳感器像平面的映射矩陣。
圖9是本發明實時全方位圖像的獲得和處理的流程圖。
圖10是本發明從全景式窗口到傳感器像平面的映射。
圖11是線性象素插值方法。
圖12是本發明電子硬體上實現映射運算的方框圖。
圖13是本發明直接在全方位成像反射鏡圖像值進行運動目標檢測。
圖14是本發明利用超廣角全方位攝像頭採集圖像中的可疑區域來確定高解析度相機的旋轉俯仰和聚焦參數。
圖15是本發明在超廣角全方位攝像頭上裝置麥克風陣列以檢測聲音方向。
圖16是本發明用麥克風陣列確定聲音方向的方法。
圖17是本發明根據麥克風陣列檢測到聲音方向，控制高解析度相機運動以對準可疑區域。
圖18本發明基於Internet傳輸全方位圖像系統(全方位成像反射鏡網)。
圖19是本發明全方位成像反射鏡網伺服器的布局。
圖20是本發明全方位成像反射鏡網伺服器程序的流程圖。
圖21是本發明數據格式定義的一種。
圖22-25分別是全方位自動PTZ系統的四個實現方案。
圖26是本發明利用特徵點匹配實現動態圖像穩定。
圖27是本發明利用特徵點匹配直接對全方位圖像進行動態圖像穩定。
圖28和29分別是本發明嵌入式圖像/音頻單元的框圖和電路圖。
具體實施例方式
1.超廣角全方位攝像頭本發明提供了一系列超廣角全方位視覺系統的設計方法，以及實現這些方法的裝置系統。所謂「超廣角全方位視覺系統」，是指能捕捉涵蓋整個半球(也就是180×360度空間角度)視場圖像的系統，同時有機械移動部件。這種系統與傳遞網絡連接並增加適應信息傳遞需要相關設備，即形超廣角全方位視覺系統。
在傳統的光學領域，技術人員曾經嘗試過許多方法要獲取寬視場，包括常規照相機、魚眼鏡、多相機系統或旋轉成像系統等多種寬視場成像系統，但幾乎都不能產生360度全方位圖像。現有的數字成像系統使用電子傳感晶片，模擬成像系統使用靜態攝影膠片，但兩者都是由光學鏡頭系統記錄圖像。大多數照相機鏡頭圖像投影可以看作單一中心投影的針孔，由於照相機鏡頭的尺寸和所用的傳感器本身都有局限，他們收集到的光線一般形成角度非常小的圓錐，常規照相機的視場在5-50度範圍。比如，裝在1/2英寸電荷耦合晶片上，一個8.5mm，焦距1.3的鏡頭視場只有41.2度。
光學工程師們設計過幾種版本的大廣角透鏡系統，叫魚眼鏡。魚眼鏡的特徵在於焦距非常短，用它代替普通照相機鏡頭，能使照相機捕捉到大角度幾乎180度半球內的物體。一般來說，視場越大，魚眼鏡的設計越複雜。為獲得半球寬的視場，魚眼鏡的直徑必須很大，結構複雜，因此價格昂貴。同時，設計一個能符合單一視點約束的魚眼鏡也很困難。單一視點是指所有入射光交於一點形成固定的視點。這對於市場所售的魚眼鏡來講，的確是個問題，包括Nikon 8mm，f/2.8鏡頭。儘管魚眼鏡獲得的圖像對於某些應用已足夠，但它的失真補償沒得到解決，另外昂貴的價格仍是廣泛運用的障礙。魚眼鏡技術的優點在於採用確定位置不變的照相機獲取大視角。其缺點是視場圖像的圓形邊界通常是在地面附近，對於大多數圖象系統來說，這正是需要高解析度的地方；但是，半球型光學鏡頭的球面像差的非線性特徵卻使圖像的圓形邊界附近的解析度很差，因此無法滿足實際工作的需要。
多相機系統是使用多部相機同時捕捉寬視場內的物體，每一點指向不同方向，可以用多個圖象合成出一個完整的全方位圖象(圖4)。但合成無縫的圖像依然相當複雜，因為每個相機有不同的投影中心。這樣一個系統通常花費很高。
另外一種增大視場的簡單方法是圍繞投影中心旋轉整個攝像系統，即旋轉成像系統，相機在不同位置攝到的圖像按次序縫合，以獲取全景圖像。最近有多位研究者提出這種方法。旋轉成像系統的缺點首先在於需要使用可移動部件和精確的定位裝置。更突出的缺點是該系統獲取整個圖象需要一個時間跨度，儘管系統能得到在全方位視場精確的方位信息，但處理過程很花時間，即該系統沒有在瞬間同時獲取整個寬視場圖像的能力，因此不適合實時實地解決諸如避免移動障礙物的碰撞等問題。這些不足限制了旋轉成像系統只能用於靜態，非實時的應用。
圖2所示為超廣角全方位照相機、全景照相機和常規照相機的視場比較。我們可以看到，全景照相機仍然不是全方位的，它只提供在某一時間瞬間一個寬角度的視場，而不是在所有方向。所謂「全方位圖像」，是指同時涵蓋整個半球(180×360度空間)視場的圖像。在現有技術中尚沒有能滿足這種要求的技術方案或裝置。
本發明提供的超廣角全方位攝像頭技術方案是基於以下光學原理在常規照相機前面的某一位置放置反射鏡，可以大幅度地增加它的視場。視覺照相機由於使用設計完美的表面形狀，反射表面的視場大大增加。本發明為進一步增加其視場，在成像系統的前方增加了反射表面(如凸面反射鏡)。汽車的後視鏡是日常生活中加大駕駛員視場的普通一例。用於產生全方位視場的凸面反射鏡有幾種表面外形。圖3列出三種圓錐鏡、球鏡和拋物面鏡。這些凸面反射鏡的光學幾何學提供了一個簡單有效的方法，在不使用任何移動部件的情況下，改變視覺照相機的平面視圖，使其成為在這些透鏡的垂直軸線周圍的全方位視圖。乍眼一看，似乎所有凸面反射鏡都能得到全方位圖像。事實並非如此。回顧圖像形成的基本原理，我們知道圖像是亮度(或顏色)的兩維形式。一幅令人滿意的圖像必須滿足以下兩個基本特徵(1)幾何對應性圖像中的象素和物體上的點一一對應。
(2)單一視點(Single View Point，SVP)約束圖像中每個象素對應來自成像平面上的那個象素通過針孔(單一視點)特定方向的視線。
儘管圖3中所列的凸面反射鏡能大大增加視場，並證實用於某些監視場合已足夠，但他們並不是理想的攝像裝置。這些反射表面不能滿足單一視點(SVC)的約束。對於高質量的全方位成像系統，進入全方位成像鏡頭的所有光線應有單一視點。本發明提供以下符合單一視點全方位成像反射鏡鏡的設計，我們將討論滿足單一視點約束的理想凸面反射鏡表面形狀由鏡面反射的光線的延長線必須通過單一視點(虛點)。我們將此反射鏡稱為全方位成像反射鏡反射鏡。
1.1.光學設計首先我們要定義一些必要的符號和術語。如圖5所示，我們使用最新上市的視覺照相機，帶一個普通鏡頭，其視場覆蓋整個全方位成像反射鏡鏡表面。因為照相機和鏡頭沿旋轉軸對稱，我們只需決定截面函數z(r)，該函數定義鏡面的截面形狀。全方位成像反射鏡鏡的作用是反射所有來自視覺照相機視覺中心(焦點，標註C)至視場內物體表面的視線。反射關鍵的特徵在所有反射光線朝虛擬的單一視點，在鏡子的焦心(標註0)必須有投影面。用另一句話說，反射鏡應有效控制視線使照相機從單一視點0等效地看到物體。我們選擇雙曲面作為理想的全方位成像反射鏡鏡外形。眾所周知，雙曲線的一個特徵是來自一個焦點的光線由雙曲線反射，其延長線通過另一個焦點。如果我們選雙曲面作為全方位成像反射鏡鏡，如圖4所示，把一個視覺照相機放在焦點C，攝像系統在另一個焦點0形成單一視點，就如將照相機放在虛擬的0點。描述雙曲面形狀全方位成像反射鏡鏡的數學方程是(z+c)2b2r2a2=1,]]>式中c=a2+b2,]]>f＝2c全方位成像反射鏡反射鏡與眾不同的特徵是不管投影點M落在鏡面何處，CCD相機接收到的入射光的延長線總是通過單一視點0。
1.2.全方位圖像的實時處理為便於實時處理全方位圖像，本發明使用了實時全方位圖像處理的運算法則一旦透視或全景視窗配置決定，從變形的全方位圖像象素直接映射成透視視窗。
1.2(A)透視視窗如圖7所示，一個假想的透視視窗可由用戶在三維空間使用三個參數旋轉，俯仰，焦距任意定義，這些參數的定義和圖解見圖7。除了旋轉，俯仰，焦距這幾個參數外，用戶還可調整在透視視窗顯示的象素數組(如象素數)的維數。一旦透視視窗W確定，我們就可以把在不變形透視視窗內的象素點W(p，q)與在變形全方位圖像上相應的象素位置I(i，j)建立一個映射矩陣。由於這種一一對應的關係，把變形的全方位圖像轉變為不變形圖像，這種方法有其獨到之處。
圖8所示為建立映射矩陣的方框圖。用戶在三維空間任意定義一個透視視窗，表示為W，並滿足視窗平面的法線應指向反射鏡的焦心這一約束，如圖7示。定義為旋轉，俯仰，焦距的三個參數用於指定透視視窗配置。這些參數便於滿足用戶需要理想視圖的寬範圍選擇。一旦這些參數確定，根據成像系統固定的幾何關係，生成映射矩陣。首先，在全方位成像反射鏡反射鏡之上W平面裡每個象素的投影可以使用直接的光線追蹤法從W平面象素位置W(p，q)到全方位成像反射鏡反射鏡焦心0的直線，交於鏡面一點，記為M(p，q)(見圖8)，點M(p，q)再投影至圖像傳感器焦點。使用「針孔」模型，從M(p，q)到點C的投影線截圖像平面I於象素位置I(i，j)。於是，一一對應關係就此建立W(p，q)←I(i，j )這樣，對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值(如RGB)可用於視窗中對應的象素。表示為MAP的映射矩陣建立起來，它的維數與在W視窗象素的維數相同。MAP每個單元存儲在全方位圖像I上對應象素的2個指數值(i，j)。
建立映射矩陣MAP後，實時圖像處理的任務就大大簡化了。圖9為實時全方位圖像的獲得和處理的流程圖。每次獲得全方位圖像，完成查找圖表運算，生成不變形圖像顯示在透視視窗上。
1.2(B)全景式視窗我們也可以定義全景式視窗，如圖10所示，全景視窗圖像處理過程與我們前面討論的透視視窗圖像處理非常相似。全景視窗由用戶使用三個參數在三維空間任意定義，這三個參數是旋轉，俯仰，焦距，視窗平面的法線指向反射鏡的焦心。除了旋轉，俯仰，焦距，用戶還能調節顯示在透視視窗上象素數組的維數。一旦這些參數確定，根據成像系統固定的幾何關係，可以生成一個映射矩陣。首先，在全方位成像反射鏡反射鏡表面上的W平面每個象素的投影，使用直接的光線追蹤法則從W面上象素位置記作點W(p，q)至全方位成像反射鏡反射鏡焦心的直線，該直線交全方位成像反射鏡反射鏡面於點M(p，q)(見圖10)。點M(p，q)在投影到圖像傳感器的焦點。使用「針孔」模型，從M(p，q)到C的投影線交圖像平面I於象素位置I(i，j)。於是，一一對應的關係就此建立W(p，q)←I(i，j)，這樣，對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值(如RGB)可用於視窗中對應的象素。表示為MAP的映射矩陣建立起來，它的維數與在W視窗象素的維數相同。MAP每個單元儲存在全方位圖像I上對應象素的2個指數值(i，j)。建立映射矩陣MAP後，實時圖像處理的任務就大大簡化了。每次獲得全方位圖像，完成查找圖表運算，生成不變形圖像顯示在透視視窗上。
1.3象素插值由於超廣角全方位攝像頭系統W(p，q)和I(i，j)之間非線性的幾何關係，反射點M(p，q)後投影的交點可能不是正好在圖像平面的任何象素位置。在這種情況下，我們有幾種方法獲得W(p，q)的象素值(1)使用在圖像平面I最鄰近點的象素值而不需任何插入法。例如，計算出的坐標值為(12.315，26.876)，那麼，將坐標值整數化INT(12.315，26.876)＝(12，27)象素值I(12，27)即作為W(p，q)的象素值。這種方法是獲得象素值最快捷的方法，但它存在內在的取整時出現的誤差。
(2)使用插入法解決小數坐標的象素值。假定(i0，j0)落在(i，j)，(i，j+1)，(i+1，j)，和(i+1，j+1)格子裡，相應的W(p，q)象素值可從以下公式(見圖11)得到W(p，q)＝(j0-j)·[(i0-i)·I(i，j)+(i+1-i0)·I(i+1，j)|+(j+1-j0)·[(i0-i)·I(i，j+1)+(i+1-i0)·I(i+1，j+1)|(3)使用另外幾種插入法，如平均法、二次插入法、樣條法等，保證轉變後圖像的精度。使用IC晶片實現運算法則我們簡化全方位圖像處理的運算法則，減少了解高次非線性方程的複雜運算，以查找圖表函數取而代之。
1.4.使用集成電路(IC)晶片實現映射運算使用集成電路(IC)晶片可以很方便實現這種運算。圖12也展示了在電子硬體上實現運算的方框圖。首先，參數空間需要分成有限數的組態。在透視視窗情況下，參數空間是三維的。在全景視窗，參數空間是二維的。對在參數空間每一可能組態，預計算出映射矩陣。映射矩陣可用以下格式儲存MAP=(i1,1,j1,1)(i1,2,j1,2)(i1,3,j1,3)K(i1,M,j1,M)(i2,1,j2,1)(i2,2,j2,2)(i2,3,j2,3)K(i2,M,j2,M)(i3,1,j3,1)(i3,2,j3,2)(i3,3,j3,3)K(i3,M,j3,M)MMMOM(iN,1,jN,1)(iN,2,)(iN,3,jN,3)K(iN,M,jN,M)]]>所有可能的映射矩陣預先儲存在一系列存儲晶片，可以很容易獲取並調用。一旦用戶選擇了視窗配置，即找到儲存中的MAP矩陣，用於計算視窗的圖像W=I(i1,1,j1,1)I(i1,2,j1,2)I(i1,3,j1,3)KI(i1,M,j1,M)I(i2,1,j2,1)I(i2,2,j2,2)I(i2,3,j2,3)KI(i2,M,j2,M)I(i3,1,j3,1)I(i3,2,j3,2)I(i3,3,j3,3)KI(i3,M,j3,M)MMMOMI(iN,1,jN,1)I(iN,2,jN,2)I(iN,3,jN,3)KI(iN,M,jN,M)]]>式中I是全方位圖像。「顯示/記憶/本地控制邏輯模塊」設計有內置存儲器、圖像顯示、用戶界面和自含操作結構，無需依賴其他的計算機。
2.智能監控方法與實現2.1.使用全方位圖像檢測運動本發明同時還根據圖像變化的信息來檢測目標物體的改變/運動。這個特點在安全系統中尤其有意義。直接在檢測圖像變化時直接使用連續的全方位圖像，而不是使用轉化後的透視圖像。我們把連續的全方位圖像記作I1，I2，...，In。在發揮安全監測或區域監督的功能時，我們定義最先得到的一幅為參照幀，記作I0，儲存起來。對每一幅連續的圖像Ii，作圖像相減運算DIFF＝I0-Ii這裡使用過濾器運算排除可能會造成錯誤報警的峰值，如果餘量圖像任一元素「DIFF」都大於預先設定的下限值，比如，探測到侵入者，引發報警信號，把小範圍鄰近的可疑象素點轉變為不變形的透視圖像，從圖像表面上檢查狀況。圖13展示使用全方位圖像檢測變化/運動方案的方框圖。在變化/運動檢測中，使用全方位圖像非常有效，因為它包含光學上壓縮的環境圖像，監控下的整個區域在一次操作裡就可以檢查到。
這種簡單的用圖像相減的辦法檢測圖像變化在實用上會遇到可靠性問題。圖像的背景，光照，風吹草動等因素可能導致誤報警率很高。我們提出了一種「自適應」目標檢測算法，對於第N幀圖像中每一象素pn，我們用一個「滑動平均」pn和一個標準方差σpn來定義一個時序濾波器pn+1＝σpn+(1-σ)pn，σn+1＝σ|pn+1-pn+1|+(1-σ)σn這一統計模型應用對噪聲的統計測量來確定前景象素的取值，而不是採用簡單的閥值，因而有效地提高了動態圖像目標檢測和背景消除的可靠性。
2.2.目標運動跟蹤視覺監控系統的一個主要目的是建立起目標事件的時序模型，對目標進行行為分析，從而對其可能產生的危害進行評估。為了建立時序模型，必須對每一個可能的目標在其活躍時期內進行跟蹤。我們可以將運動檢測算法從圖像中得出的可疑「板塊」，安時序從每一幅連續圖像流中提取，得到其運動趨勢。為了避免系統噪聲的幹擾，我們採用Kalman濾波器對」板塊」的位置序列進行平滑濾波，但這種簡單的濾波器可能只能達到有限的結果。因為他們是根據統一的高斯模型進行設計，不能支持其他可能的運動軌跡假設。
由此我們提出了一種根據每幅之間匹配代價函數的目標跟蹤方法。對於每一個可疑目標」板塊」，我們記錄以下數據·按圖像坐標來描述的運動軌跡(位置p(t)和速度v(t))·攝像頭標定參數，因而我們可以將目標運動軌跡在一個絕對坐標系中進行歸一化 和 ·「板塊」本身參數大小S，中心位置C，顏色統計H在上一步tlast時刻Ti的位置和速度被用來確定預測到的當前時刻tnow的位置p^i(tnow)p^i(tlast)+v^i(tlast)(tnow-tlast)]]>利用這一信息，我們用匹配代價函數來確定一個已知「板塊」Ti是否與當前運動的「板塊」Ri匹配C(Ti,Ri)=f(|p^i-p^j|,|si-sj|,|ci-cj|,|hi-hj|)]]>匹配的目標軌跡被繼續跟蹤，以建立運動軌跡檔案。
2.3.全方位自動PTZ(Pan，Tilt，Zoom)系統將全方位攝像頭與旋轉俯仰平臺和高解析度相機的焦距控制相結合，可以得到一種高性能智能監控系統，如圖1所示。本發明的一個關鍵式利用全方位攝像頭檢測到的可疑區域信息，自動確定旋轉俯仰聚焦的參數，實現用高解析度相機對可疑目標的自動跟蹤和記錄。
可疑區域的方向可由計算得出，供給透視視窗的參數，這樣，高解析度相機便可以自動聚焦到可疑區域。自動聚焦的過程可描述如下(見圖14)(1)在全方位圖像中確定可疑區域的中心，可通過計算可疑象素的重心確定i0=i=1NiiN,]]>j0=i=1NjiN,]]>(2)使用照相機傳感器「針孔」模型追蹤源自照相機焦點的投影光線在全方位成像反射鏡鏡上撞擊點，通過中心象素(i0，j0)，鏡面上的撞擊點記為M0。
(3)使用源自全方位成像反射鏡鏡焦心並通過撞擊點M0的投影光確定透視視窗的法線，法線向量定義透視視窗的Pan和Tilt參數。
(4)使用同樣的光線追蹤法，根據可疑象素組的邊界確定縮放因子。
下面討論幾種全方位自動PTZ系統的實現方案。(請注意，這裡所述的各種方法和實現2.3.1.全方位自動PTZ系統的實現方案之一我們提出的第一種全方位自動PTZ系統的實現方案(如圖22所示)採用一個超廣角全方位攝像頭2210，和與之同軸安裝的一隻由旋轉俯仰平臺2220驅動的高解析度可變焦相機2230。超廣角全方位攝像頭由兩個主要部分組成視覺傳感器2250)和一隻全方位成像反射鏡反射鏡2260。超廣角全方位攝像頭所採集的圖像涵蓋整個半球視角。根據它提供的圖像，實時運動檢測算法可疑發現可疑的圖像區域，裝置在攝像頭旁或與攝像頭集成為一體的圖像處理單元2270提供了一個高效率的引擎來實現這些實時處理功能。檢測到的可疑區域的方位信息被用來控制旋轉俯仰平臺的運動和高解析度相機的聚焦，使高解析度相機能夠自動跟蹤可疑區域的運動，實現全方位自動PTZ系統。
2.3.2.全方位自動PTZ系統他和實現方案之二我們提出的第二種全方位自動PTZ系統的實現方案(如圖23所示)與第一種實現方案相似。不同之處在於用了一隻高解析度變焦轉球相機2340(比如Pelco的高速轉球相機)來替代了圖22中由旋轉俯仰平臺驅動的高解析度可變焦相機。高解析度變焦轉球相機具有體積小，集成度高的特點，而且便於實現與超廣角全方位攝像頭的同軸安裝，適合全方位自動PTZ系統的應用。
超廣角全方位攝像頭2310由兩個主要部分組成視覺傳感器2320和一隻全方位成像反射鏡反射鏡2330。超廣角全方位攝像頭所採集的圖像涵蓋整個半球視角。根據它提供的圖像，實時運動檢測算法可疑發現可疑的圖像區域，裝置在攝像頭旁或與攝像頭集成為一體的圖像處理單元2350提供了一個高效率的引擎來實現這些實時處理功能。檢測到的可疑區域的方位信息被用來控制旋高解析度轉球相機的聚焦，使高解析度相機能夠自動跟蹤可疑區域的運動，實現全方位自動PTZ系統。
2.3.3.全方位自動PTZ系統他和實現方案之三我們提出的第三種全方位自動PTZ系統的實現方案(如圖24所示)與第一、二種實現方案的主要不同之處是採用了一個微型超廣角全方位攝像頭，由視覺傳感器2430和一隻全方位成像反射鏡反射鏡2440組成。微型超廣角全方位攝像頭由安裝支架2420與高解析度轉球相機2410相連接，形成共軸關係。這種實現方案的特點是可以在現有高解析度轉球相機硬體的安裝上將其擴充為全方位自動PTZ系統，而無需對現有的硬體安裝作大量改動。只要加上2420，2430，2440和圖像處理單元2450即可。
超廣角全方位攝像頭所採集的圖像涵蓋整個半球視角。根據它提供的圖像，實時運動檢測算法可疑發現可疑的圖像區域，檢測到的可疑區域的方位信息被用來控制旋高解析度轉球相機的聚焦，使高解析度相機能夠自動跟蹤可疑區域的運動，實現全方位自動PTZ系統。
2.3.4.全方位自動PTZ系統他和實現方案之四第四種全方位自動PTZ系統的實現方案(如圖25所示)與第三種實現方案相似。不同之處在於用了一隻透明機殼2540將視覺傳感器2520和一隻全方位成像反射鏡反射鏡2530相連接，形成一隻超廣角全方位攝像頭。根據它提供的圖像，實時運動檢測算法可疑發現可疑的圖像區域，裝置在攝像頭旁或與攝像頭集成為一體的圖像處理單元2550提供了一個高效率的引擎來實現這些實時處理功能。檢測到的可疑區域的方位信息被用來控制旋高解析度轉球相機的聚焦，使高解析度相機能夠自動跟蹤可疑區域的運動，實現全方位自動PTZ系統。
2.4.聲音定向的透視視窗根據檢測到的講話人，結合定向的麥克風，從而調節透視視窗的視窗方向。此項功能在電話會議上有其獨到的應用。簡單地說，定向的麥克風是在空間分布的麥克風組，聲源傳到每個麥克風強度和所化的時間不同。根據麥克風接收到聲音信號的不同，聲源的空間方向就可以估算出來，估算出來的聲音方向用於控制任一透視視窗的視窗方向。圖15為在超廣角全方位攝像頭安裝的麥克風陣列，數個麥克風放置在圖像單元的外圍。我們把第kth麥克風檢測到的音響信號記作sk，k＝1，2，...n，講話人的方向根據所有探測到的音響信號的矢量和確定 圖16為計算矢量和過程的示意。聲音傳感器可裝在全方位照相機內，也可分開。方向估測信號需輸送到控制計算機，對發聲方向進行估計(算法框圖有圖17所示)，得到旋轉俯仰和聚焦參數來控制高解析度相機的運動，達到自動跟蹤可疑目標的功能。實現一種基於全方位攝像頭的智能控制在實際操作中運用。
實施例1在帶有一個普通鏡頭的視覺照相機前設置有雙曲面的全方位成像反射鏡反射鏡，照相機視場覆蓋整個全方位成像反射鏡鏡表面，照相機和全方位成像反射鏡鏡頭沿旋轉軸對稱。全方位成像反射鏡鏡的作用是反射所有來自視覺照相機視覺中心(焦點，標註C)至視場內物體表面的視線。反射關鍵的特徵在所有反射光線朝虛擬的單一視點，在鏡子的焦心(標註0)必須有投影面。即反射鏡應有效控制視線使照相機從單一視點0等效地看到物體。照相機的輸出接計算機，定向的麥克風(在空間分布的麥克風組)同時接計算機。計算機根據麥克風接收到聲音信號的不同，估算出聲源的空間方向，並將其用於控制任一透視視窗的視窗方向。伺服器是帶Windows/Unix作業系統的計算機，連接Internet網，併兼作監視中心。視覺信號和圖像通過Internet傳輸。
2.5.動態圖像穩定方法和實現視覺監控系統在實際應用中需要解決的一個十分重要的問題，是獲得穩定的連續圖像流。實際監控系統在安裝和使用過程中，不可避免地引入了機械震動(房屋震動，風，運動平臺等)和電子噪聲，使獲得的動態視覺流圖像極不穩定。我們提出了一套有效的動態圖像穩定方法來解決這一問題。
2.5.1.動態圖像穩定的一般方法和實現我們提出一套應用於動態圖像穩定的一般方法，分為兩個主要部分(3)自動特徵提取我們利用每一幅圖像中亮度變化最為激烈的部分作為該圖像的特徵。這種變化可以沿x軸或y軸，或兼而有之(比如邊角點)如果我們用I(x，y)來表示圖像的亮度函數，則可以定義一個局部亮度變化矩陣Z=2Ix22Ixy2Ixy2Iy2]]>用一個小窗口(比如25×25象素)，如果這一矩陣Z的兩個特徵值λ1和λ1超過事先給定的閥值，λmin(λ1，λ2)＞λ。則將這一窗口的中心象素取為一個特徵的候選者。
(4)自動跟蹤在大多數情況下，連續視覺流中各個圖像之間存在多個共有的和不變的特徵點。這些共有的特徵點(由於其空間位置不變因而在圖像中的位置也應不變)可以被用來校準圖像之間由于震動等原因引起的不穩定偏移(平移和旋轉)，達到穩定圖像的作用。圖26說明利用特徵點自動跟蹤來達到穩定圖像作用的方法。假設圖像#1和圖像#2是視覺流中相鄰的兩幅圖像(A組)。由於相機抖動等原因，圖像#2中的目標發生了偏移(旋轉+平移)。如果不加動態圖像穩定功能，這種圖像流無法為目標檢測提供有用信息。我們現在對圖像進行穩定，首先對兩幅圖像分別進行特徵提取，得到B組圖像，B組圖像中的特徵點以紅色表示。這些特徵點的空間位置應該是固定的，由此可以用它們來將圖像#2以圖像#1為依據，進行對準變換，結果如C組所示。通過對圖像#2的平移和旋轉，使其包涵的特徵點對齊，從而使得圖像得到穩定。
穩定的圖像在運動目標檢測中至關重要，如果圖像流本身不穩定，所有象素都會產生誤報警，再好的運動檢測算法也無效。
2.5.2.直接對全方位圖像進行動態圖像穩定的方法和實現對於超廣角全方位圖像，直接應用2.5.1中所述方法還不行。原因是對一般圖像進行動態穩定補償，我們通常應用Affine變換p=xy=abcdxy+fh=Ap+q.]]>對於超廣角全方位圖像，由於圖像本身的非線性，Affine線性變換不能用。我們提出了直接對全方位圖像進行動態圖像穩定的方法，其步驟簡選如下(9)採集一幅參考圖像(超廣角全方位圖像)；(10)對參考圖像進行特徵提取，得到分布在整個半球空間中的「最好」的一組特徵點pi，i＝1，2，...M，(比如說，M＝20)；(11)利用已知全方位相機參數，將超廣角全方位參考圖像投影到一個虛擬的半球面S上；(12)開始採集超廣角全方位圖像流；假設新一幅圖像為I0；；(13)對新一幅圖像進行特徵提取，找出與pi，i＝1，2，...M，相對應的特徵點組p』，i＝1，2，...M；(14)利用已知全方位相機參數，將新一幅圖像投影到同一個虛擬的半球面S；上；(15)兩幅圖像之間的3×3旋轉矩陣R可以用以下方式通過偽逆求出[p』1p』2... p’m]＝R[p1p2... pm](16)利用R來變換新圖像In中的所有象素，將它們投影到S中去。
3.Internet傳輸全方位圖像開發基於Internet傳輸全方位圖像系統版本。稱之為全方位成像反射鏡網。
3.1.系統框架結構本發明使用一個伺服器為全方位成像反射鏡網用戶提供信息傳輸服務。伺服器的使用簡化了交通控制，減少整個網絡的負荷。儘管網橋或路由器等器件可提供自動數據傳遞，但它因為不能減少交通負荷，不能和傳輸伺服器起同樣的作用。全方位成像反射鏡網在醫學運用方面作用尤其明顯。病人傳輸圖像或數據給醫生或在Internet上的其他醫務機構。沒有伺服器，每個病人必須明白把他/她的數據送到哪裡，而且要分別送到幾位專家手中。藉助於伺服器，病人只需把數據包及地址簿傳遞到伺服器，伺服器會幫病人分發。這樣，不僅網絡的交通負荷減少了，操作也更簡便。
系統圖示請見圖18。主機和本地/遙控監視站都是低成本可上Internet網的計算機。某些監視中心同時也連接在本地網(LAN)上。伺服器是帶Windows或Unix作業系統的計算機，上網速度很快，也可兼作監視中心。圖19示意全方位成像反射鏡網伺服器的布局。伺服器用戶機包括病人、遠距離醫學使用者和開業者、醫學信息視覺系統、資料庫、檔案和檢索系統。伺服器基本功能是在用戶之間管理通訊，如接收、傳送、分發醫學信號和記錄、控制信息交流的方向、優先權、流速等。從用戶的眼光看，他/她只需傳送到伺服器和/或從伺服器接收數據，就能與指定的人或機構聯繫。
3.2.Socket程序設計根據全方位成像反射鏡網伺服器結構，伺服器傳送協議應包括界面連接和數據包。我們建議採用的伺服器連接協議是連接Internet應用層的socket界面，網絡設計是星型布局的伺服器/客戶機結構。客戶機/伺服器通訊應用程式任務應包括兩個組成部分伺服器程序和客戶機程序。遠距離監測應用需要伺服器程序能為不同的客戶提供服務，如病人、醫學專家、急症和存儲裝置。為有效使用伺服器，客戶機程序應提供合適的界面與伺服器協同工作。考慮到這些要求，伺服器程序的結構和客戶機程序的界面功能在這裡解密。使用面向對象編程概念，伺服器程序由監聽-socket類的對象和客戶-socket類的許多對象組成。
圖20是伺服器程序的流程圖。不管何時，用戶打電話給伺服器，監聽-socket類對象接電話，創立一個客戶-socket類對象，保持與客戶的連接並應客戶需要提供服務。當客戶-socket類從客戶機那裡接到數據包，它會編譯並應客戶要求，重新設置通信狀態，將數據包傳遞到別的客戶。除了面向對象的功能，伺服器也在客戶機中間管理通信量。伺服器編制表格，儲存所有客戶socket程序通信信息，包括連接狀態、客戶名、組名、接收居住位、網橋狀態和網橋擁有者。伺服器也能提供簡單的資料庫處理。如果有客戶提供的資料庫，伺服器會傳送客戶的需求，並把數據傳送回客戶。為伺服器傳送或分發信息給正確的客戶，需定義一個特殊的數據包格式，如圖21所示。這個格式包括客戶地址、方向信息，數據長度和傳送的數據。軟體用C++和JAVA編寫。作業系統是Windows或者Unix。
3.3.Internet圖像傳輸視覺信號和圖像通過Internet傳輸。遠距離監測的某些應用不需要圖像傳輸的視覺速度。事實上，在幾秒中傳輸一幀圖像的速度在大多數情況下，是可以接受的。因此，高解析度的圖像(某些有損和無損的壓縮方式，如zip，tiff，mpeg，或jpg)可以直接用於傳輸。
3.4.雙向通訊及雲臺變焦控制變焦和旋轉俯仰鏡頭的控制是現有技術，變焦鏡頭是在固定成象面的情況下能夠連續調整焦距的鏡頭，它與電動旋轉雲臺組合可以對相當廣闊的範圍進行監視，而且還可以對該範圍內任意部分進行特寫。對高解析度相機(鏡頭)的控制有變焦，聚焦和光圈3種功能，每種有長短，遠近和開閉控制。PanTilt)雲臺就是兩個交流電組成的安裝平臺，可以旋轉俯仰的運動，將鏡頭安裝於其上，實現鏡頭多個自由度運動的裝置，滿足對固定監控目標的快速定位，或對大範圍監控環境的全景觀察。對雲臺的選擇可以按下列分類來加以區分。在挑選雲臺時要考慮安裝環境、安裝方式、工作電壓、負載大小，也要考慮性能價格比和外型是否美觀。
圖28和29分別是本發明嵌入式圖像/音頻單元的框圖和電路圖，可以與上述系統一體化裝置對圖像進行處理成可以傳達室送的信號。
權利要求
1.廣角或超廣角全方位智能化視覺監控方法，根據第一視覺圖像信息或其附加信息的變化來檢測目標物體的改變或運動，其特徵在於以下述之一方法在檢測圖像變化時直接使用連續的全方位圖像，將在先得到的一幅為參照幀，記作I0，儲存起來；對每一幅連續的圖像Ii，作圖像相減運算DIFF＝I0-Ii如果餘量圖像任一像素「DIFF」都大於預先設定的下限值，則對此像素小範圍鄰近的可疑象素作檢驗論證或進行報警或將像素點轉變為不變形的透視圖像，從圖像表面上檢查狀況；或在直接在檢測圖像變化時採用」自適應」目標檢測的方法超限值像素進行計算對於第N幀圖像中每一象素pn，用一個」滑動平均」pn和一個標準方差σpn來定義一個時序濾波器pn+1＝σpn+(1-σ)pn，σn+1＝σ|pn+1-pn+1|+(1-σ)σn這一統計模型應用對噪聲的統計測量來確定象素下限值的取值；或在直接檢測圖像變化時每幅圖像之間匹配代價函數對目標進行跟蹤其方法是對於每一個可疑目標的圖像」板塊」，記錄以下數據·按圖像坐標來描述位置p(t)和速度v(t)構成的運動軌跡·對攝像頭標定參數，因而將目標運動軌跡在一個絕對坐標系中進行歸一化 和 ·圖像「板塊」本身參數大小S，中心位置C，顏色統計H在上一步tlast時刻Ti的位置和速度被用來確定預測到的當前時刻tnow的位置p^i(tnow)p^i(tlast)+v^i(tlast)(tnow-tlast)]]>利用這一信息，用匹配代價函數來確定一個已知圖像」板塊」Ti是否與當前運動的圖像」板塊」Ri匹配C(Ti,Ri)=f(|p^i-p^j|,|si-sj|,|ci-cj|,|hi-hj|)]]>匹配的目標軌跡被繼續跟蹤，以建立運動軌跡檔案；在全方位圖像中確定可疑區域的中心，通過計算可疑象素的重心確定i0=i=1NiiN,]]>j0=i=1NjiN,]]>上述檢測到的目標物體的改變或運動的參數用於精確控制第二視覺圖像監控的攝像頭，第二視覺圖像監控的攝像頭是高解析度相機或攝像頭，用於控制攝像頭旋轉俯仰平臺和焦距控制，用於實施精確目標監測，跟蹤，識別和監控。
2.根據權利要求1所述的廣角或超廣角全方位智能化視覺監控方法，其特徵是獲得第一視覺圖像的攝像頭為全方位攝像頭，所述全方位攝像頭用於捕捉涵蓋接近於180×360度空間角度的整個半球視場圖像，其構成是用廣角光學鏡頭或在常規照相機前面的放置一凸面反射鏡，所述凸面反射鏡為圓錐鏡、球鏡、雙曲面或拋物面鏡，被稱為全方位成像反射鏡，投影點M落在鏡面某處時，相機接收到的入射光的延長線總是通過單一視點O，得到變形的全方位圖像；或從變形的全方位圖像象素直接映射成透視視窗圖像；所述變形的全方位圖像或透視視窗圖像在三維空間使用三個參數旋轉，俯仰，焦距；將第二視覺監控攝像頭或高解析度相機與旋轉俯仰平臺和高解析度相機的焦距控制相結合，檢測到的可疑區域的圖像信息，自動確定旋轉、俯仰和聚焦的參數，並用高解析度相機對可疑目標的自動跟蹤和記錄；通過供給參數使攝像頭或高解析度相機自動聚焦到可疑區域；自動聚焦的方法是(1)在全方位圖像中確定可疑區域的中心，可通過計算可疑象素的重心確定i0=i=1NiiN,]]>j0=i=1NjiN,]]>(2)使用照相機傳感器「針孔」模型追蹤源自照相機焦點的投影光線在廣角反射鏡上撞擊點，通過中心象素(i0，j0)，鏡面上的撞擊點記為M0。(3)使用源自廣角反射鏡焦心並通過撞擊點M0的投影光確定透視視窗的法線，法線向量定義透視視窗的Pan和Tilt參數。(4)使用同樣的光線追蹤法，根據可疑象素組的邊界確定縮放因子。
3.根據權利要求2所述廣角或超廣角全方位智能化視覺監控方法，其特徵是對全方位圖像的實時處理，把變形的全方位圖像或不變形透視視窗內的象素點W(p，q)與在變形全方位圖像上相應的象素位置I(i，j)建立一個映射矩陣；這樣，對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值用於視窗中對應的象素；使用了實時全方位圖像處理的運算法則一旦透視或全景視窗配置決定，從變形的全方位圖像象素直接映射成透視視窗；透視視窗在三維空間使用三個參數旋轉，俯仰，焦距任意定義，把在不變形透視視窗內的象素點W(p，q)與在變形全方位圖像上相應的象素位置I(i，j)建立一個映射矩陣。由於這種一一對應的關係，把變形的全方位圖像轉變為不變形圖像，在廣角反射鏡之上W平面裡每個象素的投影可以使用直接的光線追蹤法從W平面象素位置W(p，q)到廣角反射鏡焦心O的直線，交於鏡面一點，記為M(p q)(見圖8)，點M(p，q)再投影至圖像傳感器焦點；從M(p，q)到點C的投影線截圖像平面I於象素位置I(i，j)。於是，一一對應的關係就此建立W(p，q)I(i，j)，這樣，對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值(如RGB)可用於視窗中對應的象素。表示為MAP的映射矩陣建立起來，它的維數與在W視窗象素的維數相同。MAP每個單元存儲在全方位圖像I上對應象素的2個指數值(i，j)；對透視視窗W上每個象素，在全方位圖像相應於W(p，q)有唯一的象素位置，它的象素值(如RGB)可用於視窗中對應的象素；並進行象素插值，反射點M(p，q)後投影的交點以下述方法獲得W(p，q)的象素值(1)使用在圖像平面I最鄰近點的象素值而不需任何插入法；(2)使用插入法解決小數坐標的象素值。假定(i0，j0)落在(i，j)，(i，j+1)，(i+1，j)，和(i+1，j+1)格子裡，相應的W(p，q)象素值可從以下公式W(p，q)＝(j0-j)·[(i0-i)·I(i，j)+(i+1-i0)·I(i+1，j)]+(j+1-j0)·[(i0-i)·I(i，j+1)+(i+1-i0)·I(i+1，j+1)](3)使用平均法、二次插入法或樣條法，保證轉變後圖像的精度。
4.根據權利要求2所述的廣角或超廣角全方位智能化視覺監控方法，其特徵是使用集成電路(IC)晶片實現映射運算，在透視視窗情況下，參數空間是三維的；在全景視窗，參數空間是二維的；對在參數空間每一可能組態，預計算出映射矩陣；映射矩陣可用以下格式儲存所有可能的映射矩陣預先儲存在一系列存儲晶片，一旦用戶選擇了視窗配置，即找到儲存中的MAP矩陣，用於計算或直接調用視窗的圖像式中I是全方位圖像。″顯示/記憶/本地控制邏輯模塊″設計有內置存儲器、圖像顯示、用戶界面和自含操作結構，不依賴其他的計算機。
5.根據權利要求1所述的廣角或超廣角全方位智能化視覺監控方法，其特徵是根據權利要求1所述的視覺智能監控方法，其特徵是根據視覺圖像的附加信息進行視覺智能監控，視覺圖像的附加信息是在攝像頭所攝的區域周圍設有麥克風陣列，以檢測聲音方向，根據多個聲源的空間和時間(相位)的差異，估計聲源的方向，根據麥克風接收到聲音信號的不同，聲源的空間方向就可以估算出來，根據聲源的方向，確定相機的旋轉俯仰和聚焦參數，對高分辨相機進行運動控制，將其對準麥克風陣列檢測到的方向。
6.根據權利要求1或2所述的廣角或超廣角全方位智能化視覺監控方法，其特徵是動態圖像穩定的方法是(1)自動特徵提取利用每一幅圖像中亮度變化最為激烈的部分作為該圖像的特徵如果用I(x，y)來表示圖像的亮度函數，則可以定義一個局部亮度變化矩陣Z=2Ix22Ixy2Ixy2Iy2]]>用一個小窗口一定面積的象素；如果這一矩陣Z的兩個特徵值λ1和λ1超過事先給定的閥值，λmin(λ1，λ2)＞λ.則將這一窗口的中心象素取為一個特徵的候選者；(2)自動跟蹤在大多數情況下，連續視覺流中各個圖像之間存在多個共有的和不變的特徵點，這些共有的特徵點被用來校準圖像之間由于震動等原因引起的不穩定偏移(平移和旋轉)，達到穩定圖像的作用.首先對兩幅圖像分別進行特徵提取，得到B組圖像.B組圖像中的特徵點以紅色表示.這些特徵點的空間位置應該是固定的，由此可以用它們來將圖像#2以圖像#1為依據，進行對準變換.結果如C組所示.通過對圖像#2的平移和旋轉，使其包涵的特徵點對齊.從而使得圖像得到穩定。
7.根據權利要求1或2所述的廣角或超廣角全方位智能化視覺監控方法，其特徵是動態圖像穩定的方法是對於超廣角全方位圖像，其步驟如下(1)採集一幅參考圖像；(2)對參考圖像進行特徵提取，得到分布在整個半球空間中的」最好」的一組特徵點pi，i＝1，2，...M，(比如說，M＝20)；(3)利用已知全方位相機參數，將超廣角全方位參考圖像投影到一個虛擬的半球面S上；(4)開始採集超廣角全方位圖像流；假設新一幅圖像為In；；(5)對新一幅圖像進行特徵提取，找出與pi，i＝1，2，...M，相對應的特徵點組p』，i＝1，2，...M。(6)利用已知全方位相機參數，將新一幅圖像投影到同一個虛擬的半球面S；上；(7)兩幅圖像之間的3×3旋轉矩陣R可以用以下方式通過偽逆求出[p』1p』2...p’m]＝R[p1p2...pm](8)利用R來變換新圖像In中的所有象素，將它們投影到S中去。
8.廣角或超廣角全方位智能化視覺監控裝置，其特徵是採用第一視覺圖像信息和第二視覺圖像信息獲得裝置，其中一隻攝像頭為一個超廣角全方位攝像頭2210，超廣角全方位攝像頭由視覺傳感器2250)和一隻全方位成像反射鏡構成，第二視覺圖像信息獲得裝置為高解析度可變焦相機，第一視覺圖像信息和第二視覺圖像信息獲得裝置共用一圖像顯示裝置。
9.根據權利要求8所述的廣角或超廣角全方位智能化視覺監控裝置，其特徵是視覺傳感器2250)裝在全方位成像反射鏡2260下方，對準全方位成像反射鏡反射鏡的中軸線，與之同軸安裝的一隻由旋轉或俯仰驅動的高解析度可變焦相機2230裝在全方位成像反射鏡上部或視覺傳感器的下部。
10.根據權利要求8或9所述廣角或超廣角全方位智能化視覺監控裝置，其特徵是由一旋轉俯仰平臺2220驅動的高解析度可變焦相機是變焦轉球相機。在攝像頭旁或與攝像頭集成為一體的圖像處理單元。圖像處理單元為嵌入式CPU和裝置，在攝像頭旁或與攝像頭集成為一體的圖像處理單元2350提供了一個高效率的引擎來實現這些實時處理功能.檢測到的可疑區域的方位信息被用來控制旋高解析度轉球相機的聚焦，使高解析度相機能夠自動跟蹤可疑區域的運動，實現全方位自動PTZ系統。
全文摘要
廣角或超廣角全方位智能化視覺監控方法，根據第一視覺圖像信息或其附加信息的變化來檢測目標物體的改變或運動，如在檢測圖像變化時直接使用連續的全方位圖像，對先後圖像相減運算，如果餘量圖像任一像素「DIFF」都大於預先設定的下限值，則對此像素小範圍鄰近的可疑象素作檢驗論證或進行報警；本發明提出了一系列廣角或超廣角全方位視覺智能監控方法和系統；本發明只用一隻攝像頭，便可以連續實時觀察其周圍360度全方位範圍內所發生的所有事件，將這種超廣角全方位視覺系統與稿精度轉球相機結合，可以實現全方位高解析度視覺監控，將這種系統與其他監控檢測和高性能視覺監控算法相結合，可以獲得高可靠性智能監控系統。
文檔編號H04N7/18GK1968405SQ20051009542
公開日2007年5月23日 申請日期2005年11月14日 優先權日2005年11月14日
發明者耿徵 申請人:耿徵