用於選擇性圖像捕獲、傳輸和重構的系統和方法

2023-10-31 20:18:17 3

專利名稱：用於選擇性圖像捕獲、傳輸和重構的系統和方法
技術領域：
本發明一般涉及視頻和數據通信，並且特別涉及在要求低帶寬和低功 率中任一個或同時兩個的應用中捕獲、傳輸和重構高解析度視頻數據。
背景技術：
在通信信道上的高解析度視頻圖像的傳輸要求大量信道帶寬。所述大 帶寬要求是由於為傳送高解析度視頻數據所需的高數據率，特別是由於許
多應用所需的視頻圖《象信息內^L從640 x 480(NTSC )增加到1920 x 1080 (HDTV)和更高.數字視頻照相機現在可以捕獲比HDTV大四倍的圖像。 所述大帶寬要求是必要的，除非例如壓縮的技術被應用於所述視頻數據。 傳送視頻數據信號的問題在下述情形中被進一步增加，其中可用信道帶寬 在所述視頻數據的捕獲、傳輸和重構的各個階段不同、或其中可用信道帶 寬可以隨時間改變。對於可攜式成像應用，功率消耗是主要問題.視頻成 像系統中的功率消耗主要取決於所處理的視頻像素數據的量，並且應用於 成像鏈的所有部分，即捕獲、壓縮、傳輸和重構.因此，減少帶寬和功率 要求仍然是視頻通信領域中的重要目的。
一種用於減小視頻傳輸中的帶寬要求的通用方法是使用圖像壓縮.壓 縮技術典型地通過針對給定應用和圖像內容的本質所選定的壓縮比以及得 到的圖像質量來壓縮整個圖像。壓縮方法可以適於響應於圖像方面的改變， 然而，這些方法不能被認為是例如由人類觀測者的視覺系統實施的視頻圖 像的智能處理，
在所^A類視覺系統中，大量感光器被集中到眼睛的有凹區域，隨著 眼睛在圖像中的各個感興趣區域之間快速移動，僅固定點附近的小圖像區
6域被人類視覺系統處理以包含高解析度圖像信息。壓縮技術處理整個圖像， 即使僅小的感興趣區域需要包含高解析度視覺數據。在一些系統中，嘗試 通過創建整個視場中的圖像的放大部分來增強圖像內容。然而，所述放大
區域必須阻隔相鄰、未放大的背景區域。對於監視(surveillance)應用， 放大區域的使用降低了狀況感知，並且對於其它成像應用，放大區域的使 用降低了導航能力.
已作出努力來創建有凹(foveated)顯示和支撐系統來降低數據速率。 這些系統顯示感興趣區域中的更多圖像信息內容，其中，所述感興趣區域 的位置通過用戶佩戴的眼球跟蹤設備設定。典型地，過濾器被應用於視頻 數據以定義所述感興趣區域，在所述感興趣區域中，對於距所述感興趣區 域中心較遠的像素數據，圖像質量逐漸下降，
總體上，為創建有凹顯示的努力對於許多應用仍然未令人滿意.如果 圖像捕獲設備和顯示器之間的距離大到足以導致大於幾毫秒的信號時延， 則包含眼球跟蹤設備的系統的使用是非常受限的.B鋒跟蹤設備傾向於是 笨重、昂貴的，並且要求高性能的刻度。
分配可用帶寬，'或適於可用J寬4:變。這些;統不提供對視頻數據"各 部分的解析度的獨立控制，即空間採樣、時間採樣、壓縮和顏色位深度 (bit-depth).最後，這些系統中沒有任何一個包含提供使用數字視頻數 據的部分幀打包、編碼或加密的、適於在網絡上的無線傳輸或者有線傳輸 的緩存視頻數據.對於監視應用，通過用於監視和跟蹤目標的用戶或其它 軟體控制來具有多個感興趣區域的無縫圖像呈現是很重要的。
因此，需要一種要求相對較少帶寬和功率的視頻通信系統。所述系統 將需要能夠提供對視頻數據的各部分的解析度的獨立控制，即空間採樣、 時間釆樣、壓縮和顏色位深。
對優化視頻成像系統中的帶寬利用的需求已存在了 一段時間.早期工 作集中在視頻應用中為高效使用帶寬的空間和時間採樣(例如，屬於 Brown的美國專利4，004，084 )以及圖4象分割(例如，屬於Brown的美國專利4,494,144)。另一方法處理其中在用戶視覺系統固定點附近提供更多 圖像信息內容的有凹顯示。例子有屬於Yamaashi的美國專利5,621,429 和美國專利5,880,728、屬於Hazra的美國專利6,178,204、屬於Geisler的 美國專利6,252,989。然而，該方法使用固定、自動信號處理來最小4匕強制 約束中的帶寬要求。

發明內容
在本發明的一方面中， 一種視頻處理系統和方法祐/^開，其用於捕獲、 傳輸和重構視頻圖像，以及為減少帶寬和功率要求的目的，除所述圖像數 據外還傳輸捕獲和控制參數.在本發明的一方面中，視頻圖^^L場中的多 個感興趣區域可以被用戶或軟體監視應用定義和控制。所述感興趣區域在 不遮蔽相鄰背景圖像部分的情況下被無縫地呈現在顯示器上，其類似於有 凹顯示。
在本發明的另 一方面中， 一種用於視頻傳輸的帶寬分配方法和系統被 公開；所述帶寬分配技術使用具有不同圖像質量的不同帶寬處理和傳輸視 頻圖像的不同區域，
在本發明的另一方面中，帶寬分配由例如空間採樣、時間採樣或顏色 位深度降低的一個或更多採樣方法控制。
在本發明的另一方面中，帶寬分配通過特別包括類似於JPEG 2000標 準的基於子波(wavelet)壓縮的壓縮方法來控制。
在本發明的另 一方面中，系統各處的圖像處理模塊使用允許算法或處 理參數被實時改變的可重配置邏輯電路。圖像處理模塊可以被連接到一起， 以便並行並且相互合作地處理視頻圖像.在本發明的又一方面中，用於捕
的各部分的多個圖像處理模塊之間的數據和控制通信信道。對於所述配置， 為抑制邊界效應，邊界圖像數據在相鄰模塊間被共享。
在本發明的另 一方面中，包含在圖像處理模塊中的所述可重配置邏輯 電路包括現場可編程門陣列(FPGA)，其中，該現場可編程門陣列的功 8能可以或者編程地或者通過用戶輸入來實時地修改以實施各種圖像處理任 務。


圖l是示出了不同感興趣區域的示例性圖像。
圖2是示出了對圖像的各個部分的不同帶寬要求的示例性圖像。
圖3示出了用於本發明的示例性實施例中的圖像處理的說明性系統.
圖4示出了本發明的示例性實施例中的說明性圖像處理網絡。
圖5示出了本發明的示例性實施例中的示例性輸入輸出模塊，
圖6示出了本發明的示例性實施例中的圖像處理模塊。
圖7是視頻處理系統的示例性實施例的框圖，其中，所述視頻處理系
統用來用於監視應用的視頻圖像的選擇性捕獲、傳輸和重構。
圖8示出了具有用戶界面的示例性實施例，其中，所述用戶接口除所
述視頻圖像外還將任務欄繪製在顯示屏幕上，
具體實施例方式
圖1是示出了不同感興趣區域的示例性圖像,示例性圖像10示出了具 有兩個感興趣區域的典型海洋前景，其中，所述兩個感興趣區域是圖像IO 中所示的兩艘船的控制塔。區域12是向觀察者示出了感興趣區域的固定窗 口.區域14是漫遊(roving)窗口型感興趣區域.該漫遊窗口是可移動和 靈活的，因為其可以被調整大小和改變.典型地，觀察者可能希望區域12 和區域14是可以以比背景區域16更高的解析度來觀察的，因為它們是本 圖示中的感興趣區域。因此，當圖像的不同區域可以具有不同解析度和幀 率時，分配所有可用帶寬用來以單一最高可能解析度傳輸整個圖像將是浪 費的。
圖2是示出了對圖像的各個部分的不同帶寬要求的示例性圖像。圖像 18包括區域20，該區域是圖像18的背景；區域22是固定窗口區域；以 及區域24是漫遊窗口.在本例中，圖像18的整體解析度是1920 x 1200
9像素，具有24位深度、30幀每秒(fps)的視頻採樣速率、IOO像素每英 寸(ppi),以及該圖像在1.66Gb/s帶寬上傳輸。
在本例中，總體視頻解析度和帶寬被如接下來描述的那樣分配。固定 窗口區域22具有640x480像素的解析度、24位、15 fps、 100 ppi、釆用 110Mb/s;以及，漫遊窗口區域24為157x 157像素、30 fps、 100 ppi和 17.7Mb/s。因此，相比於為15 fps的固定窗口區域22和為30 fps的漫遊 窗口區域24，該圖像的背景區域以較慢的2 fps速率被釆樣。因此，相比 於為110 Mb/s的固定窗口區域22和要求17.7 Mb/s的漫遊窗口區域24， 所述背景區域要求較低的27.7 Mb/s帶寬。帶寬的最優使用可以通過將可 用帶寬的較大部分專用於感興趣區域以及將可用帶寬的較小部分用於非感 興趣區域來達到，由此，可用帶寬可以在不同感興趣區域之間被最優地分 配，以及，帶寬的總需求可以通過將較高帶寬分配給所述感興趣區域以及 將較低帶寬分配給其它區域來減少.
上面描述的系統可以在示例性實施例中被實現為通過對圖像的不同部 分使用不同解析度和幀率來提供最優帶寬利用。有凹顯示器可以顯示圖像， 其中，感興趣區域以與非感興趣區域不同的解析度被示出.示例性感興趣 區域被認為屬於兩種類型 一種是漫遊窗口，以及另一種是固定窗口 (見 圖1、 2和3)。
圖3示出了根據本發明的示例性實施例的一種用於圖像處理的系統。 系統26是被用於捕獲、傳輸和重構圖像的模塊化系統.系統26使能了智 能圖像處理和傳輸，其使能了具有高狀況感知度、相對最小帶寬要求的非 常高質量的視頻應用(例如監視).
作為示例，兩個位置安排被示出，其中，位置A是圖像捕獲位置，以 及位置B是圖像重構位置。所述成像/通信鏈的傳輸和接收方都包含使得以 半雙工或全雙工模式運轉成為可能的相同硬體模塊，以及，所述系統可以 包括用於雙向通信的反向信道。為提供配置靈活性，每個模塊可以包括一 個或更多現場可編程門陣列(FPGA)集成電路(IC)。所述才莫塊內的FPGA 可以被用於定製針對每個應用的固件，因為它們是可重編程和可重配置的硬體部件。
照相機28捕獲視頻圖像30，其中，該視頻圖像30在輸入接口 30上 傳輸到輸入才莫塊(IM) 32。所述輸入接口 30可以是多系統照相機接口、 數字視頻接口 (DVI)、高清晰度串行數字接口 (HD-SDI) 、 IEEE 1394 或CAMERA LINK原始照相機鏈路中的一個或更多。本領域的技術人員 將理解，上面列出的輸入接口 30中的輸入的類型僅是說明性的，並且任何 其它照相機接口可以被用於所述輸入接口 30中。
所述輸入模塊32接收由照相機28捕獲的視頻，所述輸入模塊32可以 將輸入視頻圖像轉換為適於貫穿所述多模塊系統的實際傳輸的格式(物理 上具有XILINX AURORA協議或例如INFINIBAND和光纖信道 (Fibrechannel)的其它協議的RACKET-IO).所述輸入模塊32可以進 一步實施對於背景和感興趣區域的圖像採樣和過濾。所述採樣和過濾可以 包括空間、時間和位深度採樣。
所述輸入模塊32可以處理各種輸入視頻信號，並且將其轉換為其它數 字計算杌格式。例如，所述輸入模塊32可以將DVI-IN、 HD-SDI 、 IEEE 1394 或原始Camera Link視頻數據轉換為DVI或ROCKET-IO格式。兼容 AURORA(來自XILINIX )INFINIBAND標準或光纖信道(Fibrechannd) 標準的協議和硬體可以被用於將所述輸入模塊32與其它聯網或圖像處理 裝置相接合。另外，作為模塊化部分，所述輸入模塊32可以被用於需要由 該輸入模塊32提供的所述轉換和/或採樣設施的其它視頻應用中.
由於系統26是模塊化的，IPEM 36模塊可以通過連接點38a-d來與其 它圖像處理模塊接合，以便創建並行圖像處理網絡。IPEM36包括處理邏 輯和其它可重配置邏輯單元。IPEM36可以實施多個圖像處理任務。例如， IPEM36可以被配置為實施視頻壓縮、運動檢測、目標檢測和對象跟蹤。 由於IPEM 36包括可以用FPGA來實現的可重配置系統邏輯，其可以被 配置或重配置為實施各種圖像處理任務。為抑制邊界效應，邊界圖像數據 被在相鄰模塊間共享.
鏈路40將IPEM 36模塊連接到網絡接口 Tx模塊42。該鏈路40可以
ii是運行高速I/O協議(例如ROCKET I/O)的高速鏈路。所述網絡接口 Tx模塊42將數據從所述高速I/0格式轉換為網絡協議。例如，網,口 Tx模塊42可以將使用ROCKET I/O格式傳輸的視頻數據轉換為乙太網格 式。所述被轉換的數據在網絡鏈路46上被傳輸到接收位置B，其中，該接 收位置B可能距傳輸位置A有很長距離。
在所述接收位置B，網#口 Rx模塊48將所接收的視頻數據從網絡 傳輸格式轉換為高速格式。例如，網絡接口 Rx模塊48可以將乙太網格式 數據轉換為ROCKET I/O格式。圖像處理解碼器模塊(IPDM) 52將所述 格式化的視頻數據轉換為適於顯示或進一步處理的視頻數據。例如，IPDM 52可以將已壓縮圖像數據轉換為未壓縮圖像數據，或將編碼視頻數據變為 解碼視頻數據。IPDM 52可以使用連接點54a-c與其它IPDM 52模塊聯網 以構成並行處理網絡.
鏈路56將IPDM 52連接到生成輸出信號的輸出模塊58。所述輸出模 塊58可以與示例性顯示終端60接合，其中，所述顯示終端60可以包括輸 出設備和例如鍵盤或滑鼠的輸入設備。所述輸出模塊58可以生成多種格式 的視頻，例如DVI和DPVL格式，
所述系統26是模塊化的，並且因此可以對於傳輸方位置A和接收方 位置B使用類似模塊.例如，IPEM 36和IPDM 52是可重編程的，並且 因此可以被編程為實施編碼或解碼。系統26中的所有所述模塊可以被遠程 重編程。例如，接收方的終端或設備可以遠程重編程其輸入模塊，並且通 過網絡遠程改變例如照相機、輸入模塊32和IPEM 36模塊的輸入方設備 的機能。因此，所述接收模塊可以被遠離所述照相機和輸入模塊放置。
模塊性使能了模塊到模塊通信.另夕卜，在不重新設計該系統的情況下， 系統容量可以被增強或修改以適應不同類型的圖像(例如大型圖像)，因 為模塊化部件可以在模塊到模塊接口被添加或移除.因此，在配置該系統 時所述系統26的模塊性和可重編程性的特徵提供了成本節約和靈活性，
由照相機28捕獲的圖像的所述漫遊窗口 、固定窗口和背景區域在顯示 器60上顯示給用戶。所述用戶接收這樣的視頻，其中，該視頻的漫遊窗口和固定窗口區域被以相比於該視頻圖像的背景更高的圖像質量示出在所述 顯示器上，以便創建有凹顯示。所述感興趣區域內的更高圖像質量的各方 面可以包括更高空間解析度、更高時間採樣、更高顏色位深度或更高質量 壓縮。所述用戶使用例如滑鼠和鍵盤的顯示終端60附件選擇所述漫遊窗口 和固定窗口的位置和尺寸。這些位置和尺寸被傳送到IPEM 36。該IPEM 36 控制圖像中不同感興趣區域的幀率，並且通過集成不同感興趣區域的視頻 圖像來建立連貫的視頻圖像.當所述圖像數據在網絡鏈路46上傳輸時，帶 寬被最優地利用，因為不同圖像區域被取決於其是固定窗口、漫遊窗口還 是背景而以可變的幀率進行傳輸。所述系統的用戶可以獨立地控制整個系統。例如，用戶可以實時控制 空間採樣、時間釆樣、顏色位深度和壓縮質量。另外，用戶可以控制感興 趣區域和背景連同其大小、位置、解析度、質量、幀率並且因此還控制其 帶寬利用。其它視頻捕獲和視頻處理參數也可以通過向所述圖像傳輸系統 的部件發送控制信號來控制。在本發明的不同示例性實施例中，用於IOM32、 IPEM36和網^ 口 Tx模塊42 (所述圖像處理過程的傳輸方)對所述視頻處理的控制和修 改的控制信號可以被從外部軟體、硬體設備或通過經由耦合到輸出模塊58 的輸入設備提供的用戶輸入來發送。在至少一個示例性實施例中，所述控 制信號可以在所述網絡鏈路46上或通過除了用於連結所述圖像處理過程 的傳輸和接收方的網絡鏈路46之外的專用控制鏈路(未示出)來傳送。在本發明的至少一個實施例中，用於正則方陣RGB像素的空間採樣 方案的示例將是西洋跳棋棋盤圖案，其中，該圖案的周期性可以被選為所 捕獲的圖像的固有解析度的倍數，為了將所傳輸的像素的數量減少兩倍， 對於西洋跳棋棋盤的空間採樣圖案將對於圖像的每行中每三個^^素採樣一 個像素，其中，每行中的第一個樣本對於交替的行偏移一個像素.為了更 大的減少比率，將在每行中對於每四個、五個或更多個像素採樣一個像素。 典型地，對於圖像的背景部分的空間釆樣將被設為二倍或更大倍數的減少比率，而對於感興趣區域，空間採樣將包含以照相機的固有解析度捕獲的 圖像的該部分中的所有像素。所採樣的背景圖像的質量則可以例如通過用 於使所採樣的像素數據變得平滑的高斯濾波算法的應用來改進。簡單時間採樣方案的例子是，每兩幀釆樣一幀，用以將所傳輸數據速 率減少兩倍。更大的減少比率可以通過每三幀、四幀或更多幀採樣一幀來 達到。對於緩慢移動的目標，慢至每秒幾幀的幀率可以是可接受的。然而，對於快速移動的目標，高至該系統將允許的、典型為每秒30幀或每秒60 幀的幀率可以是需要的，標準壓縮技術可以被獨立地應用於視頻圖像的感興趣區域和背景部 分。特別適於對不同輸出成分的選擇性傳輸的基於子波(wavelet)的壓縮 技術的例子如JPEG-2000.如之前所討論的，視頻數據和帶寬的大量減少 通過對視頻圖像的背景部分的空間和時間採樣和有凹來達到，而不需要同 樣應用壓縮.於是，可以單獨對感興趣區域應用壓縮，對視頻圖像的各個 部分的壓縮的應用的選擇才艮據該視頻成《象應用的本質、跟蹤移動的要求和 目標的空間細節以及系統帶寬的可用性來指定.本領域的技術人員將理解，上面列出的用戶控制是說明性的，以及， 取決於應用需求，系統可以被配置為提供用於操縱所述系統的操作參數的 任意類型的用戶控制.多個感興趣區域(見圖l和2)可以經由模塊32和IPEM36而定義 (以及經由來自輸出58的用戶輸入而控制).例如，在涉及監視應用的示 例性實施例中，這些感興趣區域可以由用戶設置為場中的固定位置，或者 經由輸入設備實時地移動.可選地，感興趣區域的大小和位置可以由軟體 應用自動設置。例如，所述軟體應用可以分析視頻數據以識別和跟蹤滿足 特定準則的目標，其中，所述準則可以被預定或可以由用戶選擇。在例如 高解析度視頻會議的另一設置中，所述系統可以被以半或全雙工模式重新 配置為同時雙向發送多個感興趣區域。自動控制感興趣區域的軟體不需要 處理完整幀解析度。在顯示系統60生成的圖像是合併了感興趣區域的無縫圖像，其中，所述感興趣區域相比於該視頻的其它區域具有更高解析度和/或幀率。因此， 所述系統的用戶接收到所述感興趣區域的增強視圖。另外，由於感興趣區 域和其它區域之間受控的帶寬分配，帶寬的最優使用成為可能。在系統26中所使用的模塊是可重配置的，其具有或者從每個模塊中的 本地存儲或者通過網絡下載的新配置。用於建立輸入模塊32、 IPEM36、 網^口 Tx模塊42、網^口 Rx模塊48、 IPDM52和輸出模塊(OM) 58的模塊可以使用FPGA來構造，以提供可重配置性.例如，可編程FPGA 可以淨皮重配置為適於對於帶寬控制、圖像質量或應用的變化需求。如果應用要求例如詳細壓縮、帶寬控制和圖像分析的各種參數重配置， 則IPEM 36和IPDM 52中的FPGA可以被重編程。例如，之前在一個光 鐠帶中捕獲視頻的應用可能需要處理另 一光謙帶中的視頻。在所述情況下， IPEM 36中的FPGA的操作可以通過將其重配置為處理對於所述新光鐠帶 的壓縮、帶寬控制、圖像分析等而被修改為處理所述新光語帶。因此，重 配置系統26的模塊中的FPGA的能力使得該系統26適於大範圍的應用.在本發明的至少一個實施例中，至少一個示例性實施例中的數字、模 塊化視頻處理和通信系統結合了有凹顯示方法和傳統壓縮，以便減少對視 頻圖像傳輸的帶寬需求.所述系統允許在視頻圖像中多個感興趣區域之間 進行或者用戶指示或者自動化的帶寬分配控制.所述系統打包用於無線傳 輸或在網絡上傳輸的視頻信號，並且包括具有可重配置邏輯的圖像處理電對各個邏輯;力能的重編程。':此，捕獲:4::編碼、打包:-:和重構的所有單元可以被實時地重配置.所述系統是模塊化的，其包含圖像處理 模塊之間的通信信道,允許用於對大型視頻圖像的並行處理的可縮放擴展。圖4示出了本發明的示例性實施例中的圖像處理網絡。圖像處理系統 62是上面在圖3的上下文中描述的系統的聯網版本。該系統的輸入方從不 同視頻照相機信號接收在高清晰度串行數字接口 (HD-SDI)、 IEEE 1394、 數字視頻輸入(DVI-D)和/或CAMERALINK上傳輸到四個互連的輸入 模塊32a-32d的4x高清晰度電視(HDTV)輸入。所述輸入模塊的每個被15IPEM 36a和36b使用連接點38a來互連。IPEM 36c和36d使用連接 點38b來互連。IPEM 36b和36c被連接到網絡接口 Tx模塊42，其中， 該網絡接口 Tx模塊42被連接到網絡鏈路46。該網絡鏈路46將視頻數據 傳輸到網絡接口 Tx模塊48。四個IPDM 58a-58d使用連接點54a和54b 來互連。IPDM58a-58d的每個被連接到對應的輸出模塊58a-d。所述網絡 系統62使用互連的IPEM 36a-36d和互連的IPDM 52a-52d來創建用於處 理本例中的4x HDTV輸入的圖像處理單元的並行網絡.每個HDTV輸入 具有典型1920 x 1080的解析度，並且因此四個所述輸入提供了非常高的分 辨率，這將要求按比例提高所述圖像處理系統。作為替代，由於該系統的 模塊化本質，可以互連圖像處理單元以提供為處理4x HDTV視頻輸入所 需的按比例提高的能力。圖5示出了本發明的示例性實施例中的輸入-輸出模塊64。輸入模塊 32被作為說明示出，並且同一模塊可以被配置為輸出模塊58。該輸入模塊 32包括可重配置系統邏輯、隨M取存儲器(RAM) 、 1/0單元、1/0控 制器、用於處理視頻數據的運動協處理器和去隔行掃描器。所述數據輸入 是以來自輸入接口 32的視頻信號的形式，其中，所述視頻信號是例如數字 視頻輸入(DVI)信號、高清晰度串行數字接口 (HD-SDI)信號、IEEE 1394 信號和視頻照相機信號的任意格式。來自輸出接口64的已處理輸出也可以 是例如數字視頻輸入(DVI)信號、高清晰度串行數字接口 (HD-SDI)信 號、IEEE 1394信號和視頻照相機信號的任意格式。所述輸入模塊32和輸 出模塊58都可以具有控制輸入，所述控制輸入可以接收用於重編程該模塊 內的FPGA並且實時改變其功能的控制信號.圖6示出了本發明的示例性實施例中的圖像處理模塊36。在系統部分 66中，IPEM 36和IPDM 52實施圖像處理。IPEM 36和IPDM 52都可以 使用如下面描述的公共可重配置圖像處理模塊來建立。IPEM 36和IPDM 52都可以具有控制輸入，所述控制輸入可以接收用於重編程該模塊內的 FPGA並且實時改變其功能的控制信號。重配置的能力通過^f吏用FPGA電路單元而在所述圖像處理模塊36中被提供。處理器(未示出)被包括在圖像處理模塊36中，以便實施例如有損或 無損壓縮、圖像分析、特徵檢測和對象跟蹤的圖像處理任務。例如， JPEG-2000壓縮可以被用於壓縮視頻圖像數據的一個或更多部分。因此， 使用可重配置圖像處理模塊提供構建IPEM 36和IPDM 52 二者的靈活性， 以及還提供成本優勢。圖7示出了用於視頻監視數據在網絡上的傳輸的本發明的示例性實施 例。計算機68和70被放置在所述系統的遠程捕獲和本地接收方。遠程站 點計算機系統68包括這樣的硬體，所述硬體用於視頻捕獲，並且如果必要， 用於向較低解析度進行向下轉換，其與處理視頻數據的軟體應用(未示出) 兼容。所述軟體應用定位和跟蹤目標、設置感興趣區域，並且用描述所捕 獲的視頻場景的特徵的元數據標記所述視頻數據。合適的視頻數據樣本被 本地存儲，用於存檔或其它分析目的，在所述本地站點，本地站點客戶計 算機70被用於在顯示器60上提供所述視頻數據以及用戶控制信息。圖8示出了本發明的示例性實施例中、其中除視頻圖像外任務欄74 被繪製在顯示屏幕上的用戶接口；其中，所述任務欄包含關於帶寬吞吐量 的信息，以及用於感興趣區域的帶寬分配的參數和用於圖像捕獲和照相機 控制的參數的選擇。所述用戶控制信息被包含在任務欄中，其與視頻數據 並置並且位於屏幕的底部.色度鍵方法可以被用在接收IOM模塊58中(見 圖3).以用用戶控制數據覆蓋視頻數據.很少出現的顏色被選擇，以致其 將不太可能出現在圖像數據中.在至少一個實施例中，所i^戶計算機將 除任務欄數據之外的所有像素數據設為全紫紅色(magenta) (R=255， G=0， B=255)。所述接收IOM單元將除了被以監視數據代替的全紫紅色像素數 據之外的所有客戶計算機像素數據傳遞給顯示器.所述任務欄控制信息包括對所述多個感興趣區域、照相機傾斜、搖攝、 焦點和縮放控制以及其它照相機圖像捕獲參數的控制.對於感興趣區域的 所述用戶控制可以覆蓋遠程站點上對於感興趣區域的自動軟體控制。同樣， 用戶可以捕獲視頻數據的單幀快照。通過跟蹤球或其它點擊設備的使用，17本地站點用戶具有對管理感興趣區域的參數(即位置、大小、空間和時間 釆樣)的完全控制。儘管已參考本發明示例性實施例特別示出和描述了本發明，但本領域的技術人員將理解，在不脫離如由權利要求所限定的本發明的精神和範圍 的情況下，可以在其中作出形式和細節上的各種改變。
權利要求
1.一種視頻處理系統，用於生成具有有不同解析度的部分的有凹視頻顯示，所述系統包括網絡信道，用於傳送包括至少第一和第二視頻部分的視頻圖像，其中，所述第一視頻部分的解析度高於所述第二視頻部分的解析度；視頻傳輸系統，用於處理接收自圖像捕獲設備的視頻圖像，並且通過將所述網絡信道帶寬的較大部分分配給所述第一視頻部分、以及將較小帶寬部分分配給所述第二視頻部分而將所述已處理的視頻圖像在所述網絡信道上傳輸；視頻接收系統，其用於接收來自所述視頻傳輸系統的視頻圖像，重構所述視頻圖像，以及無縫地組合不同解析度的所述第一和第二視頻部分，以在顯示設備上形成輸出視頻圖像；以及控制單元，用於將一個或更多視頻控制參數發送到所述視頻傳輸系統以控制所述視頻圖像的捕獲和處理。
2. 根據權利要求l所述的視頻處理系統，其中，所述網^ft道、所述 視頻傳輸系統、所述視頻接收系統以及所述控制單元包括可以被動態重配 置以改變所述視頻處理系統的功能的部件.
3. 根據權利要求l所述的系統，進一步包括附加網絡信道，用於將所 述視頻控制參數從所述控制單元發送到所述視頻傳輸系統。
4. 根據權利要求l所述的系統，其中，所述視頻控制參數包括用於控 制視頻圖像的捕獲的視頻捕獲參數和用於控制所述視頻傳輸系統對視頻圖 像的處理的視頻處理參數，
5. 根據權利要求l所述的系統，其中，所述視頻控制參數通過軟體應 用、硬體設備或用戶來獲得.
6. 根據權利要求l所述的系統，其中，所述視頻控制參數包括預定視 頻參數或用戶定義視頻參數。
7. 根據權利要求l所述的系統，其中，所述視頻控制參數指定所述第一和第二視頻部分的各自的大小和位置，其中，所述第一和第二視頻部分 是感興趣區域，並且所述視頻部分的大小和位置由用戶指定。
8. 根據權利要求l所述的系統，其中，所述視頻傳輸系統控制所述網 絡信道的帶寬分配以及所述視頻圖像的圖像質量。
9. 根據權利要求l所述的系統，其中，所述視頻傳輸系統實施對所述 視頻圖像的空間釆樣、時間採樣和位深度處理。
10. 根據權利要求1所述的系統，其中，所述視頻傳輸系統實施對所 述視頻圖像的壓縮，以及所述視頻接收系統實施對所述視頻圖像的解壓縮，
11. 根據權利要求10所述的視頻處理系統，進一步包括可以被動態重 配置以改變系統功能的部件模塊。
12. —種數字、模塊化視頻數據處理系統，用於在網絡上對視頻圖像 數據的捕獲、傳輸、接收和重構，所述系統包括用於採樣和打包獲得自圖像捕獲設備的視頻圖像的輸入圖像處理模塊；用於在傳輸之前壓縮接收自所述輸入圖像處理模塊的視頻圖像的第一 圖像處理模塊；用於轉換所述視頻圖像的數據以匹配一個或更多網絡協議的網絡傳輸 模塊和網^^收模塊，以及用於耦合所述網絡傳輸模塊的第一通信信道， 其中，所述網^"輸模塊被耦合到所述第一圖像處理模塊和所述網絡接收 模塊；用於解壓縮接收自所述網^收模塊的已壓縮視頻圖像的第二圖像處理模塊；用於處理、拆包和重構所述視頻圖像數據的輸出圖像處理模塊；以及 耦合在所述網絡接收和傳輸模塊之間的第二通信信道，用於通過用戶 或軟體指令選擇性控制所述視頻圖像中的一個或更多感興趣區域，以及用 於傳送用於所述視頻圖像的傳輸和顯示的用戶定義圖像捕獲和視頻處理參 數。
13. 根據權利要求12所述的視頻處理系統，進一步包括可以被動態重配置以改變系統功能的部件模塊。
14. 根據權利要求12所述的視頻處理系統，進一步包括多個數字數據 通信信道，所述信道用於將一個或更多附加圖像處理模塊耦合到所述第一 和第二圖像處理模塊，以用於圖像處理的模塊化縮放和提供對所述視頻圖 像的各部分的並行處理。
15. 根據權利要求12所述的視頻處理系統，其中，所述輸入圖像處理 模塊接收和處理數字視頻輸入信號、高清晰度串行數字接口信號、IEEE 1394信號和Camera Link視頻照相機信號中的至少一個。
16. 根據權利要求12所述的視頻處理系統，其中，所述輸出模塊圖像 處理生成數字視頻輸入信號、高清晰度串行數字接口信號、IEEE 1394信 號和Camera Link視頻照相機信號中的至少一個。
17. 根據權利要求12所述的視頻處理系統，其中，所述第一圖像處理 模塊實施對所述視頻圖像的空間採樣、時間採樣、位深度處理和壓縮中的 至少一個。
18. 根據權利要求12所述的視頻處理系統，其中，所述笫一圖像處理 模塊控制對於所述第一通信信道的帶寬分配以及所處理的視頻圖像的圖像 質量。
19. 根據權利要求12所述的視頻處理系統，其中，所述第一圖像處理 模塊通過將所述第 一通信信道的帶寬的較大部分分配給所述感興趣區域來 以比所述視頻圖像中的背景區域更高的解析度傳輸所述視頻圖像中的感興 趣區域中的至少一個.
20. 根據權利要求12所述的視頻處理系統，其中，所述視頻圖像中的 感興趣區域的大小和位置由用戶指定.
21. —種用於傳送視頻圖像以創建有凹顯示的方法，所述方法包括以 下步驟處理使用圖像捕獲設備捕獲的一個或更多視頻圖像； 在網絡信道上以高於所述視頻圖像的第二區域的解析度傳輸所述視頻 圖像的至少一個第一區域；重構接收自所述網絡信道的視頻圖像，以便創建以高於所述第二區域的解析度示出所述第一區域的無縫輸出圖像；以及通過外部控制信號輸入控制所述感興趣區域的大小和位置。
22. 根據權利要求21所述的方法，進一步包括動態重配置所述^L頻圖 像的捕獲、處理和傳輸，
23. 根據權利要求21所述的方法，進一步包括在顯示設備上顯示所述 輸出圖像。
24. 才艮據權利要求21所述的方法，其中，用於控制感興趣區域的大小 和位置的所述外部控制信號由軟體應用、硬體設備和用戶中的至少一個提 供。
25. 根據權利要求21所述的方法，進一步包括 當在所述網絡信道上進行傳輸之前壓縮所述視頻圖像；以及 解壓縮接收自在所述網絡信道上的傳輸的視頻圖像。
26. 根據權利要求21的所述方法，進一步包括控制所述網絡信道的帶 寬在所述視頻圖像的所述第 一和第二區域之間的分配.
全文摘要
一種視頻處理系統(26)被提供，用於生成具有不同解析度的部分的有凹視頻顯示。所述系統(26)使用網絡信道(46)來傳送具有不同解析度的視頻部分的視頻圖像，並且包括用於處理和在所述網絡信道(46)上傳輸所接收的視頻圖像的視頻傳輸系統(32、36、42)。所述系統將所述視頻信道的帶寬的較大部分分配給具有較高解析度的視頻部分。另外，所述系統(26)包括視頻接收系統(48、52、58)，用於接收和無縫組合不同解析度的第一和第二視頻部分，以便在控制系統(60)的顯示設備上形成輸出視頻圖像。所述控制系統(60)可以被操作以生成一個或更多視頻傳輸控制參數，所述視頻傳輸控制參數被經由模塊(58)輸入到所述系統(26)，並且被發送到所述視頻傳輸系統模塊(32、36、42)中的一個或更多，以便控制所述視頻圖像的捕獲、傳輸和處理。
文檔編號G06K9/36GK101632090SQ200680004114
公開日2010年1月20日 申請日期2006年1月24日 優先權日2005年2月8日
發明者A·P·蘭澤塔, K·C·霍, K·施洛伊彭, M·P·馬斯特羅, P·F·格瑞爾, R·I·考夫曼, R·裡奇韋, S·E·米爾曼, S·T·伯曼, S·賴特 申請人:國際商業機器公司