圖像信息交互系統及圖像信息交互方法

2023-05-09 18:19:46 1

專利名稱：圖像信息交互系統及圖像信息交互方法
技術領域：
本發明涉及一種圖像信息交互系統及圖像信息交互方法，更具體地說，本發明涉 及一種將各個客戶端所編輯的區域的圖像信息在各個客戶端之間進行交互的圖像信息交 互系統及圖像信息交互方法。
背景技術：
當前，圖像處理技術、圖像分割技術、及通信技術正在逐步地發展，為分布式會議 提供了有力的技術支持。在分布式的協同會議系統中，將多個客戶端的畫面圖像相互傳輸， 使各個客戶端能夠獲知其它客戶端所處的場景，包括其用戶、場所、及所提供的內容、等等， 提供內容的載體是不透明的介質，一般要求比較平整，通常可採用白板，也可以採用黑板， 在不透明介質上提供內容的方式包括書寫、打字、等等，書寫的方式包括用傳統的水筆等等 書寫，也包括用雷射筆書寫等等。圖像處理在支持協同工作方面有著很重要的作用，但直接 通過圖像處理技術應用來搭建一個協同會議系統以支持分布式會議仍然存在不少問題。美國專利No. 7496229B2定義了一種系統，該系統將白板上的內容及會議場景作 為圖像傳送給遠端。該系統主要是關注單側會議系統中的圖像處理，並沒有進行系統預設 置，也未有效地支持多模式的內容交互，傳輸數據量大，佔用大量帶寬等資源。美國專利申請No. 20080184124A1定義了一種系統，該系統可以將內容和內容的 提供者進行關聯。場景被攝像頭捕捉，並傳輸到遠端。場景同時包括了顯示設備和攝像頭 之間的其他信息，例如用戶的手。所有這些信息都將被傳送到遠端。該系統並沒有進行系 統預設置，也未有效地支持多模式的內容交互，傳輸數據量大，佔用大量帶寬等資源。目前通過白板來完成協同會議已經有一些相關的研究和解決方案，但其中也有一 些技術問題沒有得到很好的解決。例如，微軟的NetMeeting系統通過一個類似交互文本編 輯器的模式實現白板的交互，但該系統需要使用滑鼠和鍵盤作為輸入設備，這種輸入設備 對於白板系統來說用戶的友好性是比較差的。同時，不同的解決方案對於所傳輸的數據量 的大小也有很大的區別。數據可以是圖像，也可以是媒體流。大容量的數據傳輸會佔用較 多的帶寬資源，繼而影響系統的綜合性能。此類系統中，內容交互是基本的功能。但現實的應用場景在要求能夠實現內容交 互的基礎上，還應該更多地考慮如何交互的問題。

發明內容
鑑於現有技術的問題而作出本發明，本發明提供一種圖像信息交互系統及圖像信 息交互方法，涉及圖像處理領域以及協同會議系統領域，可以根據工作環境而自適應地調 整設置。進一步地，本發明的圖像信息交互系統及方法可以將捕捉到的圖像被分層為前景 和背景，僅將前景數據在各個客戶端之間傳輸。更進一步地，本發明的圖像信息交互系統及 方法可以提供不同的編輯模式來完成數據的交互及融合。此外，本發明的圖像信息交互系 統及方法可以在內容交互之前先對編輯區域中各點的坐標值和對比度進行優化，作為經過優化的編輯區域的圖像信息，進一步縮小數據規模。根據本發明的一個方面，提供一種對圖像捕捉裝置所捕捉的圖像信息在各個客戶 端之間進行交互的圖像信息交互系統，包括環境檢測裝置，檢測圖像捕捉裝置所運行的環 境的環境參數，根據環境參數調整圖像捕捉裝置的設置；編輯區域確定裝置，在圖像捕捉裝 置所捕捉的圖像中確定用於本地客戶端編輯的編輯區域；以及內容交互裝置，將編輯區域 的圖像信息在各個客戶端交互。根據本發明的另一個方面，提供一種對圖像捕捉裝置所捕捉的圖像信息在各個客 戶端之間進行交互的圖像信息交互方法，包括環境檢測步驟，檢測圖像捕捉裝置所運行的 環境的環境參數，根據環境參數調整圖像捕捉裝置的設置；編輯區域確定步驟，在圖像捕捉 裝置所捕捉的圖像中確定用於本地客戶端編輯的編輯區域；以及內容交互步驟，將編輯區 域的圖像信息在各個客戶端交互。根據本發明的實施例，圖像信息交互系統對用戶參與的要求程度實現了最低化， 並且系統可以檢測所運行的工作環境並且據此調整系統設置，自適應地調整到可工作的狀 態。而且，根據本發明的實施例，所傳輸的數據的規模被儘可能地減小，從而降低了對系統 帶寬的要求，與通常的視頻會議相比，能夠更大地節省帶寬。系統可以只交互最新輸入的數 據以及內容提供者的信息，因此該系統可以在不同的網絡環境下得以應用。此外，本發明的 圖像信息交互系統定義了三種不同的編輯模式，不同的模式可以針對不同的應用要求供選 擇來使用。通過閱讀結合附圖考慮的以下本發明的優選實施例的詳細描述，將更好地理解本 發明的以上和其他目標、特徵、優點和技術及工業重要性。


圖1示出根據本發明實施例的圖像信息交互系統的框圖。圖2示出根據本發明實施例的圖像信息交互方法的流程圖。
具體實施例方式圖1示出根據本發明實施例的圖像信息交互系統的框圖。圖1所示的圖像信息交 互系統用於對圖像捕捉裝置所捕捉的圖像信息在各個客戶端之間進行交互，包括環境檢 測裝置10 ；編輯區域確定裝置20 ；內容交互裝置30 ；編輯區域優化裝置40 ；編輯模式選擇 裝置90。環境檢測裝置10檢測圖像捕捉裝置所運行的環境的環境參數，根據環境參數調 整圖像捕捉裝置的設置。環境參數可以根據需求進行定義，基本的參數例如會議室內的亮 度等等，圖像捕捉裝置諸如攝像頭等。環境檢測裝置10調整攝像頭的相關設置使得與環境 參數相匹配。實現此過程可以通過程序進行，或者也可以通過手工調整來完成，總之，調整 的結果是確保在客戶端所提供的內容能夠清晰可見。環境檢測裝置10所進行的操作可以是自適應的過程，例如，檢測環境的亮度值， 根據存在編輯內容時環境中最大亮度值與不存在編輯內容時環境中最大亮度值的差來調 整圖像捕捉裝置的設置。具體地，環境檢測裝置10調整圖像捕捉裝置例如攝像頭的進光 量，進光量例如可通過調整光圈的大小來控制。而且，環境檢測裝置10計算沒有進行編輯內容的提供操作時進光的最大亮度值T、及進行了編輯內容提供操作後的進光最大亮度值 L，編輯內容的提供操作例如通過雷射筆進行的寫操作。當L的值顯著大於T的時候，在客 戶端所提供的內容能夠清晰可見，例如L是T的2倍時，則可以視為調整完畢。對於每個獨 立的圖像捕捉裝置，參數的可調整範圍可以是不同的，通常可以參考該圖像捕捉裝置例如 攝像頭的說明書。當環境發生改變的時候，可以通過重複上述操作來進行二次調整。編輯區域確定裝置20用於在圖像捕捉裝置所捕捉的圖像中確定用於本地客戶端 編輯的編輯區域。編輯區域確定裝置20計算圖像捕捉裝置所捕捉的區域的亮度均值，將其 設為閾值M,將捕捉區域的每個像素點的亮度與M進行比較，如果該像素的亮度大於M,那麼 認為它是編輯區域內的點，如果該像素的亮度小於M，那麼認為該像素屬於非編輯區域。首先，被圖像捕捉裝置捕捉的圖像區域都被納入到計算範圍，其中所有像素的亮 度值的均值設為M。然後，將各個像素的亮度與該均值進行比較，如果某像素i的亮度p(i) > M，那麼像素i被認為是屬於編輯區域；否則像素i被認為是屬於非編輯區域。進一步地，可以對編輯區域進行改進，例如，可以選取上述編輯區域的4個坐標極 值點，將4個坐標極值點連線獲得一區域，或者根據4個坐標極值點獲取編輯區域的外接矩 形，將連線所獲得的區域或者該外接矩形作為編輯區域的範圍。可以利用圖像處理領域的 很多相關技術，例如Carmy邊緣檢測、Hough線檢測來完成確定編輯區域的操作。只有編輯 區域的圖像信息在諸如投影儀的輸出裝置顯示輸出，編輯區域確定裝置20確定編輯區域 的操作也可以視為在諸如攝像頭的圖像捕捉裝置和諸如投影儀的輸出裝置之間進行的協 調。在利用內容交互裝置30將編輯區域的圖像信息在各個客戶端交互之前，可以選 擇利用編輯區域優化裝置40對編輯區域的圖像信息進行優化，一方面改善編輯區域的圖 像的質量，另一方面減小編輯區域的圖像數據的規模。編輯區域的圖像信息可以是編輯區 域中各點的坐標值和對比度。編輯區域優化裝置40執行的過程可以包括校正編輯區域中 各點的坐標值，調整編輯區域中各點的對比度，以及對編輯區域中的曲線進行坐標平滑處 理。經過優化的編輯區域的圖像信息，例如經過二次映射和/或梯形校正和/或曲線平滑 處理的的各點坐標值、經過調整的各點的對比度，用於內容交互。編輯區域優化裝置40首先對編輯區域確定裝置20所確定的編輯區域進行計算以
提取出線條或雷射點，此過程可以通過Hue閾值檢測以及Carmy邊緣檢測技術來實現。在
線條不平滑的情況下，可以選擇利用貝葉斯曲線對線條進行坐標平滑處理。針對圖像數據
變形，還可以進行二次映射以校正不規則的圖像捕捉角度所導致的圖像數據變形。還可以
進行梯形校正，利用下列公式(1)對所捕捉到的點坐標根據編輯區域的邊界信息進行校正
,, d-x-1-e-y + / Γηη99Π a-x + b- y + cv =---—,
Μ =——丄 I1 丄
g-x + k-y + lt 、
g-x + h- y + l sJ...... (ι)其中(X，y)是捕捉到的輸入點的原始坐標，(u，ν)是在編輯區域內的對應坐標a、 b、C、d、e、f是常量。為了得到常量a到f，需要使用下列公式(2)進行求解
權利要求
1.一種對圖像捕捉裝置所捕捉的圖像信息在各個客戶端之間進行交互的圖像信息交 互系統，包括環境檢測裝置，檢測圖像捕捉裝置所運行的環境的環境參數，根據環境參數調整圖像 捕捉裝置的設置；編輯區域確定裝置，在圖像捕捉裝置所捕捉的圖像中確定用於本地客戶端編輯的編輯 區域；以及內容交互裝置，將編輯區域的圖像信息在各個客戶端交互。
2.按照權利要求1所述的圖像信息交互系統，還包括編輯模式選擇裝置，在下列預定 義的編輯模式中選擇一種編輯模式單例模式，系統中只存在一個可編輯標識，只有擁有可編輯標識的一個特定客戶端可 以在編輯區域中進行編輯；併發模式，系統中存在多個可編輯標識，多個客戶端可以同時擁有可編輯標識，每個客 戶端至多擁有一個可編輯標識，擁有可編輯標識的客戶端可以在編輯區域中進行編輯；以 及排斥模式，系統中只存在一個可編輯標識，只有擁有可編輯標識的一個客戶端可以在 編輯區域中進行編輯，可編輯標識可以在各個客戶端之間轉移。
3.按照權利要求1所述的圖像信息交互系統，其中，所述內容交互裝置包括圖像分層裝置，把所捕捉的圖像的編輯區域的圖像信息分為先前已有的背景數據和新 捕捉的前景數據；數據傳輸裝置，僅將前景數據傳送給其它客戶端；以及數據融合裝置，將來自其它客戶端的前景數據和本地數據融合以組成本地輸出圖像。
4.按照權利要求4所述的圖像信息交互系統，其中，所述內容交互裝置還包括內容提供者標識裝置，把圖像分層裝置分出的前景數據至少進一步分為編輯內容和編 輯內容的提供者，將編輯內容的提供者與相應的編輯內容相關聯以提供至數據傳輸裝置。
5.按照權利要求1所述的圖像信息交互系統，其中，所述編輯區域的圖像信息包括編 輯區域中各點的坐標值和對比度，所述系統還包括編輯區域優化裝置，用於校正編輯區域 中各點的坐標值，調整編輯區域中各點的對比度，對編輯區域中的曲線進行坐標平滑處理， 將經過優化的編輯區域的圖像信息用於內容交互。
6.按照權利要求1所述的圖像信息交互系統，其中，所述環境檢測裝置檢測環境的亮 度值，根據存在編輯內容時環境中最大亮度值與不存在編輯內容時環境中最大亮度值的差 來調整圖像捕捉裝置的設置。
7.按照權利要求1所述的圖像信息交互系統，其中，所述編輯區域確定裝置把圖像捕 捉裝置所捕捉的圖像中的亮度均值設為M，把亮度超過M的部分設為編輯區域。
8.按照權利要求3所述的圖像信息交互系統，其中，所述圖像分層裝置對前景數據設 置索引，所述數據融合裝置根據索引的優先級順序來把來自其它客戶端的前景數據與本地 數據融合以組成本地輸出圖像。
9.一種對圖像捕捉裝置所捕捉的圖像信息在各個客戶端之間進行交互的圖像信息交 互方法，包括環境檢測步驟，檢測圖像捕捉裝置所運行的環境的環境參數，根據環境參數調整圖像捕捉裝置的設置；編輯區域確定步驟，在圖像捕捉裝置所捕捉的圖像中確定用於本地客戶端編輯的編輯 區域；以及內容交互步驟，將編輯區域的圖像信息在各個客戶端交互。
10.按照權利要求9所述的圖像信息交互方法，其中，所述內容交互步驟包括 圖像分層步驟，把所捕捉的圖像的編輯區域的圖像信息分為先前已有的背景數據和新 捕捉的前景數據；數據傳輸步驟，僅將前景數據傳送給其它客戶端；以及數據融合步驟，將來自其它客戶端的前景數據和本地數據融合以組成本地輸出圖像。
全文摘要
本發明提供一種圖像信息交互系統及圖像信息交互方法。一種對圖像捕捉裝置所捕捉的圖像信息在各個客戶端之間進行交互的圖像信息交互系統，包括環境檢測裝置，檢測圖像捕捉裝置所運行的環境的環境參數，根據環境參數調整圖像捕捉裝置的設置；編輯區域確定裝置，在圖像捕捉裝置所捕捉的圖像中確定用於本地客戶端編輯的編輯區域；以及內容交互裝置，將編輯區域的圖像信息在各個客戶端交互。
文檔編號H04N7/15GK102006449SQ20091016192
公開日2011年4月6日 申請日期2009年9月1日 優先權日2009年9月1日
發明者於海龍, 宮衛濤, 張文波, 李東來, 潘蘋萍 申請人:株式會社理光