基於體感技術的電子演示系統的製作方法

2023-04-29 04:22:06 1

專利名稱：基於體感技術的電子演示系統的製作方法
技術領域：
本發明屬於體感設備技術領域，具體涉及一種基於體感技術的電子演示系統及其電子演示方法。
背景技術：
課堂和辦公環境離不開演示，以前黑板是最主要的演示道具，而現在多媒體技術的發展使黑板漸漸不能滿足多媒體展示的要求，從而促使其替代品電子白板的出現。目前，就目前電子白板的應用技術而言，主要是應用觸控螢幕技術的電子白板。通常是將觸控螢幕放置在顯示設備上，演示者通過手或觸摸筆操控電子白板，使電子白板感應到手或觸摸筆的運動，完成對電子白板的操控。但是，這種技術需要配備大尺寸，高解析度的觸控螢幕和顯示設備，對設備的要求高且成本較大。並且演示者只能通過觸控螢幕來實現對電子白板的操控而不能脫離觸摸設備。用戶只能通過觸摸完成操作，在一定程度上限制了演示者的演示風格和肢體動作，從而影響了演示的最佳效果。本發明因此而來。

發明內容
本發明目的在於提供一種基於體感技術的電子演示系統，解決了現有技術中演示系統只能通過觸控螢幕進行演示，限制了演示者的演示風格和肢體動作，影響演示的最佳效果O為了解決現有技術中的這些問題，本發明提供的技術方案是:—種基於體感技術的電子演不系統，包括用於實時向被演不者展不內容的屏幕、將演示者的演示內容投放到屏幕上的投影裝置，其特徵在於所述系統還包括用於捕獲演示者動作的體感裝置、與投影裝置連接的信息處理裝置，所述體感裝置將捕獲演示者動作的圖像傳輸給信息處理裝置，所述信息處理裝置根據演示者動作的圖像判斷演示者演示指令和演示內容，並通過投影裝置將演示內容實時投放到屏幕上進行實時演示。優選的,所述體感裝置為Kinect設備；所述Kinect設備通過Kinect攝像頭拍攝演示者的視頻圖像，並將演示者的視頻圖像通過usb數據線傳送至信息處理裝置。優選的，所述信息處理裝置為計算機，所述計算機通過視頻輸出線與投影裝置連接，接收從Kinect設備傳來的視頻圖像，並對視頻圖像進行處理獲取演示者的演示指令和演示內容。優選的，所述投影裝置選用投影儀。優選的，所述屏幕設置在投影裝置的對側，並與投影裝置的投影範圍相適應。本發明的另一目的在於提供了一種採用所述的電子演示系統進行電子演示方法，其特徵在於所述方法包括以下步驟:(I)通過體感裝置捕獲演示者動作；(2)信息處理裝置根據演示者動作的圖像判斷演示者演示指令和演示內容，並通過投影裝置將演示內容實時投放到屏幕上進行實時演示。
優選的，所述方法中演示指令為根據演示者動作的圖像判斷的演示者手勢指令，根據演示者手勢指令判斷用戶需要實時演示的內容。本發明是為了克服傳統電子白板的不足，提供體積更加小，成本更加廉價，配合演示效果更好的電子白板產品，利用Kinect體感攝像頭的輔助，演示者站在攝像頭前通過手勢操控電子白板，完成演示功能。具體的基於體感技術的電子演示系統由Kinect攝像頭、計算機、投影儀、屏幕組成，其中Kinect攝像頭用於拍攝包含深度的視頻圖像，並將所述視頻圖像通過usb數據線傳送至計算機。計算機設備用於接受視頻圖像，並利用OpenNI自然用戶界面開發包，解析所獲得的視頻圖像和其中包含的深度信息，追蹤用戶的手部位置。並利用手勢分割識別算法，分割手部圖像並獲得手勢。計算機響應控制手勢，產生控制命令控制畫筆在電子白板上繪圖，並控制投影儀把影響投射在屏幕上。投影儀用於將計算機生成的即時圖像實時地投放出來。屏幕用於實時地向觀眾展示圖像。本發明有效地提高了多媒體演示的多樣性，將多媒體技術、圖形圖像處理技術、機器視覺技術有機結合起來，替代黑板的作用，大大豐富了現場演示的最佳效果。相對於現有技術中的方案，本發明的優點是:相比現有技術中觸控螢幕電子白板，本發明使用的Kinect設備具有體積小，成本低廉的優點。相比現有技術中觸控螢幕電子白板，本發明使用的計算機、投影儀和屏幕設備目前已經廣泛配置在演示場合，如教室、禮堂等，不需要另行購買安裝。其更加適合目前的演示領域。本發明使用的Kinect設備使得演示者可以使用手勢操控電子白板，從一定程度上豐富了演示者的動作，並且演示者不需要離開觀眾去操作觸控螢幕。在演示效果上講，本發明較之觸控螢幕電子白板擁有更好的現場效果。


下面結合附圖及實施例對本發明作進一步描述:圖1為基於Kinect的電子演示系統的結構示意圖；其中有Kinect設備I,計算機2，投影儀3，屏幕4，USB連接線5，視頻連接線6和用戶(演講者)7。
具體實施例方式以下結合具體實施例對上述方案做進一步說明。應理解，這些實施例是用於說明本發明而不限於限制本發明的範圍。實施例中採用的實施條件可以根據具體廠家的條件做進一步調整，未註明的實施條件通常為常規實驗中的條件。實施例如圖1所示，本實施例中基於Kinect的電子演示系統(電子白板)的組成包括:Kinect設備I,計算機2,投影儀3和屏幕4。Kinect設備I用於拍攝包含深度信息的視頻圖像,通過USB線5連接在計算機2上。Kinect設備I放置在面對演示者的位置，並限制演示者的活動範圍是Kinect設備I水平視角範圍小於57。，垂直視角範圍小於43。和傳感深度範圍在1.2米到3.5米之間。計算機2用於接收從Kinect設備I傳來的視頻圖像，並利用OpenNI開發包對視頻圖像進行處理，獲得手勢並產生相應命令，通過USB連接線5與Kinect設備I連接。然後控制投影儀3實時投放畫面，通過視頻輸出線6與投影儀3連接。投影儀3用於實時投放畫面，通過視頻輸出線與計算機2連接。屏幕4用於向觀眾展示畫面，放置在投影儀3的正面。採用的視頻圖像處理過程按照以下步驟:1、採用基於模糊連通性的區域分割算法分割手掌圖像:基於模糊邏輯的區域連通性，相鄰像素之間的連通量根據其深度值之間的差異取介於0-1之間的值。前後相鄰的像素列構成一條路徑，任意一條路徑的連通量由路徑上相鄰像素的連通量最小值。任意兩點之間連通量定義為，兩點間所有路徑的連通量之最大值。通過動態規划算法可以遞歸地求出任何兩點之間的連通量。2、對包含深度信息的視頻圖像進行處理，利用OpenNI庫中的人體識別功能支持，得到人體的掌心節點三維位置。3、計算圖像上所有像素點與掌心的連通量:將掌心位置定義為種子點，構造圖像上全部點與種子點的連通值。4、對連通值取適當閾值後可以分割出手掌圖像。採用的手勢識別過程包括以下流程:1、計算手掌圖形的Hu不變矩，並利用Hu不變矩之特徵識別手勢:Hu不變矩中包含了手掌形狀的一般特徵，並且具有平移和旋轉不變性，對於手勢識別來說是比較慣用的一種特徵。2、從視頻流中提取模板手勢:利用OpenNI庫的支持，可以錄製出包含深度信息的視頻圖像資料保存下來。通過對視頻流中的手勢進行自動截取，有目的地進行分類整理之後，產生一個模板手勢庫。本實例中，對演示中比較常用的動作場景進行了錄製，包括:播放幻燈片、書寫文字、繪製圖像、移動光標等動作場景。然後將從這些視頻流中截取到的手勢進行歸類，儲存下來作為模板手勢庫，總共有大約10種手勢，每種手勢大約150幅模板圖像。3、利用隨機森林算法訓練手勢分類器:使用圖像處理庫OpenCV的機器學習模塊，利用隨機森林算法對模板手勢庫中的圖像訓練，生成了一個手勢分類器。4、利用訓練完成後的手勢分類器對新輸入的手掌圖像進行識別，測試分類器的準確率。反覆測試並調整部分參數後，直到準確率達到70%以上。5、使用訓練完成的分類器進行手勢的識別。本實施例中，繪圖功能部分包含以下流程:1、對輸入的手勢產生手勢響應命令:繪圖實例中的手勢包含以下5種:「下筆」、「抬筆」、「擦除」、「更新」和「保存」。每種手勢由預先訓練完成的手勢分類器進行識別。對識別的結果，計算機產生相應的響應命令，例如:在識別到「下筆」手勢時，計算機會開始記錄之後時間內手掌的移動位置，直到識別到「抬筆」手勢後，產生一條完成的路徑。2、繪圖操作由「下筆」手勢開始，以「抬筆」手勢結束:在識別到「下筆」手勢時，計算機會開始記錄之後時間內手掌的移動位置，直到識別到「抬筆」手勢後，產生一條完成的軌跡。計算機會對軌跡進行平滑化，以減少人為原因產生的抖動，對繪製時的軌跡進行美化。利用指數平滑算法，可以對軌跡進行實時的平滑。在識別到「抬筆」手勢之後，計算機在屏幕上繪製出平滑後的軌跡，完成一次繪圖操作。3、擦除操作以「擦除」手勢開始，以「抬筆」手勢結束:在識別到「擦除」手勢時，計算機會開始記錄之後時間內手掌的移動位置，並實時地對圖像上這些位置上的像素點進行擦除操作，直到識別到「抬筆」手勢。4、更新操作在「更新」手勢後完成:識別到「更新」手勢之後，計算機會將屏幕上已經繪製的圖形清除掉。5、保存操作在「保存」手勢後完成:識別到「保存」手勢之後，計算機會將屏幕上已經繪製的圖形保存在文件目錄下。本發明可以在軟體、固件、硬體或者其結合中實現。本發明可以包括在具有計算機可用介質的物品中。該介質在其中具有例如計算機可讀程序代碼裝置或者邏輯(例如指令，代碼，命令等)來提供和使用本發明的能力。該製造物品可作為計算機系統的一部分或者單獨出售。所有上述變化被認為是要求保護的本發明的一部分。上述實例只為說明本發明的技術構思及特點，其目的在於讓熟悉此項技術的人是能夠了解本發明的內容並據以實施，並不能以此限制本發明的保護範圍。凡根據本發明精神實質所做的等效變換或修飾，都應涵蓋在本發明的保護範圍之內。
權利要求
1.一種基於體感技術的電子演不系統，包括用於實時向被演不者展不內容的屏幕、將演示者的演示內容投放到屏幕上的投影裝置，其特徵在於所述系統還包括用於捕獲演示者動作的體感裝置、與投影裝置連接的信息處理裝置，所述體感裝置將捕獲演示者動作的圖像傳輸給信息處理裝置，所述信息處理裝置根據演示者動作的圖像判斷演示者演示指令和演示內容，並通過投影裝置將演示內容實時投放到屏幕上進行實時演示。
2.根據權利要求1所述的基於體感技術的電子演示系統，其特徵在於所述體感裝置為Kinect設備；所述Kinect設備通過Kinect攝像頭拍攝演示者的視頻圖像，並將演示者的視頻圖像通過usb數據線傳送至信息處理裝置。
3.根據權利要求2所述的基於體感技術的電子演示系統，其特徵在於所述信息處理裝置為計算機，所述計算機通過視頻輸出線與投影裝置連接，接收從Kinect設備傳來的視頻圖像，並對視頻圖像進行處理獲取演示者的演示指令和演示內容。
4.根據權利要求2所述的基於體感技術的電子演示系統，其特徵在於所述投影裝置選用投影儀。
5.根據權利要求2所述的基於體感技術的電子演示系統，其特徵在於所述屏幕設置在投影裝置的對側，並與投影裝置的投影範圍相適應。
6.一種採用權利要求1所述的電子演示系統進行電子演示方法，其特徵在於所述方法包括以下步驟: (O通過體感裝置捕獲演示者動作； (2)信息處理裝置根據演示者動作的圖像判斷演示者演示指令和演示內容，並通過投影裝置將演示內容實時投放到屏幕上進行實時演示。
7.根據權利要求6所述的方法，其特徵在於所述方法中演示指令為根據演示者動作的圖像判斷的演示者手勢指令，根據演示者手勢指令判斷用戶需要實時演示的內容。
全文摘要
本發明公開了一種基於體感技術的電子演示系統，包括用於實時向被演示者展示內容的屏幕、將演示者的演示內容投放到屏幕上的投影裝置，其特徵在於所述系統還包括用於捕獲演示者動作的體感裝置、與投影裝置連接的信息處理裝置，所述體感裝置將捕獲演示者動作的圖像傳輸給信息處理裝置，所述信息處理裝置根據演示者動作的圖像判斷演示者演示指令和演示內容，並通過投影裝置將演示內容實時投放到屏幕上進行實時演示。該系統將多媒體技術、圖形圖像處理技術、機器視覺技術有機結合起來，替代黑板的作用，大大豐富了現場演示的最佳效果。
文檔編號G06F3/01GK103207674SQ201310091358
公開日2013年7月17日 申請日期2013年3月21日 優先權日2013年3月21日
發明者吳俊敏, 黃治峰, 姜文斌 申請人:蘇州展科光電科技有限公司