一種窗簾的智能手勢和語音控制系統的製作方法

2023-05-07 23:01:56 1

專利名稱：一種窗簾的智能手勢和語音控制系統的製作方法
技術領域：
一種窗簾的智能手勢和語音控制系統技術領域[0001]本實用新型涉及窗簾控制裝置，具體涉及一種窗簾的智能手勢和語音控制系統。
技術背景[0002]窗簾是現代家居中必不可少的家居用品，隨著生活水平的提高和智能家居的普及，人們希望窗簾也能成為智能家居人機互動的一部分，對窗簾控制智能化的要求也越來越高。目前，較新的控制窗簾的技術主要是紅外遙控、亮度與溫度控制、聲控等，它們各自都存在缺點，實際操作起來不理想。經查詢，專利公開號為CN2899646的具有紅外線控制傳動裝置的智能窗簾，讓使用者無法擺脫遙控器的束縛，且容易與家中其它眾多遙控器混淆，專利公開號為CN201210241的帶光敏電阻的光控智能窗簾和公開號為CN101976090A的智能窗簾，對安裝環境的要求高，當其安裝在一些長期環境不變的地方時無法發揮智能作用，專利公開號為CN202234681U的聲控窗簾,根據現有的語音識別技術,該聲控窗簾對使用者的普通話水平要求高，且不適用於有語言阻礙者的家庭使用。為了克服現有智能窗簾的不足， 本實用新型提供一種使用手勢和語音結合控制窗簾的裝置。實用新型內容[0003]本實用新型的目的在於克服現有技術存在的上述不足，提供一種窗簾的智能手勢和語音控制系統，具體技術方案如下。[0004]一種窗簾的智能手勢和語音控制系統，包括手勢採集單元、語音採集單元、識別單元、外接設備單元；手勢採集單元和語音採集單元並行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像採集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭採集窗簾前一定區域內用戶的手勢圖像，並將採集到的圖像傳輸到識別單元的手勢控制接口 ；語音採集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風採集用戶發出的語音指令，並將採集到的語音指令傳輸到識別單元的語音控制接口。[0005]上述的窗簾的智能手勢和語音控制系統中，識別單元實現的功能包括手勢識別、 語音識別和多通道整合，其中，手勢識別是對攝像頭採集到的用戶手勢圖像進行識別，語音識別是對麥克風採集的用戶語音指令進行識別，多通道整合是對手勢識別和語音識別的判斷結果進行整合。[0006]上述的窗簾的智能手勢和語音控制系統中，外接設備單元包括控制器、驅動電機和顯不器。[0007]所述控制器，用於將多通道整合結果輸出的用戶指令轉為硬體的中斷指令，輸出到驅動電機；[0008]所述驅動電機，用於根據控制器傳輸的中斷指令對窗簾捲軸進行驅動，窗簾捲軸帶動窗簾上的滾輪實現對窗簾的拉伸控制；[0009]所述的顯示器，用於向用戶顯示任務的完成情況和窗簾的開閉狀態以及窗簾的打開程度。[0010]上述一種窗簾的智能手勢和語音控制系統的控制方法，具體是分別對採集到的手勢圖像和語音指令進行手勢識別和語音識別，控制器根據手勢識別過程或語音識別過程的判斷結果獨立地對窗簾進行控制或根據手勢識別過程和語音識別過程的判斷整合結果對窗簾進行控制；所述控制包括對窗簾的打開、閉合或指定打開程度的控制。[0011]上述控制方法中，所述手勢識別過程包括[0012]將採集的圖像進行預處理，去除圖像冗餘信息，平滑和濾波；[0013]對預處理後的圖像進行檢測，將檢測到的手勢區域和背景區域分離；[0014]將分離後的手勢圖像提取手勢的特徵值；[0015]對提取的特徵值實現訓練和分類識別，將特徵值與手勢資料庫中的相應手勢進行匹配，得到識別結果；[0016]根據識別結果輸出控制信息流。[0017]上述控制方法中，所述語音識別過程包括[0018]採集大量的語音數據組成語料庫；[0019]對採集到不平穩的語音信號進行處理，使其變成簡短而平穩的隨機過程；[0020]提取每一個簡簡訊號的多維特徵向量；[0021]在對語料庫中訓練句子進行特徵提取之後，就開始進行聲學建模工作，即利用語音多維特徵向量進行聲學模型訓練。[0022]再在語法和語義的層面上結合語言的規則建立語言模型，即在給出固定的詞序列的前提下，設定每一個詞序列與其前面所有詞序列的相關性，從而排除某些不期望的詞序列，輔助聲學模型構成完整的詞網絡，提高在模型庫中搜索的效率；[0023]在模型庫中根據已經建立的詞網絡中找到最佳路徑，得到識別結果；[0024]根據識別結果輸出控制信息流。[0025]上述控制方法中，所述手勢資料庫是通過採集大量的手勢正負樣本進行特徵值提取和分類訓練後所建立的。[0026]上述控制方法中，所述模型庫是通過構建控制窗簾所需要的語料庫，對語料庫中的語音數據進行預處理和特徵提取後，進行聲學建模訓練，再結合語法和語義組成的。[0027]與現有技術相比，本實用新型具有如下優點和技術效果[0028](I)本實用新型智能化程度高，與用戶的交互方式自然，在使用本實用新型時，既無需用戶親自去拉動窗簾，也不需為窗簾添加一個實體遙控器，，用戶只需要在窗簾面前一個可控範圍內用手做出對應的手勢，或者指著窗簾發出語音指令，即可以輕鬆控制窗簾。[0029](2)本實用新型兼顧多種特殊情況，對於行動不便者可以單獨使用語音控制功能， 而對於普通話障礙者可以單獨使用手勢控制功能，非常利於有老人、小孩或者殘疾人的家庭。[0030](3)本實用新型可以讓用戶自由選擇手勢或者語音控制窗簾，控制方式簡單、直接，使窗簾更加人性化，充分體現了現代智能家居的特點。


[0031]圖I為窗簾的智能手勢和語音控制系統框架圖。[0032]圖2為手勢識別流程圖。[0033]圖3為語音識別流程圖。[0034]圖4為左一右隱馬爾可夫模型。[0035]圖5為多通道整合圖。
具體實施方式
[0036]
以下結合附圖對本實用新型的具體實施作進一步說明，但本實用新型的實施和保護不限於此。[0037]本實用新型提供一種窗簾的智能手勢和語音控制系統，包括手勢採集單元、語音採集單元、識別單元、外接設備單元。手勢採集單元和語音採集單元並行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像採集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭採集窗簾前一定區域內用戶的手勢圖像，並將採集到的圖像傳輸到識別單元的手勢控制接口 ；語音採集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風採集用戶發出的語音指令，並將採集到的語音指令傳輸到識別單元的語音控制接口。[0038]如圖I所示，手勢採集單元和所述語音採集單元並行連接識別單元的圖像和語音輸入接口，所述識別單元連接外接設備單元。其中，手勢識別用於對採集的有效用戶手勢圖像進行實時跟蹤手掌的移動情況，並對手勢圖像進行識別判斷，語音識別用於接收用戶發出的語音指令，對語音進行識別判斷，分別將手勢和語音的識別判斷結果進行多通道整合， 將整合後的信息分別傳遞給外接設備單元的控制器和顯示器，再由控制器作用於驅動電機，使其對窗簾的捲軸進行啟動、停止控制，並且將窗簾的狀態及時反饋到顯示器上。[0039]如圖2所示，手勢識別的過程圖像預處理、手勢檢測和區域分割、特徵提取、手勢識別和結果輸出。[0040]在啟動系統後，通過攝像頭採集窗簾前用戶的手勢圖像後進行A/D轉換，將數據傳輸到識別單元的接口，[0041]所採集的圖像由於光照、環境原因，可能會存在噪點，為減小圖像在區域分割時產生的誤差，首先對採集的圖像進行圖像預處理，採用圖像均值濾波對圖像進行平滑濾波，以 NXN (模板大小)均值濾波模板對圖像中的每一個像素點的值f(i，j)進行處理，得到新的像素點值r(i，j)[0042]tZMJ)輸-[0043]手勢檢測和區域分割用於對所述的預處理後的圖像檢測是否存在手勢，考慮到複雜背景和周圍環境光線的變化，對採集的圖像進立YCrCb顏色空間模型，基於膚色聚類特徵和對光照的不敏感，將採集的三個通道彩色圖像的數據利用膚色的特徵信息，採用閾值設置的方法，分別根據三個通道值將背景和目標區域先後進行粗分割和細分割，得到二值化圖像，實現複雜背景下的膚色分割。[0044]特徵提取即用於對所述的二值化後的手勢圖像採用梯度方向直方圖(histograms of oriented gradient, HOG)方法提取手勢特徵,具體步驟如下[0045](I)將二值化圖像劃分成一個個2X2的單元(cell)；[0046](2)分別在水平和垂直方向上，利用一維離散微分模板計算出每個cell的梯度；[0047](3)統計每一個cell的梯度直方圖(即不同梯度的個數)；[0048](4)將若干個cell組成一個區間(block), —幅圖像由若干個block構成；[0049](5)利用L2範數為因子在block中進行梯度歸一化[0050]
權利要求1.一種窗簾的智能手勢和語音控制系統，其特徵在於，包括手勢採集單元、語音採集單元、識別單元、外接設備單元；手勢採集單元和語音採集單元並行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像採集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭採集窗簾前一定區域內用戶的手勢圖像，並將採集到的圖像傳輸到識別單元的手勢控制接口 ；語音採集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風採集用戶發出的語音指令，並將採集到的語音指令傳輸到識別單元的語音控制接口。
2.如權利要求I所述的一種窗簾的智能手勢和語音控制系統，其特徵在於，外接設備單元包括控制器、驅動電機和顯示器， 所述控制器，用於將多通道整合結果輸出的用戶指令轉為硬體的中斷指令，輸出到驅動電機； 所述驅動電機，用於根據控制器傳輸的中斷指令對窗簾捲軸進行驅動，窗簾捲軸帶動窗簾上的滾輪實現對窗簾的拉伸控制； 所述的顯示器，用於向用戶顯示任務的完成情況和窗簾的開閉狀態以及窗簾的打開程度。
專利摘要本實用新型公開一種窗簾的智能手勢和語音控制系統。控制系統包括手勢採集單元、語音採集單元、識別單元、外接設備單元。其中，手勢採集單元是通過攝像頭獲取用戶的手勢動作，語音採集單元通過麥克風獲取用戶指令，在識別單元中分別對手勢和語音進行識別判斷後，根據識別後的信息流的時序關係，對兩個通道信息進行整合。根據整合結果，可對窗簾進行操作。本實用新型中的手勢控制和語音控制既可以獨立使用也可以聯合使用，讓用戶在智能家居中有更自然和諧的體驗。本實用新型結合手勢和語音同時控制窗簾，主要是為了減少現在家庭中手動開合窗簾所帶來的麻煩，減少家庭中遙控器的數量，同時也可以方便家庭中老人小孩以及行動不便者對窗簾的使用。
文檔編號G06F3/01GK202801140SQ20122044564
公開日2013年3月20日 申請日期2012年8月31日 優先權日2012年8月31日
發明者羅雅愉, 徐向民, 石嘉豪, 王羽 申請人:華南理工大學