一種基於單片機的手語識別翻譯系統的製作方法

2023-10-23 12:40:02 1

本發明涉及一種基於單片機的手語識別翻譯系統，是基於身患重病的人健康狀況不穩定，出院之後由於醫生不在身邊，不能實時得到病患者的身體狀況數據，給病患者帶來不可挽回的傷害。為此我們決定製作一個服務於醫生能夠實時監測到病患者身體狀況數據的作品。為了更加全面的服務於社會中的某些特殊人群，我們還研究了聾啞人，根據全國統計局的最新統計，我國有2700多萬的聾啞患者，並且新出生的聾啞兒以每年3萬多例的速度在增加。所以，我們扼要解決的問題是讓聾啞人們能順利的表達他們的想法，為他們減輕先天不足帶來的不便，也讓非聾啞人很好的理解聾啞人的手語，使我們的社會更加溫馨和諧，為此我們還加入了能夠讓聾啞人與普通人之間無礙交流的手語翻譯功能，殘疾人不僅能與醫生無礙交流，還能與普通人進行無礙交流。使得我們的作品能夠全面的服務於社會。屬於遠程醫療領域和聾啞人社交領域。

背景技術：

目前在一些發達地區，例如美國和西歐等國家，他們在遠程醫療系統的實施發展速度比較快，它們基本是通過衛星和綜合業務數據網來進行數據通信，並在遠程諮詢、會診、遠程會議、軍事醫學和一些醫學數據的遠距離傳輸等方面取得了不錯的成果。而我國在遠程醫療系統這一領域的研究狀況相對而言是比較落後的，到目前為止，國內的遠程會診還是以傳統的電話線以及衛星通信網絡為主要通信方式。近幾年來，隨著傳感器和無線通信技術的迅速發展，基於無線技術的醫療監護系統成為人們的研究熱點。在手語方面，傳統的手語識別包括基於視覺的手語識別和基於數據手套的手語識別。其中，基於視覺的手語識別通過數字攝像設備獲取人的手部圖像，對獲取的圖像進一步的處理，進而識別出相應的手語信息。基於視覺的方法之優點是價格較低和投入成本小，但是容易受到光照及背景等因素的影響，且目前這種方法識別的手語還不夠精確。因此，為了解決以上所述的問題，本發明提供了一種基於單片機的手語識別翻譯系統。

技術實現要素：

本發明所要解決的技術問題是：一種基於單片機的手語識別翻譯系統，本發明主要實現了聾啞人與普通人之間無障礙的交流，通過傳感器將手語進行翻譯，並將翻譯的結果顯示在系統搭載的顯示屏中，同時採用普通話播報手語翻譯的結果，除此之外，還可以將病患者的身體狀況信息（心率、脈搏、體溫等）實時通過雲服務端發送到醫生的手機或者計算機等使醫生能夠實時監測病患者的身體狀況。

本發明所要解決的技術方案是：一種基於單片機的手語識別翻譯系統，包括手套（1），其特徵還在於手套（1）內的主控模塊（2），與主控模塊（2）相連的角度傳感器（3）、彎曲度傳感器（4）、血氧傳感器（5）、顯示模塊（6）、無線通訊模塊（7），與無線通訊模塊（7）相連的數據處理模塊（8），與數據處理模塊（8）相連的wifi模塊（9）、雲服務端（10）、語音模塊（11）以及電源模塊（12）。

所述的手套（1）採用普通型布料縫製而成。

所述的主控模塊（2）選用目前主流armstm32f103rct6作為手語數據採集的主控制器，其的優勢在於低功耗、低成本、高性能的3者結合。

所述的角度傳感器（3）選用mpu6050角度傳感器，該傳感器內部整合了3軸陀螺儀和3軸加速度傳感器，並且含有一個第二iic接口，可用於連接外部磁力傳感器，並利用自帶的數字運動處理器（dmp:digitalmotionprocessor）硬體加速引擎，通過主iic接口，向應用端輸出完整的融合演算數據，接口方便使用；運用其固體庫dmp內部的運動引擎，直接輸出四元數，可以減輕外圍微處理器的工作負擔且避免了繁瑣的濾波和數據融合，通過四元數計算出俯仰角、橫滾角和航向角以及角加速度，因此能在三維空間獲取運動軌跡及起落點角度，及時捕獲運動方向變化的數據。

所述的彎曲度傳感器（4）選用一種柔韌性彎曲傳感器，該款傳感器在發生彎曲時，它的導通電阻發生變化，通過電阻值的變化實現了識別手指的彎曲度，能夠準確反映手指彎曲情況。

所述的血氧傳感器（5）選用的是max-30100血氧傳感，這是一個光學傳感器。其讀數來自兩個led發射的兩個led發出波長的光，及紅色和紅外。發射的光線可透過人體內的單組織點。先由響應紅色和紅外光線的單個光電二極體接收光線，然後由互阻放大器產生正比於接收光強的電壓。紅色和紅外led通常採用時間復用的方式，因此相互間不會干擾。環境光線經估計將從每個紅色和紅外光線中扣除。測量點包括手指、腳趾和耳垂。max-30100還內置了體溫傳感器，只需直接讀取檢測溫度數字。

所述的顯示模塊（6）採用0.9寸oled液晶屏，即有機發光二極體屏，其具備輕薄、亮度高、省電、顯示精度高、功耗低等特點。oled在電路中作為彎曲度傳感器和角度傳感器採集回來數據的顯示功能，方便數據的參考和後續程序算法處理，以及顯示心率、血氧飽和度、體溫。

所述的無線通訊模塊（7）採用採用的晶片是nrf24l01，該晶片通過spi與外部mcu通信，最大的spi速度可以達到10mhz。

所述的數據處理模塊（8）選用微控制器stm32f407作為數據處理核心，stm32f407將手勢動作數據和人體生理信號進行分離，分為兩部分做處理，第一部分：手勢動作數據經過處理後再結合語音模塊進行語音播報，完成了手語翻譯。第二部分：人體生理信號經過處理後，通過wifi模塊將數據（心率、血氧飽和度、體溫、步數、消耗卡路裡）發送到雲服務端。

所述的wifi模塊（9）選用的是esp8266一款超低功耗的uart-wifi透傳模塊，可將用戶的物理設備連接到wi-fi無線網絡上，進行網際網路或區域網通信，實現聯網功能。硬體接口豐富，可支持uart，iic，pwm，gpio，adc等，適用於各種物聯網應用場合。

所述的雲服務端（10）是基於yeelink的一個物聯網的雲端伺服器，能將單片機採集到的數據上傳並保存到yeelink雲端，也能經過yeelink進行遠程控制，只需要下載yeelink對應的app，就能實時遠程監控用戶的身體狀況。

所述的語音模塊（11）採用一款高集成度的語音合成晶片xfs5152ce，可實現中文、英文語音合成；併集成了語音編碼、解碼功能，可支持用戶進行錄音和播放；除此之外，還創新性地集成了輕量級的語音識別功能，支持30個命令詞的識別。將不同的手勢動分別對應不同的語音信號和控制信號。做出相應的手勢時通過串口，將對應的手語數據送往功放模塊發出相應的語音信號和控制信號。

所述的電源模塊（12）用於給整個系統供電，保證各個模塊的正常運行；為了提供大容量電量且穩定輸出的電壓，持久使用，且滿足小型化，方便攜帶的要求，故採取了鋰電池供電方式。而一般的鋰電池輸出電壓為5v，為此，我們使用ams1117-3.3v低壓差穩壓電路晶片穩壓成3.3v工作電壓提供晶片以及各個模塊的使用，實現電量足、供電穩定的目的。

本發明的主要功能是可以獨立地完成手勢和動作的數據採集和處理等工作，並確保主控制器接收到的數據是準確、完整與可靠的，因此本發明具有以下特點。

1.完整性

（1）手語數據是根據國際標準聾啞人使用手語語言錄入的，任何情況下保證不能丟失原始數據。系統通過採集手勢動作、處理、傳輸等環節，再調用原來主控制器存儲的原始手語數據，同時通過語音系統播報或控制外圍設備，實現功能的完整性；

（2）通過max30100血氧心率的工作原理，得到原數據後，便可計算出人體的血氧心率以及體溫，檢測結果準確穩定。

2.及時性

（1）數據手套能實現及時捕獲手勢變化的數據，快速算法處理，並準確傳輸，及時正確的輸出，具有不失誤的及時性；

（2）當每次檢測心率血氧和體溫時，系統會自動的把數據上傳到雲端，快速準確不容易丟失數據。

3.靈活性

（1）本系統手套可以實現手語翻譯播報、實時數據共享等功能，語音播報可以是音響，也可以是耳機，視使用者需要而定；

（2）無創測量血氧飽和度，還有測量心率和體溫。隨時隨地就能知道自己的身體健康狀況，方便又靈活。

4.安全性

系統的原始數據已存儲於主控制器的存儲器中，不易人為修改，並且不會因為掉電而丟失，完善的保安措施。整個系統由4.7v以下的低電壓供電工作的，完全不存安全隱患，而設計也滿足了安全可靠和美觀易用的追求。

5.實用性

（1）系統設計的新型多功能手套，通過內部專用的傳感器捕獲手勢姿態並配備國際標準聾啞人專用手語姿勢，實現戴上手套做手語姿勢，並能通過耳機或播音器播報讓非聾啞人準確的理解手語翻譯語音；

（2）傳統的組織血氧飽和度測量方法是有創測量,且很難做到連續測量,因此研究一種無創、連續測量血氧飽和度的方法具有重要意義。該系統無創測量,既減輕了病人的痛苦,又可以實時監控,具有低成本、結構合理、製作簡單、安全可靠等優點,滿足了臨床監護的需求。

附圖說明

圖1是本發明的整體結構圖。

附圖標記：（1）手套，（2）主控模塊，（3）角度傳感器，（4）彎曲度傳感器，（5）血氧傳感器，（6）顯示模塊，（7）無線通訊模塊，（8）數據處理模塊，（9）wifi模塊，（10）雲服務端，（11）語音模塊，（12）電源模塊。

具體實施方式

下面結合附圖和實例對本發明作進一步說明。

如圖1所示，一種基於單片機的手語識別翻譯系統，包括手套（1），其特徵還在於手套（1）內的主控模塊（2），與主控模塊（2）相連的角度傳感器（3）、彎曲度傳感器（4）、血氧傳感器（5）、顯示模塊（6）、無線通訊模塊（7），與無線通訊模塊（7）相連的數據處理模塊（8），與數據處理模塊（8）相連的wifi模塊（9）、雲服務端（10）、語音模塊（11）以及電源模塊（12）。

本發明不僅提高了聾啞人與普通人的溝通能力，幫助聾啞人更好的融入到社會生活中，還可以監測人體溫度、脈搏、血氧飽和度等生命體徵參數，為人體生命體徵健康監測及疾病診斷的有力手段，對實現疾病的監測、個性化治療以及生命搜救具有重要的意義。

本發明具有以下創新點：

（1）應用新興的物聯網技術，利用雲端實現數據的遠程交互，實現遠程監控；

（2）數據手套能及時捕獲手勢變化的數據，減少了冗餘數據，快速算法處理，提高了識別效率和識別正確率，有效的解決了關節和手指差異混淆問題；

（3）採用無線傳輸，無需連接電腦，具有便攜性、高可靠性、操作方便；

（4）採用無創血氧飽和度檢測技術；

（5）通過音響或者耳機為不懂手語的人用普通話進行手語翻譯；

（6）預留了對外傳輸數據接口，可用於遠程機器人控制，通過手勢對機器人的遠程控制等；

（7）採用3d列印技術製造機械結構；

（8）電池採用大容量的鋰電池，輕巧安全，持久耐用。

顯然,所描述的實施例僅僅是本發明的一部分實施例,而不是全部的實施例。基於本發明的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明的保護範圍。