導盲手機及導盲方法

2023-09-23 03:51:00

專利名稱：導盲手機及導盲方法
技術領域：
本發明涉及導盲技術，具體涉及一種導盲的方法及導盲手機。站旦仕士 冃豕扠不現實生活中，盲人在獨自行走時需要依靠導盲裝置來輔助其行走，其中， 最簡單常用的裝置是普通的手杖。通過用手杖在地面上敲擊，可以幫助盲人 發現身邊的障礙物，它的主要缺點是不能發現較遠一點的障礙物以及空中突 出的障礙物。為了更好的幫助盲人行走，目前市場上出現了各種電子導盲裝置，其中， 常見的包括具有導盲功能的手機或其他手持裝置。這種具有導盲功能的手持裝置，通常是基於各種衛星定位系統，例如全球衛星定位系統(GPS， Global Position System),通過定位系統確定使用者當前所處位置，從而為使用者提 供地理位置信息。這種導盲裝置的缺點在於定位精度不高，尤其是無法精確 將周圍環境信息告知使用者。同時，由於這種裝置需要接收衛星信號用於定 位，當使用者處於室內或者有障礙物遮擋GPS信號時，這種裝置將無法正常 工作。 發明內容本發明所要解決的技術問題是提供一種導盲方法及導盲手機，提供前方 障礙物信息，為使用者的行動提供方便。為解決上述問題，本發明提供的方案如下一種導盲手機，包括基帶處理模塊和障礙物信息輸出模塊，還包括距離 傳感器和攝像模塊，所述距離傳感器，用於探測前方障礙物，並將探測結果發送給基帶處理 模塊；所述攝像模塊，用於採集前方障礙物的圖像數據，並發送給基帶處理模塊；所述基帶處理模塊，用於根據所述探測結果獲取障礙物的距離信息，根 據所述圖像數據以及本地的物體模板庫對障礙物進行圖像匹配識別，並將識 別後的障礙物的類型和距離信息發送給障礙物信息輸出模塊；所述障礙物信息輸出模塊，用於向使用者提供所述障礙物的類型和距離f曰息。本發明所述的導盲手機中，所述基帶處理模塊包括測距模塊、圖像識別 模塊、語音模塊，所述測距模塊，用於根據所述距離傳感器返回的探測結果判斷障礙物為凹狀或凸狀障礙物，並獲取其中凸狀障礙物的距離信息；所述圖像識別模塊，用於對所述圖像數據進行邊緣檢測、圖形特徵提取、 本地物體模板匹配識別，並將識別後的障礙物的類型信息發送給語音模塊；所述語音模塊，用於根據障礙物的類型及距離信息發送相應的語音提示 信息至障礙物信息輸出模塊。所述障礙物信息輸出模塊，用於通過語音方式向使用者提供所述障礙物 的類型和距離信息。本發明所述的導盲手機中，所述測距模塊進一步根據障礙物的距離信息， 獲取障礙物的速度信息以及障礙物的幾何特徵的實際值，並發送給所述圖像 識別模塊；本發明所述的導盲手機中，所述距離傳感器為紅外傳感器、微波傳感器、 雷射傳感器，或超聲波傳感器，所述攝像模塊為紅外攝像頭。 本發明所述的導盲手機中，還包括溫度測量模塊，用於獲取障礙物的溫度參數，並將獲取的溫度參數發送 給圖像識別模塊。本發明所述的導盲手機中，還包括-震動傳感器，用於檢測手機受到的震動，並將檢測到震動的信息發送給 基帶處理模塊；全球定位系統GPS模塊，用於獲取當前的地理位置信息，並發送給基帶 處理模塊；所述基帶處理模塊進一步在震動傳感器檢測到震動後，將當前的地理位置信息發送至預先設定的接收者。 一種導盲方法，包括以下步驟步驟90，發射探測信號，並根據返回的反射信號確定前方障礙物的種類， 並獲取其中凸狀障礙物的距離信息；步驟91，採集前方障礙物的圖像數據，並對採集到的圖像數據進行邊緣 檢測、圖形特徵提取、本地物體模板匹配識別後，獲取障礙物的類型信息；步驟92，通過語音方式輸出所述障礙物的類型及其中凸狀障礙物的距離 "(曰息；本發明所述的導盲方法中，在步驟90後進一步包括根據所述距離信息， 計算凸狀障礙物的速度信息；在步驟92中進一步輸出所述凸狀障礙物的速度信息。 本發明所述的導盲方法中，在步驟91中，對於步驟90中所確定的凸狀 障礙物，進一步獲取該凸狀障礙物的溫度信息；在步驟92中進一步輸出所述凸狀障礙物的溫度信息。 本發明所述的導盲方法中，在步驟91中所述邊緣檢測之前，進一步包括: 對採集到的圖像數據進行二值化以及噪聲消除處理。從以上所述可以看出，本發明提供的導盲手機以及導盲方法，通過測距 模塊獲取前方障礙物的距離信息，並根據所述距離信息對攝像模塊獲取的數 據進行分析，可以獲取前方障礙物的實際大小；本發明還可以通過溫度測量 模塊獲取前方障礙物的溫度，從而為使用者提供了詳細的導盲信息；並且， 本發明還能夠在緊急情況下通過簡訊或緊急呼叫向他人請求救援，進一步保 障了使用者的人身安全。


圖1為本發明實施例的導盲手機中的導盲單元結構示意圖；圖2為本發明實施例的超聲波測距的流程圖；圖3為本發明實施例的圖像識別的流程圖；圖4為本發明導盲手機的另一實施例的示意圖；圖5為本發明導盲方法的流程示意圖；圖6為本發明導盲方法的附加流程示意圖；具體實施方式
下面結合附圖對本發明進行詳細的說明。本發明將各種類型的障礙物劃分為2個種類，即凹狀障礙物和凸狀障礙 物，其中，所述凹狀障礙物包括空曠區域(無障礙物)以及可吸收或透射探 測信號的障礙物，例如，以探測信號為紅外線為例，黑色物質可吸收紅外線， 透明物體、鏤空物體可透射紅外線；所述凸狀障礙物是指能夠反射入射信號 的物體。其中，凹狀或凸狀障礙物又分別包括各種不同類型的障礙物，例如凸狀障礙物有牆體、車輛、人物等類型。本發明實施例的導盲手機中的導盲單元結構如圖1所示，包括 距離傳感器IO，用於發射探測信號探測前方障礙物，接收反射回來的反 射信號，並將反射信號的信息發送至基帶處理模塊12，所述探測信號可以是 超聲波、紅外線、雷射以及微波等，所述反射信號的信息包括包括反射信號 的相位或者接收到反射信號的時間等。單一探測信號有時會因為被前方物體 吸收而導致無法反射，因此距離傳感器IO可以採取多種探測信號相結合的方 式，對前方物體進行探測。攝像模塊ll，用於對周圍環境進行攝像，並將採集到的圖像數據發送至 基帶處理模塊12。基帶處理模塊12，具體包括測距模塊121、圖像識別模塊122以及語音 模塊123，用於根據距離傳感器10返回的反射信號的信息和攝像模塊11返 回的圖像數據對前方障礙物進行圖像識別，並將識別後的前方障礙物的信息 發送給語音輸出模塊13。這裡，測距模塊121，用於控制距離傳感器10發送探測信號，以及根據 距離傳感器IO返回的反射信號的信息判斷前方障礙物的種類，並計算其中的 凸狀障礙物與使用者之間的距離，並將前方障礙物的種類以及距離信息發送 給圖像識別模塊122:在距離傳感器10發射探測信號後檢測反射信號，如果 在預先設定的時間內接收到距離傳感器IO返回的反射信號的信息，則表明前 方障礙物為凸狀障礙物，此時，測距模塊121根據反射信號的信息，計算使 用者和前方障礙物之間的距離，並將計算得到的距離信息發送給圖像識別模 塊122;如果在預先設定的時間內距離傳感器10沒有返回的反射信號的信息，則表明前方障礙物為凹狀障礙物，此時測距模塊121將前方障礙物為凹狀障 礙物的信息發送給圖像識別模塊122。這裡，圖像識別模塊122，用於根據攝像模塊ll返回的圖像數據，並結 合測距模塊121返回的前方障礙物的種類以及距離信息，提取前方障礙物的 幾何特徵；將前方障礙物的幾何特徵與預先保存在本地的各種類型的物體模 板進行匹配，對前方障礙物進行圖像識別，並將識別後的前方障礙物的類型 信息發送給語音模塊123。這裡，語音模塊123，用於根據前方障礙物的類型以及距離信息，調用 內置的語音提示信息，並發送給語音輸出模塊13。語音輸出模塊13，用於根據語音模塊123發送的語音提示信息，通過語 音方式向使用者提供前方障礙物的相關信息，例如，通過揚聲器或耳機告知 使用者有無障礙物、前方障礙物的距離，以及前方障礙物的類型。以上是通過語音模塊123和語音輸出模塊13以語音方式向使用者提供前 方障礙物的信息。顯然，除了上述語音方式的輸出外，本發明還可以採用其 他方式輸出障礙物的信息，例如通過手機的不同的震動形式，或者不同的聲 音頻率來輸出前方障礙物的信息。以下分別舉例說明上述實施例中各模塊的硬體連接關係以及相應的軟體 處理流程。距離傳感器10可以採用紅外、微波、雷射或超聲波傳感器，例如對於採 用紅外傳感器時，紅外傳感器與測距模塊121可以通過數字接口，如I2C， l-，附re協議等接口進行連接，測距模塊121通過該數字接口控制紅外傳感器 的探測信號的發射和接收，根據反射回來的紅外線的相位差計算前方障礙物 的距離；而對於超聲波傳感器，測距模塊121可以根據反射波的時延計算前 方障礙物的距離，圖2為超聲波測距的流程圖，首先設置一個定時器用於對 上述時延進行計時，具體流程包括以下步驟步驟20，初始化定時器；步驟21，啟動定時器開始計時；步驟22，在啟動定時器後，測距模塊121立即控制距離傳感器發射超聲 波進行探測；步驟23，因為距離傳感器本身也會反射超聲波，為了避免將距離傳感器 反射回的超聲波作為反射波從而引起誤判，故延時一個預先設定的時間TO; 步驟24，延時結束後，打開中斷準備接收反射波；步驟25，測距模塊121等待接收反射波的信息，如果接收到反射波的信 息則進入步驟26，否則繼續等待；步驟26，關閉定時器，停止計時；步驟27，測距模塊121讀取定時器的時間值，並根據讀取的時延值計算 前方物體和使用者之間的距離信息；以上為測距模塊121測距的流程，當前方為空曠區域或存在透射、吸收 超聲波的物質時，測距模塊121無法接收到反射波，此時需要設置一個超時 時間T1，在發射超聲波後進一步進行判斷，如果超出超時時間仍沒有接收到 反射波的信息，此時結束測距並判定前方障礙物為凹狀障礙物。攝像模塊11可以採用普通攝像頭，為了在光線不足的時候能夠進行攝 像，也可採用紅外攝像頭。攝像頭實時採集前方物體圖像，圖像識別模塊122 通過圖像識別算法對攝像頭採集到的圖像數據進行分析、識別，其流程圖如 圖3所示，包括以下步驟-步驟30，圖像識別模塊122通過直接內存存取(DMA， Direct Memory Access)或中斷等方式獲取攝像模塊11所採集到的圖像數據。所述DMA方式是指攝像模塊11所採集到的圖像數據直接通過數據總線 傳送到圖像識別模塊122的內存中；所述中斷方式是攝像模塊11所採集到的 圖像數據在傳送前，首先產生中斷，再由圖像識別模塊122中的處理器將數 據讀取到內存中。步驟31，為了提高處理速度，將彩色圖像轉換成黑白，然後進行二值化 處理。例如，當圖像數據長度為8位時，對於大於128的圖像數據二值化後為 1，小於或等於128的圖像數據二值化後為0。步驟32,由於圖像數據中存在噪聲幹擾，同時二值化過程也會引入量化 噪聲，因此需要對圖像數據進行噪聲消除處理，例如，採用平滑濾波或消除 孤立噪點的方法對噪聲進行濾除。步驟33，對濾除噪聲後的圖像進行邊緣檢測處理，利用二次樣條小波進 行圖像邊緣檢測。由於小波變換的模極大值點對應於信號的突變點，因而小波變換適合用 於檢測圖像的局部奇異性，通過檢測這些模極大值點確定圖像的邊緣。小波 變換位於各個尺度，每個尺度上的小波變換都能夠提供一定的邊緣信息。步驟34，利用上述邊緣檢測的結果，提取障礙物的圖形的幾何特徵。所述幾何特徵包括圖像的周長、面積、最長軸、方位角、邊界矩陣以及 形狀係數等。步驟35，障礙物的類型識別，本地設有用於保存各種類型物體的圖像模 板的物體模板庫。例如分別為各種類型的凹狀和凸狀物體設有相應的凹狀物體模板庫和凸 狀物體模板庫，圖像識別模塊122將步驟34中獲取的圖像的幾何特徵對本地 物體模板進行匹配，從而識別障礙物的類型。這裡，步驟34中還可以進一步結合測距模塊121所確定的凸狀障礙物的 距離信息，對障礙物進行更加具體的分析，獲取障礙物的幾何特徵的實際值， 例如，可以根據透鏡成像原理，根據成像大小、物距、焦距來計算實際障礙 物的大小、尺寸等。圖4為本發明導盲手機的另一實施例的示意圖，與圖1相比，該裝置進 一步增加了溫度測量模塊14、震動傳感器15以及GPS模塊16，同時在基帶 處理模塊12中相應增加了緊急情況處理模塊124，其中，溫度測量模塊14 與圖像識別模塊122相連，震動傳感器15和GPS模塊16分別與緊急情況處 理模塊124相連。這裡，測距模塊121進一步用於根據前方障礙物的距離信息計算前方障 礙物的速度信息，並將獲取的速度信息發送給圖像識別模塊122。其中，計 算速度的方法可以是計算在一定時間T內，前方障礙物與使用者之間的距 離的差值，將該距離差除以該段時間T即為前方障礙物的速度。溫度測量模塊14用於測量前方障礙物的溫度，例如採用非接觸測溫裝置 進行溫度測量，並將溫度參數發送給圖像識別模塊122。圖像識別模塊122進一步根據溫度測量模塊14發送的溫度參數和測距模塊121發送的速度信息，獲取前方障礙物的溫度、速度等信息，並將上述所 有信息發送給語音模塊123。通過這些模塊可以識別更多的障礙物，比如火 堆、移動中的物體等。GPS模塊16用於通過GPS系統獲取地理位置信息，並發送給緊急情況 處理模塊124。震動傳感器15用於檢測手機受到的震動，在手機受到一定的震動後啟動 自身的震動裝置，並將檢測到的震動信息發送給緊急情況處理模塊124，例 如當手機掉落到地上，震動傳感器15在檢測到手機與地面的撞擊後啟動震動 裝置開始震動，並將檢測到震動的信息發送給緊急情況處理模塊124。這裡， 在手機受到一定的震動後，也可以啟動揚聲器發出報警聲音，這樣，使用者 即使在視覺障礙的情況下，也可以通過辨別聲源位置，從而找到手機。緊急情況處理模塊124用於在震動傳感器15檢測到震動後，啟動緊急情 況處理程序。所述緊急情況處理程序包括首先將震動標誌位置位；如果在 一段預先設定的時間內，使用者人工取消震動，即震動標誌位被復位，則結 束該程序；如果在這段時間內震動標誌位沒有被復位，則該程序通過GPS模 塊16獲取當前地理位置信息，並將該信息以手機簡訊方式發送給預先設定的 接收者，還可以進一步自動撥叫預先設定的急救電話，向對方求救等。圖5給出了本發明實施例中的導盲方法的流程示意圖，包括以下步驟步驟50，系統啟動；步驟51，啟動測距模塊，開始測距。步驟52，延時一段預先設定的時間T0後，等待接收反射信號如果沒 能在超時時間T1內接收到反射信號，則前方障礙物為凹狀障礙物，此時進入 步驟53;如果在超時時間T1內接收到反射信號，則前方障礙物為凸狀障礙 物，此時進入步驟54。步驟53，根據前方障礙物的圖像數據，進行圖像識別，並與本地的凹狀 物體模板進行匹配，獲取前方障礙物的類型信息，進入步驟56。步驟54，根據反射信號對前方障礙物進行測距、測速，以及溫度測量後 進入步驟55。步驟55，根據前方障礙物的圖像數據，並結合障礙物的距離，獲取障礙物的包括周長、面積、最長軸、方位角、邊界矩陣以及形狀係數等的幾何特 徵參數，並與本地的凸狀物體模板進行匹配，獲取前方障礙物的類型信息， 進入步驟56。步驟56，通過語音提示方式將所獲取的前方障礙物的相關信息報告使用者。在上述步驟50之後，可以進一步增加以下步驟，如圖6所示 步驟57，啟動震動檢測，檢測手機受到的震動，在手機受到一定的震動 後進入步驟58。步驟58,啟動緊急情況處理程序，包括則獲取GPS模塊16的當前地 理位置信息，並將該信息以手機簡訊方式發送給預先設定的接收者，還可以 進一步自動撥叫預先設定的急救電話等。綜上所述，本發明的導盲手機能夠向使用者提供前方障礙物的詳細信息， 例如，前方是否存在障礙物，所存在的障礙物的大小、形狀，甚至其運動速 度以及其溫度等信息，從而使用者能夠全面了解前方障礙物，能夠對一些危 險的情況及時作出反應，增加了使用者的安全保障，方便使用者在視覺障礙 的情況下的行動。
權利要求
1. 一種導盲手機，包括基帶處理模塊和障礙物信息輸出模塊，其特徵在於，還包括距離傳感器和攝像模塊，所述距離傳感器，用於探測前方障礙物，並將探測結果發送給基帶處理模塊；所述攝像模塊，用於採集前方障礙物的圖像數據，並發送給基帶處理模塊；所述基帶處理模塊，用於根據所述探測結果獲取障礙物的距離信息，根據所述圖像數據以及本地的物體模板庫對障礙物進行圖像匹配識別，並將識別後的障礙物的類型和距離信息發送給障礙物信息輸出模塊；所述障礙物信息輸出模塊，用於向使用者提供所述障礙物的類型和距離信息。
2. 如權利要求1所述的導盲手機，其特徵在於，所述基帶處理模塊包括 測距模塊、圖像識別模塊、語音模塊，所述測距模塊，用於根據所述距離傳感器返回的探測結果判斷障礙物為 凹狀或凸狀障礙物，並獲取其中凸狀障礙物的距離信息；所述圖像識別模塊，用於對所述圖像數據進行邊緣檢測、圖形特徵提取、 本地物體模板匹配識別，並將識別後的障礙物的類型信息發送給語音模塊；所述語音模塊，用於根據障礙物的類型及距離信息發送相應的語音提示 信息至障礙物信息輸出模塊。所述障礙物信息輸出模塊，用於通過語音方式向使用者提供所述障礙物 的類型和距離信息。
3. 如權利要求2所述的導盲手機，其特徵在於，所述測距模塊進一步根 據障礙物的距離信息，獲取障礙物的速度信息以及障礙物的幾何特徵的實際值，並發送給所述圖像識別模塊e
4. 如權利要求1所述的導盲手機，其特徵在於，所述距離傳感器為紅外 傳感器、微波傳感器、雷射傳感器，或超聲波傳感器，所述攝像模塊為紅外 攝像頭。
5. 如權利要求1所述的導盲手機，其特徵在於還包括溫度測量模塊，用於獲取障礙物的溫度參數，並將獲取的溫度參數發送 給圖像識別模塊。
6. 如權利要求1至5任一項所述的導盲手機，其特徵在於還包括 震動傳感器，用於檢測手機受到的震動，並將檢測到震動的信息發送給基帶處理模塊；全球定位系統GPS模塊，用於獲取當前的地理位置信息，並發送給基帶 處理模塊；所述基帶處理模塊進一步在震動傳感器檢測到震動後，將當前的地理位 置信息發送至預先設定的接收者。
7. —種導盲方法，其特徵在於，包括以下步驟步驟90，發射探測信號，並根據返回的反射信號確定前方障礙物的種類， 並獲取其中凸狀障礙物的距離信息；步驟91，採集前方障礙物的圖像數據，並對採集到的圖像數據進行邊緣 檢測、圖形特徵提取、本地物體模板匹配識別後，獲取障礙物的類型信息；步驟92，通過語音方式輸出所述障礙物的類型及其中凸狀障礙物的距離 信息。
8. 如權利要求7所述的導盲方法，其特徵在於，在步驟90後進一步包 括根據所述距離信息，計算凸狀障礙物的速度信息；在步驟92中進一步輸出所述凸狀障礙物的速度信息。
9. 如權利要求7所述的導盲方法，其特徵在於，在步驟91中，對於步 驟90中所確定的凸狀障礙物，進一步獲取該凸狀障礙物的溫度信息；在步驟92中進一步輸出所述凸狀障礙物的溫度信息。
10. 如權利要求7所述的導盲方法，其特徵在於，在步驟91中所述邊緣 檢測之前，進一步包括對採集到的圖像數據進行二值化以及噪聲消除處理。
全文摘要
本發明公開了一種導盲手機，包括基帶處理模塊和語音輸出模塊，還包括距離傳感器和攝像模塊，其中距離傳感器，用於探測前方障礙物，並將探測結果發送給基帶處理模塊；攝像模塊，用於採集前方障礙物的圖像數據，並發送給基帶處理模塊；基帶處理模塊，用於根據所述探測結果獲取障礙物的距離信息，根據所述圖像數據以及本地的物體模板庫對障礙物進行圖像匹配識別，並將識別後的障礙物的類型及距離信息發送給語音輸出模塊；語音輸出模塊，用於通過語音方式向使用者提供所述障礙物的類型即距離信息。本發明的導盲手機及方法，能夠向使用者提供前方障礙物的詳細信息，方便使用者在視覺障礙的情況下的行動。
文檔編號H04M11/00GK101227539SQ20071006285
公開日2008年7月23日 申請日期2007年1月18日 優先權日2007年1月18日
發明者羅志昕, 齊光輝 申請人:聯想移動通信科技有限公司