一種基於智慧型手機的盲人室內導盲方法與流程
2023-09-21 17:19:15 2
本發明屬於人身安全領域，具體涉及一種基於智慧型手機的盲人室內導盲方法。
背景技術：
近幾年導航技術的迅速發展已經使很多人能夠感受到這項技術帶來的便利。但生活中有另一類人比正常人更需要導航技術在他們的生活中發揮作用，那便是盲人群體。
根據2014年底的一項調查表明，中國約有1731萬視障人士，而中國僅存在導盲犬70隻左右。並且每一條導盲犬的訓練時間長達三年，訓練費用要達到12～15萬元人民幣。而在日常的生活中，導盲犬所能活動的公共空間也受到了極大限制，這使得導盲犬的普及成為了一項難題。而相比於導盲犬的數量稀少且價格昂貴，智慧型手機在中國的普及率已接近70％，且價格不過數千元，因此使用智慧型手機來代替導盲犬將會是一個很好的方案。
目前盲人的現狀以及智慧型手機的普及性，可以考慮利用手機為盲人解決這些難題。智慧型手機上集成了加速度計，陀螺儀等多種傳感器。通過將這些傳感器的數據結合，能夠進行慣性導航和GPS導航等方式，再加上通過地磁等特徵物理量校準，從而為盲人提供室內的導航服務。一方面可以利用智慧型手機對盲人的身份進行識別，以檢測出盲人的手機出現丟失、被盜等現象。另一方面針對智慧型手機的傳感器對盲人進行位置的定位和路徑的導航。解決了長久以來困擾盲人出行不便的難題。
技術實現要素：
針對當用戶在室內時，由於室內GPS信號不能夠很好的接收的問題，本發明利用手機的加速度傳感器和陀螺儀能夠協助盲人進行路徑導航，同時使用地磁指紋為導航路線提供校準。實現本發明的技術方案如下：
一種基於智慧型手機的盲人室內導盲方法，首先對盲人的行走路徑進行記錄，對同一起始地點和目標地點，存儲不少於3條的路徑，將沿途的各種路障、特徵點等記下來，並設定優先路線；將每條路線劃分為若干路段，每一個路段設置有定標，在每個定標點設置下一步動作，若定標丟失或無法觸碰到，則根據存儲的其他路線中，在物理空間上距離最短切中途無阻礙的定標作為替代，並根據該路徑重新規劃導航線路；
所述路線如果是在室外，則使用慣性導航，如果是在室內，則採用定標修正誤差結合地磁校準相結合的導航方法。
進一步，所述慣性導航的軌跡生成方法包括如下步驟：
(1)獲取加速度數據：手機加速度傳感器記錄下三軸的加速度值，即為：A＝{a1,a2,...,an}，並進行降噪及去除重力處理：
其中，α∈[0,1]，i＝{1,2,3,...,n}，n表示加速度序列的長度，g為重力；
(2)判斷行走狀態：用戶在水平步行運動中，垂直和前進兩個加速度會呈現周期性變化，在步行收腳的動作中，重心向上單只腳觸地，垂直方向加速度呈正向增加，之後繼續向前，重心下移兩腳觸底，加速度相反；水平加速度在收腳時減小，在邁步時增加；
(3)計算步數並生成軌跡：採用基於Mealy狀態機的計步算法，通過計算得出3個加速度的大小和方向，獲得一條步行運動的正弦曲線軌跡；然後進行峰值檢測，通過和上一次記錄的加速度大小進行比較，如果相反，表示剛過峰值狀態，則進行計步，否則捨棄，通過對峰值次數的累積可得到用戶步行步數；根據步數、步長、行走的方向得到軌跡。
進一步，所述步驟(3)的具體步驟包括：
1)計算方向和手機的擺放位置：利用手機的方向傳感器可獲得方向數據，方向傳感器返回的3個角度分別表示手機頂部的朝向與正北方向的夾角、手機的頂部或尾部翹起的角度和左側或右側翹起的角度，利用這3個角度即可確定手機的擺放位置；
2)基於最小二乘法計算步長：所述步長由行走時產生的加速度得到；
3)生成軌跡：慣性導航軌跡生成算法根據人的步數、步長、行走的方向來計算人的位置進而得出實際運動軌跡：首先將起點(x0,y0)設為原點，第j步的坐標為(xj,yj),則第j步坐標為：
(xj,yj)＝(x0+L cos(φ+γj),y0+L cos(φ+γj))
其中，L為步長，φ為j步內所發生的方向變化之和，γj表示第j步過程中的方向變化；
進一步，所述步驟1)還包括校正的步驟：
①首先記錄人在行走過程中的水平手持手機時三軸陀螺儀所產生的數據，利用數據疊加去除高頻噪聲，由此得到人在水平方向的行走的角速度變化，即為R＝{r1,r2,...,rn}；
②計算每一步所發生的方向變化，則第j步過程中的方向變化為：
③行走過程中同時記錄指南針讀數，記作：C＝{c1,c2,...,cn}，對數據進行濾波平滑處理；獲取指南針的第j步和第j+k步之間的方向變化獲取三軸陀螺儀的第j步和第j+k步之間的方向變化設置的角度閾值，當超過閾值時，利用指南針第j+k步的方向對三軸陀螺儀讀數計算得到的第j+k步的方向變化進行修正，並將修正後的數據作為人在第j+k步的方向。
進一步，所述步驟2)的具體步驟包括：
①採集用戶以規定步長行走時所產生的加速度，記作a，所對應的步長，記作l；
②計算加速度的方差，記作s；
③利用最小二乘法對s和l作最佳線性擬合，得到兩者的關係：
l＝(s-q)/p
其中，p和q是最佳線性擬合係數，其中為多次採樣的均方差，為平均步長。
進一步，所述定標修正誤差的方法：如果盲人在行走時碰觸不到定標，則通過語音輸入手機，提示未碰觸到定標；手機向監護人發送此時盲人所處的位置，監護人迅速調出地圖，確定盲人位置，指導盲人做出判斷；或者盲人向路人求助，將盲人帶到手機顯示的下一個定標位置點；手機同時記錄盲人所走的新路線。
進一步，所述地磁校準的方法：
盲人在匹配區域運動時，磁傳感器採集一系列地磁場強度值，經過數據預處理後得到測量數據帶，記為:HN＝[h1，h2，…，hN]，其中:H為觀測值序列，N為一次匹配的採樣個數，即為測量帶長；
根據慣性導航輸出的位置在地磁圖上提取地磁參考信息，地磁參考信息記為gN＝[g1，g2，…,gN]，其中gN為參考值序列，HN和gN是對應的序列；在某段時間內，設定慣性導航的輸出軌跡與真實軌跡是平行的，在搜索區域得到S個與慣性導航輸出軌跡平行的軌跡，再根據S個軌跡在地磁圖中提取地磁場數據，得到S個數據向量；把地磁測量值向量和這些地磁圖上的數據向量進行相關極值運算，最終確定盲人的位置。
進一步，所述地磁校準還包括：對HN進行多次控制幹擾強度的隨機幹擾，使得到的匹配位置落在真實位置周圍，然後取這些位置的平均值作為匹配位置。
本發明的有益效果：
1、導航方式更符合盲人的行走方式，為盲人降低使用難度，提高準確性。
2、無需高精度、昂貴的慣性傳感器，只需要利用手機中內置的傳感器即可，實用性強，成本低廉。
3、無需進行額外的培訓，只需要監護人在使用前錄入路線和語音即可。
附圖說明
圖1基於Mealy狀態機的計步算法
圖2是商場模擬路徑圖；
圖3商場模擬路徑實驗結果圖。
具體實施方式
首先對盲人的行走路徑進行記錄。盲人一般都會固定的去幾個自己常去的地方，首先監護人帶盲人將平時所走過的常用路徑走一遍，並且記錄下該條路徑。對同一起始地點和目標地點，存儲3條或以上路徑。監護人儘可能將沿途的各種路障、特徵點，例如何處為樓梯，何處為陰井蓋等都記錄到手機中的路徑中，並根據多個方面的指標來判斷各條線路的優劣，以設定優先的線路。每隔一段路程，監護人設置一個定標(該定標是能夠被盲人通過觸覺感知的物體)，同時錄入在這一地點的下一步動作。
假設一種情況，如果盲人目前處在商場中，商場的環境比較複雜，這時，可以利用手機的慣性導航系統進行定位，但是，在室內單獨使用慣性導航時，無法消除的累計誤差往往使導航無法最終實施，本專利提出一種基於定標修正誤差結合地磁校準的導航方法。即在利用慣性導航的過程中，通過路徑中的定標點進行誤差修正和地磁的特徵進行校準修正。
如果在導航過程中出現了定標丟失或無法觸碰到的情況，則會根據存儲的其他路徑中，在物理空間上距離最短切中途無阻礙的定標作為替代，並根據該路徑重新規劃導航線路。並將此線路作為以後的優先線路。
具體實現過程包括：
一、導航定位：
由於生活的不便，盲人通常只會去固定的幾個地點，在室外，強大的GPS能夠發揮高精度的導航的作用，但是鑑於GPS的10m範圍的誤差，考慮到盲人群體的特殊性，故結合慣導進行導航，利用GPS進行累積誤差修正；在室內，GPS定位精度相對比較差，故以慣性導航為主的室內的導航定位，使用了一種基於地標修正的機器學習的慣性導航定位方法。
(一)首先監護人帶著盲人將盲人平時常去的幾個固定地點的路徑都走一遍，將路徑圖記錄到手機中，並且將該條路徑中的各種路障，例如何處有樓梯、何處有井蓋等，儘可能詳細的記錄下各種路障，考慮到盲人群體的特殊性，甚至將樓梯的階數都記錄其中。當處於室外，可以直接動過GPS進行路徑導航，但是也要記錄下路徑中的各種路障，例如何處何時該上樓梯、拐彎、紅綠燈等；若在商場中，考慮到商場中環境的複雜性，監護人應該在多種環境下訓練路徑，比如工作日人少的時候、周末人多的時候等。這樣可以避免日後外在環境的變化對導航精度的影響。在室外可以利用GPS導航，但是在室內，需要藉助於手機中的傳感器導航，此處涉及到慣性導航的軌跡生成。分成如下步驟：
1.獲取加速度數據：當人拿著手機進行軌跡生成時，一般將手機拿在手上，手機加速度傳感器記錄下三軸的加速度值，即為：A＝{a1,a2,...,an}。對手機原始加速度進行降噪及去除重力影響：
其中，α∈[0,1]，i＝{1,2,3,...,n}，n表示什麼加速度序列的長度，g為重力。
2.判斷行走狀態：用戶在水平步行運動中，垂直和前進兩個加速度會呈現周期性變化，如圖所示，在步行收腳的動作中，由於重心向上單只腳觸地，垂直方向加速度是呈正向增加的趨勢，之後繼續向前，重心下移兩腳觸底，加速度相反。水平加速度在收腳時減小，在邁步時增加。
3.計算步數：基於Mealy狀態機的計步算法如圖1所示，包括如下：
在步行運動時，垂直方向和步行方向所產生的加速度與時間的關係大致上市一條正弦曲線，而且在某一點上會出現峰值，通過對峰值的檢測和計算，並將加速度的值與閾值進行比較和決策，就可以判斷用戶的步行狀態。
由於多重因素的影響，用戶放置手機位置的不確定性，導致無法確定手機的放置方向，為解決此類問題，首先通過計算得出3個加速度的大小和方向，從而獲得一條步行運動的正弦曲線軌跡。然後進行峰值檢測，通過和上一次記錄的加速度大小進行比較，如果相反，表示剛過峰值狀態，則進行計步，否則捨棄。通過對峰值次數的累積可得到用戶步行步數。並且由於手持設備會有一些低幅度和快速的抽動狀態，或是我們自己的手抖，對這些所謂的幹擾數據進行剔除。可以通過給檢測加上閾值和步頻來判斷過濾幹擾數據。最後獲取用戶的每一步的時間戳T。具體步驟包括：
(1)計算方向：利用手機的方向傳感器可獲得方向數據，方向傳感器返回的3個角度分別表示手機頂部的朝向與正北方向的夾角、手機的頂部或尾部翹起的角度和左側或右側翹起的角度，利用這3個角度即可確定手機的擺放位置。但是此時由於外部環境的幹擾和三軸陀螺儀捕捉數據時產生的噪聲，導致三軸陀螺儀捕捉的加速度數據存在偏差，此時需要藉助其他傳感器進行校正。
校正步驟如下：
①首先記錄人在行走過程中的水平手持手機時三軸陀螺儀所產生的數據，利用數據疊加去除高頻噪聲。由此得到人在水平方向的行走的角速度變化，即為R＝{r1,r2,...,rn}。
②計算每一步所發生的方向變化，則第j步過程中的方向變化為：
③行走過程中同時記錄指南針讀數，記作：C＝{c1,c2,...,cn}，對數據進行濾波平滑處理；獲取指南針的第j步和第j+k步之間的方向變化獲取三軸陀螺儀的第j步和第j+k步之間的方向變化設置的角度閾值，當超過閾值時，利用指南針第j+k步的方向對三軸陀螺儀讀數計算得到的第j+k步的方向變化進行修正，並將修正後的數據作為人在第j+k步的方向。
(2)基於最小二乘法計算步長：慣性導航中，運動的距離由步數與步長相乘所得，因此，每一步步長的準確度對慣性導航的精度都有很大的影響。其中人行走時的步長可由行走時的所產生的加速度估算出來。
步驟如下:
①採集用戶以規定步長行走時所產生的加速度，記作a，所對應的步長，記作l。
②計算加速度的方差，記作s。
③利用最小二乘法對s和l作最佳線性擬合，得到兩者的關係：
l＝(s-q)/p (3)
其中，p和q是最佳線性擬合係數，其中為多次採樣的均方差，為平均步長。
(3)生成軌跡：慣性導航軌跡生成算法根據人的步數、步長、行走的方向來計算人的位置。首先根據起點的坐標(x0,y0)為原點，第j步的坐標為(xj,yj),則第j步坐標為：
(xj,yj)＝(x0+L cos(φ+γj),y0+L cos(φ+γj)) (4)
其中，L為步長，φ為j步內所發生的方向變化之和。最終得出實際運動軌跡進行導航。
考慮到上述的慣性導航存在較大累積誤差的情況，此時可以通過設置定標點對誤差進行修正。假設盲人從甲地到達乙地，總共20m，在這段路徑中，可以通過每5m進行設置一個定標，總共設置4個定標。設定的定標都是比較常見，例如樓梯扶手，柱子，桌子等，讓盲人觸碰這些定標，如果觸碰到，則說明盲人在既定的那段路線中，此時盲人通過語音表示觸碰到定標，提示手機進行下一個定標的導航；如果觸碰不到，則說明由於累積誤差較大，盲人已經偏離原本路徑，也有可能之前記錄的定標由於某種原因被移除了，此時，盲人進行語音輸入提示未觸碰到既定的定標，手機接收到語音之後，迅速做出判斷，向監護人發送此時盲人所處的位置，監護人迅速調出地圖，確定盲人位置，指導盲人做出判斷；也可以通過求助路人，將盲人帶到手機上顯示的下一個定標。每次手機都將盲人走過的路徑實時的記錄下來，多次記錄之後，隨著手機中記錄的路徑數量的增加，導航的精度也得到極大的提高。根據上訴軌跡生成過程，將盲人在現實生活中有可能去過的地點的軌跡路徑都實時記錄下來。接下來即實現路徑的匹配。如圖2所示，模擬商場的路徑，虛線表示記錄到手機中的路徑圖。環形圈表示定標，通過定標來進行當前位置的校正。當盲人開始導航的時候，手機進行實時的提醒，如果與既定路線匹配，並且成功到達定標處，則導航成功，以此類推，完成最終軌跡路線的導航。因為外界環境的複雜性，使得每一次手機記錄的路徑都會有些偏差，因此每一次成功導航的路線都將記錄在手機中，如圖2所示，紅色路徑、黑色路徑存在差異，但是能夠成功導航，將這兩條路徑都記錄到手機中，多次之後，手機中的路線逐漸豐富。導航的精度也將得到很大的提高。
二、地磁校準
2.1地磁匹配的相關方法原理
盲人在匹配區域運動時，磁傳感器按一定的時間間隔採集一系列地磁場強度值，經過數據預處理後得到測量數據帶，記為:HN＝[h1，h2，…，hN]，其中:H為觀測值序列，N為一次匹配的採樣個數,也稱為測量帶長(或匹配長度)，其值大小由地磁場的特點決定。當磁場信息豐富時，N可適當取小些；當磁場信息貧乏時，N應取大些。根據慣性導航輸出的位置在地磁圖上提取地磁參考信息，地磁參考信息記為gN＝[g1，g2，…,gN]，其中gN為參考值序列，HN和gN是對應的序列。在段時間內，假設慣導的輸出軌跡與真實軌跡是平行的，這個假設在段時間內合理。在搜索區域,可以得到S(S的取值根據實際情況確定，當地磁場變化很大時取大一點，變化很小時取小一點)個與慣導輸出軌跡平行的軌跡，再根據S個軌跡在地磁圖中提取地磁場數據，得到S個數據向量。把地磁測量值向量和這些地磁圖上的數據向量進行相關極值運算，可以確定航行體的位置。文中相關極值運算採用均方誤差(MSD)，把搜索區域中得到的S個數據向量與觀測值向量分別計算均方誤差JMSD，最小的JMSD對應的即作為匹配位置。
2.2基於Monte Carlo方法的地磁匹配算法
由於地磁測量儀的測量值中包含各種誤差因素，按照上述方法匹配的位置往往不是航行體的真實位置，而是位於真實位置的附近。由於測量誤差的隨機性，匹配位置在真實位置周圍的分布也是隨機的。因此對HN進行多次控制幹擾強度的隨機幹擾，使得到的匹配位置落在真實位置周圍，然後取這些位置的平均值作為匹配位置，可以減少誤差。此方法和Monte Carlo方法的原理是類似的。
因而關鍵的問題是如何確定隨機幹擾的強度。假設一次搜索完成後，最小的指標值為JMIN，而真實位置處對應的指標為JREAL，顯然有JREAL≥JMIN，而JMIN可以作為衡量本次匹配過程中誤差總體水平的一個指標。如果對測量地磁數據值向量HN加以與JMIN相關的某種幅度的白噪聲隨機幹擾後得到向量H′N，用H′N在搜索區域中進行一次搜索後，如果搜索後的最小指標為J′MIN，且滿足條件「JMIN<J′MIN<ηJMIN(η＞1)」，那麼直觀上新搜索到的位置更接近真實位置，從而得到基於Monte Carlo方法的地磁匹配算法。具體地：
1)在當前匹配時刻t，用當前時刻地磁測量值和前N-1個時刻的地磁測量值組成測量地磁數據向量HN。
2)根據慣導指示位置確定搜索區域，計算搜索區域中S個對應地磁圖上的數據向量gN，並依次作為一個矩陣P的列向量。
3)按式(1)在矩陣P中搜索最小的指標值，記錄該最小值為JMIN0、它對應向量的位置(m′0,n′0)。
4)循環對HN進行若干次隨機幹擾，對所有滿足特定條件的匹配進行計數。
當計數到i時，記mi＝m′,ni＝n′，在計數到預定的常數R的時候結束循環。將所有滿足上述條件的坐標排列成向量:
Yλ＝[m1,m2,…,mR]
5)取向量Yλ的均值作為最終的匹配位置坐標。
2.3為了驗證該算法的可行性，對該算法進行了仿真試驗，如圖3所示。由結果可以看出:該算法可以有效修正慣性導航的誤差，可以提高慣性導航的精度。
上文所列出的一系列的詳細說明僅僅是針對本發明的可行性實施方式的具體說明，它們並非用以限制本發明的保護範圍，凡未脫離本發明技藝精神所作的等效實施方式或變更均應包含在本發明的保護範圍之內。