基於dsp的路牌識別導盲裝置及其方法
2023-06-20 08:01:11
專利名稱：基於dsp的路牌識別導盲裝置及其方法
技術領域：
本發明涉及一種模式識別技術領域的裝置及其方法。特別是一種基於DSP 的路牌識別導盲裝置及其方法。
背景技術：
作為人獲取外界信息的一個主要通道，視覺在我們的生活中起到了非常重要 的作用，對於視覺喪失的盲人在生活中會遇到很多的困難。盲道可以為盲人指明 道路方向以及轉彎位置，但卻對於道路和方向的判斷幾乎起不到應有的作用。因 此將視覺需要的信息通過其他感覺方式提供給盲人，對於盲人的生活會提供極大 的便利。
經對現有技術文獻的檢索發現，中國發明，專利申請號200710039631.4,公 開號101040809，名稱為基於認知和目標辨識的視覺替代方法，該技術通過檢 測物體在環境中的類別和位置信息，將這些信息轉化為聲音信號，從而實現聽覺 對視覺的代替。該技術基於目標辨識，針對物體的位置進行識別和語音輸出，但 對於道路中沒有確定物品以及背景複雜導致的難以識別不能起到很好的導向作 用。
《現代電子技術》(張明，2008， 31 (22) : 108-111)上發表"車牌照自動 識別算法研究"，該技術中動態圖像中字符識別僅僅局限在特定的對象——汽 車車牌上。而汽車車牌本身包含的信息量較少，內容也比較單一。
發明內容
本發明的目的在於克服現有技術的不足，提供了一種基於DSP的路牌識別導 盲裝置及其方法。本發明通過模式識別的方法對道路上普通路牌中的漢字進行識 別，利用DSP完成字符識別，最終通過聽覺告之盲人以代替視覺效果，用於盲人 在道路行走中的導向和指引功能。
本發明通過以下技術方案實現，
本發明所涉及的一種基於DSP的路牌識別導盲裝置，包括外界信息攝取模塊、路牌檢測模塊和聲音轉換模塊。外界信息攝取模塊，採集視野前方的信息並 轉換成灰度信息輸出到路牌檢測模塊；路牌檢測模塊對外界信息攝取模塊中採集 到的圖像信息進行存儲和處理，通過圖像處理方法得出圖像中有關路牌信息的區 域，使用模式識別方法對路牌所在區域處理並得到路牌上的字符，查找該字符相 應的數字音頻信號並將其輸出到聲音轉換模塊；聲音轉換模塊，將數字音頻信號 轉換為模擬音頻信號。
所述的路牌檢測模塊包括路牌信息預處理單元、路牌尋找單元、字符分割 單元和特徵碼及模板識別單元。其中路牌信息預處理單元，將外界信息攝取模 塊中得到的灰度信息轉換為灰度矩陣，用直方圖均衡化、二值化、去除點狀噪聲 的方法依次進行預處理。並將結果輸出到路牌尋找單元。路牌尋找單元，用於在 已預處理過的灰度矩陣中尋找到路牌對應的位置和大小，並將此信息輸出到字符 分割單元。字符分割單元，利用路牌中大多數點的灰度值與字符所在點陣的灰度
差進行處理從而得到每一個字符區域，對每一個字符區域進行去噪、平滑、梯度 銳化、紋理檢測、圖像旋轉、歸一化處理，將其轉換成一個標準大小的字符點陣， 並將其結果輸出到特徵碼及模板識別單元。特徵碼及模板識別單元，是將字符
點陣通過特徵識別或者模板匹配的方法得到一個序列的編號，通過編號得到對應 的字符或者數字並在資料庫中尋找到對應的數字音頻信號，將其輸出到聲音轉換 模塊。
本發明所涉及的一種基於DSP的路牌識別導盲方法，包括如下步驟
步驟一、對於不同類型的路牌中的字體和字庫進行識別，對於不同類型的路 牌作出標記，對於同種路牌的中英文位置和大小特徵數據進行信息處理和計算；
步驟二、通過攝像頭將外界前方場景內的信息通過模數轉換轉換成數字信 息，每一幀圖像對應前方所有像素點的灰度信息值的矩陣；
步驟三、採用直方圖均衡化、二值化、去除點狀噪聲、梯度銳化、紋理檢測、 圖像旋轉依次對路牌輪廓進行處理和識別，然後對於路牌特徵進行分析和標記；
步驟四、對已有標記後路牌按其特點進行字符分割，獲取每個單獨漢字、字 母和數字的所佔範圍後利用雙線性內插法對分割後的圖進行標準歸一化；最後通 過特徵識別法和模板匹配法進行漢字、字母和數字的識別得到對應的特徵序列， 記錄下其內容；步驟五、對於已經識別出來特徵序列在資料庫中尋找對應的漢字和字母，同 時尋找其系統資料庫中的數字音頻信號，最後將此音頻信號轉換為聲音信號輸 出；
所述步驟三、步驟四都由DSP完成，步驟五中在資料庫中尋找漢字和字母對 應的數字音頻信號也由DSP完成。
與現有技術相比，本發明具有如下有益效果本發明利用攝像頭進行圖像的 採集，相比現有的0CR (Optical Character Recognition光學字符識別)系統 來說能夠對實時變化的外界做出反應和文字識別，大大的提高了使用效率和使用 範圍，也不僅僅局限在對紙張上漢字和數字的識別。現有OCR系統大部分是基於 PC的，無法實現可攜式處理環境。而本發明利用DSP進行可攜式處理，基於DSP 的實現能夠大大減小其體積和造價，DSP較高的運算速度也能保證識別的正確 性。本發明中的字符、數字和漢字識別是針對路牌的。由於路牌具有特定性和普
遍性，其結構、字體、大小和邊框上都有著特殊的標記和規定。所以相比單純的 物體識別或者字符識別能大大提高對路牌識別的識別率和有效性。
圖l為本發明的結構框圖2為本實施例中字符的特徵圖。
具體實施方式
.-
以下結合附圖對本發明的實施例作詳細說明本實施例在以本發明技術方案 為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護 範圍不限於下述的實施例。
如圖1所示，本實施例的導盲裝置，包括黑白攝像頭(即外界信息攝取模塊)、 路牌檢測模塊、聲音轉換模塊和外圍設備耳機。黑白攝像頭，採集視野前方的信 息並轉換成灰度信息輸出到路牌檢測模塊；路牌檢測模塊對黑白攝像頭中採集到 的圖像信息進行存儲和處理，通過圖像處理方法得出圖像中有關路牌信息的區 域，使用模式識別方法對路牌所在區域處理並得到路牌上的字符，査找該字符相 應的數字音頻信號並將其輸出到聲音轉換模塊；聲音轉換模塊，將數字音頻信號 轉換為模擬音頻信號；耳機將模擬音頻信號轉換為聲音信號，輸出給盲人；本實 施例中路牌檢測模塊由TMS320DM642實現，聲音轉換模塊由AIC23立體聲數位訊號編解碼器來實現。
所述的路牌檢測模塊包括路牌信息預處理單元、路牌尋找單元、字符分割 單元和特徵碼及模板識別單元。其中路牌信息預處理單元，將外界信息攝取模 塊中得到的灰度信息轉換為灰度矩陣，用直方圖均衡化、二值化、去除點狀噪聲 的方法依次進行預處理。並將結果輸出到路牌尋找單元。路牌尋找單元，用於在 已預處理過的灰度矩陣中尋找到路牌對應的位置和大小，並將此信息輸出到字符 分割單元。字符分割單元，利用路牌中大多數點的灰度值與字符所在點陣的灰度
差進行處理從而得到每一個字符區域，對每一個字符區域進行去噪、平滑、梯度 銳化、紋理檢測、圖像旋轉、歸一化處理。將其轉換成一個標準大小的字符點陣， 並將其結果輸出到特徵碼及模板識別單元。特徵碼及模板識別單元，是將字符 點陣通過特徵識別或者模板匹配的方法得到一個序列的編號，通過編號得到對應 的字符或者數字並在資料庫中尋找到對應的數字音頻信號，將其輸出到聲音轉換 模塊。
本實施例的導盲方法，包括如下步驟
步驟一、對於不同類型的路牌進行分類和總結，確定路牌中的字體和字庫。 對於不同類型的路牌進行分類標號，對於同種路牌的中英文位置和大小進行估 算；
常見路牌分為路口指示牌以及道路指示牌兩種，其中路口指示牌一般在路口 使用，用於指明路口分叉後每個方向對應的道路名稱，其主要特點是中間有箭頭， 所以識別過程中需要先識別出箭頭後對於其上下左右四個方向進行重新劃分。而 道路指示牌用於指明所在道路的道路名稱和方向(具體指東西南北的方向)，其 特點為可分為兩行，其中上面一行為漢字指示，下面一行為英文指示，識別過程 中識別出上下行對應的分界線後即可劃分成多個區域進行識別。
步驟二、外界信息的讀入通過攝像頭將外界前方一定場景內的信息通過模 數轉換轉換成數字信息，每一幀圖像對應表達了前方所有像素點的灰度信息值的 矩陣。具體為按照YCbCr視頻制式對圖像進行採集(其中Y代表亮度分量，Cb
代表藍色色度分量，Cr代表紅色色度分量)，捨去Cb， Cr值後得到單純的灰度值。 將對應像素所在的行列數存儲在一個二維數組中。而不同幀的圖像則對應存儲在 不同的數組中；步驟三、路牌信息預處理採用直方圖均衡化、二值化、去除點狀噪聲、梯 度銳化、紋理檢測、圖像旋轉依次對外界場景信息進行分析處理從而得到路牌的 輪廓區域。然後對於路牌所在的區域進行分析和歸類。如果出現多個路牌則優先 處理所佔面積最大的路牌，其具體過程為首先，對圖像進行直方圖均衡化從而 獲得整個圖像的平均灰度值；對於第一幀直接利用此灰度為閾值，其他幀利用上 一幀圖像處理後所得到的目標區域來計算平均灰度值並設置為閾值；通過中間閾 值對圖像進行二值化，獲得黑白圖像並去除點狀噪聲，為了達到字符邊緣能很好 分辨，需要進行梯度銳化；為了達到字符本身無較大信息丟失，需要進行紋理檢 測；最後，對圖像進行整體旋轉以把攝像頭對下一步識別可能產生的幹擾降到最 低；
步驟四、字符的讀取和識別對已有歸類後路牌按其特點進行字符分割，獲 取每個單獨漢字、字母和數字的所佔範圍後利用雙線性內插法對分割後的圖進行 標準歸一化。最後通過特徵識別法和模板匹配法進行漢字、字母和數字的識別得 到對應的特徵序列，記錄下其內容。其具體過程為
(1) 對步驟三得到的路牌信息結合存儲的路牌特點進行字符分割，求出原有 圖像中每個字符所在的位置和邊緣；
(2) 利用雙線性內插法對字符矩陣進行標準歸一化，轉換成一個標準大小的 字符點陣，為下一步進行特徵識別或者字模匹配做準備；
(3) 對於已經進行完標準歸一化的字符點陣，進行特徵識別和模板匹配。 其中特徵識別方法如下對於一個固定大小的數字或字符，通常有著相同的
特徵，本實施例中使用的特徵包括
① 、字符上端有無橫貫左右的一長橫，如圖2a所示；
② 、字符下端有無橫貫左右的一長橫；
③ 、字符中間有無橫貫左右的一長橫；
、字符左側或右側有無橫貫左右的長豎，如圖2b所示； ⑤、字符中間從左到右會穿越不同的線的個數，如圖2C所示；
◎、字符中間自上到下穿越不同線段個數等一系列的特徵。 對於不同的字符對應不同特徵，通過對字符特徵的求取來識別對應字符。
模板匹配方法如下因為路牌上字符是標準字符，則設置一個標準字符模板，通過對原標準字符進行橫向16個點縱向16個點的採樣，存儲到一個標準模板中。 對實時圖像橫豎各進行16個點的採樣，獲得16*16個特殊點的標準化大小的字符 點陣，作為待測點陣。通過對待測點陣和標準模板點陣相比較，將匹配率最高的 字符模板認為是匹配的結果。
(4)對上述兩種識別方法得到的特徵序列進行比較，如果兩種方法得到的特 徵序列相同，則認為已經得到了正確的識別結果。
步驟五、對於已經識別出來特徵序列在資料庫中尋找對應的漢字和字母，同 時尋找其系統資料庫中的數字音頻信號，最後將此音頻信號轉換為聲音信號輸 出。
本實施例中，採用了北京瑞泰創新公司生產的ICETEK-DM642-C評估板作為 開發平臺。此評估板是一個低功耗獨立開發平臺。板上設備主要包括美國德州儀 器公司(TI)的TMS320DM642 DSP晶片、獨立HPI接口、 2路視頻埠、 4M同步 動態存儲器、32MFlash、 AIC23立體聲數位訊號編解碼器、JTAG仿真接口、以及 4個用戶指示燈。
本實施例應用於輔助盲人獲取路牌信息並轉變為聲音，用於盲人在道路行走 中的導向和指引功能。本實施例方法簡潔易行，硬體攜帶方便，運行速度快，為 盲人的日常生活提供便利。
權利要求
1、一種基於DSP的路牌識別導盲裝置，其特徵在於，包括外界信息攝取模塊、路牌檢測模塊和聲音轉換模塊；外界信息攝取模塊，採集視野前方的信息並轉換成灰度信息輸出到路牌檢測模塊；路牌檢測模塊對外界信息攝取模塊中採集到的圖像信息進行存儲和處理，通過圖像處理方法得出圖像中有關路牌信息的區域，使用模式識別方法對路牌所在區域處理並得到路牌上的字符，查找該字符相應的數字音頻信號並將其輸出到聲音轉換模塊；聲音轉換模塊，將數字音頻信號轉換為模擬音頻信號。
2、 根據權利要求1所述的基於DSP的路牌識別導盲裝置，其特徵是，所述的 路牌檢測模塊包括路牌信息預處理單元、路牌尋找單元、字符分割單元和特徵 碼及模板識別單元；其中路牌信息預處理單元，將外界信息攝取模塊中得到的 灰度信息轉換為灰度矩陣，用直方圖均衡化、二值化、去除點狀噪聲的方法依次 進行預處理，並將結果輸出到路牌尋找單元；路牌尋找單元，用於在已預處理過 的灰度矩陣中尋找到路牌對應的位置和大小，並將此信息輸出到字符分割單元； 字符分割單元，利用路牌中大多數點的灰度值與字符所在點陣的灰度差進行處理 從而得到每一個字符區域，對每一個字符區域進行去噪、平滑、梯度銳化、紋理 檢測、圖像旋轉、歸一化處理，將其轉換成一個標準大小的字符點陣，並將其結 果輸出到特徵碼及模板識別單元；特徵碼及模板識別單元，是將字符點陣通過特 徵識別或者模板匹配的方法得到一個序列的編號，通過編號得到對應的字符或者 數字並在資料庫中尋找到對應的數字音頻信號，將其輸出到聲音轉換模塊。
3、 根據權利要求1或2所述的基於DSP的路牌識別導盲裝置，其特徵是，所述 的路牌檢測模塊釆用DSP來實現。
4、 一種基於DSP的路牌識別導盲方法，其特徵在於，包括如下步驟① .對於不同類型的路牌中的字體和字庫進行識別，對於不同類型的路牌作 出標記，對於同種路牌的中英文位置和大小特徵數據進行信息處理和計算；② .通過攝像頭將外界前方場景內的信息通過模數轉換轉換成數字信息，每 一幀圖像對應前方所有像素點的灰度信息值的矩陣；③ .採用直方圖均衡化、二值化、去除點狀噪聲、梯度銳化、紋理檢測、圖像旋轉依次對路牌輪廓進行處理和識別，然後對於路牌特徵進行分析和標記； .對已有標記後路牌按其特點進行字符分割，獲取每個單獨漢字、字母和 數字的所佔範圍後利用雙線性內插法對分割後的圖進行標準歸一化；最後通過特 徵識別法和模板匹配法進行漢字、字母和數字的識別得到對應的特徵序列，記錄 下其內容；⑤.對於已經識別出來特徵序列在資料庫中尋找對應的漢字和字母，同時尋 找其系統資料庫中的數字音頻信號，最後將此音頻信號轉換為聲音信號輸出。
5、根據權利要求4所述的基於DSP的路牌識別導盲方法，其特徵在於，所述 的模板匹配法為設置一個字符模板，對原標準字符進行橫向16個點縱向16個點 的採樣，存儲到一個標準模板中，對實時圖像橫豎各進行16個點的採樣，獲得 16*16個特殊點的標準化大小的字符點陣，作為待測點陣，通過對待測點陣和標 準模板點陣相比較，將匹配率最高的字符模板認為是匹配的結果。
全文摘要
本發明涉及模式識別技術領域的一種基於DSP的路牌識別導盲裝置及其方法。其中外界信息攝取模塊，採集視野前方的信息並轉換成灰度信息輸出到路牌檢測模塊；路牌檢測模塊對外界信息攝取模塊中採集到的圖像信息進行存儲和處理，通過圖像處理方法得出圖像中有關路牌信息的區域，使用模式識別方法對路牌所在區域處理並得到路牌上的字符，查找該字符相應的數字音頻信號並將其輸出到聲音轉換模塊；聲音轉換模塊，將數字音頻信號轉換為模擬音頻信號。耳機將模擬音頻信號轉換為聲音信號，輸出給盲人；本發明利用DSP完成字符識別，最終通過聽覺告之盲人以代替視覺效果，用於盲人在道路行走中的導向和指引功能。
文檔編號A61F9/08GK101584624SQ200910053318
公開日2009年11月25日 申請日期2009年6月18日 優先權日2009年6月18日
發明者傑 任, 朱貽盛, 牛金海, 童善保, 旻 聶 申請人:上海交通大學