基於圖像識別技術的導覽方法及設備的製作方法

2023-06-13 12:59:56 2

專利名稱：基於圖像識別技術的導覽方法及設備的製作方法
基於圖像識別技術的導覽方法及設備
技術領域：
本發明涉及導覽方法和所用的設備，特別是一種基於PDA個人數字處 理技術、採用圖像識別技術、能夠自動檢索獲取相關信息，實現信息、影 音自動播放的導覽方法，和實現該方法的手持設備。背景技術：
在參觀展覽、展示會時，人們往往會在琳琅滿目的展位和展品前不知 所措，容易遺漏一些自己想看的展品，經常出現對自己感興趣的展品由於 人多或者宣講人的素質問題而達不到自己的願望，因此研究一種可方便人 們有選擇地參觀展品的導覽機，提高效率、節省時間時十分必要的。
導覽機作為一種電子導遊設備，已廣泛應用於博物館、展示會、博覽 會、旅遊景點等場所。目前，市場上有多種交互式導覽機，這類設備可供 參觀者在經過展品或景點時實時調閱相關導覽數據，例如天津恆達科技有 限公司生產銷售的第五代語音導覽機。這類設備都需要人為操作，而且操 作程序可能較為繁瑣，對於年老或年幼使用者可能存在使用困難。
最常見的有基於無線射頻辨識技術的導覽機(例如中國專利申請CN 200710046263.6公開的" 一 種博物館導覽終端及4建盤布局"、CN 200610148802.2公開的"導遊導覽系統中信號交叉覆蓋時的處理方法")， 使用時，由終端自動發出請求信號，系統按用戶需要提供數據。這類產品 普遍存在的缺陷是由於射頻技術有距離的限制，而且相互間容易幹擾，所 以使用範圍受到一定的限制。另一方面用戶操作比較頻繁，在人群中的適 應性較差。
或者基於條碼掃描識別方式的導覽機。它具備條碼識別和掃描功能， 要求使用者將終端對準展品或景點條碼進行掃描後，系統檢索出相關信息， 然後進行播放講解。這類產品能夠有效克服幹擾問題，但對有效使用距離的要求更加嚴格，只能夠在很短的距離內實現有效掃描。因此若參觀人數 較多，容易造成展品或景點擁擠，則系統實時性會大受影響。
還有基於紅外收發技術的導覽機，通過紅外收發射電路啟動編碼接收 電路，接收編碼後提取語音信息進行播放。這種產品成本較高，且相鄰展 品之間極易產生幹擾，其幹擾程度甚至嚴重於基於無線射頻辨識技術的導 覽機。
鑑於上述產品所存在的缺陷及市場需求，本發明的申請人精心研究， 終於設計出一種嶄新的基於圖像識別技術的導覽方法，和相關設備。
發明內容
[要解決的技術問題〗
本發明的目的是解決導覽設備在使用時存在操作頻繁、幹擾嚴重等問 題，提供一種能夠對展品或景點進行自動識別、減少使用者操作頻率、盡 可能減少幹擾以提高實用性的手持式導覽終端。
為了實現上述目的，本發明提供一種基於圖像識別技術的導覽設備的
實現方法，包括以下步驟
(1) 對所有導覽客體進行拍攝，獲得客體圖像信息；
(2) 通過步驟(1)的圖像信息建立客體信息資料庫，所述資料庫裝 載於存儲設備中；
(3) 將所有導覽客體的導覽信息對應裝載到步驟(2)所述的資料庫
中；
(4) 使用時，用戶對需要獲得導覽信息的客體進行拍攝，獲得該客體 的圖像信息；
(5) 在所述資料庫中檢索出與步驟(4)獲得的圖像信息相匹配的圖 像信息，從資料庫中獲取步驟(4)的客體的導覽信息；
(6) 將步驟(5)獲得的導覽信息輸出給用戶。
在本發明範圍中，"導覽客體"指用戶在參觀展覽、陳列、景區時，需 要從導覽機獲得信息的對象，包括但不限於展品、陳列品、景點。在本發明範圍中，"導覽信息"指用戶在參觀展覽、陳列、景區時，需 要通過導覽機獲得的客體信息，包括但不限於展品、陳列品、景點的文字 記錄、語音講解、圖片展示等。
在上述方法中，步驟(5)中所述檢索方法是現有的圖像檢索方法，優 選地可以選用多特徵融合的直線提取算法、基於小波變換的邊緣檢測方法 或高速的搜索匹配算法的一種或多種算法的結合。
已知的多特徵融合的直線提取算法可參考《一種基於多特徵融合的直
線提取算法》，席學強等人，《計算機工程與應用》2002年第38巻第01期；
《基於多尺度分析的紅外圖像邊緣特徵融合算法》，陳曉鍾等人，《電子技 術應用》2001年第27巻第05期；
已知的基於小波變換的邊緣檢測方法可參考《基於小波變換的圖像識 別算法》，張振宇等人，《計算機應用》2007年第27巻第12期；或《基於 小波變換的圖像邊緣檢測方法》，唐晶磊等人，《兵工自動化》2005年第24 巻第06期。
已知的高速的搜索匹配算法可參考《多分辨逐步消除快速匹配算法》， 馬社祥等人，《計算機應用》2006年第26巻第2期；或《基於移位加速和 TCAM的高速多模式匹配算法》，賈明志等人，《計算機工程》2008年34 巻16期，或《基於圖像中心矩的快速模板匹配算法》，沈海濱等人，《計算 機應用》2004年第24巻第11期。
為了實現上述方法，本發明還提供一種導覽機，它包括外殼、安裝在 外殼中的顯示模塊、音頻模塊、電源模塊及控制面板，另外
所述外殼上裝有能夠獲取導覽客體圖像信息的攝像頭；
所述外殼中內設有裝載了資料庫的存儲設備，所述資料庫包含導覽客 體的圖像信息和導覽信息；
所述外殼中內設有能夠對導覽客體的圖像信息與所述資料庫中的數據 進行檢索匹配運算的微處理器，設有為其他模塊提供驅動的協處理器，所 述微處理器分別與所述存儲設備、顯示模塊、音頻模塊、協處理器、電源 模塊及控制面板相連，所述外殼中內設有能夠將檢索獲得的客體信息進行播;改的電路。
作為上述導覽機的 一種優選的具體實施方式
，它還包括與所述存儲設
備相連的數據輸入輸出接口 ，例如USB接口 。通過數據輸入輸出接口可以
實現數據的裝載和更新。
作為一種優選的具體實施方案，所述微處理器具備浮點DSP內核與 ARM9內核的雙核結構，例如選用OMAP-Lx系列微處理器，
利用浮點DSP (Digital Signal Processor)可以實時快速地實現各種數 字信號處理算法。DSP的特點主要包括快速的運算速度，具有低開銷甚至 無開銷的循環及跳轉的硬體支持，快速的中斷處理和硬體I/O支持，具有 在單周期內操作的多個硬體地址產生器，可以同時執行多個操作任務，支 持流水線操作，使取值、解碼和執行等操作可以重疊執行。數字圖像處理 在很大程度上是整個數字視頻技術的關鍵。利用DSP數字圖像處理可達到 很高的質量。
ARM9內核在高性能和低功耗特性方面提供最佳的性能。具有以下特 點5級整數流水線，指令執行效率更高；提供1.1 MIPS/MHz的哈佛結構； 支持32位ARM指令集和16位Thumb指令集；支持32位的高速AMBA 總線接口；全性能的MMU,能夠支持Windows CE、 Linux、 Palm OS等多 種主流嵌入式作業系統；支持數據Cache和指令Cache,具有更高的指令 和數據處理能力。
上述協處理器採用可編程邏輯器件實現，如通過Altera或Xilinx銷售 的FPGA ( Field - Programmable Gate Array,即現場可編禾呈門陣列)實現。 FPGA是專用集成電路(ASIC )中的一種，其內部包括可配置邏輯模塊CLB (Configurable Logic Block )、輸出輸入才莫塊I/OB (Input Output Block)和 內部連線(Interconnect)三個部分。用戶可對FPGA內部的邏輯模塊和I/O 模塊重新配置，以實現用戶的邏輯。用戶對FPGA的編程數據放在Flash 晶片中，通過上電加載到FPGA中，對其進行初始化。也可在線對其編程， 實現系統在線重構。FPGA開發屬於現有技術，目前已廣泛應用到多個領 域如通訊、 一見頻、信息處理等。上述攝像頭可選用CCD攝像頭。作為現有技術，其結構一般包含感光 二極體、移位寄存器(Shift Register,用於暫時儲存感光後產生的電荷)、 傳輸寄存器(Transfer Register,用於暫時儲存並行積存器的模擬信號並將 電荷轉移放大)、信號放大器(用於放大微弱電信號)、數模轉換器(將放大 的電信號轉換成數位訊號)。在此不做贅述。 [有益效果]
由於採用基於圖像識別技術的導覽方法和設備，本發明能夠徹底解決 現有技術中存在容易受幹擾、人為操作頻繁複雜、設備受幹擾後音質差、 設備、系統成本高昂等問題，大大提高了導覽系統的性能，而且便於擴大 其使用範圍，而且上述設備便於更新維護，可學習性能更好。說明書附圖


圖1為本發明導覽機的結構圖； 圖2為本發明導覽機的操作流程圖。
具體實施方式
通過下面給出的本發明具體實施例可以進一步清楚地理解本發明，但 這些實施例不是對本發明保護範圍的限制。
如圖l所示，硬體部分包括採用9VDC供電的CCD攝像頭，以TI公 司的C674x浮點DSP內核與ARM9內核的雙核結構OMAP-L137應用處理 器作為主處理器，通過片上ARM9可充分利用浮點DSP支持高強度的實時 圖像識別、匹配檢索處理計算，同時讓ARM9負責非實時任務，包括對各 個模塊的管理控制，任務分配，界面顯示，信息查詢，數據存儲等，利用 FPGA作為協處理器，將各個模塊的驅動集成到一塊FPGA晶片中完成， 以3.7英寸液晶觸控螢幕作為顯示模塊，連同音頻模塊和電源一起安裝在外 殼中。採用WinCE5.0操作平臺、VC6.0環境下，用C十+語言進行開發。
本發明的圖像識別技術是建立在圖片資料庫的基礎上，結合多種圖像 識別算法，採用多媒體技術和神經網絡智能識別技術相結合，應用多特徵 融合的直線提取算法、基於小波變換的邊緣檢測方法、高速的搜索匹配算 法，通過特徵庫進行一級檢索，在一級檢索的基礎之上採用次特徵匹配的檢索算法進行二級檢索，最終使得圖像識別技術在實際應用中取得良好效果。
以古劍展館為例，建立展品特徵資料庫和展品影音資料庫，所述數據 庫的結構是多層次的資料庫結構，展品特徵資料庫中涉及的展品信息包括 展品一級特徵信息、展品屬性特徵信息、展品二級特徵信息，其中一級特
徵信息是邊緣特徵；屬性特徵信息是直線屬性；二級特徵信息是紋理特徵。 展品影音據庫中涉及的展品信息包括展品圖像、展品文字介紹、展品影音 信息。依據展品特徵資料庫完成展品識別，此後連結到展品影音資料庫， 調出相應的展品影音信息和文字信息進行播放。
每件展品的圖像信息採用資料庫的方式存放，如圖2所示，當用戶手 持本導覽機在展館中走到某一展品前，操作導覽機對展品進行拍攝，導覽 機對所得圖像進行檢索、識別後，自動讀取存儲設備中展品的影音信息， 進行播音或播放。可見，本發明的導覽設備操作更加簡單，在人群中適應 性良好。
本實施例中採用8G的SDRAM作為內部存儲空間，每件展品的影音 導覽信息更長更豐富，採用漢語、英語、法語、日語、德語等多國語言進 4亍介紹，默i人漢語介紹。
考慮到CCD攝像頭的有效距離和角度，對展品進行拍攝識別時，要求 用戶在拍攝時從正面150度、20米的範圍內對預識別目標進行拍攝，就可 以快速準確的識別出目標展品，並自動進行影音播放。採用CCD攝像裝置 使導覽機克服相鄰展品的幹擾問題，只要目標展品的攝像範圍包含中心點 就可以排除幹擾，將目標展品迅速的識別出來。由於允許拍攝的有效範圍 較大，本發明能夠有效克服展品前擁擠的問題。
本發明利用液晶觸控螢幕，實現手指化操作，使用更方便，內設立體聲 揚聲器，保持完美立體音質。
本發明尤其適用於展品擺放較密集的博物館、展覽廳，對於旅遊景點 的導覽效果也很理想。
本發明通過穩定可靠的圖像識別系統，利用雙核處理器為導覽系統提供高速穩定的硬體平臺，保障圖像識別系統的可靠運行，有效解決傳統導
覽系統中幹擾問題。利用CCD攝像裝置拍攝目標展品，圖片信息自動存儲 的特定內存空間，發出信號通知圖像識別系統去訪問特定內存，調出圖片 信息進行分析處理，得出分析結果後，轉向影音資料庫調出目標展品的影 音信息並驅動播放裝置開始播放。
權利要求
1、基於圖像識別技術的導覽設備的實現方法，其特徵在於包括以下步驟(1)對所有導覽客體進行拍攝，獲得客體圖像信息；(2)通過步驟(1)的圖像信息建立客體信息資料庫，所述資料庫裝載於存儲設備中；(3)將所有導覽客體的導覽信息對應裝載到步驟(2)所述的資料庫中；(4)使用時，用戶對需要獲得導覽信息的客體進行拍攝，獲得該客體的圖像信息；(5)在所述資料庫中檢索出與步驟(4)獲得的圖像信息相匹配的圖像信息，從資料庫中獲取步驟(4)的客體的導覽信息；(6)將步驟(5)獲得的導覽信息輸出給用戶。
2、 根據權利要求1所述的實現方法，其特徵在於步驟(3)所述的裝 載到資料庫中的導覽信息包括展品和/或陳列品和/或景點的文字記錄和/或 語音講解和/或圖片展示。
3、 根據權利要求1所述的實現方法，其特徵在於步驟(5)中所述檢 索方法是多特徵融合的直線提取算法、基於小波變換的邊緣才企測方法或高 速的搜索匹配算法的一種或多種算法的結合。
4、 實現權利要求1所述方法的導覽機，包括外殼、安裝在外殼中的顯 示模塊、音頻模塊、電源模塊及控制面板，其特徵在於所述外殼上裝有能夠獲取導覽客體圖像信息的攝像頭；所述外殼中內設有裝載了資料庫的存儲設備，所述資料庫包含導覽客體的圖像信息和導覽信息；所述外殼中內設有能夠對導覽客體的圖像信息與所述資料庫中的數據進行檢索匹配運算的微處理器，所述微處理器分別與所述存儲設備、顯示模塊、音頻模塊、電源模塊、攝像頭及控制面板相連，所述外殼中還設有能夠為所述存儲設備、顯示模塊、音頻模塊和攝像頭提供驅動的協處理器；所述外殼中內設有能夠將檢索獲得的客體信息進行播放的電路。
5、 根據權利要求4所述的導覽機，其特徵在於它還包括與所述存儲設 備相連的數據輸入輸出接口 。
6、 根據權利要求5所述的導覽機，其特徵在於所述數據輸入輸出接口 選自USB接口、藍牙接口、網絡接口、紅外接口中的一種或多種接口。
7、 根據權利要求4所述的導覽機，其特徵在於所述協處理器用FPGA 實現。
8、 根據權利要求4所述的導覽機，其特徵在於所述微處理器具備DSP 內核與ARM9內核的雙核結構實現。
全文摘要
本發明涉及基於圖像識別技術的導覽方法及設備，它包括對客體進行拍攝客體圖像信息，然後建立客體信息資料庫，使用時，用戶對特定客體進行拍攝，獲得圖像信息後在資料庫中進行檢索，從資料庫中獲取導覽信息，然後向用戶輸出。本發明在使用時不易受幹擾、操作簡單、系統成本低，有利於提高了導覽系統的性能，便於擴大其使用範圍。
文檔編號G06F17/30GK101567159SQ20091008630
公開日2009年10月28日 申請日期2009年6月10日 優先權日2009年6月10日
發明者張春生 申請人:北京豪儀測控工程有限公司