用於搜索文本和以增強現實的方式顯示發現的文本的系統和方法

2023-10-05 02:13:44 2

用於搜索文本和以增強現實的方式顯示發現的文本的系統和方法
【專利摘要】本發明提供了用於搜索一個或多個圖像中的文本的系統和方法。計算設備執行的方法包括接收輸入。計算設備根據輸入來生成搜索參數，所述搜索參數包括所述文本。向該一個或多個圖像應用光學字符識別，以生成計算機可讀文本。應用搜索參數，以在計算機可讀文本中搜索所述文本，以及如果發現所述文本，執行動作。
【專利說明】用於搜索文本和以增強現實的方式顯示發現的文本的系統和方法
【技術領域】
[0001]以下大致涉及搜索文本數據(例如，字母、詞、數字等)。
【背景技術】
[0002]可以通過例如書本、雜誌、報紙、廣告、傳單等很多的媒體形式來印刷或顯示文本。已知可以使用例如掃描儀的設備的來掃描文本。然而，掃描儀通常較大且笨重，並且不能容易地運送。因此，通常不方便隨時掃描文本。
【專利附圖】

【附圖說明】
[0003]參考附圖，現在將僅通過示例的形式來描述實施例，其中:
[0004]圖1a是行動裝置的示意圖，該行動裝置查看文本頁、顯示文本的圖像並顯示對與搜索參數相匹配的文本位於何處的指示。
[0005]圖1b是類似於圖1a的示意圖，在圖1b中，行動裝置正在查看另一文本頁並顯示對與搜索參數相匹配的另一文本位於何處的指示。
[0006]圖2是行動裝置的示意圖，該行動裝置查看街道環境，識別道路名稱，以及使用道路名稱來確定行動裝置的位置和導航方向。
[0007]圖3是示例行動裝置和顯示屏幕的平面圖。
[0008]圖4是另一示例行動裝置及其顯示屏幕的平面圖。
[0009]圖5是圖3中不出的行動裝置的背面及其相機設備的平面視圖。
[0010]圖6是行動裝置的示例實施例的框圖。
[0011]圖7是行動裝置顯示的主屏幕的屏幕截圖。
[0012]圖8是示意圖6中示出的其他軟體應用和組件中的示例軟體應用和組件的框圖。
[0013]圖9是用於執行與文本有關的增強現實操作的模塊的示例配置的框圖。
[0014]圖10是用於搜索文本和顯示對在何處發現所尋找的文本的指示的示例計算機可執行指令的流程圖。
[0015]圖11是用於顯示覆蓋文本圖像的指示的示例計算機可執行指令的流程圖。
[0016]圖12是用於記錄頁編號和在每頁上發現的所尋找的文本的實例數目的示例計算機可執行指令的流程圖。
[0017]圖13是用於對每頁上所尋找的文本的實例的索引編排進行查看以及對包含所尋找的文本的圖像進行選擇的示例圖形用戶界面(GUI)。
[0018]圖14是用於識別頁編號的示例計算機可執行指令的流程圖。
[0019]圖15是用於識別頁編號的示例計算機可執行指令的另一流程圖。
[0020]圖16是用於搜索基於導航方向的道路名稱的示例計算機可執行指令的流程圖。
[0021]圖17是用於搜索基於行動裝置的第一位置的道路名稱的示例計算機可執行指令的流程圖。[0022]圖18是用於搜索圖像中的文本的示例計算機可執行指令的流程圖。
【具體實施方式】
[0023]應當理解的是，為了簡要和清晰地進行說明，在適當的情況下，附圖間的附圖標記可能重複，以表明相應的或類似的元件。另外，闡述了大量特定的細節，以便提供對這裡所描述的示例實施例的透徹理解。然而，本領域普通技術人員可以理解的是，沒有這些特定的細節也可以實現這裡所描述的實施例。在其他實例中，沒有詳細描述公知的方法、過程和組件，以免模糊這裡所描述的示例實施例。而且，這些描述不應被視為對此處描述的示例實施例的保護範圍的限制。
[0024]要認識到，在物理文檔中手動搜索文本是困難且耗時的。例如,一個人可以仔細閱讀文檔或書本中的很多頁，以搜索特定詞語的實例。如果存在著很多頁(例如，數百頁)，該人將需要閱讀每一頁，以確定特定詞語的實例出現在何處。該人可能開始匆忙地閱讀或審閱文檔或書本，並且可能在無意間沒有注意到文本中特定詞語的實例。當內容是不熟悉的或不吸引人的時，該人有可能更加不可能注意到特定詞語的實例。
[0025]在另一示例中，某人僅查找特定詞語的實例，並且不願意閱讀被認為無關的其他文本，因為僅直接在特定詞語周圍的文本才被認為是相關的。這種情況會使得閱讀文檔或書本單調乏味，並且例如會使該人增加其文本審閱的速度。例如，這會直接或間接地導致該人在無意間沒有注意到特定詞語的實例增加。
[0026]審閱文檔並搜索特定詞語的人還可能發現該任務對眼睛造成壓力，特別是當文本是小尺寸字體時。在閱讀難以閱讀的字體風格的文本時，這也可能是困難的。這種情況會導致人的眼睛承受壓力。
[0027]還要意識到，當人行進通過街道時(例如，步行或駕車)，該人可能被很多不同類型的標誌(例如，道路標誌、店面標誌、公告板、廣告等)分散注意力。該人可能沒有看到或識別出其正在尋找的街道標誌。
[0028]如果某人開車很快或者將其視覺注意力集中在交通上，其可能也沒有注意到街道標誌。可以意識到的是，在查找特定街道標誌時駕駛可能是困難的。當人可能在不熟悉的區域中駕車並因此不知道在哪兒發現街道標誌時，問題更加複雜。此外，遠處的街道標誌可能難以閱讀，因為對於人而言，文本可能顯得很小或不清楚。
[0029]本文中描述的本系統和方法解決了這些問題。轉到圖la，示出了打開到頁202、204的書200。裝備有相機的行動裝置100正在相機的顯示器110上實時地示出頁202、204的圖像。換言之，當行動裝置100和書本200彼此相對移動時，顯示器110上顯示的圖像自動更新，以示出相機當前正在捕捉的東西。
[0030]在圖1a中，相機正在查看頁202，並且在顯示器110上示出了圖202的圖像206。換言之，顯示了頁202上的文本的圖像。顯示器110還在其圖形用戶界面(⑶I)中包括了文本欄位208，用戶可以通過顯示器110的⑶I和/或行動裝置100的鍵盤或其他輸入設備(圖1a中未示出)來在文本欄位208中輸入搜索參數。換言之，如果某人正在書本200中查找文本的特定實例(例如，字母組合、詞語、短語、等式、數字等)，該人可以在文本欄位208中輸入要搜索的文本。例如，某人可能希望搜索術語「CusCO」208，其在圖1a中示出為搜索參數。行動裝置100使用光學字符識別(OCR)來從文本圖像導出計算機可讀文本，並使用該計算機可讀文本來應用文本搜索算法，以發現搜索參數的實例。一旦發現，行動裝置指示搜索參數位於何處。在示例中，使用圍繞文本圖像「Cusco」的框210來在顯示器110上標識術語「Cusco」的位置。可以認識到，框210可以覆蓋在圖像206上。這增強了人通過行動裝置100正在查看的現實。
[0031]可以認識到，成像文本是圖像，並且其含義不容易被計算設備或行動裝置100所理解。相反，計算機可讀文本包括計算設備或行動裝置100理解的字符代碼，並且可更加易於修改。可應用的字符編碼和解碼方案的非限制性示例包括ASCII碼和Unicode。因此可以識別來自計算機可讀文本的詞語並將其與各種功能相關聯。
[0032]轉向圖lb，當某人將行動裝置100從頁202移動到頁204時，將以相機正在查看或捕捉的當前圖像來自動更新顯示器110。可以認識到，可以通過實時的方式，幾乎即刻地更新顯示器Iio上正在顯示的圖像。換言之，當將相機放在頁204的前面時，顯示器110自動示出頁204的圖像212。當搜索參數「Cusco」仍在使用中時，行動裝置100搜索術語「Cusco」。框210被示出為圍繞術語「Cusco」，覆蓋在頁204上的文本的圖像212上。可以認識到，其他用於在視覺上指示詞語「Cusco」的位置的方法也是可應用的。
[0033]可以認識到，這種系統和方法可有助於人快速地搜索文檔或書本中的文本或者以硬拷貝格式顯示的文本的其他實施例。例如，可以使用本文中的原理來搜索另一計算機屏幕上示出的特定詞語。該人移動行動裝置110來在文本頁中掃描，並且在發現搜索參數時，在顯示器110上突出顯示其位置。這減少了該人的勞動量，因為不需要閱讀每個詞語。如果不存在對在成像文本中有搜索參數的指示，則該人知道在該成像文本中不存在搜索參數。與人手動地搜索特定詞語相比，本文中描述的原理可以是更加可靠。
[0034]轉到圖2，示出了街道環境214。街道環境214包括建築、計程車和一些街道標誌。如上所述，可能存在很多標誌216、218、220、222、224，這可能分散人的注意力。例如，該人可能正在查找特定的道路名稱來確定其位置，或者確定到達目標的導航方向的目前集合。如果該人正在駕駛，其可能不希望查找道路名稱，這可能分散其駕駛意識。
[0035]行動裝置100裝備有可被使用來搜索和識別街道環境214中的特定道路名稱的相機。在本示例實施例中，道路名稱是搜索參數，其可以從一組方向(行動裝置100處從例如地圖伺服器或提供方向的其他源接收到)、當前位置(行動裝置100處通過例如行動裝置100的GPS接收機接收到)或人的手動輸入(行動裝置100處通過⑶1、其顯示器和/或鍵盤或其他輸入設備接收到)而獲得。行動裝置100通過向圖像中的文本應用OCR算法來處理街道環境的圖像，由此生成計算機可讀文本。然後，向計算機可讀文本應用搜索算法，以確定是否存在搜索參數(在本示例中是道路名稱)。如果存在，可以執行其他動作。
[0036]在圖2中的示例中，行動裝置100搜索道路名「主大街」和「國王大道」。該文本分別示出在街道標誌222和224上，並在街道環境214的捕捉到的圖像中識別。在識別到時，行動裝置100顯示對所尋找的文本位於圖像中的何處的指示。這種指示的示例可以是顯示圈226和228。通過這種方式，人可以看到道路名稱「主大街」和「國王大道」在街道環境214中位於何處。這增強了人正在查看的現實。當行動裝置100或街道環境214中的文本移動時(例如，人可能將行動裝置100轉到不同的方向，或者計程車標誌218可能移動)，計算機可讀文本更新，以對應於同樣當前的成像文本。
[0037]執行的另一動作是顯示位置和導航信息，在顯示器110上的界面230中對此進行了示出。假設如果行動裝置的相機可以看到道路名稱，則行動裝置100當前正位於所識別的道路處。因此，界面提供消息「您位於主大街和國王大道處」。
[0038]基於行動裝置100的當前位置，可以將這集成到使用來提供導航方向的地圖應用中。例如，界面230可以提供方向「右轉到主大街」。
[0039]在圖2中的示例中，行動裝置100可被集成到汽車中。例如，在被與汽車完整集成時，行動裝置可以不是手持式的，並因此可以是電子設備。這種集成設備的示例可以包括與汽車的前端集成的相機，而執行搜索功能和處理圖像的計算設備與汽車的計算機系統集成。
[0040]可應用的電子設備的示例包括尋呼機、蜂窩電話、蜂窩智慧型電話、無線管理器、個人數字助理、計算機、膝上型機、平板機、手持無線通信設備、具有無線能力的筆記本計算機、相機等。為了清楚起見，之後將這種設備統稱為「行動裝置」。然後，將認識到的是，本文中描述的原理還可適用於自己不移動的電子設備，例如集成在運輸車輛(例如，汽車)中的GPS或其他計算機系統。
[0041]在示例實施例中，行動裝置是具有高級數據通信能力的雙向通信電子設備，該高級數據通信能力包括通過收發站的網絡與其它行動裝置或計算機系統進行通信的能力。行動裝置還可以具有允許語音通信的能力。根據行動裝置所提供的功能，該行動裝置可以被稱作數據消息收發設備、雙向尋呼機、具有數據消息收發功能的蜂窩電話、無線網際網路電器、或數據通信設備(具有或不具有電話功能)。
[0042]參考圖3和圖4,圖3中示出了行動裝置的一個示例實施例100a,以及圖4中示出了行動裝置的另一示例實施例100b。將要認識到，數字「100」之後將指代任何的行動裝置100,包括示例實施例1OOa和100b,以上枚舉的這些示例實施例或其他實施例。還將認識到的是，類似的編號慣例也將用於所有圖之間公共的其他一般性特徵，例如，顯示器12、光標或視圖定位設備14、取消或退出按鈕16、相機按鈕17和菜單或選項按鈕24.[0043]圖3中示出的行動裝置IOOa包括顯示器12a,以及在本示例實施例中示出的定位設備14是軌跡球14a。定位設備14可以擔當另一輸入部件，並且既可以旋轉以向主處理器102(圖6中示出)提供選擇輸入，也可以在大致朝著外殼的方向被壓下以向處理器102提供另一選擇輸入。軌跡球14a允許多方向定位選擇光標18(圖7中不出)，以使得選擇光標18可以在向上的方向上、向下的方向上以及(如果希望和/或允許)在任何對角方向上移動。軌跡球14a在本示例中位於圖3中示出的行動裝置IOOa的外殼的正面上，以使得用戶可以在單手手持行動裝置IOOa的同時操縱軌跡球。軌跡球14a可以擔當(除了方向或定位部件之外的)用於向處理器102提供選擇輸入的另一輸入部件，並且可以優選地在向著行動裝置IOOb的外殼的方向上被按下，以提供這種選擇輸入。
[0044]顯示器12可以包括選擇光標12 (圖7中示出)，選擇光標12大致描繪了將在何處接收到下一輸入或選擇。選擇光標18可以包括框、圖標變化、或者使得用戶可以識別當前選擇的圖標或項目的特徵的任何組合。圖3中的行動裝置IOOa還包括可編程的便捷按鈕15，用於激活所選擇的應用，例如，如日曆或計算器。此外，行動裝置IOOa包括退出或取消按鈕16a、相機按鈕17a、菜單或選項按鈕24a和鍵盤20。當優選地在向著外殼的方向按下時，相機按鈕17能夠激活照片和視頻捕捉功能。菜單或選項按鈕24在被按下時將菜單或選項列表加載到顯示器12a上。在本示例中，退出或取消按鈕16a、菜單選項按鈕24a和鍵盤20位於行動裝置外殼的正面,而便捷按鈕15和相機按鈕17a位於外殼的側面上。該按鈕布置使得用戶可以在單手手持行動裝置100的同時操作這些按鈕。在本示例中，鍵盤20是標準的QWERTY鍵盤。
[0045]圖4中示出的行動裝置IOOa包括顯示器12b,以及本示例實施例中的定位設備14是軌跡球14b。行動裝置IOOb還包括菜單或選項按鈕24b、取消或退出按鈕16b和相機按鈕17b。圖4中示出的行動裝置IOOb包括精簡型QWERTY鍵盤22。在本示例實施例中，鍵盤22、定位設備14b、退出按鈕16b和菜單按鈕24b位於行動裝置外殼的正面。精簡型QWERTY鍵盤22包括多個多功能按鍵和對應的標記，包括與對應於字母A到Z的QWERTY陣列的字母字符以及疊加的數字電話按鍵布置相關聯的按鍵。
[0046]要認識到的是，對於行動裝置100而言，可以使用廣泛的、一個或多個定位或光標/視圖定位機制，例如，觸摸板、定位輪、操縱杆按鈕、滑鼠、觸控螢幕、一組方向鍵、平板、力口速度計(用於感測行動裝置100的方向和/或移動等)或者其他當前已知或未知的機制。類似地，可以使用鍵盤20、22的任何變型。還將認識到的是，圖3和圖4中示出的行動裝置100僅被用於示意性目的，並且其他各種行動裝置100同等可應用於下面的示例。例如，其他行動裝置100可以包括與圖4中所示出的相類似的軌跡球14b、退出按鈕16b和菜單或選項按鈕24，僅是具有任何類型的全鍵盤或標準鍵盤。也可以將其他按鈕布置在行動裝置外殼上，例如，要在電話通信中使用的色彩編碼的「回答」和「忽略」按鈕。在另一示例中，顯示器12自己可以是觸敏的，由此除了顯示能力之外自己還提供輸入機制。
[0047]參考圖5，在行動裝置IOOa的背部中，例如存在著可被用於照亮對象以捕捉視頻圖像或照片的光源30。相機鏡頭32和反射表面34也位於行動裝置的背面。相機鏡頭32允許代表圖像的光進入到相機設備中。反射表面34顯示代表相機設備的視圖的圖像，並例如協助用戶拍攝自拍照片。可以通過按下相機按鈕17(例如，圖3中示出的相機按鈕17)相機設備來激活相機設備。
[0048]為了幫助讀者理解行動裝置100的結構，現在將參考圖6至圖8。
[0049]首先參考圖6，圖6中示出了行動裝置100的示例實施例的框圖。行動裝置100包括多個組件，例如控制行動裝置100的整體操作的主處理器102。通過通信子系統104來執行包括數據和語音通信在內的通信功能。通信子系統104從無線網絡200接收消息，並向無線網絡150發送消息。在行動裝置100的該示例實施例中，依照世界範圍內使用的全球移動通信系統(GSM)和通用分組無線服務(GPRS)標準對通信子系統104進行配置。其他同等可應用的通信配置時3G和4G網絡，例如EDGE、UMTS和HSDPA、LTE、W1-Max等。目前仍然在制定新標準，然而相信新標準將具有同此處描述的網絡相似的網絡行為，因而本領域技術人員應當理解，此處描述的示例實施例打算使用將在未來開發出的任何其它合適的標準。連接通信子系統104和無線網絡200的無線鏈路表示按照所定義的、針對GSM /GPRS通信規定的協議工作的一個或多個不同的射頻(RF)信道。
[0050]主處理器102還與附加的子系統交互，附加的子系統例如:隨機存取存儲器(RAM) 106、快閃記憶體108、顯示器110、輔助輸入/輸出(I / O)子系統112、數據埠 114、鍵盤116、揚聲器118、麥克風120、GPS接收機121、短距離通信122、相機123、磁力計125和其它設備子系統124。顯示器110可以是能夠通過用戶的觸摸來接收輸入的觸控螢幕顯示器。
[0051]行動裝置100的子系統中的一些子系統執行涉及通信的功能，而其它子系統可提供「駐留」或機上功能。以示例的方式，可以將顯示器110和鍵盤116用於涉及通信的功能(例如輸入文本消息以在網絡200上傳輸)和駐機功能(例如計算器或任務列表)。
[0052]在所要求的網絡註冊或激活處理已經完成後，行動裝置100可以通過無線網絡200發送和接收通信信號。將網絡接入與行動裝置100的訂戶或用戶相關聯。為了標識訂戶，行動裝置100可以使用訂戶模塊組件或「智慧卡」126、例如訂戶身份模塊(SIM)、可拆卸的用戶身份模塊(RUIM)以及通用訂戶身份模塊(USIM)。在所示出的示例中，為了與網絡通信，要將SM / RUIM / USM126插入SM / RUIM / US頂接口 128中。在沒有組件126的情況下，對於與無線網絡200的通信，行動裝置100沒有完全工作。一旦SM / RUIM /USM126被插入到SM / RUIM / US頂接口 128中，其與主處理器102耦合。
[0053]行動裝置100是電池供電的設備，並包括用於容納一個或多個可充電電池130的電池接口 132。在至少一些示例實施例中，電池130可以是具有嵌入的微處理器的智能電池。電池接口 132耦合到穩壓器(未示出)，穩壓器在向行動裝置100提供功率V+時對電池130進行協助。雖然當前的技術使用了電池，將來的技術(例如，微燃料電池)可以向行動裝置100提供功率。
[0054]行動裝置100還包括將於以下進行詳細說明的作業系統134和軟體組件136至146。主處理器102所執行的作業系統134和軟體組件136至146通常存儲在永久性存儲器(例如，快閃記憶體存儲器108)中，備選地，快閃記憶體存儲器1018也可以是只讀存儲器(ROM)或其它類似的存儲元件(未示出)。本領域技術人員將意識到，可將部分的作業系統134和軟體組件136至146 (例如特定的設備應用)或其一部分臨時加載到易失性存儲器(例如RAM106)中。還可以包括本領域技術人員周知的其他軟體組件。
[0055]在製造過程中，將用於控制基本設備運行的軟體應用136的子集(包括數據和語音通信應用)安裝在行動裝置100中。軟體應用可以包括消息應用138、設備狀態模塊140、個人信息管理器(PM) 142、連接模塊144和IT策略模塊146。消息應用138可以是允許行動裝置100的用戶發送和接收電子消息的任何適合的軟體程序，其中，消息通常被存儲在行動裝置100的快閃記憶體108中。設備狀態模塊140可提供持久性，即，設備狀態模塊140確保將重要的設備數據存儲在持久性存儲器(例如，快閃記憶體存儲器108)中，以使得當行動裝置100關閉或掉電時，數據不會丟失。PM142包括用於對用戶感興趣的數據項進行組織和管理的功能，並且可以與無線網絡200交互，用戶感興趣的數據項例如但不限於電子郵件、通訊錄、日曆事件和語音郵件。連接模塊144實現行動裝置100與該行動裝置100被授權與之進行接口連接的無線基礎設施和任何主機系統(例如企業系統)通信所需的通信協議。IT策略模塊146接收對IT策略進行編碼的IT策略數據，並且可以負責組織和保護規則，例如，「設置最大密碼嘗試」 IT策略。
[0056]也可以將其他類型的軟體應用或組件139安裝在行動裝置100上。這些軟體應用139可以是預安裝的應用(S卩，消息應用138之外的應用)或者在行動裝置100的製造之後添加的第三方應用。第三方應用的示例包括遊戲、計算器、實用程序等。
[0057]可以通過無線網絡200、輔助I / O子系統112子系統、數據埠 114、短距離通信子系統122、或者任何其它適合的設備子系統124中的至少之一來將其它應用139加載到行動裝置100上。
[0058]數據埠 114可以是使行動裝置100和另一計算設備能夠進行數據通信的任意合適的埠。數據埠 114可以是串行或並行埠。在一些實例中，數據埠 114可以是USB埠，包括用於數據傳遞的數據線和可以提供充電電流以對行動裝置100的電池130充電的電源線。
[0059]對於語音通信，向揚聲器118輸出接收到的信號，以及由麥克風120生成用於發送的信號。雖然主要通過揚聲器118來完成語音或音頻信號輸出，也可以使用顯示器110來提供附加信息，例如主叫方的標識、語音呼叫的持續時間或者其他語音呼叫相關信息。
[0060]現在轉向圖7，行動裝置100可以顯示主屏幕40，主屏幕40可被設置為當行動裝置100開機作為主屏幕，並且可構建主功能區(ribbon)應用。主屏幕40通常包括狀態區域44和主題背景46，主題背景46為顯示器12提供圖形背景。主題背景46在圖形背景上以預定的布置顯示一系列圖標42。在一些主題中，主屏幕40可以限制主屏幕40上示出的圖標42的數目，以使得不將注意力從主題背景46轉移，特別是在由於美學的原因而選擇背景46的情況下。圖7中示出的主題背景46提供圖標柵格。將認識到的是，優選地，若干主題可用於由用戶進行選擇，並且可以使用任何可應用的布置。示例圖標可以是使用來對基於增強現實相機的應用進行指示的相機圖標51。一系列圖標42中的一個或多個圖標通常是文件夾52，文件夾52自己能夠其自身中組織任何數目的應用。
[0061]本示例實施例中的狀態區域44包括日期/時間顯示48。除了圖形背景和一系列的圖標42之外，主題背景46還包括狀態條50。狀態條50基於選擇圖標18的位置來向用戶提供信息，例如通過顯示當前突出顯示的圖標53的名稱來提供。
[0062]通過使用定位設備14來突出顯示對應的圖標53並向行動裝置100提供適合的用戶輸入，可以從顯示器12發起(打開或查看)應用，例如消息應用138(圖6中示出)。例如，通過移動定位設備14以使得由圖7中示出的選擇框18來突出顯示圖標53，並例如通過壓下軌跡球14b來提供選擇輸入，可以發起消息應用138。
[0063]圖8示出了可以在行動裝置100上存儲和使用的其他軟體應用和組件139 (也在圖6中示出)的示例。圖8中僅示出了示例,並且這些示例不被認為是詳盡無遺的。在本示例中，可以使用警報應用54來在由用戶確定的時間和日期激活告警。還處在管理和顯示聯繫人信息的地址簿62。可以使用GPS應用56來確定行動裝置100的位置。日曆應用58可被用於組織預約。另一示例應用是增強現實文本查看器應用60。該應用60能夠通過在圖像上方顯示另一層來增強圖像，由此，該層包括提供對搜索參數(例如，文本)在圖像中位於何處的指示。
[0064]其他應用包括光學字符識別應用64、文本識別應用66和語言翻譯器68。光學字符識別應用64和文本識別應用66可以是組合應用或不同應用。還可以認識到，可以將本文中描述的其他應用或模塊組合或分開操作。光學字符識別應用64能夠將手寫文本、印刷文本、機打文本等的圖像翻譯為計算機可讀文本或機器編碼文本。可以在本文中使用將文本的圖像翻譯為計算機可讀文本的已知方法和將來的方法，一般將其稱為OCR方法。OCR應用64還能夠執行也用於識別手寫文本的智能字符識別(ICR)。文本識別應用66識別形成詞語、短語、句子、段落、地址、電話號碼、日期等的計算機可讀字符的組合。換言之，可以理解字母組合的含義。已知的文本識別軟體可應用於本文中描述的原理。語言翻譯器68將計算機可讀文本從給定語言翻譯為另一語言(例如，從英語到法語，從法語到德語，從中文到英語，從西班牙語到德語等)。可以使用已知的語言翻譯器。[0065]其他應用還可以包括提供導航方向和地圖信息的地圖應用69。可以意識到，各種應用的功能可以彼此交互，或者可以組合。
[0066]轉向圖9，提供了用於增強與文本有關的現實的示例配置。從相機123接收輸入。具體地，文本增強模塊/⑶160接收可包含文本的相機或視頻圖像(可由圖像處理模塊240處理)。使用該圖像，文本增強模塊/⑶160可以在顯示屏幕110上顯示該圖像。在示例實施例中，來自相機123的圖像可以是以實時方式更新的流傳輸視頻圖像。
[0067]繼續圖9，可以使用圖像處理模塊240來處理從相機123接收的圖像。例如，圖像處理模塊240可被用於調整圖像的亮度設置和對比度設置，以增加成像文本的清晰度。備選地或附加地，可以提高相機123的曝光設置，以使得相機(例如，相機的電荷耦合器件)吸收更多的光。還向文本增強模塊/⑶160發送圖像(不管是否處理過)。
[0068]還可以使用OCR應用64來處理圖像，OCR應用64從文本的圖像導出計算機可讀文本。可以將計算機可讀文本存儲在資料庫242中。使用文本識別應用66來搜索計算機可讀文本中的特定文本。正在尋找的特定文本是資料庫244中存儲的搜索參數。資料庫244可以通過文本增強模塊/ GUI60或者從地圖應用69接收搜索參數。如較早討論的，搜索參數可以是人輸入的文本，或者可以是由導航方向或位置知信息導出的文本。
[0069]如果文本識別應用發現搜索參數，則將該信息傳遞迴文本增強模塊/ GUI60。文本增強模塊/ GUI60可以顯示對所尋找的文本在圖像中位於何處的指示符。例如，在圖1a和圖1b中對此進行了示出。如果發現一個或多個搜索參數，還可以將該信息傳遞給地圖應用69，以生成位置信息和/或導航方向。
[0070]還可以將識別出的搜索參數的實例保存在資料庫248中，資料庫248通過頁編號來對所發現的搜索參數的實例進行組織或編排索引。記錄保存器應用246對此進行了推動，記錄保存器應用246還可以包括頁識別器應用247。記錄保存器應用246對給定頁編號上的搜索參數的實例的數目進行計數並存儲。還可以在資料庫248中顯示成像文本的拷貝。
[0071]將意識到，在本文中示例出的執行指令或操作的任何模塊或者組件可以包括或者具有對計算機可讀介質的訪問，該計算機可讀介質例如:存儲介質、計算機存儲介質或者數據存儲設備(可移除的和/或不可移除的)(例如，磁碟、光碟或者磁帶)。計算機存儲介質可以包括以用於信息的存儲的任何方法或技術實現的易失性和非易失性的、可移除或者不可移除的介質，例如計算機可讀指令、數據指令、程序模塊或者除了暫時的傳播信號本身之外的其他數據。計算機存儲介質的示例包括RAM、ROM、EEPR0M、快閃記憶體或者其他存儲器技術、CD-ROM、數字通用碟(DVD)或者其他光存儲器、磁的盒狀磁帶、磁帶、磁碟存儲器或者其他磁存儲設備，或者可以使用來存儲所需信息並且可以由應用、模塊或者應用和模塊訪問的其他任何介質。這種計算機存儲介質中的任一種可以是行動裝置100的一部分，或者可以由行動裝置100訪問或可連接到行動裝置100。可以使用計算機可讀/可執行指令或操作來實現本文中描述的任何應用或模塊，可以由這種計算機可讀介質來存儲或者保持該指令或操作。
[0072]轉向圖10，提供了用於搜索圖像中的文本的示例計算機可執行指令。在框250處，行動裝置100接收文本。可以認識到，某人希望搜索文本，並因此在示例實施例中已經將文本輸入到行動裝置100中。在本文中可以將該文本稱為搜索參數、搜索文本或尋找的文本。例如,可以通過文本增強模塊/⑶160，例如圖1a中的文本欄位208，將搜索參數輸入到行動裝置100中。在框252處，行動裝置100使用相機123來捕捉文本的圖像。圖像可以是靜態的，或者是實時圖像的視頻流的一部分。在另一示例實施例中，可以根據本文中描述的原理，使用搜索參數來搜索在另一時間處拍攝並可選地來自不同相機設備的視頻數據。在框254處，應用OCR算法來生成計算機可讀文本。在框256處，在行動裝置的顯示器110上顯示文本的圖像。在框258處，行動裝置100使用搜索參數來對計算機可讀文本執行搜索。如果發現搜索參數，在框260處，行動裝置100顯示對搜索參數位於文本圖像中的何處的指示。在示例實施例中，指示可以是闡述搜索參數可在屏幕上的何處或哪一段被發現的消息。在另一示例實施例中，指示可以覆蓋在成像文本上，直接指出搜索參數的位置。
[0073]在框262處，行動裝置100繼續捕捉文本的圖像，並在檢測到文本的新位置時或在檢測到新文本的情況下自動更新顯示器110。例如，如果人將行動裝置100在文本的頁上向下移動，顯示器110上的文本圖像的位置對應地向上移動。從而，如果搜索參數在成像文本中，指示(例如，框210)頁在顯示器110上向上移動。在另一示例中，如果人將行動裝置100向包含搜索參數的多個實例的不同頁移動，則例如通過在每個搜索參數的實例周圍自動顯示框210來示出搜索參數的所有實例。
[0074]換言之，在示例實施例中，行動裝置100持續捕捉附加圖像，並在對應成像文本的位置改變位置時自動更新對指示的顯示。類似地，行動裝置100持續捕捉附加的文本圖像，並在檢測到新文本的情況下使用覆蓋在搜索參數的圖像之上的其他指示來自動更新顯示器 110。
[0075]在示例實施例中，框254至262的過程以實時方式重複，或者非常快地重複，以提供增強現實體驗。由虛線263指示了該重複或循環。
[0076]轉向圖11，提供了用於顯示覆蓋成像文本的位置指示的示例實施例。在框264處，行動裝置100確定與搜索參數相對應的成像文本的像素位置。然後，例如通過以下方式來相對於像素位置顯示圖形指示:突出顯示成像文本，在成像文本周圍放置框或圓圈，以及以覆蓋對應成像文本的不同字體格式(例如，粗體)顯示搜索參數的計算機可讀文本(框266)。例如，返回圖la，可以通過粗體或不同的字體來顯示計算機可讀文本「Cusco」，並覆蓋文本「Cusco」的圖像。可以認識到，可存在著顯示對所尋找的文本位於圖像中的何處的指示的各種其他方式。
[0077]在圖12中，提供用於記錄搜索參數的實例的示例計算機可讀指令。在框268處，行動裝置100識別正在成像的頁。例如，可以通過頁編號來識別該頁。在框270處，確定出現在成像文本中的搜索文本或搜索參數的實例的數目。可以使用計數算法來確定實例的數目。
[0078]在框272處，在資料庫248中記錄並存儲搜索參數的實例的數目以及給定頁編號。還保存包含搜索參數的文本圖像(框274)。
[0079]這允許人容易地識別出哪些頁與搜索參數相關，以及識別出搜索參數的實例的數目。例如，與具有較少實例數目的頁相比，具有較高實例數目的頁可能與該人更相關。該人還可以方便地取回文本圖像，以閱讀在其中使用的搜索參數的上下文。
[0080]圖13中示出了用於查看出現搜索參數的頁的示例GUI276。存在標題，包括頁編號278、搜索參數(例如，「Cusco」)的實例的數目以及頁圖像連結282。例如，示例⑶1276示出了在頁5上存在詞語「Cusco」的3個實例。當行動裝置100接收到按鈕或連結284上的選擇輸入時，可在然後顯示圖5的圖像，示出「Cusco」的實例位於何處。
[0081]轉到圖14和15，以及接著(圖12的)框268，提供用於識別頁編號的示例計算機可執行指令。可以認識到，可由人手動識別或輸入頁編號。備選地，可以如下所述地自動識別頁編號。
[0082]參考圖14，在示例實施例中，行動裝置100接收該頁上文本的圖像(框286)。行動裝置100搜索位於頁的頁腳或頁眉區域中的數字(框288)。可以使用OCR應用64來識別該數字。搜索頁腳或頁眉區域，因為這通常是頁編號的所在之處。如果發現數字，則識別出的頁編號是所述頁編號(框290)。例如，如果在頁的頁腳上發現數字「14」，這將該頁識別為「頁14」。
[0083]圖15提供了用來檢測已轉到的頁的示例實施例。這基於該頁是從一頁轉到下一頁的假設。在框292處，行動裝置100接收頁上的文本的圖像。行動裝置100向文本圖像應用OCR算法，並保存計算機可讀文本的第一集合(框294)。行動裝置100假設計算機可讀文本的第一集合在「第一頁」上(例如，不是必須在頁I上)。然後，行動裝置100接收頁上的文本的第二圖像(框296)。向第二圖像應用OCR算法，以生成計算機可讀文本的第二集合(框298)。如果計算機可讀文本的第一集合和第二集合不同，則在框300處，行動裝置100確立計算機可讀文本的第一集合在「第一頁」上，以及計算機可讀文本的第二集合在「第二頁」上(例如，不是必須在頁2上，而可以是第一頁之後的連續編號)。例如，如果第一頁被識別為頁14，則第二頁被識別為頁15。
[0084]可以認識到的是，本文中描述的用於搜索圖像中的文本的原理可被應用來提供位置信息和導航方向。例如，之前關於圖2對此進行了描述。
[0085]轉向圖16，提供了用於基於方向來搜索道路名稱的示例計算機可執行指令。在框302處，行動裝置100獲得從第一位置到第二位置的行進的方向。例如，其包括了要在特定的方向上並以特定的順序行進的道路名稱的列表。可以認識到，本示例實施例中的輸入是方向。在框304處，從方向提取一個或多個道路名稱。可以認識到，道路名稱的非限制性示例包括街道名稱、高速路和出口編號。在框306處，將該一個或多個道路名稱確立為搜索參數。如果在方向上存在多個道路名稱，則這些多個道路名稱都是搜索參數。行動裝置100然後使用相機來例如從標誌獲得或捕捉文本的圖像(框308)。應用OCR算法以從圖像生成計算機可讀文本(框310)。然後，使用搜索參數(在本示例中是道路名稱)來執行計算機可讀文本的搜索(框312)。如果發現任何的道路名稱(框314)，則基於識別出的道路名稱確定位置數據。例如，參考回圖2，如果框302的方向包括道路名稱「主大街」和「國王大道」，以及發現這些名稱的文本，則知道行動裝置100位於主大街和國王大道的交叉路口。因此，行動裝置100知道在通過方向識別出的路由上其位於何處，並因此知道方向序列中隨後的導航方向的下一集合。在框316，基於位置數據，行動裝置100提供位置更新(例如，直行、左轉、右轉等)。例如，參考圖2，方向234闡述了 「右轉到主大道」。
[0086]可以使用上述方案來補充或替換GPS功能。該方案可以有用的示例場景是在隧道中行進期間並且沒有GPS信號可用。可以使用以上圖像識別和地圖功能來引導人在正確方向上行進。此外，通過僅搜索由方向提供的特定的道路名稱，可以忽略其他道路名稱或其他標誌。這降低了行動裝置100上的處理負擔。[0087]在另一示例實施例中，轉到圖17，提供了用於使用文本搜索能力來確定更精確的位置的示例計算機可執行指令。獲得第一位置，第一位置可以是在有一些不確定的情況下的大致位置。將第一位置視為是使用來導出被用作搜索參數的道路名稱的列表的輸入。當已在圖像或多個圖像中發現所尋找的道路名稱時，使用已經發現的道路名稱來確定更精確的位置。
[0088]具體地，在框318處，行動裝置100獲得設備附近的第一位置。可以通過小區塔信息、無線或W1-Fi集線器的位置、GPS等來確定第一位置。還可以通過手動輸入的信息(例如，郵編、郵遞區號、主要交叉口等)確定第一位置。基於該輸入(被認為是行動裝置100所位於的區域的近似)，行動裝置100識別在第一位置周圍的道路名稱的集合(框320)。可以使用地圖應用69來確定周圍的道路名稱。這些道路名稱被用作搜索參數。
[0089]繼續圖17，在框322處，行動裝置100使用相機123捕捉文本的圖像(例如，標誌)。向圖像應用OCR算法以生成計算機可讀文本(框324)。在框326處，使用搜索參數(例如，道路名稱)來執行計算機可讀文本的搜索。如果發現一個或多個道路名稱(框328)，則假設行動裝置100位於該一個或多個道路名稱處。然後，行動裝置100提供第二位置，該第二位置更精確地指示設備位於與搜索參數相對應的給定道路或給定的多條道路處。例如，這在圖2中的聲明232 「您位於主大街和國王大道處」中進行了示出。
[0090]更一般地，轉向圖18，提供了用於在一個或多個圖像中搜索圖像的系統和方法。計算設備執行的方法包括:接收輸入(框330);根據輸入來生成搜索參數，搜索參數包括文本(框332);向一個或多個圖像應用光學字符識別，以生成計算機可讀文本(框334);應用搜索參數，以在計算機可讀文本中搜索文本(框336);如果識別出文本，執行動作(框338)。
[0091]在另一方面，方法還包括實時地持續捕捉其他圖像，自動向該其他圖像應用光學字符識別，以生成其他計算機可讀文本，以及如果再次發現文本，再次執行動作。在另一方面，計算設備是包括相機的行動裝置，以及由相機來提供該一個或多個圖像。在另一方面，輸入是文本。在另一方面，由用戶提供文本。在另一方面，執行的動作是在顯示器上突出顯示發現的文本。在另一方面，該一個或多個圖像具有一頁或多頁，以及計算設備記錄文本被發現位於的一頁或多頁。在另一方面，該一頁或多頁是通過頁編號來分別識別的，是通過向頁編號應用光學字符識別來確定的。在另一方面，該一頁或多頁是通過頁編號來分別識別的，通過對在頁的採集中審閱的頁的編號進行計數來確定頁編號。在另一方面，方法還包括記錄在所述一頁或多頁上發現的文本的實例的數目。在另一方面，輸入是位置。在另一方面，所生成的搜索參數是基於位置的一個或多個道路名稱。在另一方面，搜索參數是從到達位置的方向的集合生成的，搜索參數包括該一個或多個道路名稱。在另一方面，在已經發現該一個或多個道路名稱中的至少一個道路名稱的文本時，所執行的動作是基於方向的集合提供音頻或視頻指示，以在特定的方向上移動。在另一方面，識別出靠近位置的一個或多個道路名稱，搜索參數包括該一個或多個道路名稱。在另一方面，在已經發現該一個或多個道路名稱中的至少一個道路名稱的文本時，執行的動作是提供包括已經發現的道路名稱的第二位置。
[0092]還提供了行動裝置，包括:顯示器；被配置為捕捉一個或多個圖像的相機；以及連接到顯示器和相機的處理器，處理器被配置為:接收輸入，根據輸入來生成搜索參數，搜索參數包括文本，向該一個或多個圖像應用光學字符識別，以生成計算機可讀文本，應用搜索參數，以在計算機可讀文本中搜索文本，以及如果識別出文本，執行動作。
[0093]還提供了系統，包括:顯示器；被配置為捕捉一個或多個圖像的相機；以及連接到顯示器和相機的處理器，處理器被配置為:接收輸入，根據輸入來生成搜索參數，搜索參數包括文本，向該一個或多個圖像應用光學字符識別，以生成計算機可讀文本，應用搜索參數，以在計算機可讀文本中搜索文本，以及如果識別出文本，執行動作。在示例實施例中，將這種系統與運輸車輛(例如，汽車)集合。
[0094]本文中使用的示意圖和框圖僅用於示例。可以使用不同的配置和組件名稱。例如，在不背離本發明的精神的情況下，可以添加、刪除、修改或與不同的連接布置組件和模塊。
[0095]本文中描述的流程圖中的步驟或操作僅用於示例。在不背離本發明的精神的情況下，可以存在這些步驟或操作的很多變型。例如，可以通過不同的順序來執行步驟，或者可以添加、刪除或修改步驟。
[0096]將要認識到的是，圖中示出並在以上描述的具體的示例實施例僅用作示意性的目的，以及可以根據所描述的原理來使用很多其他變型。雖然參考特定的示例實施例描述了以上內容，然而所附權利要求中所勾勒出的，其各種修改對本領域技術人員將是顯而易見的。
【權利要求】
1.一種用於搜索至少一個圖像中的文本的方法，所述方法由計算設備執行，所述方法包括: 接收輸入； 根據所述輸入來生成搜索參數，所述搜索參數包括所述文本； 向所述至少一個圖像應用光學字符識別，以生成計算機可讀文本； 應用所述搜索參數，以在所述計算機可讀文本中搜索所述文本；以及 如果發現所述文本，則執行動作。
2.根據權利要求1所述的方法，還包括:實時地持續捕捉其他圖像，自動向所述其他圖像應用光學字符識別，以生成其他計算機可讀文本，以及如果再次發現所述文本，則再次執行所述動作。
3.根據權利要求1所述的方法，其中，所述計算設備是包括相機的行動裝置，以及由所述相機來提供所述至少一個圖像。
4.根據權利要求1所述的方法，其中，所述輸入是文本。
5.根據權利要求4所述的方法，其中，所述文本由用戶提供。
6.根據權利要求 4所述的方法，其中，所執行的動作是在顯示器上突出顯示所發現的文本。
7.根據權利要求4所述的方法，其中，所述至少一個圖像具有一頁或更多頁，以及所述計算設備記錄所發現的文本所在的一頁或更多頁。
8.根據權利要求7所述的方法，其中，所述一頁或更多頁各自通過頁編號來識別，所述頁編號是通過向所述頁編號應用光學字符識別來確定的。
9.根據權利要求7所述的方法，其中，所述一頁或更多頁各自通過頁編號來識別，通過對在頁的採集中審閱的頁的編號進行計數來確定所述頁編號。
10.根據權利要求7所述的方法，還包括記錄在所述一頁或更多頁的每一頁上發現的文本的實例的數目。
11.根據權利要求1所述的方法，其中，所述輸入是位置。
12.根據權利要求11所述的方法，其中，所生成的搜索參數是基於所述位置的一個或更多個道路名稱。
13.根據權利要求12所述的方法，其中，所述搜索參數是根據到達所述位置的方向的集合生成的，所述搜索參數包括所述一個或更多個道路名稱。
14.根據權利要求13所述的方法，其中，在已經發現所述一個或更多個道路名稱中的至少一個道路名稱的文本時，執行的動作是基於所述方向的集合來提供在特定方向上移動的音頻或視頻指示。
15.根據權利要求11所述的方法，其中，識別出靠近所述位置的一個或更多個道路名稱，所述搜索參數包括所述一個或更多個道路名稱。
16.根據權利要求15所述的方法，其中，在已經發現所述一個或更多個道路名稱中的至少一個道路名稱的文本時，執行的動作是提供包括已經發現的道路名稱的第二位置。
17.—種電子設備,包括: 顯示器； 被配置為捕捉至少一個圖像的相機；以及連接到所述顯示器和所述相機的處理器，所述處理器被配置為:接收輸入，根據所述輸入來生成搜索參數，所述搜索參數包括文本，向所述至少一個圖像應用光學字符識別，以生成計算機可讀文本，應用所述搜索參數，以在所述計算機可讀文本中搜索所述文本，以及如果發現所述文本，則執行動作。
18.根據權利要求17所述的方法，其中，所述輸入是文本。
19.根據權利要求18所述的方法，其中，所執行的動作是在所述顯示器上突出顯示所發現的文本。
20.—種系統,包括: 顯示器； 被配置為捕捉至少一個圖像的相機；以及 連接到所述顯示器和所述相機的處理器，所述處理器被配置為:接收輸入，根據所述輸入來生成搜索參數，所述搜索參數包括文本，向所述至少一個圖像應用光學字符識別，以生成計算機可讀文本，應用所述搜索參數，以在所述計算機可讀文本中搜索所述文本，以及如果發現所述文本，則執行動作。
【文檔編號】G06F17/00GK103718174SQ201180072738
【公開日】2014年4月9日 申請日期:2011年8月5日 優先權日:2011年8月5日
【發明者】克里斯多福·R·沃莫爾德, 康拉德·德爾伯特·西曼, 威廉·亞歷山大·張 申請人:黑莓有限公司