用於裝備照相機的移動裝置的視覺代碼系統及其應用的製作方法

2023-10-08 01:38:34 1

專利名稱：用於裝備照相機的移動裝置的視覺代碼系統及其應用的製作方法
技術領域：
本發明涉及利用裝備照相機的移動裝置解碼機器可讀代碼的領 域。更具體來說，本發明公開一種實際上能夠被任何裝備照相機的移 動裝置解碼和利用的專用視覺代碼。
背景技術：
三十多年以來，條形碼(barcode) —直用於識別和定價物體。 更通常，條形碼用於零售，以識別商品的項目。例如， 一加侖牛奶可 以包含條形碼，當掃描時，該條形碼就會告知收銀員牛奶的價格。
更近來，隨著計算機和條形碼掃描器變得越來越便攜，條形碼獲 得了新的用途。現在，掃描常規的一維條形碼所需的電路可以容納在 象普通的鑰匙鏈一樣小的裝置中。從而，很多行動電話、個人數字助 理("PDA")和呼機可以用基於雷射的掃描裝置進行翻新改進，或者 可以連接基於雷射的掃描裝置。這樣允許移動裝置起到能夠存儲成百 上萬的掃描條形碼的掃描器的作用。附帶掃描器的移動裝置允"^午在無 線電子商務中開闢新的天地。 一些公司開發了允許用戶掃描任何條形 碼並將該條形碼再導向關於掃描產品的介質信息(例如，網站、產品 描述、價格等)的軟體和硬體。這些程序在物理世界和在線世界之間 提供連接，這是以前不存在的。
然而，附帶掃描器的移動裝置具有限制其擴展到移動市場的一些 缺點。首先，沒有幾種為普通大眾生產的包含集成的基於雷射的掃描 器的移動裝置。因此，對於要獲得移動裝置的掃描能力的用戶，他/ 她必須購買附加的設備。該附加掃描設備還增加了移動裝置的尺寸和 重量，從而減少了其可移動性。
目前，很多手機和移動裝置具有內置照相機。幾個因素驅^_可買 得起的數位照相機的應用及其包含在移動裝置內的蓬勃發展。最重要
的一個因素是近來可得到基於CMOS技術的便宜的圖像傳感器。在 這些裝置上的照相機提供拍攝條形碼信息的工具，以前，只有通過基 於雷射的掃描器才能得到該條形碼信息。用包含在移動裝置內的數字 照相機解碼條形碼圖像，提出了幾個難的問題。這些問題遠遠超出了 在市售條形碼讀取器中存在的難題。
因此，顯然需要能夠在裝備照相機的移動裝置上進行解碼的視覺 代碼系統。該視覺代碼系統應該能夠從寬範圍的角度和距離進行解 碼，以便用於不同的應用。

發明內容
本發明的視覺代碼系統使得裝備照相機的移動裝置起到用於專 用二維視覺代碼的傳感器和解碼器的作用。該視覺代碼可以印刷在紙 文檔上，顯示在電子屏幕上，或者附著在物理物體上，並且充當訪問 與物體相關的信息和功能的密鑰。
以這種方式增強移動裝置是有前途的，因為它們與其用戶有不斷 的聯繫，從而可用於很多日常生活中。它們提供連續的無線連接，並 且，具有集成的照相機的模型變得越來越普遍。能夠檢測在用戶的直 接的附近的物體，這增強了行動電話在移動商業、教育和遊戲場所的 作用。另外，它提供自然方式的相互交流，並且使數據輸入更方便。
視覺代碼系統提供接近實時地疊加在照相機圖像上的文字信息 或者圖畫信息的基礎，從而提供用戶"增強現實"感。這樣使在信息與 物理物體緊密相連的情形中的各種不同的應用成為可能。
一個例子是對本領域中的裝置或者設備的維護。例如，設備的各 個部分可以與不同的視覺代碼相關聯。通過解碼不同的視覺代碼，與 圖像中的項目對準的圖畫信息可以疊加在照相機圖像上。額外的可能 的應用包括顯示維護指令、定購備件、檢查維護時間表等。其它密切
相關的應用包括在郵購目錄中方便地訂貨；在線銀行應用中輸入參 考數字；將最新的在線內容連接報紙；支持與TV商業廣告、"現在投 票"或者"現在購買"TV廣告一體的移動銷售簡短廣告活動；預訂各種 事件的票；以及，簡化自身與移動裝置的交互作用。
本發明的視覺代碼系統的關鍵特徵是使大量應用例如項目選擇 和表單輸入成為可能的內置的方向無關的坐標系統、旋轉角的確定、 傾斜度的確定和距離的確定。識別算法精確地確定目標點相對於由視 覺代碼限定的坐標系統的坐標。該坐標與視覺代碼在照相機圖像中的 取向、傾斜或者旋轉無關。這樣允許所述應用將取景圖像上的每點(從 而，任意形狀的區域)與信息以及與特定操作相關聯。這樣，單個視 覺代碼可以與多個這樣的區域(例如，表格的各個單元或者圖像的各 個元素和區域)相關聯。
所述識別算法提供照相機圖像中的視覺代碼的旋轉角，作為額外 的輸入參數。可以利用這個來簡化與移動裝置的交互作用。僅僅通過 改變移動裝置的方向，顯示不同的信息，而無需通過鍵盤的任何交互 作用。以上述相同的方式，將水平傾斜度和垂直傾斜度用作額外的輸 入參數(即，不同的信息與不同的傾斜角度相關聯)。圖像坐標系統 和代碼坐標系統之間的映射也用來使照相機圖像中的投影畸變不歪 曲，從而允許自動拍攝表單元素(form element)。印刷表單的各個 區域是不歪曲的，以消除畸變，從而準備它們用於進一步的處理，例 如，將它們傳輸給在線的伺服器。
交互場所
當行動電話或者PDA被增強以充當用於真實世界物體的傳感器 時，開拓新的可能的交互作用。通過在日常生活中提供自然方式的"拾 取"數據，縮小在用戶周圍的物理世界和虛擬世界之間的間距。信息
與物理實體組配，由此對其定位並使其基於真實世界內容。因為移動 電話是無處不在的、可用的裝置，與用戶保持不斷的聯繫，所以它們 處於對該視覺有貢獻的良好位置。至於移動設置的可用性，識別代碼 所需的短交互時間是至關緊要的。它不需要用戶花費很多的努力，僅 僅需要幾秒鐘。
有很多應用場所利用視覺代碼在郵購目錄中，通過掃描視覺代 碼，可以選擇項目，以方便地進行定購。在線銀行應用中，常常需要 從印刷表單上手動地抄寫長的參考代碼或者交易數字。視覺代碼和移 動電話可以替代執行該任務的昂貴的專用的裝置。在報紙中，視覺代 碼可以用來存儲或者評定報紙文章，以得到與廣告相關的背景信息， 或者用於更新很快就過時的信息，例如，股票報價和天氣預報。使用 代碼坐標系統，可以限定具有與在線內容相關聯的預定的敏感區域的 印刷圖像地圖。這樣，單個代碼可以與多個項目相關聯例如，地圖 上的各個區域可以連接與這些區域對應的天氣預報，並且，在包含股 票報價的印刷表格上的每一行可以連結到被顯示在電話上的圖表。
在移動銷售新興領域中，視覺代碼可以用來簡化SMS活動和 SMS彩票。在廣告活動中，在160百萬飲料瓶的標籤上印刷Coca Cola 代碼數字。通過SMS發送數字，客戶得到標識語、呼叫聲和慰問卡， 標籤可以參與彩票抽獎。發送5.9百萬SMS消息，這對應於3.7V。的 響應率。使用視覺代碼，使該過程更方便用戶，並且導致在這種活動 中有更多的出席者，這在商業上是非常令人感興趣的。
所提出的二維代碼也適用於在電子屏幕例如計算機顯示器、TV 螢光屏、公共場所的壁式顯示器、以及甚至手持裝置的小屏幕上顯示。 通過在屏幕圖像上重疊視覺代碼，可以實現在TV上的問巻調查、研 究調查和民意測驗(如選擇最佳的候選人的TV節目)。音樂公司 Polydor使用SMS作為在CD的TV簡短廣告中的移動響應渠道。觀 看者可以在正式發行日之前通過SMS預訂CD，這樣立刻增加了銷售 指數。此外，使用視覺代碼，基本上可以提高響應率。裝備照相機的 行動電話不僅能夠檢索物體ID，而且還可以用於更複雜形式的交互作
用。我們的代碼識別系統還提供電話的方向、旋轉量和圖像中心的坐 標。
因此，本發明的目的在於提供一種視覺代碼系統，該視覺代碼系 統利用由視覺代碼限定的方向無關的坐標系統以及相關聯的識別算 法，該識別算法確定照相機圖像中的目標點相對於該坐標系統的坐 標。
本發明的另 一 目的在於提供一種視覺代碼系統，該視覺代碼系統 將圖像的多個區域與單個代碼相關聯，其中，每個區域連結到不同的 在線信息和與所述不同的區域相關聯的操作。
本發明的又一 目的在於提供一種視覺代碼系統，該視覺代碼系統 包括旋轉度確定特徵、垂直傾斜度和水平傾斜度確定特徵、以及3巨離 確定特徵，這允許與不同信息相關聯的不同的旋轉、傾斜和距離值。
本發明的另 一 目的在於將本發明的視覺代碼系統用於項目選擇， 顯示以文字、圖畫(例如，在移動裝置的屏幕上或者在附近的電子顯 示器上)、聽覺(例如，通過移動裝置的揚聲器、頭戴送受話器)或 者觸覺的形式的信息，以及觸發不同的操作。
本發明的另一目的在於提供一種應用，其中，文字的或者圖畫的 反饋自身疊加在照相機圖像上，與存在於該圖像中的項目正確地對準 ("配準")，從而給予用戶"增強現實"感。
本發明的另一目的在於提供一種應用，其中，視覺代碼系統與印 刷表單結合使用，以方便數據輸入。
參閱下面的詳細描述和附圖，本發明的這些和其它目的將變得更 加清楚。


圖1示出視覺代碼及其新穎特徵的例子。
圖2示出由裝備照相機的移動裝置解碼視覺代碼所用的步驟的 流程圖。
圖3示出由圖2的代碼比特置步驟所用的步驟的流程圖。
圖4示出包含視覺代碼的印刷文檔的例子。
圖5示出包含視覺代碼的印刷文檔的另一例子。
圖6示出用於日曆事件的輸入的範例表單。
具體實施例方式
下面給出對本發明的優選實施例(以及一些可供選擇的實施例) 的詳細描述。然而，對於本領域的技術人員來說，應該顯而易見的是， 可以對所描述的實施例進行形式和內容的修改，以針對各種不同的情 形進行優化。
首先參照圖1,該圖所示的是用於本發明的視覺代碼101的例子。 視覺代碼101由用於確定視覺代碼101的位置和方向的大引導條103 和小引導條105、以及用於檢測畸變的三個牆角石107， 109和111、 和具有實際代碼比特的數據區域構成。所顯示版本的視覺代碼101具 有83比特的容量，但是它的設計是一般的並且適用於擴展到大的比 特數。視覺代碼101甚至可以可靠地定位在小的、傾斜的低質量的圖 像中。
可以使用標準墨或者紅外墨印刷視覺代碼101。如果使用紅外墨 印刷視覺代碼101，則數位照相機必須能夠識別紅外圖像。紅外墨具 有這樣的優點，即，視覺代碼101是棵眼不可見的。因此，如果本發
運行，則可以使用視覺代碼101的解碼來使某一信息出現。
這三個牆角石107， 109和111限定由所述代碼引入的坐標系統。 牆角石107位於原點或者位置(0, 0)。類似地，牆角石109顯示位 於位置(IO，O)，而牆角石lll位於位置(O，IO)。在該坐標系統中， 大引導條103的中心位於位置(10，5)，而小引導條105的中心位於 位置(8， 10 )。該代碼需要在代碼周圍的單個代碼元素的空白空間(在 代碼坐標系統中的l單元)。多個視覺代碼可以相互相繼地印刷，例 如，以柵格的形式布置。在每個相鄰的代碼之間需要單個代碼元素的 空白空間(在代碼坐標系統中的l單元)。
接下來，參照圖2，該圖所示的流程圖示出由裝備照相機的移動 裝置解碼視覺代碼101所用的步驟。首先，在步驟S201中，針對徑 向畸變，校正數位照相機所拍攝的圖像。由數位照相機所獲得的圖像 通常顯示出一定量的桶形畸變。然而，對於較新的電話照相機，較少 出現徑向透鏡畸變的問題，尤其如果代碼僅僅佔圖像的小區域。通過 將每個像素徑向地移向圖像的中心來校正該圖像。位移僅僅取決於像 素離圖像中心的距離，而不取決於要校正的具體圖像。下面的校正函 數得到足夠的結果(w和h分別是圖像的像素寬度和像素高度，r是 離圖像中心的距離，k是反映透鏡的徑向畸變量的常量):
formula see original document page 13
對於諾基亞7650的集成照相機，通過手動測試，找到可接受的K-6 xl(T7。對於較新的諾基亞6600、 7610和6630，不需要校正。甚至， 對於諾基亞7650，沒有校正也進行代碼識別。
步驟S201是可任選的，因為單個視覺代碼通常僅僅覆蓋照相機 圖像的小區域。在這種情況下，徑向透鏡畸變不明顯。然而，對於一 些應用，如涉及對照相機圖像中的項目進行精確選擇的那些應用，該 步驟可以提高精確度。
接下來，在步驟S203中，因為圖像中的三種色彩通道通常具有 不同的形狀和對比度質量，所以，對圖像進行灰度標定和自適應閾值 選擇。因此，該算法使用公式灰度=(紅色+綠色)/2，而不是使用更 簡短的形式灰色=(紅色+綠色+藍色)/ 3或者用於亮度的ITU標準 公式Y = 0.2126紅色+ 0.7152綠色+ 0.0722藍色。該公式是計算高效 的，並且產生足夠的起始點用於閾值選擇。
採用自適應法，以產生黑白版本的灰度標定的圖像，因為照相機 圖像的亮度不是恆定不變的，並且，印刷代碼可能被不均勻地照明。 該算法使用灰度值的(加權的)移動平均法，同時以蛇形的方式橫穿 該圖像。按照下述公式更新平均值gs(n):
formula see original document page 14 ，
其中，Pn表示當前像素的灰度值，S表示移動平均的寬度。給gs賦予 初始值&(0)=^"其中，C是最大可能的灰度值。然後，基於下述公式
來選擇閾值化的像素T(n)的色彩formula see original document page 14
t和s的推薦值為t-15和^丄w，其中，w是圖l象的寬度。
8
在圖像經過步驟203中的灰度標定之後，接下來，在步驟S205 中，該算法試圖識別和標明圖像的不同區域。該步驟由下迷步驟組成 尋找相鄰的黑色像素的區域，計數它們，以及給每個區域分配一個號 碼。所用的算法是公知的兩階段方法。在第一階段中， 一行一行地貫 穿圖像，分配初始的標號給找到的區域。在該過程中，可能會發生這 樣的情況，具有不同標號的兩個區域實際上屬於相同的區域。在這種 情況中，這兩個臨時的標號的等同性被存儲在表格中。第二階段通過 合併相應的區域來解決等同性，並且分配最終的標號給每個區域。
接下來，在步驟S207中，該算法計算不同區域的形狀和方向。 為了在找到的區域中識別取向條的候選者，使用二階矩的概念。由像 素組R組成並且具有重心的區域的二階矩定義為
formula see original document page 14
對於這些矩，與該區域具有相同的主軸和次軸的橢圓E = {(x，y) I dx2+2exy+fy2 S l)可以通過下述i殳置來限定
formula see original document page 14 ，
主軸和次軸的長度比是對區域的"偏心率"的好的量度理想的圓 和正方形具有等於1的比值，而線段具有近似零的比值。這對識別具 有棒狀的形狀的區域非常有用。此外，區域的主軸的方向矢量可以計
算為
其中，formula see original document page 15
一旦識別不同區域的形狀和方向，在步驟S209中，該算法執行 定位和評估視覺代碼的步驟。通過尋找引導條候選者和尋找相應的牆 角石來定位圖像中的代碼。僅通過選擇具有足夠小的軸比(例如，低 於0.05)的那些區域，就找到引導條候選者。對於這些候選者中的每 一個，使用區域的尺寸和方向來評估小引導條105和三個牆角石107， 109和111的期望位置。然後，檢查這些特徵實際上是否存在於預計 的位置上。如果它們的軸比超過某一限度(如上面所述，理論上，它 們應該具有等於l的比值)，才接受找到的牆角石候選者。如果對於 某一引導條候選者不存在任何代碼特徵(牆角石107， 109和111、以 及小引導條105)，則放棄該特定候選者，並且檢查下一個。
現在，參照圖3，該圖所示的流程圖示出被圖2的代碼定位步驟 209所用的步驟。首先，在步驟303中，該算法計算從代碼坐標到圖 像坐標的投影映射(以及從圖像坐標到代碼坐標的逆映射)。 一旦找 到具有所有代碼特徵的引導條候選者，該算法就假定這個確實是圖像 中的代碼，並且開始讀取編碼比特。到此為止，必須確定圖像中的比 特位置，即，人們需要一個函數將每個代碼比特映射到圖像像素。因 為代碼元素是共面的，所以在代碼平面和圖像平面之間存在唯一的單 應性(投影變換矩陣)。 一旦知道四個對應的點，就可以計算投影映 射。在該算法中，這些對應點是三個牆角石107，109和111的中心， 再加上小引導條105的中心。這樣產生其原點在代碼的左上角的代碼 坐標系統。
左上角的牆角石107、右上角的牆角石109、大引導條103和左 下角的牆角石111的代碼坐標定義為(0，0)、 (10， 0)、 (8， IO)和(O， 10)。 假設這些元素分別在圖像坐標(Xi， yi) ('e{0，...，3})上找到。代碼
坐標(u，v) ("，ve{0，...，10})映射到圖像坐標(x，y),其中，
;c=-， _y=-^~
根據如下四個參考點(Xi， yi) 。e{0，，..，3})計算參數a至h:
=0.8x^ —(X8xi +^ -A 》=0.8% —+ j2 —_y3
"=、-A十S^"i 1 +幼 6 = X3—;c0+/zx3e = _y3—_y0+/^3 。
對於選擇圖像中可見的項目的應用來說，到上述一個的逆映射是 重要的。給出像素坐標，從而可以得到其在由代碼產生的坐標系統中 的相應坐標。圖像坐標(x，y)按照如下關係映射到代碼坐標(u， v):
w = 10--, v = 10'
其中，
￡ = c/z —6
C = 6/ _cg
Z) =— c/G = W — eg
￡■ = a — cgH =- a/z
屍=- =- W
接下來，在步驟S205中，該算法計算在圖像中的視覺代碼的旋 轉角。其取0°和359°之間的值。與圖像具有相同的方向的代碼具有 0°的旋轉角。通過將點(O，O)和(IOO，O)從代碼坐標系統映射到圖 像坐標系統來確定旋轉，從而得到圖像點(ax， ay)和(bx， by)。於 是，旋轉角確定為
a = arctan((a - ~)/("x - W}'^"^"，
但是，幾種特殊情況必須考慮。
在計算視覺代碼的旋轉角之後，接下來，在步驟307中，該算法
確定水平傾斜度和垂直傾斜度。術語"傾斜度(tilting)"表示圖像平 面相對於代碼平面傾斜的量。"水平傾斜度"是圖像平面相對於視覺代 碼的水平軸傾斜的量。類似地，"垂直傾斜度"表示圖像平面相對於視 覺代碼的垂直軸傾斜的量。1的傾斜度表示沒有傾斜，小於1的值表 示朝左/上傾斜，大於1的值表示朝右/下傾斜。傾斜度參數計算如下 計算在代碼坐標系統的軸方向上離圖像中心點恆定距離h(圖像高度) 的四個圖4象點。將它們映射到相應的代碼坐標，並且計算它們離中心 點的距離。這些距離的比值確定傾斜度參數tx和ty。它們與圖像中的 代碼的尺寸無關。如果取決於照相機參數的常量r是已知的，則可以 由這些比值確定傾斜角t/和St/。通過實驗可以得到它。 "圖像中心點的圖像坐標
P圖像坐標(c + (1，0))-/ 圖4象坐才示(c + (0,l))-/
v"/|_y|
"I代碼坐標(/-/w)-c I r= I代碼坐標(/
,- l代碼坐標(z
6= I代碼坐標(/ + /^)-~ =〃廣
=arctan
arctan
接下來，在步驟S308中，該算法計算代碼離照相機的距離。如 果真實的代碼尺寸srea,(印刷代碼的左上角的牆角石和右上角的牆角 石的中心之間的距離)和照相機的焦距f是已知的，則使用針孔模型，
由Si,ge(照相機圖像中的上牆角石的中心之間的像素距離)可以計算
從照相機到未傾斜的視覺代碼的米制距離為(wimage是圖像的像素寬 度)
formula see original document page 18
因為通常Sreal和f是未知的，並且我們為了交互目的想要使用代 碼距離，而不是測量其準確的值，所以我們用圖像中的視覺代碼的尺 寸來定義該距離。對於在取景器模式中識別代碼的最遠距離，我們設
deamera，COde:- 100。對於通常的裝置，情況就是這樣，當^^=25個 像素時，總計達圖像寬度的15.625%。因此，該距離計算為
formula see original document page 18
如果Srea,和f是已知的，仍可以根據deamera，c。de計算米制距離。 對於本領域的技術人員來說，應當顯而易見的是，可以按任何順
序執行步驟303、 305、 307、 308和309，因為每個步驟都是分離的， 並且輸出不同的參數或者結果。
一旦識別引導條103和105以及牆角石107， 109和111的位置並 且計算合適的投影映射(從代碼坐標到圖像坐標)，在步驟309中， 該算法就使用代碼坐標(u， v)通過簡單地測試黑白圖像的適當的像素 (x， y)來讀取編碼比特，其中，"，v e {0，…，10}，(x, y)-圖像坐標((u， v))。
可任選地，在步驟S311中，可以進行誤差檢測。所用的(83，76,3) 線性代碼將76比特ID編碼為83比特代碼字。所得到的加重平均距 離是三，這應該足以高概率地識別錯誤的代碼。或者，其它的誤差檢 測或者誤差校正代碼，例如Reed-Solomon代碼，可以用來提高可靠 性和對比特誤差的魯棒性。這可能以稍高的處理時間和實際上可用於 數據存儲的低比特數為代價出現。例如，原來83比特的15比特可能 用於Reed- Solomon誤差校正代碼，留下68比特用於數據存儲。
算法的應用
A.旋轉角和傾斜度的確定
除了圖像中心的代碼坐標之外，識別算法提供移動裝置相對於代 碼的方向。具體來說，該算法提供代碼在圖像中的旋轉度、觀看位置 (從左，從右，從上，從下)、圖像平面相對於代碼平面傾斜的量、
以及代碼距離照相機的距離。識別算法實施的在圖像平面和代碼平面 之間的投影映射(平面單應性)，允許將圖像坐標中給定的任意點映 射到代碼坐標中的相應點上，反之亦然。
B.項目選擇
代碼坐標系統和方向確定特徵使涉及在印刷文檔上選擇項目的 大量感興趣的應用方案成為可能。 一個例子是選擇在印刷的郵購目錄 上顯示的文章。只要項目的代碼坐標是已知的，單個代碼就足夠。這 可以璲過內容創建軟體來實現，該軟體產生關於代碼的"圖像地圖"及 其相關聯的敏感區域。因此，可以掃描郵購目錄上的文章，將其存儲 在移動裝置中，並且可以檢索關於該文章的當前信息。然後，可以使 用由移動裝置提供的無線通信信道來進行定購。
例如，在圖4中，該圖所示的包含視覺代碼的印刷文檔的例子。 地圖上的區域和表格中的條目單獨地映射到不同的URL，從而與在線 內容相關聯。
在報紙上，在線背景信息可以通過視覺代碼連結文章、廣告或者 很快過時的信息，如天氣預報或者股票報價。通過使用代碼坐標系統， 定位在感興趣的幾個項目附近的單個代碼就足夠用。通過計算距離視 覺代碼元素的垂直距離和水平距離，可以由投影映射法確定確切的目 標區域，如局部的天氣預報。在股票報價表上，以同樣的方式，可以 得到目標的行列，從而得到所需的信息。圖4示出從一頁報紙上剪切 下的圖案，其包含具有當前天氣數據的地圖和包含各個區域的雪高度 的表格。在該報紙版面上畫出的點線表示被各自連結到在線內容的敏 感區域。可以用合適的內容創建軟體創建這種繪圖。作為原型，我們 開發允許將這些區域畫到圖像並對每個區域指定相關聯的URL的繪 圖工具。該工具計算這些區域在存在於所述圖^^中的代碼的坐標系統 中的坐標，並且將該數據存儲為XML文件。通過考慮由代碼系統提 供的其它的參數，例如，旋轉度和傾斜度，可以對每個區域指定多個 URL。如圖4所示，單個代碼足以分別選擇所述區域和表格條目。通 過旋轉移動裝置，可以選擇在線信息的不同方面在實例中，垂直方
向顯示所選擇的區域的雪深度，而輕微的旋轉顯示當前的溫度。
作為另一個例子，視覺代碼可用於移動營銷，以將樣品號碼
(coupon number)自動輸入到移動裝置。 一個例子是飲料生產商的 SMS活動飲料瓶含有數字(由視覺代碼表示)，該數字可以作為 SMS發送，從而可以參與彩票抽獎。在TV上，可以使用視覺代碼來 互動地輸入特別調查和測試中的多選問題的答案，或者在TV節目中 選擇候選人。該裝置的代碼坐標和方向可以充當附加的輸入參數(除 了代碼值以外的)，例如，以回答多選問題。
額外可能的應用涉及簡化自身與移動裝置的交互作用。例如，電 話號碼可以編碼為視覺代碼，印刷在名片或者電話本上。取決於圖像 中的代碼的方向，該裝置要麼立即呼機編碼的電話號碼，將虛擬名片 存儲在裝置的存儲器中，要麼(對於行動電話號碼)啟動裝置的SMS 編輯應用。所述裝置的用戶界面的部分，如深藏的菜單，可以通過下 述方式來具體化將它們與視覺代碼相關聯，將它們印刷在紙上，或 者將它們顯示在大平屏幕上。
本發明的另外的可能的應用場合是將在線內容和操作加入到印 刷文檔上，如廣告傳單、雜誌等。範例的在線操作是通過行動電話售 賣事件票、劇院票或者電影票。
圖5示出印刷電視雜誌的一頁，其裝備有嵌入的視覺代碼。通過 瞄準印刷的視覺代碼，可以顯示劇情簡介，可以給出演員表列單，可 以顯示或者提交電影評級，可以啟動電影預告片，並且，可以通過移 動電話直接預訂票。
C.表單輸入
視覺代碼還可以與印刷表單結合，以便簡化表單輸入，其中，移 動雜誌提供無線通信信道，從而方便又便宜地發送回輸入的數據。這 些表單的領域可以是複選框、標尺和用於自由輸入文字或圖畫的畫布 領域。.使用表單周圍的框作為標記，可以精確地定域各個表單元素。 識別算法的投影映射使得圖像的各部分以及整個圖像"不歪曲"。
圖6示出用於日曆事件的條目的範例表單。所述識別算法首先識
別代碼並定位所述框的邊緣。然後，針對複選標記，掃描定位在表單 中的複選框。最後，畫布領域是"不歪曲的"，即，消除其傾斜，如圖
6的下部分所示，並且將其存儲。
為了定義所述表單，使用標記語言，該標記語言描述表單的結構， 包括其所包含的輸入元素的位置和種類。該代碼首先用作密鑰，以從 在線伺服器檢索所述表單描述。在解釋所檢索的標記之後，根據領域 類型可以將用戶輸入分類，並且將用戶輸入發送回伺服器。
權利要求
1.一種用於解碼視覺代碼的方法，包括以下步驟使用裝備有數位照相機的移動裝置拍攝視覺代碼的圖像；對所述視覺代碼圖像進行灰度標定；對所述視覺代碼圖像進行閾值選擇；識別所述視覺代碼圖像中感興趣的區域；計算在所述視覺代碼內的不同區域的方向和形狀；將所述視覺代碼定位在所述視覺代碼圖像內；以及評估被定位在所述視覺代碼圖像中的所述視覺代碼。
2. 根據權利要求1所述用於解碼視覺代碼的方法，還包括下述步驟在對所述視覺代碼圖像進行灰度標定之前，針對徑向透鏡畸變， 校正所述視覺代碼圖像。
3.根據權利要求1所迷用於解碼視覺代碼的方法，其中評估所 述視覺代碼的所述步驟包括以下步驟投影映射； 計算 投影映射；計算被定位在所述視覺代碼圖像中的所述視覺代碼的旋轉角； 計算所述視覺代碼的水平傾斜值和垂直傾斜值； 計算所述視覺代碼距離所述移動裝置的距離；以及 讀取在所述視覺代碼內的編碼比特。
4.根據權利要求3所述用於解碼視覺代碼的方法，還包括下述步驟: 在所述視覺代碼上執行誤差檢測。
5. 根據權利要求3所述用於解碼視覺代碼的方法，其中所述視 覺代碼由三個牆角石、 一個小引導條和一個大引導條構成。
6. 根據權利要求5所述用於解碼視覺代碼的方法，其中單個的 視覺代碼是通過識別所述牆角石、所述小引導條和所述大引導條來定 位的。
7. 根據權利要求3所述用於解碼視覺代碼的方法，其中所述視 覺代碼由三個牆角石、 一個小引導條和一個大引導條構成，並且在計 算所述視覺代碼的所述旋轉角、計算所述視覺代碼的所述距離以及計 算所述視覺代碼的所述傾斜度的步驟中，使用所述小引導條和所述大 引導條的方向。
8. 根據權利要求1所迷用於解碼視覺代碼的方法，其中，對所 述視覺代碼圖像進行灰度標定的所述步驟是通過對紅像素和綠像素 的值求平均而計算每個灰度標定的像素的值來執行的。
9. 根據權利要求8所述用於解碼視覺代碼的方法，其中，使用 加權移動平均算法將所述灰度標定的視覺代碼圖像轉換為黑白圖像。
10. 根據權利要求3所述用於解碼視覺代碼的方法，其中，所述 小引導條和所述大引導條通過定位所述視覺代碼圖像中的具有在預 定範圍內的軸比的區域而被識別。
11. 根據權利要求5所述用於解碼視覺代碼的方法，其中，所述 三個牆角石和所述大引導條定位在(O，O)、 (10，0)和(0，10)的位置上，並 且所述大引導條的中心定位在所述視覺代碼坐標系統中的(8，10)位置 上,
12. 根據權利要求3所述用於解碼視覺代碼的方法，其中，利用 由所述視覺代碼的旋轉角、水平傾斜值、垂直傾斜值和距離組成的組 中的至少 一個來從所述視覺代碼所定位在其上的菜單中選擇選項。
13. 根據權利要求5所述用於解碼視覺代碼的方法，其中，多個 視覺代碼按柵格形式布置，以通過多個視覺代碼存儲更多的數據，以。
14. 根據權利要求l所述用於解碼視覺代碼的方法，其中所述解 碼實時地進行，以及所述解碼的結果在所述移動裝置的顯示器上是可 見的。
15. 根據權利要求3所述用於解碼視覺代碼的方法，其中利用所 述視覺代碼相對於所述移動裝置的方向作為參數，以從資料庫中選擇 條目。
16. 根據權利要求15所述用於解碼視覺代碼的方法，其中所述 視覺代碼的解碼值用作附加參數，以從所述資料庫中選擇條目。
17. 根據權利要求15所述用於解碼視覺代碼的方法，其中所述 資料庫將不同的一致資源定位器URL與至少一個方向值相關聯。
18. 根據權利要求3所述用於解碼視覺代碼的方法，其中所述視 覺代碼距離所述移動裝置的距離用作參數，以從資料庫中選擇條目。
19. 根據權利要求3所述用於解碼視覺代碼的方法，其中所述視 覺代碼相對於所述移動裝置的傾斜角用作參數，以從資料庫中選擇條 目。
20. 根據權利要求15所述用於解碼視覺代碼的方法，其中所述 資料庫將所述方向角與表單條目相關聯，從而允許所述移動裝置的用戶通過改變所述移動裝置相對於所述視覺代碼的方向來從所述表單 中選擇條目。
21. 根據權利要求15所述用於解碼視覺代碼的方法，其中所述 資料庫將所述方向角與由劇情簡介、視頻片段、音頻文件和電影評論組成的組中的至少一個相關聯。
22. 根據權利要求l所述用於解碼視覺代碼的方法，其中使用紅 外墨印刷所述視覺代碼，以及其中所述數位照相機是能夠拍攝所述紅 外視覺代碼的紅外照相機。
23. 根據權利要求3所述用於解碼視覺代碼的方法，其中在照相 機圖像中可見的一個或者多個代碼的代碼坐標系統中所表述的目標 點用作參數，以從資料庫中選擇條目。
24. 根據權利要求23所述用於解碼視覺代碼的方法，其中所述 視覺代碼的解碼值用作附加參數，以從所述資料庫中選擇條目。
25. 根據權利要求14所述用於解碼視覺代碼的方法，其中圖畫 覆蓋在所述照相機圖像上，並且當所述移動裝置移動並且所述視覺代 碼的所述方向改變時，所述覆蓋始終與所述照相機圖像中的物體在幾 何對準。
26. 根據權利要求1所述用於解碼視覺代碼的方法，其中通過交 叉線幫助將所述數位照相機瞄準所述視覺代碼，所述交叉線顯示在所 述移動裝置的屏幕上。
27. 根據權利要求26所述用於解碼視覺代碼的方法，其中所述 移動裝置的所述屏幕是觸控螢幕，以及其中可以通過使用觸筆指定所述 目標點來指定所述交叉線的所述位置。
28. 根據權利要求4所述用於解碼視覺代碼的方法，其中利用 Reed-Solomon誤差檢測來執行所述誤差檢測。
全文摘要
本發明公開一種視覺代碼系統，其中，使用裝備照相機的行動電話(或者類似的裝置，例如，無線PDA)來識別和解碼含有一個或者多個「視覺代碼」的圖像。通過識別代碼標記，該裝置可以確定編碼在該標記(代碼值)中的位圖案或者整數、目標物體或者圖像元素、以及附加的參數，例如，照相機的視角。在移動裝置自身上執行代碼識別。當移動裝置裝備有無線通信信道時，基於感測的代碼及其參數，可以用該裝置來檢索在線內容或者訪問網際網路上的信息。然後，所檢索的內容可以顯示在移動裝置上。
文檔編號E04B2/18GK101099161SQ200580046131
公開日2008年1月2日 申請日期2005年5月28日 優先權日2005年4月13日
發明者比特·格菲勒, 麥可·羅斯 申請人:Scanbuy公司;麥可·羅斯;比特·格菲勒