使用增強現實的視覺密碼術與混淆的製作方法

2023-05-30 23:52:56

本發明涉及用於視覺混淆與密碼術的方法和裝置。

背景技術：

視覺密碼術和條形碼驗證

視覺密碼術的最初想法是一種秘密共享方案，其中2個或更多的n個用戶能夠通過覆蓋圖像份來機械地解密視覺圖像，其中假設這些份中存在透明性。將秘密圖像分解成n份，使得將只有擁有所有份的人才能解密原始圖像。

在隱私保護人-計算機交互中的最新研究允許授權用戶破譯在諸如電子屏幕或印刷材料的顯示器上示出的數據。在前一種情形中，授權用戶能夠接著與系統交互（例如，通過按壓屏幕上的按鈕），而不會向可能正在觀看的其它人或向系統本身顯露交互的細節。用戶可在隨身持有的個人裝置（諸如，具有攝像機和平視顯示器（hud）的一副智能眼鏡或智慧型電話）上查看解密的數據。然後，能夠將數據作為圖像覆蓋顯示在對手無法查看的個人裝置上。覆蓋是增強現實的一種形式，它不僅允許用戶查看受保護的數據，而且還通過使輸入界面隨機化來允許用戶將pin輸入安全地輸入到系統中。這種方案能夠使用任何類型的視覺數據編碼（例如，qr碼、數據矩陣或數據字形）。這種現有技術試圖防止肩窺，因為對手看不到用戶正在觀察的內容以及在屏幕上正被輸入的內容。此外，在受感染的主機上運行的鍵盤記錄器可無法獲知關於用戶輸入的任何事情。

使用惡意qr碼劫持智能眼鏡是可能的。這突出了實現缺陷，而另一個場景是qr碼釣魚攻擊。然而，存在用於基於籤名驗證諸如qr碼的2d碼的解決方案。另外，早前的工作中已經使用2d條形碼來用於安全裝置配對。

觸覺、眼睛和凝視追蹤

眼睛追蹤已經取得了很大進展，並且開發了不同的認證方法，其中用戶凝視pin鍵板以便輸入他們的pin碼。其它工作與生物計量認證有關，因為眼睛運動特性是獨特的，且可被使用以便識別用戶。在生物計量認證領域，已經存在依賴於觸覺的工作，即，牽涉到觸摸傳感器的非語言交流，其已被示出為對用戶認證起作用。

通用認證架構

通用認證架構（gaa）是由在tr33.919中定義的3gpp制定的標準。它為要求基於共享秘密的認證的客戶端和伺服器提供新生密鑰材料，並為要求不對稱認證的那些應用籤署證書。用戶的設備通過現有3g或2g認證協議向運營商的gaa服務認證它們自己，並在過程中接收新密鑰。並且，用戶想要使用的服務能夠從gaa中抽取它們。這樣，客戶端和伺服器就能夠共享秘密。

已存在發表的之前工作，其中gaa被用於一次性授權碼（otac）系統，並描述如何經由移動裝置對來自計算機的服務執行認證。

現有解決方案具有的問題

用於眼睛和凝視追蹤的方法與諸如表徵眼睛運動的生物計量認證一起將總是伴隨著取決於許多因素的誤差率。另外，用戶可能並不熱衷於他們的生物計量信息可能存儲在某個地方並潛在地受到危害的想法。

視覺密碼術做了如下假設，在最終用戶和示出加密的內容裝置之間存在某種共享秘密。當示出秘密信息時，重要的是保護它免於遭受肩窺和具有更加進化的記錄能力的惡意軟體。另外，用戶必須能夠驗證內容裝置。

在一些現有技術解決方案中，提到了如何使用專門方法來交換密鑰以便將內容裝置與使用wi-fi、藍牙或nfc的最終用戶行動電話配對在一起，且這要求額外的設立階段。使用智能眼鏡，有可能通過掃描qr碼或向服務認證來設立並連接到wifi，但是這裡也要求提供憑證或驗證移動裝置。

其它現有技術方法依賴於基於要與內容裝置一起使用的在用戶裝置中預備的主密鑰的密鑰建立。由此，使用充當現時值（nonce）的條形碼，以便在ue和內容裝置處使用kdf導出密鑰。但是，它沒有提到如果有兩個人在公共終端上同時查看內容屏幕，或者如果這是離線認證時的同步問題。

將來的惡意軟體可採用不同於鍵盤記錄的技術，並且如果認證技術出現在更廣泛使用智能眼鏡的情況中，那麼其所採用的技術改為集中在hud和攝像機記錄上。這看似有道理，因為眼鏡受語音控制，並且因此可不使用鍵盤輸入，並且它可能對於出於各種原因劫持攝像機的對手有吸引力。

沒有提到在惡意內容裝置想要引誘用戶提供他們的pin碼或其它認證憑證的情況下如何保護用戶免受釣魚攻擊。

技術實現要素：

本發明目的在於改善現有技術的問題，且具體來說，提供用於防止對有關材料的未授權查看的方法和用戶裝置，從而使得對手更難查看有關材料。

根據第一方面，提供一種用於防止對至少一個實體的未授權查看的方法。所述方法包括從要求授權訪問的資料庫訪問與所述至少一個實體有關的原始數據。所述方法還包括將包括在所述原始數據或所述原始數據的加密版本中的所述至少一個實體分割成至少第一分割部分和第二分割部分。要求所有所述分割部分以便於允許將所述實體的全部內容可視化。此外，所述方法包括將所述第一分割部分作為圖像數據發送到由授權用戶所戴的一副視頻眼鏡的顯示單元。此外，所述方法包括將所述第二分割部分作為圖像數據發送到第二顯示單元，由此所述第一顯示單元和所述第二顯示單元的重疊允許將所述實體的全部內容可視化。

根據另一個方面，提供一種用戶裝置，它包括具有屏幕的移動裝置和視頻眼鏡。移動裝置屏幕和視頻眼鏡互連，並且移動裝置配置成執行根據附加的權利要求的方法的有關步驟。

根據本發明的解決方案基於將信息分割在兩個或兩個以上分割部分中的概念。能夠使用增強現實（例如，使用終端屏幕和一副智能眼鏡中的平視顯示器（hud））通過覆蓋或重疊來組合這些分隔部分。通過將有關信息分割在若干分割部分中，除了當用戶組合所述兩個部分並且能夠解譯全部信息時，所述有關信息的全部內容絕不會是以明文形式的。

所述至少兩個分割部分的對齊能夠人工執行或例如使用攝像機自動執行。能夠使用不同技術以便簡化對齊，例如在屏幕上增加對於攝像機易於發現和以高精度定位的特徵。

能夠利用多於兩個分割部分，例如三個或三個以上分割部分，此時將所述兩個分割部分發送到自動立體視顯示器單元屏幕，並將其餘分割部分發送到此幅智能眼鏡的一個或多個顯示單元。

有關信息可包括至少一個實體，例如字符、數字、字母、形狀或圖像，在沒有獲取所有相關聯的分割部分以及它們要如何在每個相關聯的顯示單元上被呈現的情況下，不能夠實現所述至少一個實體的整個內容。

為了將有關實體的整個內容可視化，可將一個分割部分發送到終端顯示器單元屏幕，並可將另一個分割部分發送到智能眼鏡的hud。

當實體涉及數字或多個數字，例如pin碼或一次性訪問碼（otac）（其中使用數字字體表示數字）時，可將以純文本形式的所述數字的一些部分作為第一分割部分發送到終端顯示器單元屏幕，而將所述數字的其餘部分作為另一個分割部分發送到智能眼鏡中的顯示單元hud。在本發明的相關聯實施例中，將純文本途徑稱作為混淆途徑。

備選的是，不將所述實體的部分作為純文本分割部分進行發送。在本發明的相關聯實施例中，將非純文本途徑稱作為視覺密碼術途徑。在視覺密碼術途徑中，對實體應用視覺密碼術，其中並非將每個所得分割部分作為純文本示出在相關聯的顯示單元上。視覺密碼術途徑適應於使用一副智能眼鏡工作。

在一個實施例中，分割部分的解密和解混淆在至少兩個顯示單元上執行呈現從混淆途徑或視覺密碼術途徑產生的分割部分，所述至少兩個顯示單元中的一個包括在此副智能眼鏡中。只有當用戶實際上能夠如同在混淆途徑中一樣明文看到分割部分數據時，該分割部分數據才是以純文本形式的。否則，如同視覺密碼術途徑中一樣總是將它加密。

本發明的優點是，它允許降低成功肩窺的風險。此外，通過將查看有關信息所要求的信息分割在至少兩個顯示單元中，本發明提供用於使得對手更難獲得有關信息的手段。

根據本文中的實施例的數據分割可通過使用混淆途徑或視覺密碼術途徑來進行。

例如，在釣魚攻擊中，要求知道如何執行數據分割。如果內容裝置（cd）正在對pin輸入進行釣魚攻擊，並生成不正確的數字分割且將這些顯示給用戶設備（ue），那麼當此副智能眼鏡的hud將分割部分與cd已知的相關聯分割部分覆蓋或疊加時，將不會形成任何有意義的數字。

根據一些實施例的本發明防止肩窺，同時使得具有hud和攝像機記錄能力的高級移動裝置惡意軟體更難獲知用戶憑證。通過在至少兩個顯示單元之間分割所要求的信息，對於攻擊者要求大量工作來通過在用戶認證期間觀察hud顯示器並執行攝像機記錄來組合數據分割，這遠好於在hud中簡單地顯示所有敏感信息的當今的解決方案。通過將數據分割成多於兩塊，使用自動立體視顯示器將使得這甚至更難。

本發明的解決方案能夠與涉及例如眼睛和凝視追蹤或觸覺認證的生物計量認證的其它解決方案組合。同樣情況適應於對於使用gba協議來在ue和cd之間預備數據分割信息，這是可選的並且對離線預備解決方案也有效。

假如使用gba在cd和ue之間預備分割數據信息，那麼不要求用戶認證中針對的服務便可生成和明了用戶的數據分割，而是能夠改為集中在驗證憑證正確上。根據一些實施例，本發明的解決方案能夠用於數字和/或字母認證憑證或用於一次性授權碼（otac）。它還能夠用於顯示敏感材料。數據分割也能夠由形狀、著色方案或圖形組成。

能夠機械地使用視覺混淆和密碼術方法二者。

還能夠採用自動立體視顯示器使用描述的方法將視覺密碼術方法分割成三個分區。其優點是，如果攻擊者具有這三個分區中的兩個分區，那麼他將不能確定純文本，這與視覺混淆相反，在視覺混淆中，具有三個中的兩個，就有可能猜到混淆的值。

附圖說明

將在對附圖進行參考下進一步詳細描述本發明，其中：

圖1示出根據一實施例的方法的流程圖；

圖2示出根據一實施例的方法的流程圖；

圖3示出本發明的概念，其示出根據一實施例如何構造原始圖像的加密圖像和創建的otp；

圖4和圖5示出根據一實施例的加密圖像的外觀；

圖6示出根據一實施例源自原始圖像的通過重疊至少一個創建的otp和原始圖像的加密圖像示出的三個數字；

圖7示出根據一實施例源自原始圖像的通過重疊至少一個創建的otp和原始圖像的加密圖像示出的三個數字的另一個示例；

圖8示出根據一實施例的方法的流程圖；

圖9示出左邊的lcd顯示的7分區數字的可能分區，以及右邊的由分區0、1、4和6組成的數字4；

圖10示出在一個顯示單元上呈現的包括多個數字分割部分的圖像；

圖11示出當與例如由另一個顯示單元顯示的包含每個數字的其餘分割部分的圖像相重疊時，圖10的圖像的外觀；

圖12是根據一實施例的可能用於授權的以字母形式的多個可能實體；

圖13示出lcd顯示中具有16個分區的字母a；以及

圖14示出在通用引導架構環境中實現的本發明。

具體實施方式

本發明一般涉及認證後步驟，其牽涉到分割包括至少一個實體(例如字符、數字、字母、形狀和/或圖像)的視覺信息，使得在第一顯示單元（例如一副視頻眼鏡中的平視顯示器（hud））上顯示信息的第一分割部分，而在第二顯示單元（例如移動裝置屏幕或計算機屏幕）上顯示其它分割部分。例如，能夠在例如移動裝置和內容服務提供商之間的認證（使用共享秘密）期間確定分割包括實體的原始數據的不同技術以及在哪裡示出的什麼樣的分割部分，但是人們不能夠從單個分割部分確定其它分割部分的外觀。

在一實施例中，根據圖1，提供用於防止對至少一個實體的未授權查看的方法10。該方法包括從要求授權訪問的資料庫訪問11與所述至少一個實體有關的原始數據。該方法還包括將包括在原始數據或原始數據的加密版本中的所述至少一個實體分割12成至少第一分割部分和第二分割部分，其中要求所有分割部分以便允許對實體的全部範圍的可視化。此外，該方法包括將第一分割部分作為圖像數據發送13到由授權用戶所戴的一副視頻眼鏡的顯示單元。此外，該方法包括將第二分割部分作為圖像數據發送14到第二顯示單元，由此第一顯示單元和第二顯示單元的重疊允許將實體的全部範圍可視化。

相關信息可包括至少一個實體，例如字符、數字、字母、形狀或圖像，在沒有獲取所有相關聯的分割部分以及它們要如何呈現在每個相關聯的顯示單元上的情況下，不能夠實現所述至少一個實體的整個範圍。

在一實施例中，方法10、20、80還包括：在用戶裝置和服務/內容提供商之間建立101會話；以及交換102加密密鑰，以使得允許訪問原始數據。

視覺密碼術途徑

傳統的視覺加密方案使用兩個組分，其被創建為多個黑和白子像素。將這兩個組分疊加以便顯露原始圖像。已知的是，使用具有大小與原始圖像相同的一次性鍵板（otp）作為第一組分，並通過對原始圖像和otp進行xor來創建加密圖像。為了可視地創建xor，用一對或4個子像素表示原始圖像中的每個像素，並通過按照像素添加來執行疊加。這創建這樣的圖像，該圖像在原始圖像是1的地方具有全都為白的子像素，並且在原始圖像是0的地方是半白/半黑。

與傳統視覺加密方案對比，本發明提供不同的途徑。取代具有由黑和白子像素組成的兩個組分，要對第一顯示單元顯示的一個分割部分包括黑和白子像素，而即要在一副智能眼鏡或視頻眼鏡中的第二顯示單元上顯示的另一個分割部分包括白和透明子像素。視頻眼鏡主導了屏幕，這意味著，眼鏡中的白像素將使疊加圖像中的對應像素為白，而不管屏幕上對於該像素的值如何。對於眼鏡中透明的像素位置，疊加的圖像將得到屏幕對於該位置具有的值。通過將黑/透明表示為0（即，「零」），且將白表示為1（即，「一」），通過按照像素or（或max）進行重疊。

如下執行加密組分的創建。首先，創建具有大小與由一和零組成的原始圖像相同的臨時一次性鍵板（otp）。然後，我們通過例如在新otp中形成子像素矩陣的四個子像素（其中在對角線上具有白子像素（即，））表示臨時otp中的「一」，並用對角線上的兩個透明像素（即，）表示「零」。可選地，「一」導致子像素矩陣，並且「零」導致子像素矩陣。

現在使用包括所有子矩陣的這個更大的圖像作為otp。該otp形成第一分割部分，將第一分割部分發送到視頻眼鏡中的第一顯示單元。然後，使用以下規則創建要作為第二分割部分顯示在例如移動裝置顯示屏幕或計算機屏幕的第二顯示單元上的加密原始圖像，其中假設在白背景上顯示黑數字。

參考圖3，如果原始圖像像素為白並且otp為，或者原始圖像像素為黑並且otp為，那麼使得用表示加密像素，否則用表示加密像素。

這樣，在第二顯示單元上顯示的第二分割部分的黑像素被放置使得當有人想要在疊加圖像中創建白像素時，它們被視頻眼鏡中顯示的第一分割部分的白像素所「遮覆」，而當我們想要在疊加圖像中創建黑像素時，它們被放置成通過眼鏡中的透明像素被看到。這對應於通過對原始像素值和otp進行排斥（exclusive）或（xor）來創建加密圖像。

在一實施例中，根據圖2，提供用於防止對至少一個實體的未授權查看的第二方法20。這裡，原始數據涉及原始圖像。第一分割部分形成為一次性鍵板（otp），第一分割部分otp具有的大小至少對應於原始圖像的實體的大小或更大，並且其中第二分割部分形成為原始數據的加密圖像版本。

第二方法的步驟對應於第一方法10的那些步驟，但對關於如何創建所述至少兩個分割部分提供了進一步細節。對於第二方法20，通過創建21具有大小與原始圖像相同的臨時otp來創建對於第一分割部分的一次性鍵板，其中對於原始圖像的每個像素位置為「一」或「零」。此外，第一分割部分otp通過以下方式創建：對於臨時otp的每個像素採用至少四個子像素形成子像素矩陣來表示臨時otp的每個像素，其中第一分割部分otp包括每個子像素矩陣，其中第一分割部分otp具有的大小是臨時otp的大小的至少四倍。這裡，通過相關聯子像素矩陣的對角線上「白」子像素並用在該相關聯子像素矩陣的其它位置「透明」像素來表示臨時otp中的每個「一」。此外，通過相關聯子像素矩陣的另一對角線上「透明」像素並用在該相關聯子像素矩陣的其它位置「白」像素來表示臨時otp中的每個「零」。

根據第二方法20，通過創建23原始圖像的加密圖像來創建第二分割部分，其中加密圖像包括多個加密子像素矩陣，每個加密子像素矩陣與第一分割部分otp的一個子像素矩陣相關聯。這裡，每個加密子像素矩陣通過其對角線上的「黑」子像素並用其的其它位置上「白」子像素表示。因此，當原始圖像的對應像素是「白」並且對於該對應像素第一分割部分otp的對應對角線的子像素是「白」時，或者當原始圖像的對應像素是「黑」並且對於該對應像素第一分割部分otp的對應對角線的子像素是「透明」時，相關聯加密子矩陣的對應對角線的子像素通過「黑」子像素並用其的其它位置上「白」子像素表示。否則，相關聯加密子矩陣的對應對角線通過「白」子像素並用其的其它位置上「黑」子像素表示。

在一實施例中，優選由顯示加密圖像的服務或由移動運營商（如果使用gba的話）生成otp，並將它預備給用戶。

可使用視覺密碼術途徑來加密實體，例如數字、字符、字母等，當將所述兩個分割部分疊加時實體被可視地顯露。圖4示出隨機化otp，其中對於原始圖像中的每個像素，我們創建了2×2子像素，即，2×2子像素矩陣。圖5示出由攝像機捕獲的在第二顯示單元上被可視化時的加密分割部分數據的圖片。對於原始圖像中的每個像素，根據上文創建用於加密圖像的2×2圖案。使用估計的攝像機參數來補償圖片中的徑向和切向失真。人工估計用於包繞（warp）otp以便與圖片相匹配的轉換，而在計算機視圖中能夠使用標準技術來自動估計該轉換；備選的是，能夠對屏幕和頭部進行旋轉和傾斜，以使得組分匹配。圖6中示出疊加的結果，其中可觀察到原始實體5、3、4。

圖像失真

由於以下誤差的來源，視覺重疊（即，解密）並不完美。一個失真源起因於由不完美攝像機引起的圖像失真（例如，非線性）。另一個失真誤差源與在圖片平滑otp中將白區域「摻混」到黑中有關。第三個失真誤差的來源與估計的轉換可能無法完美地將otp包繞到圖片的事實有關。

以上示例中使用的2×2子像素矩陣表示只是一個可能的選項。在以下示例中，我們對用於創建數字的模型中的每個線段只使用兩個子像素/條。在otp中和在加密圖像中，對於每個線段設置所述兩個像素/條之一。對於在原始圖像中設置用來創建數字的線段，otp和加密圖像將具有不同的子像素/條設置，並且其它線段將具有相同的子像素/條設置。在疊加圖像中，數字將以明文出現。注意，在以下示例中，創建比在加密圖像中更大的otp子像素/條，以便使得系統對於之前提到的誤差不那麼敏感。

視覺密碼術途徑至少與下面的優點相關聯：在沒有獲取第一分割部分和第二分割部分二者的情況下對手很難猜到正確數字。由於每個原始圖像的otp包括大量的子像素矩陣，每個子像素矩陣是、、或，所以通過只觀察呈現在第二顯示單元上的加密圖像很難充分地猜到正確的關聯實體。

混淆方法

在一實施例中，根據圖8，提供了用於防止對至少一個實體的未授權查看的第三方法80。該方法示出與圖1的方法的步驟類似的步驟，但對關於如何創建所述至少兩個分割部分具有進一步細節。這裡，實體涉及至少一個字符，例如諸如數字、字母等。

在第三方法80中，分割12包括將字符分割81成若干分區，每個分割分區與表示特定字符的獨特概率相關聯，其中用概率矩陣表示每個分區的獨特概率，並且其中用原始概率分布矩陣表示所有可能分區的概率矩陣。分割12還包括創建82數量為n的新概率分布矩陣，其中每個新概率分布矩陣具有鑑於對應於原始概率分布矩陣的獨特概率條目隨機改變的概率條目。此外，分割12還包括隨機選擇83原始概率矩陣和所述數量為n的新概率分布矩陣之一。該方法80還包括：根據選擇的概率分布矩陣將相關聯的至少一個字符的至少一個分區當作第二分割部分作為圖像數據發送14到第二顯示單元；以及將相關聯的至少一個字符的其餘分區當作第一分割部分作為圖像數據發送13到第一顯示單元。

應注意，能夠根據「定製」分布來挑選為每個字符選擇的分區。基於該「定製」分布，能夠將每個分區隨機地顯示到特定顯示單元上。一旦已選擇了一個或多個分區用於顯示到一個顯示單元上，便能夠將相關聯字符的其餘或補充分區顯示到其它顯示單元上。

為了便於理解根據本發明的一些實施例的混淆途徑，在本文中給定的一些示例中的實體涉及數字，其例如能夠是pin碼的數字。

當輸入例如pin碼時，不被期望的是在肩窺的情況下顯露pin碼。

以某種方式來設計視覺混淆，該方式使得即使在具有來自第一顯示單元（例如，視頻眼鏡中的hud）的視覺信息的情況下，將不可能確定在第二顯示單元（例如，移動裝置屏幕）上示出的信息以及如果我們正在輸入pin碼時我們正按的什麼數字。

應該領會到的是，混淆途徑洩露了關於純文本的一些信息。但是，對手/攻擊者只能根據概率分析來猜測純文本是什麼。

對手也許能夠將所述兩個分割部分組合，但其是繁瑣的並且要求計算機視圖技術來自動地完成這個。備選方案是假設如下情況：能夠以某種方式禁用攝像機，例如通過將脈衝光引導向攝像機並使其致盲，但這僅僅是人們能夠做出的假設。

第三種備選方案是其中將缺失第三部分的自動立體視（進一步細節參見下文）途徑，但這增加了猜對的概率。

分割數字

在混淆途徑的第一示例中，lcd字體被考慮用來表示數字，因為這些字體能夠容易地被劃分成若干部分。圖9示出能夠構成所有可能的數字0-9的編號為0-6的分區或線。能夠使用二進位序列x1,x2…x7來編碼數字，其中

一個示例，圖9中的數字4可編碼為序列0111010。對於數字4分割成兩個分割部分可以例如是0110000和0001010。使用這些分割部分，存在猜對的概率非常小，因為存在同樣能夠這樣分割的多個數字來從其中進行挑選。能夠隨機選擇用於每個數字的分區，這對能夠形成數字的不同分區給予了相等的概率分布。如何分割每個數字的選擇優選不是靜態的，從而使得對手更難實現正確數字。替代的是，可使用不同分割分區的分布。

在一示例中，本發明者演算了對於pin鍵板情形只通過獲取一個分割部分猜到正確數字的概率，其中每個數字0-9必須被使用且僅可使用一次（不能出現重複數字），如果對手知道在將數字分區時使用的分布，那麼該概率為0.3743。

與其中每個數字0-9必須呈現一次並且僅可呈現一次的pin鍵板情形相比，對於otac情形，控制向用戶示出哪些數字是可能的。例如，在otac情形中，有可能挑選使用更易於不太常猜的某些數字。因此，對於otac情形，有可能構造不同分布或隨機分區分布，並且如果攻擊者使用同等概率分布，那麼對於每個數字，猜對的概率下降為0.2833。因此，對於雙數字碼，那么正確猜到所有數字的機會是0.28332=0.08=8%。

可為每個數字和數字分區指派不同概率。可在標識為分布矩陣的矩陣中收集每個數字的這些不同概率。

對於otac情形，能夠獲得若干分布矩陣。能夠事先生成分布矩陣。倘若對手不知道哪個分布矩陣被使用，那麼這種若干數量的分布將使得對手難以猜對。為每個數字提供若干分布的目的是使對手在觀察分區中的一個時其猜對數字的概率最小化。在分割數字之前，能夠例如從許多分布中隨機選擇出分布，從而使得對手甚至更難猜到正確數字。可選地，可使用如何在若干分布中間進行選擇的特定策略。

一旦已選擇了特定分布矩陣，便選擇分布矩陣中每個數字的分區。隨後，將每個數字的選擇分區作為第一分割部分發送到第一顯示單元，並將數字的其餘分區發送到至少第二顯示單元。選擇分布、選擇分區並將分割部分發送到不同顯示單元的過程能夠在本地執行，或者它能夠例如通過通用引導架構（gba）伺服器或通過服務/終端主機來完成。

特定策略能夠考慮如下情形。

狀況的一個示例是數字是否必須出現至少一次（例如，在pin鍵板中）或者是否人們可像otac場景中那樣自由地挑選數字。

另一種狀況能夠是，攻擊者知道使用了什麼分布。然後，可能的是通過使用若干分布調整策略。總之，對於所有場景存在不只一個最佳分布，但挑選分區的策略取決於狀況。

在一實施例中，優選的是，在每個會話上隨機化pin鍵板，但是如何分割數字必須是靜態的，因為如果每次不同地分割數字，那麼對手能夠在每次會話中獲知到新的信息。

分割字母

在前一章段中，出於pin碼認證的目的，論述了以數字形式的實體。但是，根據本發明的實施例，實體不僅限於數字。在本章段中，進一步解釋以字母形式的實體。為了表示所有不同的字母和字符，人們能夠使用與數字分割情形中的lcd字體相類似的lcd字體，但略作修改，如圖12中所示使用ds-數字字體或如圖13中所示的類似變型。

可利用根據一些實施例的本發明來提供對敏感資料進行安全的讀，且仍然防止肩窺並遮掩攝像機記錄惡意軟體。如果用戶設備和內容裝置（cd）共享秘密，在這種情形下如何完成字母分割，然後通用引導架構（gba）（在下面進一步詳細描述）對於該設立是可選的，並且人們可具有離線交互。cd應用能夠生成以文本形式的字母的隨機分割，並告知ue中的應用在視頻眼鏡的hud中示出什麼內容，ue和cd之間的簡單交互如圖14中的步驟1和2。再一次地，每個獨特的文本塊應當具有靜態字母分割，使得觀察者在捕獲若干混淆會話時可無法獲知全部文本。

分割形狀和圖像

能夠使用遮覆圖像的可編碼和系統性的分區圖案以類似方式分割具有任意形狀/圖形的一般圖像。

顯示單元

在視頻眼鏡的hud上顯示的視覺信息能夠例如被視頻眼鏡內的單個攝像機捕獲並被引導向hud。但是，通過向該單個攝像機不能對準（register）的相同視頻眼鏡的另一個hud呈現不同分割部分，那麼該單個攝像機只捕獲例如在用戶的右眼前面顯示的分割部分。因此，可能沒有準確地確定來自在左眼前面的hud上顯示的分割部分，以構成數字的所有分割部分。

能夠通過引導攝像機並捕獲眼睛中的反射來對沒有智能眼鏡的用戶潛在地執行類似攻擊。在此類事件中，解決方案能夠是使用自動立體視顯示器（進一步細節參見下文）。

在一實施例中，第一顯示單元是透明類型（眼鏡），且第二顯示單元是具有非透明類型（屏幕）。

三個顯示單元

將相關實體信息分割在多於兩個分割部分中允許甚至更高的安全度。

在一實施例中，分割還包括將所述至少一個實體分割在第一分割部分、第二分割部分和至少一個進一步的分割部分中，並且其中在第三顯示單元上顯示所述至少進一步的分割部分。

在一實施例中，第三顯示單元和第二顯示單元可包括在具有自動立體視或偏振立體顯示器類型的立體視顯示器單元中。

在一實施例中，第三顯示單元和第一顯示單元包括在視頻眼鏡中，可選地作為布置在視頻眼鏡中的兩個平視顯示器（hud）。

當輸入例如pin碼時，不被期望的是向hud-和具備攝像機記錄能力的惡意軟體顯露pin碼。在一個實施例中，這通過將數字分割在三個不同分割部分中來防止，一個分割部分（實際上是兩個分割部分）可在自動立體視屏幕（例如，觸控螢幕）上顯示，在此情況下，由於對雙眼顯示不同圖像，所以右眼和左眼看到不同信息。在例如放置在右眼通道中的視頻眼鏡的hud中示出最後的分割部分。被預見的是，它能夠是眼鏡中的兩個hud，一個在左眼通道中，並且另一個在右眼通道中。將眼鏡和眼睛與屏幕對齊提供關於數字的全部視覺信息。

當使用三個分割部分時，那麼與對於所述兩個分割部分的情形相比，存在選擇分區的更多可能的組合用來示出在每個顯示單元上。這使得對手在只獲取其中一個或兩個分割部分時甚至更難找出正確實體。

如果惡意軟體對移動裝置和眼鏡具有完全的控制，那麼它能夠讀hud信息並劫持攝像機。但是，在移動裝置和視頻眼鏡中的攝像機中均具有惡意軟體的風險被認為是遠小於只在其中一個顯示單元裝置中具有惡意軟體的風險。

通過使用自動立體視屏幕、觸控螢幕，右眼和左眼將接收不同圖像，並且如果攝像機位於右側，那麼它將只捕獲右眼所能夠看到的最大範圍的事物。能夠考慮眼睛追蹤，因為每當用戶來迴轉動頭部時能夠更新hud屏幕上的圖像，並且被期望的是防止攝像機捕獲指定給左眼的圖像。如果攝像機記錄惡意軟體能夠捕獲對於左眼的圖像，那麼惡意軟體獲知關於pin鍵板布局以及如何分割數字的一切事情。即，如果人們假設惡意軟體對ue具有完全的控制，並且它能夠讀在眼鏡的hud中正顯示的信息，且同時使用攝像機記錄pin輸入。作為示例，圖10示出具有在屏幕上示出的能被攝像機捕獲的信息和在hud中示出的覆蓋信息的pin鍵板，並且讓我們假設剩下部分只對用戶的左眼可見，即，惡意軟體不知道它。每個pin鍵板按鈕具有多個選擇來從中挑選。相反，用戶將看到圖11中顯示的內容。

在肩窺的情況下，對手將只能看到對右眼和左眼顯示的數字的部分，但是具有眼睛追蹤的自動立體視顯示器通常只供單個查看者使用，因此對手必須在與用戶相同的最佳位點以看到顯示的信息。

自動立體視顯示器是可選的。能夠以不同方式禁用攝像機，例如通過將脈衝光引導在透鏡以便使攝像機記錄的任何影像失真。如果人們假設啟用攝像機並擔心攝像機記錄惡意軟體，那麼將實體信息分割在兩個部分中仍然是可能的，但替代地將之與諸如眼睛和凝視追蹤能力或使用觸覺驗證的生物計量輸入相組合。在這種情況下，即使惡意軟體能夠捕獲整個認證會話並組合分區，其將不能復現輸入，因為它依賴於用戶生物計量。

在一實施例中，提供一種用戶裝置，它包括具有屏幕的移動裝置和視頻眼鏡。移動裝置屏幕和視頻眼鏡互連。移動裝置配置成執行根據本文中的實施例的方法的相關步驟。這裡，移動裝置屏幕等同於第二顯示單元，並且視頻眼鏡包括第一顯示單元。

在一實施例中，移動裝置屏幕是自動立體視式的。

在一實施例中，軟體駐留在移動裝置和視頻眼鏡中的任一個或兩者中。

適用性

生物計量數據

在另一個實施例中，眼鏡中用來查看解密消息的otp可取決於用戶的生物計量認證。例如，可使用來自視網膜掃描或指紋的信息來生成otp。如果其他人使用眼鏡，那麼將生成將不『解密』加密消息的另一個otp。備選的是，使用生物計量信息來創建第三層，該第三層與基於密鑰的otp一起用於『解密』加密消息。

認證

在一實施例中，參考第二方法，該方法包括：當已交換了用戶裝置和服務/內容提供商之間的加密密鑰時，接收第一分割部分otp和第二分割部分。

在一實施例中，第一分割部分otp既被用作加密密鑰也被用作解密密鑰。

在一實施例中，第一方法、第二方法或第三方法還包括將用戶輸入數據，即由重疊第一分割部分和第二分割部分產生的實體相關數據，pin碼，一次性授權碼發送到例如服務提供商的接收器，服務提供商知道原始數據或者至少是被加密的該數據的那個部分以及其是如何被加密的，以便獲取授權數據，例如來自服務提供商的授權數據。該方法還包括：在接收器接收用戶輸入數據；以及當用戶輸入數據與所要求的所述至少一個實體匹配時，在接收器授權用戶訪問授權數據。

使用通用引導架構的認證

本發明能夠用作例如nfc、gba等的任何已知認證協議的整合部分。下面進一步詳細描述gba方案。

當在移動裝置例如智慧型電話以及一副智能眼鏡中實現本發明時，為了它在該移動設置中工作而做了預備。

作為非限制性示例，出於該目的，可能的是利用通用引導（bootstrapping）gba來為混淆途徑以及視覺密碼術途徑進行預備。在視覺密碼術途徑中，將otp和加密數據預備給ue和終端屏幕主機（使用描述的協議）。在混淆途徑中，預備可包括對於pin鍵板情形以及對於ue和終端主機的實體（數字/字母）分區。還附帶了對於隨機化的pin鍵板布局的信息。本發明者已意識到，分區的分布可有利地變化，以便甚至進一步使得對手更難成功獲取有關的實體信息。因此，然後，能夠從一組可用分布中為來自該類別的每個特定用戶選擇隨機分布。例如，每個認證會話可使用不同分布。如果分布未知，那麼這將使得對手更難猜對。但是，gba不是強制性的，並且這種預備能夠以若干種方式實現，例如使用ue和終端之間的預先共享的秘密或使用pki。

圖14示出將本發明實現在普遍已知的通用引導架構gba認證環境中的示例。

在通用引導架構中，最初用戶集中在內容裝置（cd）上的登錄器（lc）上。使用用於讀機器可讀碼（諸如qr碼或條形碼）的app，用戶設備（ue）解碼條形碼（步驟1-2）。該條形碼可包含關於網絡應用功能（naf）和任何其它全球資源定位符（url）的必要信息以及可選地包含挑戰，因此我們將與條形碼的該交互視為是圖14的步驟3。

內容裝置（cd）上的登錄器（lc）通常駐留在具有屏幕和用戶接口的裝置中，但也能夠將機器可讀碼印刷在任何表面上。naf是服務/內容提供商。具有登錄器（lc）的內容裝置（cd）也能夠與naf相同，即為正在與用戶交互的服務。引導伺服器功能（bsf）/家庭訂戶伺服器（hss）是在gba中使用的行動網路中的節點。

可選地，用戶可以某種方法觸發cd，例如觸摸按鈕或屏幕，以發起該規程。作為響應，生成包括cd識別/認證信息的新條形碼。同時，cd可將該認證信息的提交發送給naf，如圖14中的3*所示。在此之後，cd將等待naf的響應以及來自ue和它的用戶的另外交互。

ue採用bsf執行gba引導（步驟4），且然後將naf挑戰響應發送到條形碼中naf指定的url（步驟5）。naf執行gba挑戰響應驗證（步驟6）。如果它成功，那麼允許ue與cd交互（步驟7-9）。ue和naf將具有能夠用於對稱視覺密碼術的共享密鑰ks_naf。

本發明者已意識到，不同於共享密鑰的其它內容可用於使用gba的認證。因此，取代剛剛的演算挑戰響應和驗證（步驟4和6），可包括與根據本文中的實施例如何在分割部分中分割所述實體有關的信息以作為gba算法的部分，例如作為圖14的步驟4中的附加功能性。

將每個數的數字分割按照它們顯示時的順序（順序是隨機化的）編碼為表示pin鍵板中的每個數字的序列s0,s1…s9。因此，除了標準gba協議數據之外，用戶設備（ue）還將需要接收10*7=70比特=8.75位元組（圖14中的步驟4）。但是，naf還必須知道bsf已經如何隨機化pin鍵板，以使得它能夠驗證來自用戶的pin輸入。對於每個pin鍵板按鈕，將長度為四的二進位序列附加到數據分割序列。與標準協議相比，這些改變對於naf將要求接收70+(10*4)=110比特=13.75位元組的開銷（圖14中的步驟6）。開銷中不包括gba協議中的用於識別數字分割信息的標籤。

具有分割部分信息且具有生物計量數據的gba

在本發明的一實施例中，與gba一起使用生物計量數據。通常，gba基於移動裝置身份識別移動裝置，但是這裡它也能夠基於生物計量認證來識別用戶。

例如，用戶可使用語音鑑別來認證他自己，智能眼鏡通常被提供有語音控制。然後，可能的是，為每個個體創建獨特的實體分割或otp。在gba的已知應用中，只識別和認證移動裝置。使用該實施例，將不認證眼鏡的另一個用戶，並且該用戶將不接收真實的字符分割或otp。

條形碼

在一實施例中，提供一種通過簡單地看條形碼、掃描和解碼它來向服務進行認證並設立安全連接的方法。這依賴於下面的事實，即，使用智能眼鏡解碼信息是可能的，這非常像可能使用智慧型電話和條形碼讀取器應用來做一樣。能夠使用諸如qr碼的條形碼來編碼視覺數據。能夠使用gba在示出條形碼的數字屏幕上或在印刷條形碼上在公共場合執行認證。在認證之後，可能的是，使用視覺加密來設立安全連接（因為雙方具有共享秘密），或者使用tcp/ip經由常規安全連接來設立安全連接。

在一實施例中，提供包括以下步驟的示例性方法。

步驟1）初始步驟，用戶走向屏幕（具有登錄器lc的內容裝置cd或naf），即，正在與用戶交互的服務，並且眼鏡捕獲視覺編碼，例如qr碼。該碼可包含用於步驟4）的必要信息。

步驟2）在眼鏡中解碼捕獲的視覺編碼（如果存在對此的支持的話）。在此情況下，眼鏡將解碼後的信息轉發給移動裝置。否則，眼鏡將qr碼轉發給移動裝置，移動裝置將它解碼。

步驟3）執行生物計量認證。用戶可例如使用話語鑑別（因為眼鏡是語音控制的），以便認證他自己。備選的是，能夠執行指紋或視網膜掃描。該認證能夠通過移動裝置或眼鏡（如果它們具有此類能力的話）來執行。

步驟4）使用從之前步驟3收集的生物計量認證數據，以便在密鑰建立期間識別用戶。在預先共享秘密的場景中，那麼可使用生物計量數據作為秘密。對於gba，在gba引導期間，能夠將生物計量數據與移動裝置識別符一起使用。不同於此，如圖1中所描述地那樣執行gba會話（那個流程圖的步驟3-8）。在gba流程圖中的步驟8之後，我們能夠繼續移動到該流程圖中的下一個步驟5。在pki解決方案中，裝置能夠朝向屏幕主機設立直接安全通道。出於隱私的原因，能夠將生物計量數據弄亂，而不是使用未經加工的生物計量數據。

步驟5）基於生物計量數據，在裝置上本地生成對於用戶獨特的信息分割或otp，並在眼鏡的hud上進行顯示。在終端屏幕側上，顯示對hud信息的補充。在視覺密碼術場景的情形中，那是加密數據，或者如果使用視覺混淆，那麼顯示其它信息分割。

步驟6）用戶可能必須通過移動和傾斜他的頭部來人工對齊，以使得眼鏡與屏幕重合。或者，執行自動化對齊。

步驟7）（可選）與屏幕的用戶交互。在一些使用情形中，例如在讀敏感文本或顯示圖像或形狀時，那麼無需交互。如果用戶在例如認證期間與終端屏幕交互，那麼這裡我們同樣也可利用生物計量認證。在此情況下，能夠使用眼睛和凝視追蹤，以便於用戶輸入憑證或otac。除了憑證或otac之外，能夠使用觸覺以便識別用戶的屏幕觸摸。該額外生物計量是可選的，但是能夠與視覺密碼術和混淆方案組合使用，以便使得對手更難捕獲憑證或再使用憑證。

如以上所提及的，能夠使用本發明的分割部分作為已知認證過程的部分，以便授權用戶訪問授權數據。分割部分能夠是例如加密密鑰和解密密鑰的部分。但是，同樣可能的是，也可利用具有使用對稱或不對稱密碼術的傳統密鑰，以便保護給用戶的otp預備。因此，不是必須使用分割部分本身作為加密密鑰或解密密鑰。由於otp是隨機的，所以可能的是，使密鑰或生物計量認證數據用作隨機otp生成器的種子輸入，即，將用戶或移動裝置連結到otp的某種事物。

縮寫

。

條款（clause）

條款1.用於用戶裝置和服務/內容提供商之間的視覺密碼術或混淆的方法，所述用戶裝置包括具有顯示單元的用戶接口，該方法包括以下步驟：

在用戶裝置和服務/內容提供商之間建立會話；

交換加密密鑰（能夠提前進行）；

使用密鑰創建圖像的n個層/部分，其中需要所有的層/部分來讀出字符；

在不同顯示單元上呈現不同層。

條款2.如條款1中的方法，其中將所述層創建為從秘鑰導出的otp以及所述字符的視覺加密圖像。

條款3.如條款2中的方法，還包括：

經由包括一次性鍵板的用戶接口接收用戶輸入；

將用戶輸入數據發送到接收器；以及

在接收器解密用戶輸入數據（加密密鑰對i和ii）。

條款4.如條款1中的方法，其中通過將所述字符分割成非加密部分來創建所述層。

條款5.如條款1中的方法，其中第一顯示單元具有非透明類型（屏幕），且第二顯示單元具有透明類型（眼鏡）。

條款6.如條款5中的方法，其中第一顯示單元使用黑和白子像素，且第二顯示單元使用白和透明子像素。

條款7.如條款6中的方法，其中n等於3，並且第一顯示單元是示出所述部分中的兩個的自動立體視顯示器，且第二顯示單元示出第三部分。

條款8.如條款6中的方法，其中n等於3，並且第一顯示單元是示出所述部分中的兩個的偏振立體顯示器，且第二顯示單元示出第三部分。

條款9.如條款1中的方法，其中圖像包括字符，根據能夠具有不同概率供挑選的數字的分區分割每個字符；

將這些概率收集在標識為分布矩陣的矩陣中，從而獲得若干分布矩陣；

預備包括：1）從所述若干分布矩陣中挑選一個分布矩陣，2）為該矩陣中每個字符選擇一個分區，以及3）將所述部分發送到不同顯示單元。

條款10.一種用戶裝置，包括具有屏幕的移動裝置和與之互連的（智能）眼鏡，該用戶裝置配置成執行上文列出的方法的有關步驟。

條款11.如條款10中的用戶裝置，其中移動裝置屏幕是自動立體視式的。

條款12.如條款10或11中的用戶裝置，其中軟體能夠駐留在移動裝置和眼鏡（智能眼鏡）中的任一個或兩者中。