增強現實系統的製作方法與工藝

2023-06-24 23:20:01

本發明涉及增強現實系統（augmentedrealitysystem）。

背景技術：
增強現實涉及捕獲環境中的視頻圖像的過程，以及使用計算機圖形元素（典型地描繪虛擬對象，如將要作為環境的一部分出現的遊戲人物）對該視頻圖像進行增強。為了提供有說服力的增強，這些計算機圖形元素期望地要以與環境相一致的方式顯示，特別是在尺寸、動作範圍和視角方面。因此，例如，如果環境的視頻圖像（在這裡也可作為「場景」）從一個特定的角度示出了地板或桌面，期望地，計算機圖形元素以這樣的方式縮放和定向使得它們看起來適當地停留在該表面上，並且按照物理上一致的方式在它上面移動。然而，對場景的元素，以及由此對疊加在其上的虛擬對象的尺寸和方向的確定，是重要的任務。現在參考圖1，因此，在一個典型的增強現實應用中，將要被視頻攝像機捕捉的環境中包含一個已知尺寸的所謂受信標記（fiduciarymarker）1010，以提供可以很容易檢測到的並且已知的特徵，可以更容易地對該特徵的尺寸和方向作出估計。這種受信標記通常是高對比度的（例如黑色和白色）以便在即使相對較差的圖像捕捉條件下（如低解析度圖像捕捉，光線不好等）也能為圖案識別提供機會。圖案本身通常包括含有非對稱分布的塊或瓦片的厚的四邊形邊界，這使得消除了該標記方向上的模稜兩可情況。因此，識別過程通常提供在所捕獲的視頻圖像內的受信標記的位置（在圖像中的x和y軸位置）和旋轉（由於標記的非對稱）的估計。可選地，附加地，通過將所捕獲圖案中的受信標記的大小與該受信標記的已知大小（例如，在1米的距離處的大小）作比較，可以估計受信標記（它的z軸的位置）到視頻攝像機的距離；換句話說，其尺寸。同樣地，可選地，通過將所捕獲圖案中的受信標記的縱橫比與該受信標記的已知縱橫比作比較，和/或使用其他技術，如檢測透視縮短（其中，長方形的形狀表現為梯形）或所捕獲圖案中受信標記的其他失真，可以對受信標記（即其在z方向上對x-y平面的偏離）的傾斜進行估計。所生成的圖形覆蓋圖典型地包括虛擬圖形元素，之後可以將其重疊在受信標記上，使用該受信標記估計的位置，旋轉距離和傾斜來修改該虛擬圖形元素為適用的。之後將增強的圖像輸出到顯示器。此過程的主觀效果是，輸出的視頻圖像包括圖形元素（例如，一個怪物或城堡）替代受信標記，通常複製受信標記的估計的位置、距離、旋轉和傾斜，以及因此在其上放置該標記的環境的表面。然而，應理解，在這樣的增強現實系統中對用戶的懷疑的消除（這使得他們共同產生圖形覆蓋圖是所捕獲的場景的一部分的錯覺），至少部分地依賴於圖形覆蓋圖與該場景的一些真實世界方面的匹配或交互的可靠性。這種可靠性經常依賴於對場景內的受信標記的位置和方向的估計。因此，期望應減少不能可靠地作出這樣的估計的場合，以及改善的所作出的估計的一致性。

技術實現要素：
在第一方面中，根據權利要求1提供在增強現實系統中使用的書（book）。在另一個方面，根據權利要求10提供在增強現實系統中使用的娛樂設備。在另一個方面，根據權利要求13提供增強現實系統。在另一個方面，根據權利要求14提供對書中的視頻圖像進行增強的方法。在另一個方面，根據權利要求15提供電腦程式。本發明的其他各方面和特徵在附屬權利要求中定義。附圖說明現在將通過示例的方式參考附圖描述本發明的實施例，其中：圖1是根據本發明的實施例的受信標記的示意圖。圖2A是根據本發明的實施例的書的示意圖。圖2B是根據本發明的實施例，在其上覆蓋有計算機圖形增強的書的圖像的示意圖。圖3是根據本發明的實施例的娛樂設備的示意圖。圖4是根據本發明的實施例的書的示意圖。圖5是根據本發明的實施例，跟蹤書頁的翻動的方法的流程圖。圖6是根據本發明的實施例的書的示意圖。圖7是根據本發明的實施例的書的示意圖。圖8是根據本發明的實施例的書的示意圖。圖9是根據本發明的實施例的增強現實系統的示意圖。圖10是根據本發明的實施例，對書中視頻圖像進行增強的方法的流程圖。具體實施方式公開了書、娛樂設備、增強現實系統和用於增強書中的視頻圖像的方法。在下面的描述中，提供了一些具體細節，以便對本發明的實施例的透徹理解。然而，對於本領域技術人員來說這將是明顯的，不必採用這些特定的細節來實施本發明。相反，在適當的情況下，為清楚起見，省略那些對於本領域技術人員來說是已知的具體細節。現在參看圖2A和2B，在本發明的一個實施例中，書1000具有多個剛性的，可轉動的頁（leaf）（所謂的「板書」），並且在每一頁面（page）1001，1002上包含受信標記1011，1012，如圖2A中所示。將頁理解為是一本書的單一的可轉動的薄片或面板，並通常在每一側包括一個頁面。圖2A和圖2B示出（通過示例的方式）第1和第2頁面（分別標記為1001和1002）。可選地，書的封面和/或封底內頁也可作為頁面並包括受信記號。因此，在這個例子中，第1頁可能實際上是封面內頁。同樣，可選地，封面和/或封底外頁可能包括受信記號。此外，可選地，在外邊緣以高對比度的標記1020作為每一頁的邊界以便於檢測頁面的範圍。耦接到攝像機的娛樂設備可以捕捉書中的圖像並且使用已知的技術來檢測每個可見的頁面上的受信記號，從而對這些書頁進行定位。給定這些信息，之後如圖2B所示，娛樂設備可以使用對應於可見頁面的受信標記1011，1012的位置，尺寸和方向的虛擬圖形元素1111，1112來增強所捕獲的書中的視頻圖像，並且輸出增強的視頻圖像以進行顯示。通過這種方式，書的顯示版本變成一個「神奇的」立體書（pop-upbook），在其中頁面可以變得生動。現在轉到圖3，它示意性地示出合適的娛樂設備（被稱為娛樂設備或）的整體系統架構。PS3包括系統單元10，它可連接各種外圍設備，包括視頻攝像機，如下文所詳述。系統單元10包括：單元處理器100；動態隨機存取存儲器（XDRAM）單元500；具有專用的視頻隨機存取存儲器（VRAM）單元250的現實合成器圖形單元200；以及I/O橋700。系統單元10還包括用於從磁碟440的讀取的光碟讀取器430和可移動的插槽式硬碟驅動器（HDD）400，它們都可通過I/O橋700訪問。可選地，系統單元還包括存儲卡讀卡器450，用於讀取緊湊型快閃記憶體卡，存儲卡等，它同樣是可以通過I/O橋700訪問的。I/O橋700還連接到4個通用串行總線（USB）2.0埠710；千兆乙太網埠720；IEEE802.11b/g無線網絡（Wi-Fi）埠730；以及能夠支持多達7個藍牙連接的無線連接埠740。在操作時，I/O橋700處理所有無線、USB和乙太網數據，包括來自一個或多個遊戲控制器751的數據。例如，當用戶玩遊戲時，I/O橋700通過藍牙連結接收來自遊戲控制器751的數據並將其導向單元處理器100，單元處理器100相應地更新遊戲的當前狀態。無線、USB和乙太網埠還提供除了遊戲控制器751外其他外圍設備的連接，如：遙控器752；鍵盤753；滑鼠754；可攜式娛樂設備755如SonyPlaystation娛樂設備；和麥克風耳機757。因此，這樣的外圍設備可以原則上可以無線地連接到系統單元10；例如，可攜式娛樂設備755可以通過專門的Wi-Fi連接進行通信，而麥克風耳機757可通過藍牙連結進行通信。特別地，這些連接使得例如攝像頭756（或立體視頻攝像機，未示出）的視頻攝像機能夠耦接到PS3，以便捕獲書的視頻圖像（或立體視頻圖像對）。提供這些接口意味著PlayStation3設備還潛在地與其他外圍設備例如數字錄影機（DVR）、機頂盒、數位相機、可攜式媒體播放器、語音IP電話、行動電話、印表機和掃描儀兼容。此外，傳統的存儲卡讀取器410可以通過USB埠710連接到系統單元，使得能夠讀取或設備所使用的那種存儲卡420。在本實施例中，遊戲控制器751通過藍牙鏈路可實行與系統單元10進行無線通信。然而，也可以替代地將遊戲控制器751連接到USB埠，從而也提供向遊戲控制器751的電池充電的電源。除了一個或多個模擬遊戲杆和傳統控制按鈕外，遊戲控制器對6個自由度的動作敏感，對應於各軸的平移和旋轉。因此，除了或代替傳統的按鈕或遊戲杆命令，遊戲控制器的用戶的手勢和動作可以被轉化為遊戲的輸入。可選地，其他支持無線功能的外圍設備，如可攜式娛樂設備755或PlayStationMove（RTM）758可用作控制器。在可攜式娛樂設備的情況下，在設備的屏幕上可以提供額外的遊戲或控制信息（例如，控制指令或命的條數）。在PlayStationMove的情況下，控制信息可由內部運動傳感器和PlayStationMove設備上的光線視頻監控來提供。也可使用其他替代或補充的控制設備，諸如跳舞毯（未示出），光槍（圖中未示出），方向盤和踏板（未示出）或定製的控制器，如用於快速反應問答遊戲的單一或數個大按鈕（也未示出）。遙控器752也可通過藍牙鏈路實行與系統單元10進行無線通信。遙控器752包括適合BluRayDiskBD-ROM讀取器430的操作和磁碟內容的導航的控制。除了傳統預記錄和可記錄的CD，以及所謂的超級音頻CD，BluRayDiskBD-ROM讀取器430可用於讀取與PlayStation和PlayStation2設備兼容的CD-ROM。除了傳統預記錄和可記錄的DVD，讀取器430也用於讀取與PlayStation2和PlayStation3設備兼容的DVD-ROM。讀取器430進一步可用於讀取與PlayStation3設備兼容的BD-ROM，以及傳統預記錄和可記錄藍光磁碟。系統單元10用於將由PlayStation3設備經由現實合成器圖形單元200產生或解碼的音頻和視頻，通過音頻和視頻連接器，提供給諸如具有顯示器305以及一個或多個揚聲器310的監視器或電視機的顯示和聲音輸出設備300。音頻連接器210可以包括傳統的模擬和數字輸出，而視頻連接器220可以包括各種分量視頻，S-視頻，複合視頻和一個或多個高清晰度多媒體接口（HDMI）輸出。因此，視頻輸出可能會以如PAL或NTSC、或720P，1080i或1080p高清晰度的格式。單元處理器100執行音頻處理（生成、解碼等等）。PlayStation3設備的作業系統支持環繞聲、TheatreSurround（DTS）和對來自磁碟的7.1環繞聲的解碼。在本實施例中，視頻攝像機756包括單一電荷耦合器件（CCD）、LED指示燈和基於硬體的實時數據壓縮和編碼裝置，以使壓縮的視頻數據可以適當的格式（如基於MPEG（運動圖像專家組）標準的幀內圖像）被發送，從而由系統單元10進行解碼。對攝像機LED指示燈進行排列使其響應來自系統單元10的適當的控制數據而發光，例如表示不利的光照條件。視頻攝像機756的實施例可通過USB、藍牙或Wi-Fi通信埠以各種方式連接到系統單元10。視頻攝像機的實施例可以包括一個或多個相關聯的麥克風並且能夠傳送音頻數據。在視頻攝像機的實施例中，CCD的解析度可以適用於高清晰度的視頻捕捉。在視頻攝像機的實施例中，它是立體的。在使用中，由視頻攝像機捕獲的圖像可以是例如納入在遊戲中或者視作遊戲的控制輸入。一般情況下，為了經由系統單元10的通信埠中的與例如視頻攝像機或遙控器的外圍設備發生成功的數據通信，應提供例如設備驅動的適當的軟體。設備驅動的技術是眾所周知的，並且將不在這裡進行詳細的描述，但本領域的技術人員將意識到，在所描述的本實施例中需要設備驅動或類似的軟體接口。製造時提供的軟體，包括系統固件和PlayStation3設備的作業系統（OS）。在操作中，作業系統提供用戶界面，使用戶能夠從多種功能中進行選擇，包括玩遊戲，聽音樂，觀看照片，或觀看視頻。該界面採用按水平方式排列功能類別的所謂的跨媒體欄（XMB）形式。用戶通過使用遊戲控制器751、遙控器752或其他合適的控制設備在功能圖標（代表功能）間水平移動進行導航以便突出顯示想要的功能圖標，在那一點上與該功能有關的選項圍繞該功能圖標作為可垂直滾動的選項圖標列表出現，可以以類似的方式對其進行導航。但是，如果將遊戲，音頻或電影盤440插入到BD-ROM光碟讀取器430，PlayStation3設備可以自動選擇適當的選項（例如，開始遊戲），或者可以提供相關的選項（例如，在播放音頻盤或將其內容壓縮到HDD400之間進行選擇）。此外，作業系統提供了在線的能力，包括Web瀏覽器，具有可下載額外的遊戲內容，演示遊戲（demos）和其他媒體的在線商店的界面，以及好友管理能力，提供與當前設備的用戶指定的其他Playstation3設備用戶進行在線通信；例如，根據可用的外圍設備，採用文本、音頻或視頻。在線能力還提供了在適當配置的遊戲的遊玩過程中的在線交流，內容下載和內容購買，以及Playstation3設備自身的固件和作業系統本身的更新。應理解，術語「在線的」並不意味著導線的物理存在，因為該術語也可以適用於不同類型的無線連接。現在參看圖4，應理解，雖然當書打開和平放時，可以很容易地檢測到受信標記，翻動書頁的過程中會產生若干問題。首先，應理解，當用戶翻轉板書1000的剛性頁1102時，之後例如第1和第2頁面被蓋住，而露出第3（未示出，但位於頁1102與第2頁面的相反的面上）和第4頁面（1004）。當翻轉動作完成時，第3頁和第4頁面充分顯露出來，該系統可以以與前面參照圖2B描述的對第1和第2頁面使用的類似的方式來提供對第3和第4頁面的圖像增強。然而，所產生的第一個問題是，在翻轉這些頁面的過程中，有那麼一個位置第2頁面上的受信標記1012（例如）由於攝像機接近邊緣觀看而變得如此扭曲以致娛樂設備無法識別它。在這一位置上，優選使用一種確定書的翻轉頁的位置的替代技術，使得依賴於它的任何動畫（animation）（例如顯示第1和第2頁面的向下摺疊或第3和第4頁面的展開之間的對象的立體動畫）能夠適當地繼續。在共同未決的歐洲專利申請10175548.6中描述這樣的技術，通過參考包括在本文中。下面參照圖5描述該技術的簡要總結。在第一個步驟S10中，視頻攝像機或類似的可用於耦接到PS3的圖像輸入（例如，USB埠）的圖像捕獲設備捕獲包括書的場景，從而生成包含書的圖像。正如前面提到的，書本身包括實質剛性頁。在第二步驟S20中，例如使用在適當的軟體指令下運行單元處理器作為記號檢測器，PS3試圖在圖像中檢測受信記號（即書中可見的那些）。如果在其記號中包括某種形式的空間分布冗餘，通常不需要受信標記的全部來識別它。在第三步驟S30，將書的頁面上的受信標記的圖像或部分圖像與該標記的參考版本進行比較以確定方向和尺寸，並給定與頁面的已知的物理關係（即，其印製的位置），這也提供了一個該書的方向和尺寸的估計，特別是書脊的位置，它作用在書頁的旋轉原點。單元處理器可能會再次執行比較並估計書脊的位置，並且標記的參考版本可能存儲在RAM中、硬碟上、光碟上、或遠程存儲上，或其他任何合適的存儲介質或它們的組合。基於旋轉的原點與書脊重合，在第四步驟S40中，為書的翻轉頁假設了多個可能的位置。特別是，如果給定頁面的大小，那麼假設頁面的自由邊緣的位置。再次地在這裡單元處理器可以作為進行假設的部件運行。為了提供與這些假設進行比較的基礎，在第五步驟S50中對所捕獲的圖像進行處理以生成已識別出邊緣的圖像。另外生成表示這些邊緣的方向的數據。可由單元處理器、現實合成器圖形單元或上述兩者的組合執行該圖像處理。在第六步驟S60中，使用之前描述的幾種可能的評分標準中的一種，參照包含已識別的邊緣和這些邊緣的方向的圖像對書的翻轉頁的假設邊緣中的每一個進行評估。同樣，這種評估或比較可以使用運行在合適的軟體指令下的單元處理器來執行。然而，通常情況下，沒有必要將每個假設的邊緣與所處理的圖像上的所有像素進行比較。在第七步驟S70中，將預測的翻轉頁的自由邊緣產生最好成績的假設假定為實際翻轉頁的位置的最佳匹配，同時單元處理器執行對這一假設的選擇。最後，在第八步驟S80，例如圖片或多邊形對象（例如，3D虛擬對象的2D呈現）的虛擬圖形元素重疊或以其他方式納入所捕獲的圖像使得在與勝出的假設相一致的位置處對它進行增強。可以典型地根據來自單元處理器的指令，通過現實合成器圖形單元結合視頻和圖形元素來實現此圖像的增強。虛擬圖形元素本身可以本地存儲在RAM中、硬碟上或者光碟上，可以遠程存儲，或者可以是例程圖形生成過程的產物，如樹木的生長過程。其他可能的步驟在圖5中用虛線箭頭示出。這些包括步驟S11、S22、S33，它們重複了步驟S10、S20和S30，用於立體圖像對的第二圖像，步驟S88中，重複步驟80，用於第二圖像中的偏移位置（位移）。同樣地，使用點線箭頭的步驟S12中提供了一種替代S11、S22和S33的替代的位移測定法，對立體圖像對採用了直接的圖像比較，例如，通過單元處理器。在這兩種情況下，這使得對立體顯示進行了3D增強。應理解，上述步驟不一定都需要按照上述的順序實施。例如，第五步驟S50可能會在第一步驟S10後立即發生。應理解一般而言，可以使用受信標記對書的位置，大小和方向進行初始檢測，並確定頁碼，但之後可以替代地或在受信標記之外，使用頁面的粗體邊緣對書的位置進行一幀接一幀的跟蹤，只定期地或在單元處理器檢測到頁面的形狀可能是模糊的並且需要非對稱的標記來解決時對該受信標記進行重新評估。如前所述，想要娛樂設備準確地建模書頁翻轉的原因之一是提供可以如實地跟蹤翻轉頁的該書的增強，不僅對正在翻轉的可見頁面，也為了正在打開的新頁面進行增強。對新頁面進行增強的一個問題是，為了提供新的頁面也是「神奇」的錯覺，增強應該在頁面的任何部分變為可見時馬上開始——這通常在該頁面的受信標記對娛樂設備可見之前發生。其結果是，特定頁面的特徵在需要對其進行增強之前是未知的。一種解決方案是提供面對攝像機的頁面邊緣附近的補充非字母數字標記，其在打開新頁面的過程中將會更早地被檢測到（見下文），但即使如此，仍然會有這樣的標記不能立即可見或可解析的情況。因此，可以設置娛樂設備以便對未知頁面的局部視圖進行增強。在這種情況下，可以設置娛樂設備以便通過使用符合書中使用的增強的通用的圖形或顏色方案來對新打開的頁面的可見部分進行增強，或者可以假設只有一個頁正在翻轉，並選擇適用於下一對頁面的增強，暫停補充標記，如果存在的話，和/或最終這些頁面的受信標記的確認。一般地可以通過設計通用的或至少在書的頁面邊緣周圍細節程度較低的增強來協助這些方法，使得識別頁面時可以使用頁面特定的增強來離散地替換通用增強。然而，這種方法假設實際上將有一個新的頁面打開；現在參照圖6，應理解，當翻轉書的第一或最後一頁面來合上它（即該頁面在的封皮內頁上）存在一定的誤差範圍。在這種情況下，在它下面沒有將要打開的頁面（雖然可能有容易混淆地視為一個頁面的陰影1106）。結合上面描述在任何確定的標記可見前對新打開的頁面進行增強的策略，這可能會導致對一個不存在的頁面進行增強，從而導致在合上書時書的封皮外顯示出一個通用的增強的頁面，它只有在娛樂設備識別出書的封面或封底時才會被刪除。顯然，這是不期望的。應理解，對於書初始地打開在它的第一個或最後一個頁面並且因此這些是可見的情形，是可能有解決方案的；如果第一頁面向第二頁面翻轉，那麼可以設置娛樂設備假設正在合上封面，同樣地對於最後一頁面向倒數第二頁面翻轉，那麼可以假設正在合上封底。然而，當用戶決定合上一個當前打開在任意一對頁面處而不是第一對和最後一對頁面時，當前頁面的知識是沒有任何幫助的。因此，現在再參照圖7，在本發明的一個實施例中，所述書具有一個比書的頁尺寸大的封皮，因此從上面看時，其具有延伸超出每個頁面的外邊緣的末端，如在圖7中所示。本發明的一個實施例中，所述封皮包括沿著至少這樣的第一末端（1030A）的高對比度圖案，優選是在正常使用時，位於距離攝像機最近的末端。應理解，高對比度的圖案因此印刷在封皮內頁上，並且在封皮內頁的外邊緣上和其附近。高對比度圖案通常由黑色和白色塊組成，或者類似地兩種對比顏色或色調（如亮藍與暗藍色）的塊。這樣，兩種顏色可以編碼為比特圖案，用各顏色或色調分別代表1或0。因此，高對比度的圖案沿上述書的封皮內頁的可見末端可形成一個線性的二進位代碼。高對比度的圖案可以以脊部1060為軸進行鏡像（因此出現封面和封底內頁上），也可以以頁面的頂部和底部之間的中心線為軸進行鏡像，以形成高對比度的圖案的四份複製（1030A-D）。高對比度的圖案可能編碼有關於書的信息（例如標題號），或者可能僅僅是隨機的。典型的高對比度的圖案可能以大約6到20比特編碼。該圖案的明亮與暗淡的元素可能遵守均勻的間隔方案或具有任意的或近似的間距。此外，高對比度的圖案（1035L，R）也可以沿著書的側面末端設置。這種高對比度的圖案可以與上述的高對比度的圖案相同，或可能以不同的方式編碼相同的信息，或編碼不同的或附加的信息，或是隨機的。在上述任何情況下，應理解封皮有預定的物理厚度。因此，在本發明的一個實施例中，高對比度的圖案延伸至封皮的邊緣並且至少以預定的比例越過封皮的厚度，使得對於視頻攝像機以非常小的銳角的角度提高其能見度。在這兩種情況下，在翻轉書頁時，高對比度的圖案由此提供了關於書的狀態的非常早期的指示。特別地，書的封皮內頁邊緣周圍的高對比度的圖案使得娛樂設備能夠區別只翻轉書中的頁和從支撐表面上翻起書的封皮的時刻，例如合上書。這是因為，在翻轉書的內頁時高對比度的圖案不會移動，並且只在翻開書的一個或兩個封皮時它才會移動。更一般地，翻轉書的內頁可能同時導致書的一些更一般的運動，同樣地可以檢測封皮的任何偶然的翻轉動作是否與書的內頁或多個內頁的翻轉動作的速率一致，和/或這樣的翻轉以何種程度發生。如果封皮以與內頁類似的量旋轉，則可以假定這本書正在被合上，而如果封皮以一個較小的速度、或以一個較小的程度、或以與內頁不相關的方式（例如具有低於預定閾值量的動作相關性）旋轉，那麼可以假定內頁或頁的轉動仍然會導致翻開書的一頁面。也因此而更一般地，高對比度的圖案作為可以被用來估計的書的封皮的靜止角（restingangle）的一維的二進位圖案，以及由此書的頁的靜止角；因此，如果書放在桌子上，書的封皮可能是平放的，表示相對的頁面間的角度為180度。同時，如果這本書放在使用者的腿上，封皮可有一個相對角度例如165度，可以使用它來提供基線角（baselineangle），用於隨著翻轉頁的角度相對於基線角變化來對新打開的頁面進行增強。如果如前面所提到的，高對比度圖案的角度以與書的頁的角度的變化不相關的方式變化，那麼這被認為是對基線角的改變，甚至好像同一時間正在翻轉書的內頁的頁面。再次參考圖7，通過提供非字母數字的圖案（1040A-D）可以更快地識別出頁面（或相對的頁面對）。在每一頁面上可以將這樣的非字母數字圖案（1040A，1040B）置於比受信標記更靠近書頁面的外邊緣的地方。通常情況下，這個非字母數字的圖案置於受信標記和距離書的用戶最遠的頁面的邊緣之間，從而對於書的一般使用來說也最為靠近視頻攝像機，其中視頻攝像機放置在靠近顯示增強的圖像的電視機的位置，並且用戶面對電視拿著書。非字母數字的圖案可以類似地置於受信標記的邊角和的頁面邊角之間，如圖7中所示。值得注意的是，非字母數字的圖案因此可以形成「L」的形狀（例如在邊角附近沿著書的外邊緣）。在這種情況下非字母數字的圖案因此比受信標記到兩個邊緣的位置更近。值得注意的是，不同於受信標記，非字母數字圖案沒有必要初始確定書的位置，尺寸或方向。因此，原則上非字母數字圖案在尺寸和/或方向上可以是模糊，因為該圖案的這些方面可以參考書中的受信標記來分辨。現在參照圖8，示出了正在翻頁時的書的攝像機視圖。值得注意的是，由於非字母數字圖案比同頁面上的受信標記距離面對攝像機的書的邊緣更近，可以在打開頁面的過程中更早地由攝像機捕獲到它，從而提供關於用戶翻轉書頁時將要打開哪一頁面的早期指示。在圖8的例子中，書是當前打開在第3和第4頁面（1003，1004）的，這些頁面的受信標記（1013，1014）是可見的，他們各自的非字母數字圖案1043A和1044B（在本例中對於該相對的頁對表示為相同的圖案的鏡像）也是可見的。此外，對應於書的第5和第6頁面的非字母數字圖案1046B由於第4頁面的翻轉是可見的。應理解書第6頁面上的受信標記不會變得完全可見直到第4頁面更進一步翻轉。還應理解，高對比度的圖案（1030C，D）在書的封皮上的位置指示將要打開一頁面，並且不是正在合上該書。為了向打開的頁面提供早期且適當的增強，可以使用從第3頁面和（對於現在來說）第4頁面上可見受託標記處獲得的關於書的位置，尺寸和方向的知識來識別非字母數字圖案1046B。因此，儘管不能訪問第6頁面上的受信標記，儘管非字母數字圖案可能有旋轉模糊性，當與在不同的、當前可見的書頁面上的受信標記所指示的書的尺寸和方向一同使用時，仍可以使用非字母數字的圖案來指示至少相對的頁面對。因此，除了很早就在遮擋頁的翻轉中使用通用增強，現在給定來自不同頁面上的受信標記的關於書的位置，尺寸和方向的知識以及通過新頁面上的非字母數字圖案更早地識別出正在打開哪個頁面，在打開頁面的過程中可以更早地對該部分打開的頁面進行正確的增強，這對用戶來說大大提高了沉浸感和消除了懷疑。現在還參考圖9，書1000，娛樂設備10和附接到或集成在娛樂設備的攝相機756一起形成增強現實系統1，其中書的上述特徵使得了上述娛樂設備的消除模糊（disambiguation）和增強過程成為可能。因此，在本發明的概括實施例中，增強現實系統1中使用的書1000包括多個硬的頁，每一頁的面形成了書頁面（1001，1002），其中每個這樣的頁面包括受信標記（1101，1102）;並具有比所述書的頁更大的尺寸的封皮，因此具有延伸超出所述頁面的外邊緣的末端，並且在其中封皮的內側包括沿著至少一個這樣的第一末端的第一高對比度的圖案（1030A，B，C，D）。在本實施例的一個實例中，封皮具有預定的厚度（例如大約1至5毫米），第一高對比度的圖案延伸超過封皮的邊緣並且跨越至少封皮厚度的預定的比例，例如厚度的一半。在本實施例的一個實例中，在正常使用中所述第一高對比度的圖案至少沿著面對增強現實系統的攝像機的書的第一末端延伸。如前所述，正常使用通常是，用戶面對著電視機，在他們與電視機之間拿著或放置一本書，書被定向使得書脊大體上朝向電視機或視頻攝像機（不包括任何與書的有效的相互作用或關於其放置的具體說明），並且用於捕獲書的圖像的視頻攝像機在電視附近並且朝向用戶和書所在的地方。在本實施例的一個實例中，在正常使用中高對比度的圖案沿延伸超出由增強現實系統的視頻攝像機觀測的書頁面的頂部或底部邊緣的每個末端延伸。換言之，圖案沿垂直於書脊的末端延伸。在這種情況下，這個圖案可以是沿著與書脊重合的中心線反射的第一高對比度的圖案，如圖7中所示。在任何情況下，如前所述第一高對比度的圖案可以對關於這本書的信息進行編碼。在本實施例的一個實例中，在正常使用中第二高對比度的圖案（1035R，L）沿延伸超出由增強現實系統的視頻攝像機觀測的書頁面的左邊緣或右邊緣的每個末端延伸。換言之，圖案沿著與書脊平行的末端延伸。在這種情況下，如前所述第二高對比度的圖案可以將不同的信息編碼進第一高對比度的圖案。在本實施例的一個實例，所述書可以包括一個或多個非字母數字的圖案（1040A，B，C，D），並且在頁面上這樣的非字母數字圖案的位置比該頁面上的受信標記更接近該頁面的外邊緣。如前所述，則當與在不同頁面上的受信標記所指示的書的尺寸和方向一同使用時，非字母數字的圖案能夠至少指示包括非字母數字圖案所在的各頁面的相對的頁面對。在概要實施例中，在增強現實系統中使用娛樂設備10，娛樂設備10包括：輸入部件，如USB連接器710或無線鏈路（730，740），其可用於接收書的視頻圖像。該娛樂設備還包括：圖像處理部件，如在適當的軟體指令下工作的單元處理器100，用於從所捕獲的視頻圖像中的書的受信標記來估計書的位置和方向，以及圖像處理部件，再次地例如在適當的軟體指令下工作的單元處理器100，用於估計在所捕獲的視頻圖像中的書的封皮內頁的末端上的第一高對比度的圖案的位置和方向。在該概要實施例中，所述圖像處理部件可用於響應於第一高對比度的圖案的位置和方向，在獨立於書的封皮只翻轉書的一頁或多頁和相對於翻轉書的封皮之間進行區分。換句話說，根據一個或多個該書的受信標記，給定關於書的位置的估計，如果書的封皮保持靜止，娛樂設備可以估計出高對比度的圖案應該；所在的位置。如果當娛樂設備檢測到一個或多個頁正在翻轉時，封皮仍然靜止，那麼可以假定正在打開新的頁面，而如果封面移動（或可選地，如果他們以對應於一個頁或多個頁翻轉的方式移動），那麼就可以假定正在合上這本書並且沒有打開新的頁面。在本實施例的一個實例中，娛樂設備包括：處理器部件，如單元處理器100和/或RSX200，可用於使用一個或多個圖形元素來對所捕獲的書的視頻圖像進行增強，並且其中，在圖像處理部件檢測到獨立於書的封皮地翻轉書的一個或多個頁的情況下，該處理器部件使用部分打開的已增強的書頁面的代表對書的圖像進行增強。在本實施例的一個實例中，娛樂設備包括：處理器部件，如單元處理器100和/或RSX200，在圖像處理部件使用根據書中不同頁面的受信標記估計而來的尺寸和方向信息在該頁上檢測到非字母數字圖案（1040，A，B，C，D）的情況下，該處理器部件可使用對應的部分打開的已增強的書頁面的頁面特定代表對書的圖像進行增強。在概要實施例中，增強現實系統包括所述類型的書和娛樂設備，以及視頻攝像機例如EyeToy或PlayStationEye756，被布置為用於向娛樂設備的輸入部件提供捕獲的視頻圖像。現在轉向圖10，一種對書的視頻圖像進行增強的方法包括：在第一步驟s110中，接收其中有一個或多個可見頁面的書的視頻圖像，並且其中每個可見頁面包括受信標記，並且其中第一高對比度的圖案在延伸超過所述頁面的外邊緣的書的封皮內頁的末端是可見的。在第二步驟s120中，根據視頻圖像中的受信標記對書的位置和方向進行估計。在第三步驟s130中，估計視頻圖像中的第一高對比度的圖案的位置和方向。以及在第四步驟s140中，響應於第一高對比度的圖案的位置和方向，在獨立於書的封皮只翻轉書的一頁面或多頁面和相對於翻轉書的封皮之間進行區分。對本領域技術人員來說，對應於所述裝置的各種實施例的操作的在本文中描述並要求保護的上述方法的各種變型是在本發明的範圍內的，這是顯而易見的。最後，應理解，本文所公開的方法，可以在通過軟體指令或通過包括或替換為專用硬體而適當地修改為適用的傳統的硬體上實施。因此，所要求的對傳統等效設備的現有部件的修改可以以下列形式實現：非臨時性的電腦程式產品，或類似的製造物品包括存儲在數據載體（如軟盤、光碟、硬碟、PROM、RAM、快閃記憶體或者這些或其他存儲介質的任意組合）上的處理器可執行的指令，或以這樣的形式：通過網絡（例如乙太網、無線網絡、網際網路、或這些任何組合和其他網絡）上的數據信號的傳輸內容，或在硬體中實現為ASIC（專用集成電路）或FPGA（現場可編程門陣列），或其他適合在修改傳統等效設備中使用的可配置的電路。