全景展開圖像顯示裝置和顯示全景展開圖像的方法
2023-04-28 01:27:26
專利名稱：全景展開圖像顯示裝置和顯示全景展開圖像的方法
技術領域：
本發明涉及全景展開圖像顯示裝置和顯示全景展開圖像的方法。
背景技術：
通常地，通過全景展開整個圓周圖像而獲得的圖像具有這樣的特徵，即該圖像的一個長度比其另一長度長很多。為此，作為一次顯示全景展開的全部圖像的方法，存在一種技術，其中將圖像切割成多個塊，並且將各個塊豎直對齊並以多段配置顯示(例如，參見專利文獻I)。在專利文獻I中，在由魚眼鏡頭成像的360°的環形框架內，設置內圓和外圓來確定待全景展開的圖像的高度。例如，當全方位成像裝置被放置在桌子的中心來對會議場景 成像時，使得能夠在不切割對象的頭部的情況下進行處理。現有技術文獻專利文獻專利文獻I :日本特開2008-2860
發明內容
本發明要解決的問題然而，專利文獻I中的全景展開圖像拾取裝置不意圖用於其中感興趣的對象頻繁移動的場景，並且該裝置遭遇如下問題當該對象在將全景展開圖像截斷為多個段時移動到截斷的圖像的邊界時，該對象被切割。現提出本發明以用於解決現有技術中的問題，並且目標是提供全景展開圖像顯示裝置和顯示全景展開圖像的方法，其能夠通過根據對象在全景展開圖像上的移動來改變顯示方式，而沒有任何中斷地對該對象成像。解決該問題的方式根據本發明，提供了一種全景展開圖像顯示裝置，該全景展開圖像顯示裝置將全景展開圖像分割成至少兩個全景圖像，並顯示該全景圖像。該全景展開圖像顯示裝置包括截斷基準位置設置單元，該截斷基準位置設置單元設置用於全景展開圖像的截斷基準位置；對象檢測單元，該對象檢測單元從全景展開圖像檢測作為顯示目標的對象；截斷位置確定單元，該截斷位置確定單元根據檢測到的對象位置與截斷基準位置之間的關係來確定全景圖像的截斷位置；以及顯示圖像產生單元，該顯示圖像產生單元顯示在截斷位置處從全景展開圖像截斷的全景圖像。利用上述配置，在將全景展開圖像截斷為多個段、豎直對齊並顯示時，待顯示的畫面配置能夠基於對象的位置信息而改變，並且使得能夠進行顯示從而全景圖像之間的關聯對於使用者可理解。進一步地，根據本發明，在全景展開圖像顯示裝置中，全景展開圖像是展開的運動圖像，並且截斷位置確定單元將截斷位置確定為，使得當對象的位置接近截斷基準位置時，對象的整體被包含在所述全景圖像中。利用上述配置，當對象移動到全景畫面的端部時，畫面端部能夠通過展開或收縮而被顯示，並且該對象移動到圖像端部的事實很容易被使用者直觀地理解，並且可以避免對象被中斷地呈現。此外，根據本發明，全景展開圖像顯示裝置進一步包括顯示單元，該顯示單元在顯示區域中顯示全景圖像，並且在截斷位置被更新後，顯示圖像產生單元根據顯示區域來改變全景圖像的大小，並且顯示大小改變的全景圖像。利用上述配置，當對象移動到全景圖像的端部時，全景圖像的顯示範圍通過展開或收縮而被顯示，並且能夠根據顯示區域對圖像調整大小。該對象移動到圖像端部的事實容易地被使用者直觀地理解，以使得能夠不浪費的顯示區域地顯示。此外，根據本發明，全景展開圖像顯示裝置進一步包括背景特徵提取單元，該背景特徵提取單元從全景展開圖像提取背景的背景圖像特徵，並且截斷基準位置確定單元基於·背景圖像特徵來確定截斷基準位置。利用上述設置，能夠基於背景特徵來顯示全景圖像，從而使得能夠顯示對於使用者可理解。此外，根據本發明，在全景展開圖像顯示裝置中，背景特徵提取單元使用顏色信肩、O利用上述配置，能夠選擇在截斷圖像的圖像端部存在獨特的物體或標識牌的部分來輔助使用者的空間理解。另外，根據本發明，在全景展開圖像顯示裝置中，背景特徵提取單元使用字符信肩、O利用上述配置，能夠選擇在截斷圖像的圖像端部存在獨特的物體或標識牌的部分來輔助使用者的空間理解。另外，根據本發明，在全景展開圖像顯示裝置中，背景特徵提取單元使用紋理信肩、O應用上述配置，使能了不選擇紋理恆定的部分作為截斷圖像端部的設定，並且能夠自動選擇在圖像端部具有特徵的背景部分，以輔助使用者的空間理解。此外，根據本發明，在全景展開圖像顯示裝置中，背景特徵提取單元使用關於對象的檢測頻率信息。利用上述配置，諸如使用者關注的繁忙路段的區域不會被選擇作為該圖像的全景圖像切割線。此外，根據本發明，在全景展開圖像顯示裝置中，截斷基準位置確定單元做出確定使得全景圖像的端部彼此重疊。利用上述配置，在圖像端部之間的對齊或者未對齊能夠被已知，並且能夠輔助使用者的空間理解。進一步地，根據本發明，提供了一種全景展開圖顯示裝置，該全景展開圖顯示裝置將全景展開圖分割為至少兩個全景圖像，並顯示該全景圖像，該全景展開圖顯示裝置包括截斷基準位置設置單元，該截斷基準位置設置單元設置用於全景展開圖像的截斷基準位置；對象檢測單元，該對象檢測單元從全景展開圖像檢測作為顯示目標的對象；截斷位置確定單元，該截斷位置確定單元根據檢測到的對象位置與截斷基準位置之間的關係來確定全景圖像的截斷位置；3D位置確定單元，該3D位置確定單元在截斷位置處從全景展開圖像截斷全景圖像，並根據對象在全景圖像中的位置來確定3D凸起程度；以及3D圖像產生單元，該3D圖像產生單元根據由3D位置確定單元確定的3D凸起程度來生成對象在其中凸起的3D圖像。利用上述配置，在將全景展開圖像截斷為多個段、豎直對齊並顯示時，待顯示的畫面配置能夠基於對象的位置信息而改變。此外，能夠三維地顯示對象的位置，並且該顯示使得藉助於對象的立體位置，使用者能夠容易地領會全景圖像的相互聯繫，以及對象的位置關係。 進一步地，根據本發明，提供了一種全景展開圖像顯示裝置，該全景展開圖像顯示裝置將全景展開圖分割為至少兩個全景圖像，並顯示該全景圖像，該全景展開圖像顯示裝
置包括截斷基準位置設置單元，該截斷基準位置設置單元設置用於全景展開圖像的截斷基準位置；對象檢測單元，該對象檢測單元從全景展開圖像檢測作為顯示目標的對象；3D位置確定單元，該3D位置確定單元根據對象在全景圖像中的位置來確定3D凸起程度；以及3D圖像產生單元，該3D圖像產生單元根據由3D位置確定單元確定的3D凸起程度來生成對象在其中凸起的3D圖像。利用上述配置，能夠實現全景圖像的相互聯繫容易被使用者理解的顯示。進一步地，根據本發明，在全景展開圖像顯示裝置中，3D位置確定單元使得在分割之前相連接的不同全景圖像的端部處的凸起程度相同。利用上述配置，在圖像端部之間的對齊或者未對齊能夠被已知，並且能夠輔助使用者的空間理解。本發明的效果根據本發明，能夠提供全景展開圖像顯示裝置和顯示全景展開圖像的方法，其具有如下有利效果在將全景展開圖像截斷為多個段並顯示時，輔助使用者的空間理解，以使得容易地理解全景圖像彼此間的聯繫，並且即使在對象頻繁移動的場景中，也沒有任何中斷地顯示該對象。
圖I是根據本發明第一實施例的全景展開圖像顯示裝置的方框圖。圖2是示出了使用延伸顯示區域的全景展開圖像顯示裝置的操作的流程圖。圖3的(a)至(C)是示出了分割整個圓周圖像的方法的示意圖。圖4的(a)和(b)示出了使用延伸顯示區域的全景展開圖像顯示裝置的兩畫面配置的圖。圖5是示出了使用延伸顯示區域的全景展開圖像顯示裝置的操作的示意圖。圖6是示出了使用調整大小處理的全景展開圖像顯示裝置的操作的流程圖。圖7是示出了使用調整大小處理的全景展開圖像顯示裝置的兩畫面配置的圖。圖8是示出了使用調整大小處理的全景展開圖像顯示裝置的操作的示意圖。圖9是根據本發明的第二實施例的全景展開圖像顯示裝置的方框圖。圖10是示出了使用3D顯示的全景展開圖像顯示裝置的操作的流程圖。
圖11的(a)和(b)是示出了由3D位置信息保留單元保持的數據實例的示意圖。圖12是示出了使用3D顯示的全景展開圖像顯示裝置的操作實例的示意圖。
具體實施例方式(第一實施例)在下文中，將參照附圖給出根據本發明的一個實施例的全景展開圖像顯示裝置的描述。在這個實例中，使用能夠360度成像的全方位相機用於獲得全景展開圖像。將在圖I中示出根據本發明第一實施例的全景展開圖像顯示裝置的配置。參照圖1，全景展開圖像顯示裝置100包括全方位圖像產生單元101，其通過諸如魚眼相機的全方位相機產生全方位圖像；全景展開單元102，其全景展開全方位圖像；以及背景特徵提取單元103，其從全景展開圖像的背景中提取圖像特徵量。全景展開圖像顯示裝置100還包括截斷基準位置更新單元104，其基於背景特徵來更新適合於截斷全景展開圖像的截斷基準 位置；對象檢測單元105，其檢測作為顯示目標的對象；對象位置計算單元106，其計算檢測到的對象的位置。全景展開圖像顯示裝置100還包括顯示圖像產生單元107，其基於先前提取的截斷基準位置和對象位置信息在截斷全景展開圖像時確定圖像端部的位置，以產生多個截斷全景圖像；以及顯示單元108，其顯示由顯示圖像產生單元107產生的多個截斷的全景圖像。在圖2中示出如上所述設置的全景展開圖像顯示裝置100的操作流程。首先，從全方位圖像產生單元101中獲取全方位相機圖像(步驟201)。然後，獲取的全方位相機圖像被全景展開單元101展開，以獲得將360度的全方位圖像在任意位置處切割並展開的全景展開圖像(步驟202)。可以使用在專利文獻I中公開的通常技術作為全景展開技術。另夕卜，由於360度的全方位圖像被展開，展開圖像的左端和右端實際上是彼此相鄰的區域。取決於下文所述的截斷基準位置，即使將展開圖像在距全景展開圖像的左(右)端的給定距離處切割，並原樣地連接到右(左)端，也保持了圖像的連接性。接下來，確定截斷基準位置是否更新(步驟203)。在此步驟中，在最初啟動全景展開圖像顯示裝置100時，或由其他因素導致極大改變待成像的區域時，或在由操作者確定的任意時刻，確定更新截斷基準位置。如果確定進行更新，則更新截斷基準位置(步驟204和 205)。在更新截斷基準位置時，背景特徵提取單元103首先提取圖像上的背景特徵量，諸如紋理信息，顏色信息，或字符信息(步驟204)。在這種情況下，待提取的特徵量可以通過除圖像處理以外的、使用傳感器或類似方法的另一途徑獲取。接下來，通過使用在步驟204中獲得的背景特徵量，截斷基準位置更新單元104更新截斷基準位置，並且更新背景信息(步驟205)。截斷基準位置更新單元104獲得將全景展開圖像截斷為全景圖像時的基準位置。為了便於理解被分割為多個段的全景圖像的各個端部之間的對應關係，使背景信息分數的值在具有圖形特徵的區域(紋理不一致，顏色與其他顏色相比是特殊的，嵌入諸如標識牌的文字信息，等等)中提高更多。另一方面，如果對象移動，由於優選的是在全景圖像的端部不存在對象，因此將背景信息分數的值計算為使得其值隨著對象的檢測頻率升高而降低。以這種方式，獲得了代表特徵區域(物體)在全景展開圖像上的位置的背景信息，並且設置和更新全景展開圖像的截斷基準位置，使得背景分數高的區域被優先地選擇用於截斷的全景圖像的相應圖片端部。例如，當全景展開圖像被分割為N個段並被顯示時，將背景分數最高的區域設置為包含在第一段分割圖像的左端，並且參考該區域的位置而將整個全景展開圖像分割為N個段並顯示。在本系統中，在與相鄰的分割圖像部分重疊的情況下顯示每個分割圖像的兩個端部。因此，第一段分割圖像的左端的背景分數最高的區域也包括在第N段分割圖像的右端。利用此設置，如果選擇背景分數低的區域用於在第m個分割圖像(m=l，...，N)的圖像端部，則參考背景分數第二高的區域代替背景分數最高的區域，將該全景展開圖像的截斷位置重置。此後，重複上述操作，並設置最佳的截斷基準位置。這導致如下優點即各個分割的全景展開圖像的聯繫對操作者是可理解的。在這種情況下，可以增加約束條件使得各個段的圖像寬度變得彼此相等。將參考圖3的(a)至(C)來說明上述特徵。圖3的(a)表示一個外觀，其中在整個圓周圖像301中拍攝了第一背景分數區域302，第二背景分數區域303，和低背景分數區域 304。首先，在參考如圖3的(b)所示的第一背景分數區域302而將整個圓周圖像301在第一切割線305處分割為三塊時，在低背景分數區域304中的物體跨越了第一段和第二段分割圖像的端部。在這種情況下，當參考如圖3的(C)所示的第二背景分數區域303而在第二切割線306處分割圖像時，在沒有被分割圖像所分割的情況下顯示低背景分數區域304。當截斷基準位置的更新已完成，或沒有必要更新時，對象檢測單元105隨後檢測在全景展開圖像中的對象，並輸出獲得代表圖像中各個位置處的對象(例如，人)的分數的對象檢測結果。另外，對象位置計算單元106基於對象檢測結果將代表對象的分數等於或高於閾值的位置確定為該對象的位置，並輸出對象位置信息(步驟206)。隨後，根據截斷基準位置和對象位置信息，顯示圖像產生單元107確定並截斷由全景展開單元102產生的全景展開圖像的截斷位置(步驟207)，並且產生全景圖像(步驟208 至 210)。具體而言，確定對象檢測結果和截斷基準位置之間的距離是否等於或高於給定值(步驟208)。如果是，則將截斷的全景圖像產生為使得截斷基準位置成為圖像端部(步驟209)。如果不是，則調整截斷基準位置，以產生截斷的全景圖像(步驟210)。將在下文說明步驟210中的調整截斷基準位置的處理的細節。圖4示出了根據第一實施例的顯示實例。圖4的(a)和4 (b)表示從全景展開圖像產生兩個截斷的全景圖像，並在顯示器11上顯示為兩段的實例。相應的截斷的全景圖像顯示在分割畫面上段12與分割畫面下段13。圖4的(a)示出了顯示通過原樣地使用由背景信息更新單元設置的截斷基準位置而產生的截斷的全景圖像的實例。在這種情況下，在分割畫面上段12的右端與分割畫面下段13的左端重疊並顯示相同的圖像。圖4的(b)中的區域20和21示出了其中通過使用延伸顯示區域14來顯示在因為檢測到人而調整截斷基準位置之後產生的截斷的全景圖像的實例。延伸顯示區域14是顯示/非顯示可選擇的區域，其設置在圖像的右側與左側，用於在對象22在接近畫面端部時改變圖像的顯示寬度以顯示該圖像。圖4的(b)示出了當對象22靠近分割畫面上段12的右端時，通過使用延伸顯示區域20來顯示圖像的實例。另外，圖4的(b)示出了通過使用在分割畫面下段13左端的延伸顯示區域21來顯示圖像的實例。在延伸顯示區域14中，在於截斷基準位置處進行顯示的同時，可以顯示任意信
肩、O 圖5示出了本實施例中的操作實例。圖5示出了對象17 (在本實例中為人)在全景展開圖像中從左至右移動的實例。在圖上部的由粗框包圍的圖像是全景展開圖像。如上所述，由於全景展開圖像是具有彼此相連的端部的圖像，即使該圖像在截斷時落在粗框以夕卜，該圖像也可作為連續圖像來處理。粗框右側與左側的虛線區域對應於通過在距左(右)端給定距離處切割全景展開圖像，並將切割的圖像原樣地連接到右(左)端而獲得的圖像。圖5示出了如在圖4的(a)和(b)中將全景展開圖像分割為兩段並顯示的實例。在這個實例中，顯示在上段的截斷的全景圖像被稱為「畫面1」，而顯示在下段的截斷的全景圖像被稱為「畫面2」。截斷基準位置由截斷基準位置更新單元預先獲得。如圖中所示，對於畫面I和畫面2獲得相應的右截斷基準位置和左截斷基準位置。此外，通過對象位置計算單元106檢測對象位置(人的位置)17。在時刻t，人的位置17以給定距離dl或者更多而遠離畫面I和畫面2的全部右截斷基準位置與左截斷基準位置。因此，分割畫面上段12與分割畫面下段13兩者都顯示以截斷基準位置作為畫面端部的截斷的全景圖像，並且將該人顯示在分割畫面上段12上。當來到時刻t+Ι，人16接近距畫面I的右截斷基準位置(對應於tl時刻分割畫面上段12的右端)給定距離dl處。為此，將畫面2的分割的全景圖像產生為使得通過向畫面2的左截斷基準位置增加給定距離dL而獲得的位置成為畫面端部，並顯示在分割畫面下段
13。當由此顯示圖像時，將該人顯示在分割畫面上段12與分割畫面下段13兩者上。此外，這使得使用者可以注意到該人接近畫面端部。當來到時刻t+2，人15接近距畫面I的右截斷基準位置(相應於在時刻t+Ι分割畫面上段12的右端)給定距離d2處。為此，將畫面I的截斷的全景圖像產生為使得通過向畫面I的右截斷基準位置增加給定距離dR而獲得的位置成為畫面端部，並顯示在分割畫面上段12。此外，將截斷的畫面2的全景圖像產生為使得畫面2的左截斷基準位置成為畫面端部，並顯示在分割畫面下段13。當時間進一步到達時刻t+3時，人18移動以距離dl或者更多而從畫面2的左截斷基準位置移開。因此，將全景圖像產生為使得截斷基準位置與畫面I和畫面2兩者上的畫面端部匹配，並顯示在分割畫面上段12和分割畫面下段13。同樣地，當對象在分割畫面上段12從右至左移動時，展開和收縮在原有全景展開圖像上具有連接關係的圖像端部中的每一個，諸如分割畫面下段13的右端和分割畫面上段12的左端。因此，可以沒有中斷地顯示該對象。即使在以三段或更多個段顯示全景圖像的配置下，當對象從對應圖像端部移動到距離dl和d2時，將相應的區域以距離dR和dL展開和收縮，由此來獲得同樣的效果。在這種情況下，考慮對象的水平寬度，更有效地確定dl，d2，dR和dL的大小。在如上所述根據本發明第一實施例的全景展開圖像顯示裝置中，截斷基準位置由背景特徵提取單元103和截斷基準位置更新單元104設置，使得具有圖形特徵的區域被優先地選擇用於截斷的全景展開圖像的各個圖像端部。另外，全景展開圖像的截斷位置由對象位置計算單元106與對象位置相一致地改變，以展開和收縮顯示範圍。因此，可以沒有中斷地在截斷的全景圖像的圖像端部顯示該對象。此外，因為顯示範圍被展開和收縮，人的移動容易被使用者理解。在一種顯示方法中，當對象接近距截斷基準位置給定距離dl與d2時，截斷的全景圖像的顯示區域在無預先展開和收縮的情況下被固定到預先確定的寬度，而截斷的全景圖像的寬度(在下文中，以該寬度截斷的全景圖像被稱為「待調整大小的區域」)改變，該寬度可以被調整大小。因此，可以在不浪費顯示區域且沒有中斷的情況下顯示該對象。在圖6中示出了使用調整大小的流程，在圖7中示出了畫面的顯示實例，並且在圖8中示出了操作實例。在圖6中，以相同的附圖標記指示與圖2示出的流程中的處理相同的處理。在步驟510中，代替展開和收縮，對顯示區域調整大小並顯示。如圖7所示，由於在實際畫 面顯示中展開和收縮各個截斷的全景圖像，因此不需要延伸顯示區域。在圖8中，上述實例中待調整大小的區域在從時刻t到時刻t+3的相應畫面中分別由虛線粗框表示。例如，在時刻t+Ι的畫面2中的待調整大小的區域寬度比在時刻t的畫面2中的待調整大小的區域寬度寬。在這種情形下，對在時刻t+Ι的畫面2中的待調整大小的區域調整大小，使得減小其寬度，並與在時刻t的寬度相一致地顯示。此外，在第一實施例中，通過使用魚眼鏡頭等的全方位相機拾取的圖像被設置為輸入圖像。甚至在通過使用一個或多個常規相機生成全景圖像時，也獲得同樣的效果。此外，通過使用背景特徵來獲得截斷基準位置不是必要的，並且預先確定的位置或由人指定的位置可以被設置為截斷基準位置。另外，將截斷基準位置確定為使得相應的截斷的全景圖像的兩個端部都彼此重疊不是必要的，但是可以將截斷基準位置確定為使得那些端部彼此不重疊(相鄰的截斷的全景圖像的圖像端部出現在相同位置或彼此遠離)。確定截斷基準位置以使得端部相互重疊是有利的，其原因是同樣的物體被包含在不同的全景展開圖像中，如果物體是特徵物體，則位置關係容易被使用者理解。確定截斷基準位置以使得端部彼此不重疊有利於節約顯示區域。為此，可以根據應用或使用條件來選擇截斷基準位置的確定。(第二實施例)接下來，將參照圖9給出根據本發明的第二實施例的全景展開圖像顯示裝置800的說明。與第一實施例中描述的全景展開圖像顯示裝置100相同的構成元件由相同的附圖標記來表示。 參考圖9，根據本發明的第二實施例，全景展開圖像顯示裝置800包括全方位圖像產生單元101 ;全景展開單元102 ;背景特徵提取單元103，其從全景展開圖像中提取背景的圖像特徵量；截斷基準位置更新單元104，其基於背景特徵來更新適合於截斷全景圖像的位置；對象檢測單元105，其檢測作為顯示目標的對象；和對象位置計算單元106，其計算檢測到的對象位置。全景展開圖像顯示裝置800還包括3D圖像產生單元801，其基於檢測到的對象信息計算3D位置信息(關於在生成3D圖像時從畫面凸起的程度的信息)，以產生對象的3D圖像；3D位置信息保留單元802，其保留與各個對象的位置對應的3D位置信息；以及圖像合成單元803，其從產生的3D圖像和截斷的全景圖像來合成圖像，該截斷的全景圖像根據截斷基準位置從全景展開圖像截斷；顯示單元108，其顯示合成的圖像。
3D位置信息保留單元802保留與在截斷的全景圖像中的對象位置對應的3D位置信息，該3D位置信息保留單元802可以根據將全景展開圖像分割為兩塊的情形或將該全景展開圖像分割為三塊的情形預先確定3D位置信息。將關於相鄰的截斷的全景圖像的對應圖片端部的3D位置信息設置為相同的值。因此，當對象跨越截斷的全景圖像移動時，對象的凸起程度是彼此相同的。因此，容易進行相同對象的關聯。圖11示出了由3D位置信息保留單元保持的數據的一個實例。圖11的(a)示意性地示出了當全景展開圖像被分割為兩塊時根據對象位置的3D凸起程度。(b)示出了全景展開圖像被分割為三塊的情形。在這個實例中，虛線部分對應於一個截斷的全景圖像，並且粗線部分對應於凸起量。也就是說，如果得到了截斷基準位置(虛線的端部位置)和對象位置，則可以獲得凸起量。基於3D位置信息不僅產生對象的3D圖像，也產生背景的3D圖像。因此，即使對象不移動，也很容易理解一個截斷的全景圖像的端部連接到另一個截斷的全景圖像的哪個端部。將參照圖10說明如上所述的全景展開圖像顯示裝置的操作。步驟201至207與第一實施例中的步驟相同。在步驟207結束時的時間點，獲得截 斷基準位置和對象位置。接下來，3D圖像產生單元801基於輸出的對象位置信息以及存儲在3D位置信息保留單元802中的3D位置來獲得凸起量(步驟901)。3D圖像產生單元801生成該對象的3D圖像(步驟902)，其看上去以獲得的凸起量凸起。最後，圖像合成單元803從存在該對象的截斷的全景圖像與該對象的3D圖像合成圖像，並生成待顯示的圖像。圖12中示出了 3D圖像產生的實例。圖12是虛擬地示出了繪圖平面的頂視圖，當假想平面31在深度方面是±0時，例如，畫面I表示將左側顯示在後面，而將右側在前面突出並顯示。對象的每個位置的立體視圖程度由3D位置信息保留單元802保存。基於每個對象的位置信息在3D圖像產生單元801中產生3D圖像，以便可以立體地觀看對象圖像。該圖像由圖像合成單元803從產生的3D圖像與原始的全景展開圖像合成，並隨後顯示在顯示單元108中。在這種情況下，在各個分割的全景圖像中，將相鄰的部分顯示為使得在立體觀看時具有相同的高度。例如，在圖12中，畫面I的右端和畫面2的左端顯示相同的區域，並且通過3D位置信息保留單元802調整指示對於對象33的每個位置的深度信息的3D深度信息線32，以便所有這些端部變為處於同一高度。對於畫面I的左端和畫面2的右端同樣適用。在這個實例中，如果通過3D位置信息保留單元設置3D位置信息，以使得凸起程度在畫面I的右端和左端之間不同，即使兩個對象在畫面I的右端與左端同時移動，這兩個對象之間的凸起程度也是不同的。因此，在圖像中，可以容易地理解圖像端部的相互聯繫。在如上所述根據本發明第二實施例的全景展開圖像顯示裝置中，由對象檢測單元105檢測對象，由3D位置信息保留單元802參考關於適當位置的3D信息，並且由3D圖像產生單元801來產生並顯示3D圖像。利用該配置，即使當全景展開圖像被分割為多個段時，在分割後的各個圖像端部的互相聯繫可以被顯示為使得便於理解。在本實施例中，將全景展開圖像分割為兩個畫面。同樣地，當全景展開圖像被分割成三個或更多個畫面時，可以以相同的高度三維顯示相鄰區域。此外，還可以通過使相鄰區域的高度彼此相等來獲得上述效果，但立體化程度是任意的。也就是說，不總是需要畫面兩端具有最大的聞度，或具有最大深度。此外，當通過圖像合成單元803從3D信息和背景合成圖像時，如在第一實施例中，基於由截斷基準位置更新單元104檢測的背景的截斷位置，以由對象位置計算單元106計算的對象位置，確定背景圖像的截斷位置以截斷全景圖像。3D信息可以與作為背景的截斷的全景圖像合成。已經詳細地並參照特定的實施例描述了本發明，但對於普通技術人員顯而易見的是，在不脫離本發明的精神與範圍的情況下，本發明可以進行各種變更和修改。本發明是基於2010年5月17日提交的日本專利申請(特願2010-112855)，並且其內容通過引用併入本文。工業適用性如上文已經描述的，根據本發明的全景展開圖像顯示裝置具有截斷位置和全景展開圖像的顯示方法可以與對象的移動一致地改變的優點，並且作為顯示通過使用全方位相機或多個相機生成的全景圖像的方法是有用的，並且可廣泛地用於例如使用全方位相機的 監視器解決方案等中。附圖標記說明101 :全方位圖像產生單元102 :全景展開單元103 :背景特徵提取單元104 :截斷基準位置更新單元105 :對象檢測單元106 :對象位置計算單元107:顯示圖像產生單元108 :顯示單元
權利要求
1.一種全景展開圖像顯示裝置，所述全景展開圖像顯示裝置將全景展開圖像分割成至少兩個全景圖像，並顯示所述全景圖像，所述全景展開圖像顯示裝置包括 截斷基準位置設置單元，所述截斷基準位置設置單元設置用於所述全景展開圖像的截斷基準位置； 對象檢測單元，所述對象檢測單元從所述全景展開圖像檢測作為顯示目標的對象；截斷位置確定單元，所述截斷位置確定單元根據檢測到的對象位置與所述截斷基準位置之間的關係來確定所述全景圖像的截斷位置；以及 顯示圖像產生單元，所述顯示圖像產生單元顯示在所述截斷位置處從所述全景展開圖像截斷的所述全景圖像。
2.根據權利要求I所述的全景展開圖像顯示裝置， 其中所述全景展開圖像是展開的運動圖像，並且 其中所述截斷位置確定單元將所述截斷位置確定為，使得當所述對象的位置接近所述截斷基準位置時，所述對象的整體被包含在所述全景圖像中。
3.根據權利要求I所述的全景展開圖像顯示裝置，進一步包括顯示單元，所述顯示單元在顯示區域中顯示所述全景圖像， 其中在所述截斷位置被更新後，所述顯示圖像產生單元根據所述顯示區域來改變所述全景圖像的大小，並且顯示大小改變的全景圖像。
4.根據權利要求I所述的全景展開圖像顯示裝置，進一步包括背景特徵提取單元，所述背景特徵提取單元從所述全景展開圖像提取背景的背景圖像特徵， 其中所述截斷基準位置確定單元基於所述背景圖像特徵來確定所述截斷基準位置。
5.根據權利要求4所述的全景展開圖像顯示裝置， 其中所述背景特徵提取單元使用顏色信息。
6.根據權利要求4所述的全景展開圖像顯示裝置， 其中所述背景特徵提取單元使用字符信息。
7.根據權利要求4所述的全景展開圖像顯示裝置， 其中所述背景特徵提取單元使用紋理信息。
8.根據權利要求4所述的全景展開圖像顯示裝置， 其中所述背景特徵提取單元使用關於所述對象的檢測頻率信息。
9.根據權利要求I所述的全景展開圖像顯示裝置， 其中所述截斷基準位置確定單元做出確定使得所述全景圖像的端部彼此重疊。
10.一種全景展開圖像顯示裝置，所述全景展開圖像顯示裝置將全景展開圖像分割成至少兩個全景圖像，並顯示所述全景圖像，所述全景展開圖像顯示裝置包括 截斷基準位置設置單元，所述截斷基準位置設置單元設置用於所述全景展開圖像的截斷基準位置； 對象檢測單元，所述對象檢測單元從所述全景展開圖像檢測作為顯示目標的對象；截斷位置確定單元，所述截斷位置確定單元根據檢測到的對象位置與所述截斷基準位置之間的關係來確定所述全景圖像的截斷位置； 3D位置確定單元，所述3D位置確定單元在所述截斷位置處從所述全景展開圖像截斷所述全景圖像，並根據所述對象在所述全景圖像中的位置來確定3D凸起程度；以及3D圖像產生單元，所述3D圖像產生單元根據由所述3D位置確定單元確定的所述3D凸起程度來生成所述對象在其中凸起的3D圖像。
11.一種全景展開圖像顯示裝置，所述全景展開圖像顯示裝置將全景展開圖像分割成至少兩個全景圖像，並顯示所述全景圖像，所述全景展開圖像顯示裝置包括 截斷基準位置設置單元，所述截斷基準位置設置單元設置用於所述全景展開圖像的截斷基準位置； 對象檢測單元，所述對象檢測單元從所述全景展開圖像檢測作為顯示目標的對象； 3D位置確定單元，所述3D位置確定單元根據所述對象在所述全景圖像中的位置來確定3D凸起程度；以及 3D圖像產生單元，所述3D圖像產生單元根據由所述3D位置確定單元確定的所述3D凸起程度來生成所述對象在其中凸起的3D圖像。
12.根據權利要求11所述的全景展開圖像顯示裝置，其中所述3D位置確定單元使得在分割之前相連接的不同全景圖像的端部處的凸起程度相同。
13.—種顯示全景展開圖像的方法，所述顯示全景展開圖像的方法將全景展開圖像分割成至少兩個全景圖像，並顯示所述全景圖像，所述顯示全景展開圖像的方法包括 截斷基準位置設置步驟，所述截斷基準位置設置步驟設置用於所述全景展開圖像的截斷基準位置； 對象檢測步驟，所述對象檢測步驟從所述全景展開圖像檢測作為顯示目標的對象； 截斷位置確定步驟，所述截斷位置確定步驟根據檢測到的對象位置與所述截斷基準位置之間的關係來確定所述全景圖像的截斷位置；以及 顯示圖像產生步驟，所述顯示圖像產生步驟顯示在所述截斷位置處從所述全景展開圖像截斷的所述全景圖像。
全文摘要
當通過全景地展開圖像而在顯示器上顯示球狀圖像時，圖像需要被分割為兩個或更多個段，然而要關注的對象在分割位置處被不方便地切斷。提供了全景圖像顯示裝置，其通過將全景展開圖像分割成至少兩個全景圖像來顯示該全景展開圖像，包括截斷基準位置設置單元，其設置用於全景展開圖像的截斷基準位置；對象檢測單元，其從全景展開圖像檢測作為顯示目標的對象；截斷位置確定單元，其根據檢測到的對象位置與截斷基準位置之間的關係來確定全景圖像的截斷位置；以及顯示圖像產生單元，其顯示在截斷位置處從全景展開圖像截斷的全景圖像。
文檔編號H04N5/225GK102893594SQ20118002450
公開日2013年1月23日 申請日期2011年5月16日 優先權日2010年5月17日
發明者渡邊偉志, 橫光澄男, 藤井博文, 藤松健, 松本裕一, 三輪道雄, 杉浦雅貴, 森岡幹夫 申請人:松下電器產業株式會社