圖像處理設備、顯示控制方法、程序和存儲介質的製作方法
2023-06-16 03:33:26 1
專利名稱：圖像處理設備、顯示控制方法、程序和存儲介質的製作方法
技術領域：
本發明涉及一種優選用於在一個屏幕上顯示多個圖像的圖像處理 設備、顯示控制方法、程序和存儲介質。
背景技術：
在一些情況下，多個圖像被組合併顯示在單個屏幕上。多個圖像 的同時顯示通常採取例如對縮小的多個圖像進行排列的方案或者將不
同角度的副圖像安置在主圖像的一部分中的畫中畫(PinP)方式。
為了從多個圖像產生合成圖像， 一般來講，確定共有部分，執行 特徵點提取等，並且在使共有部分彼此對齊的情況下將多個圖像組合 在一起。例如，日本未審查專利申請公報第2005-182098號公開了一 種技術，其中，確定多個圖像的特徵量並且將它們彼此比較以產生包
含兩個或更多個疊加圖像的合成圖像。
例如，日本未審查專利申請公報第10-164435號公開了一種通過 以時空方式將多個圖像組合在一起以允許多個圖像的同時理解從而增 強圖像質量的技術。
例如，曰本未審查專利申請公報第2000-261794號公開了一種在 一個屏幕上布置並顯示由多個攝像機拍攝的多個圖像的技術。
發明內容
對於在日本未審查專利申請公報第2005-182098號中公開的技 術，由於角度的差別等，難以完全地匹配圖像。因此，對於合成圖 像，難以同時理解多個圖像。
在曰本未審查專利申請公報第10-164435號中公開的技術中，沒 有考慮同時觀看由多個攝像機拍攝的圖像。曰本未審查專利申請公報第2000-261794號中公開的技術通常需 要從基本相同的方向拍攝同一部分。因此，圖像尺寸會減小或者原始 圖像會被疊加的圖像隱藏。
鑑於以上情形構思出本發明，期望可以將多個圖像同時顯示在一 個屏幕上從而能夠容易地觀看各個圖像。
根據本發明的實施例，確定第 一 圖像的特徵量和第二圖像的特徵 量，第一圖像和第二圖像包含相同被攝物；從第二圖像中消除特徵量 大於預定閾值的區域以提供被消除區域透明的第二圖像；以及將被消 除區域透明的第二圖像疊加在第一圖像上。
採用這種布置，即使對於通過組合多個圖像所獲得並且在一個圖 像上顯示的合成圖像，仍可以清楚地顯示圖像之間的差別。
根據本發明，通過將第二圖像疊加在第一圖像上所獲得的合成圖 像可以被提供給圖像顯示裝置供用戶觀看，其中，第二圖像和第一圖 像具有相同對象。因此，本發明的優點在於通過簡單地觀看顯示在 一個屏幕上的合成圖像，用戶就能夠容易地識別包含在第一和第二圖 像中的對象之間的關係。
圖1是示出了根據本發明第一實施例的圖像處理系統的配置示例 的圖2是示出了根據本發明第 一 實施例的圖像處理設備的內部結構 的示例的框圖3是示出了根據本發明第一實施例的圖像疊加處理的示例的流 程圖4是示出了根據本發明第一實施例的圖像色域檢測處理和圖像 組合處理的示例的流程圖5示出了本發明第一實施例中的第一圖像的示例； 圖6示出了本發明第一實施例中的第二圖像的示例； 圖7示出了本發明第一實施例中的第一圖像的色域分布的示例；
6圖8示出了本發明第一實施例中的第二圖像的色域分布的示例； 圖9示出了本發明第一實施例中的第一圖像的色域的示例，該色 域超過了閾值；
圖10示出了本發明第一實施例中的第二圖像的色域的示例，該 色域超過了閾值；
圖11示出了本發明第一實施例中的第一和第二圖像的色域分布 的示例，其中，在三維空間中表示超過閾值的共有部分的色域；
圖12示出了本發明第一實施例中的第一和第二圖像的色域分布 的示例，其中，在二維空間中表示超過閾值的共有部分的色域；
圖13示出了在本發明第一實施例中通過從第二圖像中消除預定 色域(地面的顏色)所獲得的圖像的示例；
圖14示出了在本發明第一實施例中通過將第二圖像與作為主圖 像的第 一 圖像進行組合所獲得的圖像的示例；
圖15示出了在本發明第一實施例中通過將第一圖像與作為主圖 像的第二圖像進行組合所獲得的圖像的示例；
圖16是示出了根據本發明第二實施例的圖像處理設備的內部結 構的示例的框圖；以及
圖17是示出了本發明第二實施例中的疊加圖像的顯示示例的圖。
具體實施例方式
下面將參照圖l到圖15描述本發明的第一實施例。在本發明的 這個實施例中，將描述一個示例，其中，從具有不同角度(拍攝點) 和變焦(拍攝倍率)的多個攝像機獲得的多個圖像被圖像處理系統1 使用，該圖像處理系統1通過利用根據本發明實施例的圖像處理設備 能夠在一個屏幕上顯示所述多個圖像。
圖1示出了根據本發明實施例的圖像處理系統1的配置示例。 圖像處理系統1包括第一攝像機3、第二攝像機4、圖像處理設 備10和圖像顯示裝置6。第一攝像機3拍攝第一場景的圖像並且產生第一圖像。第二攝像機4拍攝面積小於第一場景的第二場景的圖 像。基於從第一攝像機3輸入的第一圖像和從第二攝像機4輸入的第 二圖像，圖像處理設備10執行將這些圖像組合成合成圖像的處理。 圖像顯示裝置6顯示由圖像處理設備IO組合的合成圖像。
第一場景的被攝物和第二場景的被攝物是相同的。然而，在本實 施例中，第一攝像機3通過搖攝(panning)產生第一圖像。另 一方 面，第二攝像機通過放大產生第二圖像。因此，第一場景具有面積大 於第二場景的被攝物。
圖像處理設備10將從第一攝像機3和第二攝像機4輸入的圖像 中的一個(用作主圖像)疊加在圖像尺寸小於主圖像的另一個圖像 (用作副圖像)上以產生合成圖像。
第一攝像機3的角度和變焦與第二攝像機4的角度和變焦彼此不 同。圖像顯示裝置6例如是液晶顯示裝置、有機EL (電致發光)顯 示裝置或者投影儀裝置。
圖2示出了圖像處理設備IO的內部結構的示例。
圖像處理設備10包括存儲部分11、圖像疊加部分12和外部信 號輸入部分13。存儲部分11存儲從第一攝像機3、第二攝像機4和 調諧器輸入的圖像。圖像疊加部分12對從存儲部分11讀取的圖像信 號執行預定處理。外部信號輸入部分13接收用戶執行的操作的操作 信息等。
存儲介質11例如是諸如硬碟驅動器(HDD)的大容量存儲介 質。存儲在存儲部分11中的圖像例如是以MPEG-2 (運動圖像專家 組2)格式壓縮的數字數據，並且包括運動圖像和靜止圖像。
圖像疊加部分12包括特徵量檢測部分21、消除區域檢測部分22 和圖像組合部分23。特徵量檢測部分21檢測包括在圖像中的被攝物 的特徵量。特徵量檢測部分21確定包含在具有相同被攝物的圖像中 的特徵量。通過特徵量檢測部分21確定的特徵包括在第一圖像和第 二圖像中包含的色域色度和包含在第一圖像和第二圖像中的被攝物的 運動量(運動矢量的標量)。消除區域檢測部分22從第二圖像中消除由大於預定閾值的特徵 量指示的區域，並且提供被消除區域透明的第二圖像。圖像組合部分 23將被消除區域透明的第二圖像疊加在第一圖像上，由此提供合成 圖像。由圖像疊加部分12提供的合成圖像通過圖像顯示裝置6進行 顯示。圖像疊加部分12例如可以由中央處理單元(CPU)實現。
例如，圖像處理設備10利用色彩空間的YUV色彩模型。在用 於YUV色彩模型的YUV坐標系中，色彩通過由亮度信號(Y)、指 示該亮度信號與藍色信號之間的差的信號(U)和指示該亮度信號與 紅色信號之間的差的信號(V)所確定的色彩空間區域進行表示。圖 像使用的色彩在色彩空間區域中的分布被稱作"色域"。在輸入到圖像 處理設備10的圖像中包括的像素通過YUV色彩模型進行表示。在 本實施例中，針對每個像素確定的UV坐標位置也可稱作"色域"。
特徵量檢測部分21檢測包含在第一和第二圖像中的色域作為特 徵量。特徵量檢測部分21然後確定第一圖像和第二圖像共有的頻繁 檢測到的色域。在這種情況下，確定主圖像和副圖像。針對包括在這 些圖像中的每個像素確定色域。色域可由三維色度分布圖表示。當在 圖像中包含大量相同色彩時，累積與該色彩對應的色域色度。當累積 的色度的值大於預定閾值時，圖像的包含最頻繁出現的色域的一部分 被提取作為圖像的特徵部分(圖像的該部分也可以稱作最頻繁色域部 分)。
特徵量檢測部分21例如確定用戶希望觀看的被攝物包含在多個 輸入圖像中的哪個中。
現在將通過示例描述利用三個攝像機(第一到第三攝像機)拍攝 被攝物的情況。在這種情況下，第一攝像機和第二攝像機獲取通過拍 攝整個被攝物所獲得的搖攝圖像和包含在該搖攝圖像中的被攝物的放 大圖像。在這種情況下，第一攝像機和第三攝像機也拍攝通過拍攝整 個被攝物所獲得的搖攝圖像和包含在該搖攝圖像中的被攝物的放大圖 像。在這種情況下，特徵量檢測部分21例如檢查在由第二和第三攝 像^/L獲取的圖像中是否存在任何重疊部分(被攝物)。特徵量檢測部分21能夠確定攝像機的攝像機位置作為這些攝像機之間的關係，並 且能夠檢測作為特徵量的該關係。
特徵量檢測部分21基於第一和第二圖像識別第一圖像和第二圖 像共有的色域。由特徵量檢測部分21確定的色域能夠由包含在每個 圖像中並且由YUV坐標系表示的累積的色域色度表示。當累積的色 度的值超過預定閾值時，特徵量檢測部分21在圖像中將該色域檢測
作為色度頻率最高的色域。
特徵量檢測部分21將包含在第一和第二圖像中的被攝物的運動 量作為特徵量進行檢測，並且確定第 一圖像和第二圖像共有的頻繁檢 測到的運動量。
當特徵量檢測部分21將第一和第二圖像的色域作為特徵量進行 檢測時，消除區域檢測部分22消除與第一和第二圖像共有的色域對 應的區域。在這種情況下，從主圖像和副圖像中的特定一個中消除與 主圖像中的特徵部分和副圖像中的特徵部分共有的色域對應的區域。 因此，例如，當在主圖像和副圖像中都包含地面的圖像時，地面的色 域被檢測為在屏幕上最頻繁出現的色域(該色域在下文中也稱作"最 頻繁色域")並且包含最頻繁色域的地面圖像作為最頻繁色域部分被 消除。
另一方面，當特徵量檢測部分21將被攝物的運動量作為特徵量 進行檢測時，消除區域檢測部分22從第二圖像中消除具有該運動量 的淨皮:攝物對象的背景區域。
圖像組合部分23將通過消除區域檢測部分22消除了與共有色域 對應的圖像的副圖像疊加在主圖像上由此提供合成圖像。利用操作部 分(未示出)執行用戶操作，所述操作部分例如為遙控裝置、按鈕、 觸摸板和定點裝置。操作部分連接到外部信號輸入部分13。根據經 由外部信號輸入部分13從外部接口輸入的操作信號，確定由特徵量 檢測部分21確定的色域、預定閾值、和由消除區域檢測部分22消除 的區域。相似地，基於從操作部分發送的輸入，確定圖像組合部分 23用來與主圖像組合的副圖像相對於該主圖像的位置。結果，顯示的合成圖像對於觀看者不會看起來不自然。
圖3是示出由根據本發明實施例的圖像處理設備10執行以通過 在主圖像上疊加副圖像來產生合成圖像的圖像疊加處理的示例的流程 圖。
最初，特徵量檢測部分21確定是否執行圖像疊加處理。在步驟 Sl中，特徵量檢測部分21確定是否從每個圖像的色域提取最頻繁色 域部分。例如，通過用戶執行的按鈕操作預先選擇該確定。
該選擇處理是通過經由外部信號輸入部分13發出的命令觸發 的。基於接收到的命令，特徵量檢測部分21檢測包含在圖像中的被 攝物(在下文中可以稱作"對象")的特徵量以幫助進行被攝物選擇。 然後，特徵量檢測部分21傳遞檢測到的特徵量的數據。隨後，當用 戶已經選擇執行圖像疊加處理時，執行步驟S2中的處理。
當不提取最頻繁色域部分時，特徵量檢測部分21完成圖像疊加 處理。例如，不提取最頻繁色域部分的情況對應於在畫中畫狀態或者 在並置狀態下顯示多個圖像的情況。
另一方面，當要提取最頻繁色域部分時，在步驟S2中，特徵量 檢測部分21讀取存儲在圖像部分11中的圖像。在步驟S3中，特徵 量檢測部分21基於由用戶選擇並且從外部信號輸入部分13提供的信 息，確定所讀取的圖像中的用作主圖像的圖像。
由用戶進行選擇的主圖像可以是第 一攝像機3獲取的圖像或者是 第二攝像機4獲取的圖像。在步驟S3中的主圖像選擇中，第一攝像 機3獲取的圖像可以被預先確定為主圖像。也可以安排成使得多個副 圖像作為縮略圖顯示在主圖像的一部分上從而允許用戶從這些縮略圖 選擇這些副圖像中的期望一個。
接下來，在步驟S4中，消除區域檢測部分22檢測要從副圖像中 消除的消除區域。例如，基於多個圖像中的最頻繁色域，確定該消除 區域。在步驟S5中，消除區域檢測部分22從副圖像中消除檢測到的 消除區域。
在本實施例中描述如下處理，其中，對最頻繁色域進行檢測，將
ii要進行組合的圖像共有的色域確定為用於從副圖像進行消除的參數， 然後從該圖像中消除該色域。然而，還可以有其它可設置的參數。例 如，可將包含具有運動矢量的最大標量的對象的區域確定為"最頻繁 運動量區域"，或者相反地，也可將具有運動矢量的最小標量的部分 確定為消除區域。當將色域用作參數時也可以組合使用從這些運動矢 量確定的參數，或者當不將色域用作參數時可以使用從這些運動矢量 確定的參數。可以利用幀之間的對象運動的頻率執行用於檢測消除區
域的處理。表示運動頻率的指標的可能示例包括被攝物的尺寸、方 向和微分值。
接下來，在步驟S6中，圖像組合部分23確定是否識別主圖像和 副圖像中的相同對象。這裡使用的術語"對象"是指用戶期望特別關注 的目標，並且例如是圖像中的人員(人)或球。主圖像和副圖像共有 的對象被稱作"相同對象"。當識別了相同對象時，確定主圖像和副圖 像中的對象的用於疊加圖像的坐標。
在步驟S6的處理中，圖像組合部分23確定是否使相同對象彼此 對齊地將副圖像疊加在主圖像上。當沒有識別出相同對象時，圖像組 合部分23僅僅將副圖像疊加在主圖像的屏幕四角的任何一個上，並 且完成圖像疊加處理。
另一方面，當圖像組合部分23使相同對象彼此對齊地將副圖像 疊加在主圖像上時，在步驟S7中，圖像組合部分23基於從外部信號 輸入部分13提供的用戶選擇信息，識別關注對象。
關注對象是一種類型的參數並且例如表示圖像中的人、球、制服 編號等。當用戶特別希望知道對象的運動細節以及環境的狀態時，識 別關注對象使得可以在副圖像上顯示這些細節。
接下來，在步驟S8中，圖像組合步驟23提取用於跟蹤對象的圖 像特徵量。圖像組合部分23執行用於指定被指定為特徵量的對象的 疊加位置的跟蹤，並且確定運動矢量等。可以通過利用由用戶操作的 遙控裝置(未示出)進行的指定執行跟蹤，或者可以通過由圖像處理 設備10執行的自動跟蹤執行跟蹤。從遙控裝置輸出的操作信號經由外部信號輸入部分13提供給圖像組合部分23。
關於由特徵量檢測部分21確定的關注對象，針對每幀檢測在步 驟S8中提取的圖像特徵。例如，當要疊加多個圖像並且假定相同對 象是球時，特徵量檢測部分21執行檢測球的運動的處理。檢測球的 運動的處理的一個示例是確定從每個圖像檢測到的運動矢量的處理 (或者確定光流的處理)。
在步驟S9中，基於從多個圖像確定的特徵量，圖像組合部分23 檢測相同對象並且執行通過將副圖像疊加在主圖像上而產生合成圖像 的圖像處理。相似地，可以基於包含在主圖像中的對象的運動，確定 圖像組合部分23用來與主圖像組合的副圖像相對於該主圖像的位 置。最後，在步驟S10中，圖像組合部分23將合成圖像輸出到圖像 顯示裝置6。
可以將步驟S7中對關注對象的指定設置為使它被圖像組合部分 23自動執行。例如，對於用戶輸入，操作部分可以具有自動指定按 鈕、自動學習指定按鈕等。
自動指定按鈕是用於給出禁用用戶操作輸入並且使圖像處理設備 10自動確定關注對象的指令的按鈕。當按下自動指定按鈕時，在步 驟S7的處理中不選擇由用戶指定的任何關注對象。利用在步驟S8 中確定的特徵量，能夠確定要進行疊加的相同對象。在這種情況下， 具有最大運動矢量的對象(區域)被確定為關注對象。
自動學習指定按鈕是指給出用於使圖像處理設備10通過利用過
去的關注對象的確定結果自動確定關注對象的指令的按鈕。從用戶操 作日誌確定過去的關注對象。例如，當操作日誌顯示用戶關注過位於 屏幕的下部的對象的少量運動時，可將該對象自動確定為關注對象。 例如，當操作日誌示出在顯示棒球比賽廣播中的棒球運動員(投手和 接球手)的區域期間用戶在關注擊球手的同時執行圖像疊加時，基於 從操作日誌自動確定的特徵量(例如，棒球擊球手的運動矢量)確定 關注對象(例如，擊球手)。
圖4是示出色域檢測和圖像組合處理的示例的流程圖。現在，將詳細描述圖像疊加處理(圖3)中的步驟S4和S5的處理。
首先，在步驟Sll中，特徵量檢測部分21讀取在圖像疊加處理 (圖3)中的步驟S3中確定的用作主圖像的圖像。在步驟S12中， 特徵量檢測部分21檢測讀取的圖像的各個像素的色域。
在步驟S13中，特徵量檢測部分21從每個讀取的圖像中檢測要 消除的最頻繁色域。在步驟S14中，特徵量檢測部分21確定包含要 從第二圖像消除的最頻繁色域的區域。步驟S12到S14中的處理對 應於圖像疊加處理(圖3)中的步驟S4中的處理。
在步驟S15中，圖像組合部分23將第一圖像和第二圖像組合成 疊加的合成圖像。在步驟S16中，圖像組合部分23將疊加的合成圖 像輸出到圖像顯示裝置6。在步驟S17中，確定疊加的合成圖像是否 要輸出到圖像顯示裝置6。在這種情況下，通過用戶操作或者利用操 作日誌等執行諸如改變要消除的色域的區域以及執行例外處理的改 動。步驟S15到S17中的處理對應於圖像疊加處理(圖3)中的步驟 S5中的處理。
例外處理是指從副圖像中也消除沒有被確定為具有最頻繁色域的 區域的區域的處理。在例外處理中要消除的區域是在被消除時能增強 用戶可見度的區域。例如，存在下面的情況在顯示棒球比賽的圖像 中，與投球區土墩(mound)對應的色域不在最頻繁色域內。然而， 用戶通常不會最關注顯示投球區土墩的區域。在這種情況下，當用戶 通過利用操作部分(例如，定點裝置)指定該投球區土墩時，圖像組 合部分23能夠消除位於該指定部分周圍並且包含相同色域的區域的 色域。相反地，存在下面的情況用戶僅僅關注某色域並且希望將特 定部分留在合成圖像中。在這種情況下，即使當該色域在最頻繁色域 內時，也能夠對圖像進行疊加而不需要消除包含在用戶並不希望消除 的部分中的色域。此外，即使當該色域在最頻繁色域內時，仍可以留 下特定區域或顯示特定運動的部分。
當輸出圖像不是期望圖像時，在步驟S18中改變最頻繁色度的值 並且重新確定色域。該處理然後返回到步驟S12。當輸出圖像是期望圖像時，將圖像輸出到圖像顯示裝置6並且圖像組合處理完成。
圖5到圖15示出了要進行疊加的圖像以及這些圖像的色域的示例。
圖5示出了第一攝像機3獲取的第一圖像31的示例。 圖6示出了第二攝像機4獲取的第二圖像32的示例。 通過拍攝相同場景所獲得的圖像被輸入到圖像處理設備1。在這 個示例中，第一圖像31是被攝物35 (—群橄欖球球員)的搖攝圖 像。第二圖像32是包含在第一圖像31中的被攝物35的放大圖像。 從存儲部分11輸入的不同角度的圖像的集合的示例包括原始圖像 和通過僅僅放大該圖像的一部分而獲得的圖像的集合，以及從不同角 度進行拍攝並且經歷圖像處理的多個圖像的集合。然而，這些圖像包 含相同被攝物。
當確定要執行圖像疊加處理時，讀取圖像，並且用戶從讀取的圖 像中選擇用作主圖像的圖像。在這種情況下，假定第一圖像31被選 擇作為主圖像。
圖7是示出了第一圖像31的色域分布的示例的圖。 圖8是示出了第二圖像32的色域分布的示例的圖。 在下面的說明中，每個色域分布圖指示了 YUV坐標系統中的u 和v以及色域色度。通常，當用於拍攝圖像的攝像機的像素數目不同 時，色域分布圖中的色度的範圍也不同。因此，為了確定共有部分的 色域，執行歸一化以匹配色度。術語"歸一化"是指用於匹配兩個圖像 的色度的最大值的處理。
圖7和圖8分別示出了用於確定最頻繁色域的閾值37和37'。可 以將超過閾值37和37'的色域視為在各個圖像中大量包含的色彩。特 徵量檢測部分21首先確定每個輸入圖像的整個屏幕的色域分布。特 徵量檢測部分21然後將每個色域的分布歸一化並且從輸入的圖像信 號中檢測具有共有色域的區域。在這種情況下，對第一攝像機3和第 二攝像機4的參數進行校正從而使圖像之一的最頻繁色域與另 一個圖 像的最頻繁色域匹配。在這種情況下，可以利用色域變換表。然後，在要進行疊加的圖像中確定要消除的色域。然而，包含檢測到的色域 的區域和包含要消除的色域的區域不必一對一地彼此匹配。
圖9示出了超過閾值37的、第一圖像31的色域分布的示例。 圖10示出了超過閾值37'的、第二圖像32的色域分布的示例。 更具體地，圖9和圖IO示出了圖7和圖8所示的色域分布中的
超過預定閾值的色域。用戶可以任意改變這些閾值。超過預定閾值的
色域可被視為每個圖像中最頻繁顯示的色彩。能夠如下確定第一圖像
31和第二圖像32共有的色域。
圖11示出了超過閾值的、第一圖像31和第二圖像32的共有部
分的色域的示例。
圖12在二維空間中示出第一圖像31和第二圖像32的共有部分
的色域。
在第一圖像31和第二圖像32中，最大量的色彩是地面的色彩 (例如，褐色)。因此，從圖7和圖8所示的色域分布中提取超過預 定閾值的色域分布，從而確定共有色域。針對確定的色域，作為共有 部分從圖8所示的色彩中消除對應部分的色彩。
圖13是通過對第一圖像31執行圖像處理所獲得的第一圖像31' 的示例。
圖13所示的圖像31'是通過提取基於兩個圖像(第一圖像31和 第二圖像32)被確定為冗餘的最頻繁色域部分而獲得的圖像。能夠 利用用於從多個圖像提取背景的方法提取共有部分。
當確定了主圖像(第二圖像32)時，確定要被提取作為主圖像 和副圖像(第一圖像31)共有的冗餘共有部分的最頻繁色域。第一 圖像31中的最頻繁色域對應於幾乎佔據一半屏幕的地面的色彩。相 似地，第二圖像32中的最頻繁色域對應於幾乎佔據一半屏幕的地面 的色彩。因此，當從第一圖像31中消除最頻繁色域時，產生第一圖 像31'。在圖13所示的圖像中，第二圖像32中的最頻繁色域對應於 幾乎佔據一半屏幕的地面的色彩。第一圖像31中的最頻繁色域也對 應於幾乎佔據一半屏幕的地面的色彩。因此，從第二圖像32消除第一圖像31和第二圖像32共有的地面色彩從而產生第二圖像32'。
取決於場景，為了確定最頻繁色域部分，抵消每個攝像機的運 動。在這種情況下，運動矢量的最頻繁值用作圖像的共有部分。例 如，當攝像機進行搖攝或者傾斜或者在聚焦方向上移動以執行拍攝 時，執行這個處理。也就是說，當對象的運動矢量要作為特徵量被檢 測並且攝像機進行搖攝、傾斜或者變焦時，它的運動出現在圖像的運 動矢量中。例如，當從左到右執行搖攝時，被攝物在相反方向上 (即，從右到左)移動。另外，在進行放大時，除了位於圖像中心的 對象以外的對象移出屏幕。
為了改進匹配的準確度，非常希望消除由攝像機的運動所導致的 運動矢量的影響。例如，針對通過第一攝像機的搖攝獲得的圖像，消 除由於搖攝所導致的運動矢量(該運動矢量與搖攝方向相反)。這個 處理有助於使得由執行與第一攝像機不同的拍攝操作(運動)的第二 攝像機拍攝的被攝物的運動矢量與由第 一攝像機拍攝的被攝物的運動 矢量匹配。該處理也可稱作"抵消攝像機運動"。在確定包含在圖像 中的色彩期間，不是必須執行用於抵消攝像機運動的處理。另一方 面，當檢測最頻繁運動矢量以識別對象時，執行用於抵消攝像機運動 的處理。
作為在確定基本相同的對象期間用於匹配運動矢量的處理，在圖 3的步驟S8中執行由特徵量檢測部分21執行的處理。當使用用於確 定具有最頻繁運動矢量而非最頻繁色域的相同對象的參數時，在圖3 的步驟S4中也執行這個處理。在這種情況下，運動矢量的最頻繁值 被用於用來識別被攝物以及用來識別消除區域的確定。即使在這種情 況下，最頻繁運動矢量用於確定多個圖像的共有部分。
圖14示出了將作為主圖像的第一圖像31與作為副圖像的圖像處 理後的第二圖像32'進行組合所獲得的合成圖像33的示例。儘管圖 14中的第二圖像32'的邊界顯示為邊框，但是顯示該邊框是為了便於 說明，在該圖像中並不是必須存在邊框。不言自明的是，可以顯示邊 框從而使得容易地理解副圖像被疊加在主圖像上。
17提取多個圖像共有的部分(例如，地面)，然後將得到的圖像彼 此組合。確定當圖像疊加在同一屏幕上供輸出時所使用的圖像疊加坐 標，並且用戶指定相同對象。圖像疊加坐標是指合成圖像中的相同對 象的坐標。圖像坐標一般是指對象的中心(重心)的坐標。或者，可 將對象的任意特徵點用作位置對齊坐標。檢測包含在主圖像和副圖像 中的相同對象的坐標使得可以確定相對於圖像疊加坐標的差。當主圖 像中的對象和副圖像中的對象移動從而消除該差，並且主圖像和副圖 像被彼此組合時，合成圖像呈現恆定顯示在圖像疊加坐標處的相同對 象(例如，球)。
為了確定圖像疊加坐標，使這兩個圖像中的相同對象彼此匹配。 相同對象匹配是指根據包含在多個圖像中的對象的特徵量(例如，色 彩和形狀)檢測相同對象的處理。此外，匹配運動矢量也使得可以確 定相同對象。當檢測到包含在多個圖像中的相同對象時，可以執行處 理從而使得相同對象顯示在所顯示的屏幕上的相同坐標處。
在這種情況下，例如，圖像處理設備10在圖像顯示裝置6上顯 示用於識別對象的選擇菜單。該選擇菜單用作用於在用戶操作與自動 操作之間進行選擇的菜單。當選擇了用戶操作菜單時，用戶在主圖像 中指定他或她希望放大的目標點(即，關注對象)。當選擇自動操作 菜單時，圖像處理設備10通過自動檢測指定具有大運動量的對象作 為關注對象。
在指定了關注對象後，將副圖像疊加在主圖像上。當在一幀中在 主圖像和副圖像中指定了關注對象後，對對象的運動進行跟蹤。
圖15示出了通過將作為主圖像的第二圖像32與作為副圖像的圖 像處理後的第一圖像31'進行組合所獲得的合成圖像34的示例。儘管 圖15中的第一圖像31'的邊界顯示為邊框，但是顯示該邊框是為了便 於說明，在該圖像中並不是必須存在邊框。不言自明的是，可以顯示 邊框從而使得容易地理解副圖像被疊加在主圖像上。
在這種情況下，經歷了圖像處理的第一圖像31'被疊加在第二圖 像32上。對第一圖像31'執行的圖像處理與以上參照圖13所述的處理類似。然而，用作副圖像的第一圖像31'以不同的縮放比率進行疊 加。以這種方式，能夠通過用戶操作改變合成圖像的倍率和形狀。釆 用這種布置，例如，針對運動圖像，人的每個運動變得清楚。因此， 用戶能夠看見疊加的圖像而不會感到不自然。此外，在消除共有部分 後，可以疊加多個圖像。結果，當用戶觀看圖像時，視點的運動減少 了。
當確定了相同對象並且被消除了被攝物的背景的第二圖像32將 要疊加在第一圖像31上時，運動量和色域可以被分別確定為第一特 徵量和第二特徵量並且能夠進行組合使用。特徵量檢測部分21能夠 將包含在第一和第二圖像中的被攝物的運動量作為第一特徵量進行檢 測。第一特徵量表示第一和第二圖像共有的頻繁檢測到的運動量。此 外，特徵量檢測部分21能夠將包含在第一和第二圖像中的色域作為 第二特徵量進行檢測。第二特徵量表示第 一和第二圖像共有的頻繁檢 測到的色域。特徵量檢測部分21還提取這樣的色域，其中，通過對 於第一圖像和第二圖像的各個色域累積針對包括在第一圖像和第二圖
提取的色域對應於提取作為笫一圖像31和第二圖像32中的特徵部分 的色域。消除區域檢測部分22然後在第二圖像32中消除與第一圖像 31和第二圖像32的特徵部分共有的色域對應的區域。
例如，存在下面的情況包含在第一和第二圖像中的被攝物的地 面的色彩佔據了屏幕上的最大區域。在這種情況下，由於地面部分沒 有運動，所以不產生運動矢量。在這種情況下，運動矢量的標量是零 的區域(例如，地面部分)可被視為具有運動矢量的最頻繁值，其中 特徵量檢測部分21將運動矢量識別為特徵量。關於具有運動矢量的 最頻繁值的區域，被消除了該區域的色域的副圖像能夠被疊加在主圖 像上。此外，將運動矢量的最頻繁值識別為第一特徵量並將色域識別 為第二特徵量能夠增強檢測消除區域的準確度。
根據本發明第一實施例的上述圖像處理設備10能夠從由多個攝 像機拍攝的圖像中選擇主圖像和副圖像並且能夠將主圖像和副圖像進行自由疊加。在這種情況下，能夠選擇要進行疊加的圖像，並且能夠 執行例如用於改變縮放比率以及剪切選擇的圖像的操作。因此，觀看 者能夠在集中觀看屏幕上(他或她希望觀看)的一部分的同時看到整 個圖像。
當像現有技術一樣將多個圖像以對齊的方式顯示在屏幕上的分割 區域中時，用戶僅能夠觀看尺寸小於其原始圖像的圖像。然而，當像 本發明實施例一樣疊加圖像時，不需要減小圖像的尺寸。因此，本發
明的優點在於可以顯示甚至多個圖像而不會損害有活力的主圖像。
另外，由於消除了多個圖像的冗餘共有部分，所以即使圖像被疊 加在一起，觀看者也能夠直觀地理解各個圖像的內容。另外，由於能 夠在疊加的圖像的頂部上顯示重要部分，所以存在如下優點也能夠 看見其上疊加有圖像的圖像，其中該圖像的較大區域未被隱藏。
副圖像僅僅疊加在位於主圖像中並且由用戶指定(或者由圖像處 理設備指定)的一部分上。因此，與並列布置兩個圖像以進行比較的 情況相比，容易比較從不同角度拍攝的圖像。存在另一個優點當多 個圖像按照一定時間差疊加時，可以清楚地理解與時間相關的變化。
現在將參照圖16和圖17描述根據本發明第二實施例的圖像處理 設備40。
圖像處理設備40剪切從第一攝像機輸入的一個圖像的一部分， 對該剪切部分進行放大，並且從該放大圖像和原始圖像產生合成圖 像。在圖16中，對應於以上結合第一實施例描述的圖2中的那些部 分的部分用相同的附圖標記表示，並且在下文中不再給出對它們的詳 細描述。
圖像處理設備40包括存儲部分11、圖像疊加部分41和外部信 號輸入部分13。圖像疊加部分41包括副圖像剪切部分42、特徵量檢 測部分21、消除區域檢測部分22和圖像組合部分23。副圖像剪切部 分42剪切從存儲部分11讀取的圖像數據的一部分作為副圖像。從外 部信號輸入部分13輸入的用戶操作信息被提供給副圖像剪切部分 42、消除區域檢測部分22和圖〗象組合部分23。當從存儲部分11讀取的圖像數據僅僅是一個圖像時，用戶首先 選擇一個關注部分。該關注部分是通過放大圖像的一部分所獲得的圖
像。副圖像剪切部分42將從由第一攝像機3拍攝的主圖像剪切的部 分圖像放大並將該放大的圖像作為第二圖像提供給特徵量檢測部分 21。
特徵量檢測部分21確定選擇的關注部分和原始圖像中的最頻繁 色域。消除區域檢測部分22消除共有該最頻繁色域的這兩個圖像的 共有部分。圖像組合部分23然後將主圖像與放大的部分圖像進行組 合。在從相同圖像創建合成圖像期間，當沒有特別指定任何關注對象 時，反映由用戶選擇的坐標以確定疊加位置。
圖17示出了由圖#>處理設備40執行的圖像處理的示例。 圖17中的圖像(a)示出了原始圖像51的示例。 原始圖像51包含多個人。在該原始圖像中，將用戶選擇的人所 處的區域假定為關注圖像52。
圖17中的圖像(b)示出了通過處理關注圖像52所獲得的放大 圖像53的示例。
關注圖像53包含放大的人。
圖17中的圖像(c)示出了通過疊加並組合放大圖像53與原始 圖像51所獲得的合成圖像54的示例。
放大圖像53疊加在原始圖像51上由此形成合成圖像54。結 果，用戶能夠在觀看關注圖像52的周圍的同時，在僅有關注圖像52 被放大的一個屏幕上觀看關注圖像52。
根據上述第二實施例， 一個圖像的一部分被放大並且該放大的部 分能夠疊加顯示在原始圖像上。因此，用戶能夠選擇以疊加方式按時 間順序顯示多個不同圖像的操作。因此，用戶能夠在同一屏幕上觀察 在多個時間發生的事件。此外，主圖像和副圖像能夠以不同的回放速 度進行疊加。由於相同對象也能夠被疊加顯示，所以在觀看兩個圖像 期間減小了視線的運動量從而使用戶能夠同時識別重要的部分。
將放大圖像疊加在整個圖像上有助於用戶在觀看詳細的放大圖像時能夠同時理解整體信息。即使針對一個圖像，通過在原始圖像上疊 加通過處理原始圖像的一部分所獲得的副圖像，用戶能夠觀看他或她
希望觀看的部分的更多細節。例如，在大屏幕上進行顯示期間，能夠 剪切多個關注圖像並且將其疊加在原始圖像上。結果，提高了圖像的 可S見性。
本發明不限於上述實施例。例如，即使針對在不同時間拍攝的圖 像，用戶能夠通過以疊加方式顯示這些圖像來觀察不同日期的動作之 間的差別。另外，關於在不同場所拍攝的圖像，用戶能夠在一個屏幕 上觀看這些圖像。例如，通過僅將在另一個賽場進行的比賽的重要部 分疊加在用戶特別希望觀看的圖像上，他或她能夠同時觀看兩場比 賽。另一個應用示例是監視器上的疊加顯示。通過以疊加方式在以較 大視場拍攝的搖攝圖像上顯示示出入侵者等的放大圖像，本發明還可 以應用於安保。
消除區域檢測部分22還可以將針對每個色域累積預定色彩坐標 系中的色域色度所獲得的值大於預定閾值的色域視為要從第二圖像消 除的共有色域，其中，所述色度是針對包含在第一圖像中的每個像素 檢測的。這種布置使得可以將第二圖像與第 一 圖像進行組合從而使它 看起來自然，同時利用了包含在第一圖像中的色域。
上述實施例中的 一 系列處理可由硬體或軟體進行執行。當由軟體 執行這一 系列處理時，通過將軟體安裝到例如包括在專用硬體中的計 算機或者通過安裝各種程序能夠執行各種功能的通用個人計算機，來 執行包括在該軟體中的程序。
不言自明的是，還能夠通過向系統或設備提供存儲用於實現上述 實施例的特徵的軟體程序代碼的存儲介質從而使得該系統或設備的計 算機(或者諸如CPU的控制裝置)讀取和執行該程序代碼來實現這 一系列處理。
用於提供程序代碼的存儲介質的示例包括軟盤、硬碟、光碟、磁 光碟、CD-ROM、 CD-R、磁帶、非易失性存儲卡和ROM。
此外，不僅從計算機讀取的程序代碼被執行以實現上述實施例的特徵，而且在該計算機上運行的OS (作業系統)等也可以根據該程
序代碼的指令執行部分或全部的實際處理以實現實施例的特徵。
這裡，用於描述包括在軟體中的程序的步驟不僅包括根據描述的 序列順序地執行的處理，還包括不必按時間順序執行的並發或獨立執 行的處理。
本申請包含與於2008年4月3日提交到日本專利局的日本在先 專利申請JP2008-097509中7>開的主題相關的主題，通過引用將該日 本專利申請的全部內容納入於此。
本發明不限於上述實施例，並且不言自明的是，在不脫離本發明 的精神和範圍的情況下，可以有各種其它的結構。
本領域技術人員應該明白，可以根據設計需要以及其它因素進行 各種修改、組合、子組合和替換，只要它們在權利要求及其等同物的 範圍內即可。
2權利要求
1.一種圖像處理設備，包括特徵量檢測部分，被配置為確定第一圖像的特徵量和第二圖像的特徵量，所述第一圖像和第二圖像包含相同的被攝物；消除區域檢測部分，被配置為從所述第二圖像中消除由所述特徵量檢測部分提取的特徵量大於預定閾值的區域並且提供被消除區域透明的第二圖像；以及圖像組合部分，被配置為將被消除區域透明的第二圖像疊加在所述第一圖像上。
2. 如權利要求1所述的圖像處理設備，其中，所述特徵量檢測部 分將包含在所述第一圖像和第二圖像中並且由預定的色彩坐標系表示 的色域作為特徵量進行檢測；確定所述第 一圖像和第二圖像共有的頻 繁檢測到的色域；並且提取這樣的色域作為所述第 一 圖像和第二圖像 中的特徵部分，所述色域是通過針對所述第一圖像和第二圖像的各個 色域來累積針對包括在所述第 一 圖像和第二圖像中的各個像素檢測到 的色域色度所獲得的值大於對應的預定閾值的色域；並且所述消除區域檢測部分在所述第二圖像中消除與所述第 一 圖像和 第二圖像的特徵部分共有的色域相對應的區域。
3. 如權利要求2所述的圖像處理設備，還包括圖像剪切部分，被 配置為從所述第一圖像剪切部分圖像，將該部分圖像放大，並且將放 大的部分圖像提供給所述特徵量檢測部分作為第二圖像。
4. 如權利要求3所述的圖像處理設備，其中，所述第一圖像是被 攝物的搖攝圖像，並且所述第二圖像是包含在所述第 一 圖像中的被攝 物的放大圖像。
5. 如權利要求2所述的圖像處理設備，其中，所述消除區域檢測 部分確定如下的色域作為要從所述第二圖像中消除的共有色域，該色 域是通過針對各個色域來累積針對包括在所述第 一圖像中的各個像素 檢測到的色域色度所獲得的值大於對應的預定閾值的色域。
6. 如權利要求2所述的圖像處理設備，其中，基於來自操作部分 的輸入來確定由所述特徵量檢測部分確定的色域、所述預定閾值和由 所述消除區域檢測部分消除的區域。
7. 如權利要求2所述的圖像處理設備，其中，基於來自操作部分 的輸入來確定通過所述圖像組合部分疊加在所述第一圖像上的第二圖 像相對於所述第一圖像的位置。
8. 如權利要求1所述的圖像處理設備，其中，所述特徵量檢測部 分將包含在所述第一圖像和第二圖像中的被攝物的運動量作為特徵量 進行檢測並且確定所述第 一 圖像和第二圖像共有的頻繁檢測到的運動 量，並且所述消除區域檢測部分消除具有由所述特徵量檢測部分檢測到的 運動量的被攝物對象的背景區域。
9. 如權利要求8所述的圖像處理設備，其中，基於包含在所述第 一圖像中的被攝物的運動來確定通過所述圖像組合部分疊加在所述第 一圖像上的第二圖像相對於所述第一圖像的位置。
10. 如權利要求1所述的圖像處理設備，其中，所述特徵量檢測 部分將包含在所述第一圖像和第二圖像中的被攝物的運動量作為笫一 特徵量進行檢測；確定所述第一圖像和第二圖像共有的頻繁檢測到的 運動量；將包含在所述第一圖像和第二圖像中並且以預定的色彩坐標 系表示的色域作為第二特徵量進行檢測；確定所述第 一圖像和第二圖 像共有的頻繁檢測到的色域；並且提取這樣的色域作為所述笫一圖像 和第二圖像中的特徵部分，所述色域是通過針對所述第一圖像和第二 圖像的各個色域來累積針對包括在所述第一圖像和第二圖像中的各個其中，所述消除區域檢測部分在所述第二圖像中消除與所述第一 圖像和第二圖像的特徵部分共有的色域相對應的區域。
11. 一種顯示控制方法，包括如下步驟確定第一圖像的特徵量和第二圖像的特徵量，所述第一圖像和所 述第二圖像包含相同的被攝物；從所述第二圖像中消除特徵量大於預定閱值的區域並且提供被消除區域透明的第二圖像；以及將被消除區域透明的第二圖像疊加在所述第 一 圖像上。
12. —種使計算機執行處理的程序，該處理包括下面的步驟 確定第一圖像的特徵量和第二圖像的特徵量，所述第一圖像和所述第二圖像包含相同的被攝物；從所述第二圖像中消除特徵量大於預定闞值的區域並且提供被消 除區域透明的第二圖像；以及將被消除區域透明的第二圖像疊加在所述第 一 圖像上。
13. —種存儲介質，包括根據權利要求12的程序。
全文摘要
本發明涉及圖像處理設備、顯示控制方法、程序和存儲介質。該圖像處理設備包括特徵量檢測部分，被配置為確定第一圖像的特徵量和第二圖像的特徵量，所述第一圖像和第二圖像包含相同被攝物；消除區域檢測部分，被配置為從所述第二圖像中消除由所述特徵量檢測部分提取的特徵量大於預定閾值的區域並且提供被消除區域透明的第二圖像；以及圖像組合部分，被配置為將被消除區域透明的第二圖像疊加在所述第一圖像上。
文檔編號H04N5/265GK101552874SQ20091013298
公開日2009年10月7日 申請日期2009年4月3日 優先權日2008年4月3日
發明者向井仁志, 小久保哲志, 日比啟文, 森崎裕之, 江間拓郎, 田中健司, 田中和政, 近藤哲二郎 申請人:索尼株式會社