處理圖像的設備和方法及產生再現信息的設備和方法

2023-08-10 13:42:26 1

專利名稱：處理圖像的設備和方法及產生再現信息的設備和方法
技術領域：
本發明涉及用於處理圖像的方法和設備和用於處理圖像的程序 產品，以及用於產生再現信息的方法和設備和用於產生再現信息的程 序產品，它們可應用於用於處理與輸入的圖像例如電視廣播節目和電 影相關的圖像信號的設備等
背景技術：
用於顯示電視廣播節目、電影等的圖像顯示系統一直使用固定的 圖像幀，其中呈現的圖像的顯示尺寸和圖像幀一致。當產生電視廣播 節目、電影等中的圖像內容時，創建者在以這種固定的圖像幀顯示圖 像的條件下創建所述內容。
為了顯示增強其真實性的圖像，近來研發了多顯示器系統、彎曲 的顯示器、寬視野的顯示器、頭戴顯示器等。多顯示器系統等擴大了 圖像幀，從而顯示寬視野的圖像，藉以使得能夠增加其真實性.
日本專利申請公開號2004-15549披露了一種用於處理圖像的 設備，其處理與輸入的圖像例如電視廣播節目和電影相關的圖像信 號。在場景改變的情況下，當在較早幀的輸出信號和關於輸入圖像的 圖像信號之間的差值不超過設置值時，這種用於處理圖像的設備根據 較早幀的圖像信號把圖像顯示位置設置到輸入圖像的顯示位置，以便使觀看者能夠容易地領會場景之間的關係。

發明內容
不過，和上述的圖像顯示系統相關聯，當在固定的圖像幀上連續 地顯示圖像時，可能難於容易地理解例如電視廣播節目和電影的內 容，除非觀看者正確地領會關於被顯示的圖像的場景的改變。此外， 如果有時發生場景的改變，可能難於領會這些場景的關係。此外，如 果觀看者未看到較早場景的任何圖像，可能難於理解下一個場景的內 容。
此外，利用在日本專利申請公開號2004 _ 15549中披露的用於處 理圖像的設備，通過估計在場景改變前後的圖像中的相似性，觀看者 可以領會場景的關係，不過，觀看者難於根據圖像的內容領會場景的 關係。
需要提供一種用於處理圖像等的設備和方法，藉以使觀看者能夠 根據圖像的內容容易地領會場景的關係。
按照本發明的實施例，提供一種用於處理圖像的設備，所述設備 包括場景改變檢測單元，用於根據關於輸入圖像的圖像信號檢測輸 入圖像的場景改變；顯示位置控制單元，用於根據場景改變檢測單元 的檢測結果，把場景改變之後圖像的顯示位置確定為與場景改變之前 的圖像相關的顯示位置；以及顯示位置設置單元，用於把在顯示位置 控制單元中確定的顯示位置設置為顯示在場景改變之後的圖像的顯 示位置.所述顯示位置控制單元檢測場景改變前後的圖像的特徵值， 並根據圖像的特徵值確定場景改變之後的圖像的顯示位置。
利用按照本發明的實施例的用於處理圖像的設備，場景改變檢測 單元根據關於輸入圖像的圖像信號檢測輸入困像的場景改變。顯示位 置控制單元根據場景改變檢測單元的檢測結果，確定場景改變之後的 圖像的顯示位置為與場景改變之前的圖像相關的顯示位置。在這個實 施例中，顯示位置控制單元檢測場景改變前後的圖像的特徵值，並根 據這些圖像的特徵值確定場景改變之後的圖像的顯示位置。例如，顯示位置控制單元從圖像信號中提取面部圖像的區域，從面部圖像的這 個區域檢測眼睛的方向，並根據這樣檢測的眼睛的方向決定關於圖像 信號的輸入圖像的顯示方向。顯示位置設置單元把在顯示位置控制單 元中確定的顯示位置設置為顯示在場景改變之後的圖像的顯示位置。 這使得觀看者能夠根據圖像中對象的視線方向容易地領會場景改變 前後圖像的顯示位置之間的關係。
按照本發明的另一個實施例，提供一種用於處理圖像的方法。所
述方法包括第一步驟，用於根據關於輸入圖像的圖像信號檢測輸入 圖像的場景改變；第二步驟，用於根據第一步驟的檢測結果，把場景 改變之後圖像的顯示位置確定為與場景改變之前的圖像相關的顯示 位置；以及第三步驟，用於把在第二步驟中確定的顯示位置設置為顯 示在場景改變之後的圖像的顯示位置。在第二步驟中，檢測場景改變 前後的圖像的特徵值，並根據這些圖像的特徵值確定顯示在場景改變 之後的圖像的顯示位置。
利用按照本發明的實施例的用於處理困像的方法，觀看者能夠根 據圖像的內容，容易地領會場景的改變，並領會在場景改變前後圖像 的內容的關係。
按照本發明的另一個實施例，提供一種程序產品，其允許計算機 通過執行上述的用於處理圖像的方法來處理圖像信號。
當計算機實現按照本發明的實施例的程序產品時，觀看者可以根 據圖像的內容容易地領會場景的改變，並領會場景改變前後的圖像的 內容的關係，
利用按照本發明的用於處理圖像的設備和方法以及允許計算機
按照^發明的實施例，提供一種用於產生再現信息的設備，該設 備處理關於輸入的圖像的圖像信號，從而產生關於輸入的圖像的再現 信息。所述用於產生再現信息的設備包括場景改變檢測單元，用於 根據關於輸入圖像的圖像信號檢測輸入圖像的場景改變；以及顯示位 置控制單元，用於根據場景改變檢測單元的檢測結果把場景改變之後圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置。所述 顯示位置控制單元檢測場景改變前後的圖像的特徵值，並根據圖像的 特徵值產生再現信息，以便確定場景改變之後的圖像的顯示位置。
利用按照本發明的這個實施例的用於產生再現信息的設備，當處 理關於輸入圖像的圖像信號以產生關於輸入圖像的再現信息時，場景
變。、顯示位置控制單元根據場景改變檢測^元的檢測結果把場景改變 之後圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置. 在這個實施例中，顯示位置控制單元檢測場景改變前後的圖像的特徵 值，並根據圖像的特徵值產生再現信息，以便確定場景改變之後的圖 像的顯示位置。這樣，藉助於根據這樣產生的再現信息再現圖像，觀 看者能夠容易地根據圖像的內容領會場景的改變，並能夠領會場景改 變前後圖像的內容的關係。
按照本發明的另 一個實施例，提供一種通過處理關於輸入圖像的
圖像信號來產生關於輸入圖像的再現信息的方法。所述方法包括第 一步驟，用於根據關於輸入圖像的圖像信號檢測輸入圖像的場景改 變；以及第二步驟，用於根據第一步驟的檢測結果，把場景改變之後 圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置。所述 第二步驟包括以下子步驟檢測場景改變前後的圖像的特徵值，以及 產生再現信息，以根據圖像的特徵值確定在場景改變之後圖像的顯示 位置.
利用按照本發明的實施例的用於產生再現信息的方法，當根據這 樣產生的再現信息再現圖像時，觀看者能夠容易地根據圖像的內容領 會場景的改變，並能夠領會場景改變前後的圖像的內容的關係。
按照本發明的另一個實施例，提供一種程序產品，其允許計算機 通過執行上述的用於產生再現信息的方法產生再現信息，用於再現關 於輸入圖像的圖像信號。
利用按照本發明的實施例的程序產品，當根據這樣產生的再現信 息再現圖像時，觀看者能夠容易地根據圖像的內容領會場景的改變，並能夠領會場景改變前後的圖像的內容的關係。
利用按照本發明的用於產生再現信息的設備和方法以及用於使 計算機能夠產生再現信息的程序產品的實施例，能夠顯示觀看者能夠 容易理解的圖像。
本說明書的結束部分具體指出了本發明的主題並直接要求保護 這些主題。不過，通過結合附圖閱讀本說明的其餘部分，本領域技術 人員能夠最好地理解本發明的組織結構及其操作方法，以及本發明的 其它的優點和目的，在附圖中相同的標號表示相同的元件。


圖l是一個示意圖，用於表示一個可以應用按照本發明的用於處
理圖像的設備的實施例的圖像顯示系統的配置；
圖2A表示在場景改變前後幀內的內容和在場景改變前後這些幀 在屏幕上被顯示時的圖像，圖2B表示在場景改變前後幀內的內容和 在場景改變前後這些幀在屏幕上被顯示時的圖像，圖2C表示在場景 改變前後幀內的內容和在場景改變前後這些幀在屏幕上被顯示時的
圖像；
圖3是用於表示按照本發明的用於處理圖像的設備的實施例的 配置的方塊圖4是用於表示場景改變檢測單元的配置的方塊圖； 圖5是用於說明像素的稀疏化處理的示意圖； 圖6是用於表示場景改變檢測單元的另一種配置的方塊圖； 圖7是用於表示用於確定場景改變前後圖像之間的關係的單元 (場景改變前後關係確定單元)的配置的方塊圖8是用於表示面部區域提取部分的配置的方塊圖9A，9B的每一個用於說明有色皮膚區域提取部分的操作的例
子；
圖10A，10B的每一個用於說明水平線檢測部分的操作的例子； 圖11A，11B的每一個用於說明垂直線檢測部分的操作的例子；圖12A，12B的每一個用於說明面部區域提取部分的操作的例子； 圖13A，13B的每一個用於說明面部圖像識別部分的操作的例子； 圖14A-14E的每一個用於說明面部圖像識別部分的另一個操作 的例子；
圖15A-15C的每一個用於說明視線方向檢測部分的操作的例子； 圖16A表示在場景改變前後幀內的內容和在場景改變前後這些 幀在屏幕上被顯示時的圖像，圖16B表示在場景改變前後幀內的內容 和在場景改變前後這些幀在屏幕上被顯示時的圖像，以及圖16C表示 在場景改變前後幀內的內容和在場景改變前後這些幀在屏幕上被顯 示時的圖像；
圖17是用於表示場景改變前後關係確定單元的另一種配置的方
塊圖18是用於表示場景改變前後關係確定單元的另一種配置的方
塊圖19是用於表示在以離線方式進行處理的情況下按照本發明的 用於處理圖像的設備的另一個實施例的配置的方塊圖20A表示幀內的內容和該幀在屏幕上被顯示時的圖像，圖20B 表示幀內的內容和該幀在屏幕上被顯示時的圖像，以及圖20C表示幀 內的內容和該幀在屏幕上被顯示時的圖像；
圖21是用於表示可以應用本發明的實施例的計算機的配置的方
塊圖22是用於表示在以實時方式進行處理的情況下圖像處理程序
的整個配置的方塊圖23是用於表示場景區別的操作的流程圖24是藉助於視線方向進行的場景改變前後關係確定操作的流
程圍；
圖25是藉助於運動矢量進行的場景改變前後關係確定操作的流
程圖26是藉助於音量進行的場景改變前後關係確定操作的流程圖27是用於表示在以離線方式進行處理的情況下圖像處理程序
的整個配置的流程圖28是用於表示按照本發明用於產生再現信息的設備的實施例
的配置的方塊圖29是用於表示信息再現設備的配置的方塊圖；以及
圖30是用於表示在以實時方式進行處理的情況下產生顯示位置
信息的流程圖。
具體實施例方式
下面結合

按照本發明的用於處理圖像的設備和方法、用 於處理圖像的程序產品、用於產生再現信息的設備和方法以及用於產 生再現信息的程序產品的實施例。
圖1表示可以應用按照本發明的用於處理圖像的設備120的實施 例的圖像顯示系統100的配置。圖像顯示系統100包括3個屏幕IIOL， 110C和110R，它們被設置在用戶101的前方和兩側，並作為整體構 成一個圖像顯示區域。提供分別對應於屏幕IIOL， 110C和110R的投 射器112L， 112C和112R。投射器112L， 112C和112R被連接到用於 處理圖像的設備120。投射器112L根據從用於處理圖像的設備120 接收的輸出信號SDL在屏幕110L上投射圖像，類似地，投射器112C
SDR在屏幕110C和110R上投射圖像。
用於處理圖像的設備120接收關於輸入的圖像的輸入圖像信號 SDin，並檢測場景改變以確定是否發生了場景改變。如果發生了場景 改變，則用於處理圖像的設備120還檢測在場景改變前後的圖像之間 是否具有一定關係。如果具有一定關係，則用於處理圖像的設備120 這樣改變場景改變前後的圖像的圖像顯示位置，使得場景改變前後的 圖像可以具有所述關係。
圖2A-2C分別表示在圖像顯示系統IOO中的圖像顯示的例子。圖2A表示在幀F(l)和F(2)中的圖像和當幀F(l)、 F(2)被分別在 屏幕110L， 110C以及110R中的任何一個上顯示時的圖像。圖2B表 示在幀F(3)和F(4)中的圖像和當幀F(3)、 F(4)被分別在屏幕IIOL， 110C以及110R中的任何一個上顯示時的圖像。圖2C表示在幀F(5) 和F(6)中的圖像和當幀F(5)、F(6)被分別在屏幕110L， 110C以及110R 中的任何一個上顯示時的圖像。
當輸入圖像中的對象將其眼睛轉向幀F(l)的右側的同時發生場 景改變時，如圖2A所示，如果關於幀F(l)的場景改變之前的圖像Ha 被顯示在屏幕110C上，則關於幀F(2)的場景改變之後的圖像Hb被 顯示在屏幕110R上，這是因為場景改變之後的圖像Hb和對象使其 眼睛轉向的方向相關.
當輸入圖像中的對象OB向幀F(3)的左側運動的同時發生場景改 變時，如圖2B所示，如果關於幀F(3)的場景改變之前的圖像Hc被 顯示在屏幕110C上，則關於幀F(4)的場景改變之後的圖像Hd被顯 示在屏幕110L上，這是因為場景改變之後的圖像Hd和對象OB運 動的方向相關。
當在關於幀F(5)的圖像的輸入立體聲音頻的右側音量大於左側 音量的時候發生場景改變時，如圖2C所示(在這種情況下，用八分 音符的數量表示音量)，如果關於幀F(5)的場景改變之前的圖像He 被顯示在屏幕110C上，則關於幀F(6)的場景改變之後的圖像Hf被顯 示在屏幕110C上，這是因為場景改變之後的圖像Hf和產生具有較大 音量的任何聲音的方向相關。
當如上所述每個場景的顯示位置改變時，用於處理圖像的設備 120，如圖1所示，便通過以實時的或者離線的方式進行處理改變顯 示位置。在以實時方式進行處理的情況下，用於處理圖像的設備120， 如圖3所示，便接收關於輸入困像的圖像信號SDin，並根據圖像信號 SDin檢測場景的改變，並確定場景改變前後的圖像之間的關係。用於
圖像之間的關係的確定結果實時地昧變輸入圖像的顯示位置(要被顯示的方向)。然後，用於處理圖像的設備120產生輸出信號SDL，SDC 和SDR，並輸出這些信號，以便在其改變的顯示位置上顯示輸入圖像。
在以離線方式進行處理的情況下，用於處理圖像的設備120A， 如圖19所示，從存儲介質或其類似物中讀出積累的圖像信號SDin， 並從中檢測場景的改變。用於處理圖像的設備120A確定這樣檢測的 每個場景改變前後的圖像之間的關係，並由過去的和將來的場景決定 當前場景的顯示位置。用於處理圖像的設備120A和相關的圖像信號 SDin —道保持用於指示所決定的顯示位置(要被顯示的方向)的顯示 位置信息JP。
為了顯示圖像，用於處理圖像的設備120A讀出輸入圖像的圖像 信號SDin和顯示位置信息JP，並產生和輸出輸出信號 SDL，SDC，SDR，以便根據圖像信號SDin和顯示位置信息JP在其改 變的顯示位置上顯示輸入的圖像。
圖3表示在以實施方式進行處理的情況下按照本發明的用於處 理圖像的設備120的實施例的配置。場景改變檢測單元121、用於確 定場景改變前後圖像之間的關係的單元(下面稱為場景改變前後關係 確定單元)124、以及顯示位置設置單元126分別接收關於輸入圖像 的圖像信號SDin。
場景改變檢測單元121根據圖像信號SDin檢測場景的改變，即 檢測圖像中中斷的位置，即，在連續的場景和與該連續的場景不同的 場景之間的連接部分。
圖4表示通過利用兩個幀的圖像信號檢測場景改變的場景改變 檢測單元121的配置。
在場景改變檢測單元121中的延遲電路211接收輸入的圖像信號 SDin，按照一幀顯示輸入的圖像信號SDin，並作為延遲的圖像信號 SDa將其提供給平均差值計算電路213。平均差值計算電路213接收 圖像信號SDin和延遲的圖像信號SDa，根據圖像信號SDin和延遲的 圖像信號SDa計算兩幀之間的差的平均值Dav，並把這個差的平均值 Dav提供給標稱化電路217。計算在各個像素上兩幀之間的亮度值的差，並計算所得差的平均值作為差的平均值Dav，其被提供給標稱化 電路217。差的平均值Dav可以按照下式(1)計算formula see original document page 16其中N是在一幀圖像內的像素數，YC是基於圖像信號SDin的 像素的亮度值，以及YP是基於延遲的圖像信號SDa的像素的亮度值。差的平均值Dav依照圖像中的亮度值而發生大的改變。例如， 在以亮色調顯示圖像的情況下，即使沒有場景改變，僅僅通過把圖像 的一部分改變成暗的也能使差的平均值Dav增加。在以暗色調顯示圖 像的情況下，即使場景改變，但是由於亮度值的改變小，差的平均值 Dav也不增加。因而，場景改變檢測單元121包含標稱化電路217， 其按照圖像的量度標稱化差的平均值Dav，使得藉助於接收由圖像中 的亮度產生的任何小的影響來檢測正確的場景改變。在場景改變檢測單元121中的亮度平均計算電路215根據圖像信 號SDin中的每個像素的亮度值計算一幀內的亮度值的平均值。然後， 亮度平均計算電路215把計算的平均值作為亮度平均值Yav提供給標 稱化電路217。亮度平均值Yav可以根據下式(2)計算Yav - ,..(2)其中N是一幀圖像內的像素數，YC是基於圖像信號SDin的像 素的亮度值。標稱化電路217標稱化差的平均值Dav。即，標稱化電路217通過按照下式(3)校正表示圖像中的亮度的亮度平均值Yav的差的平均值Dav來產生差的平均值的標稱化值E(以後稱為"標稱化值E，，)formula see original document page 16然後標稱化電路217把標稱化值E提供給場景改變檢測單元121 中的判定電路219。判定電路219接收標稱值E，並使標稱值E和一 個閾值比較，該閾值是在判定電路中被預先確定的，如果標稱化值E超過閾值，則判定發生了場景改變。然而，如果標稱化值E未超過閾 值，則判定電路219判定任何場景未發生改變。然後判定電路219產 生表示這個判定結果的場景改變檢測信號SC，並把該場景改變檢測 信號SC提供給圖3所示的場景改變前後關係確定單元124。這樣，標稱化電路217按照圖像中的亮度對差的平均值Dav進 行了標稱化，判定電路219利用標稱化值E進行了是否發生了場景改 變的判定，因而，通過接收由圖像中的亮度產生的任何較小的影響， 可以檢測正確的場景改變。雖然在上述的場景改變檢測單元121中利用關於一幀內的所有 像素的信號檢測了場景的改變，但是如果使用所有像素的信號計算差 的平均值Dav和亮度平均值Yav，則花費大量的時間進行計算處理。 如果這種計算以高速進行以便節省計算時間，則可能為此增加成本。因而，進行關於像素的稀疏化處理。例如，如圖5所示，把一幀 的圖像分類成為一些區域，每個區域包括8x4個像素，並從每個區域 選擇一個帶有對角線陰影的像素。然後通過利用關於選擇的像素的信號使得能夠計算差的平均值Dav和亮度平均值Yav。這種稀疏化處理 能夠減少計算量，從而使計算處理得以容易地進行，並避免任何快速 的計算處理，以便避免用於計算處理的費用增加。雖然在上述的場景改變檢測單元121中，利用標稱化值E檢測 場景改變，但是希望獲得兩幀圖像之間的相關係數r，並使相關係數 r和一個閾值比較，藉以使得能夠精確地檢測場景的改變。圖6表示利用相關係數r的場景改變檢測單元121A的配置。在場景改變檢測單元121A中的延遲電路211接收圖像信號 SDin，將圖像信號SDin延遲一幀，並作為延遲的圖像信號SDa將其 提供給相關係數計算電路216。相關係數計算電路216接收圖像信號 SDin和延遲的圖像信號SDa，並根據圖像信號SDin和延遲的圖像信 號SDa計算相關係數r。可以按照下式(4)計算相關係數r:formula see original document page 18(4)
其中N是一幀圖像內的像素數，YF是基於第一幀的圖像信號 的像素的亮度值，YS是基於下一幀的圖像信號的像素的亮度值，YFav 是基於笫一幀的圖像信號的像素的平均亮度值，YSav是基於下一幀 的圖像信號的像素的平均亮度值。相關係數計算電路216把計算的相關係數r提供給場景改變檢測 單元121A中的判定電路219。判定電路219接收相關係數r，並將其和一個閾值比較，該閾值 是在其中被預定確定的，如果相關係數r未超過該閾值，則判定發生 了場景改變。但是，如果相關係數r超過了該閾值，則判定電路219 判定任何場景均未改變，即該場景是一個連續的場景。然後判定電路 219產生表示這個判定的結果的場景改變檢測信號SC，並把該場景改 變檢測信號SC提供給圖3所示的場景改變前後關係確定單元124。圖7表示場景改變前後關係確定單元124的配置。場景改變前後 關係確定單元124構成顯示位置控制單元。場景改變前後關係確定單 元124接收來自場景改變檢測單元121的場景改變檢測信號SC，被 根據場景改變檢測單元121的場景改變檢測信號SC把場景改變後的 圖像的顯示位置確定到和場景改變前的圖像相關的顯示位置。在這個 實施例中，場景改變前後關係確定單元124檢測在場景改變前後的圖 像之間的特徵值，並根據該特徵值確定場景改變後的圖像的顯示位 置，在場景改變前後關係確定單元124中的延遲電路221和第一面部 區域提取部分224A分別接收關於輸入的圖像的圖像信號SDin,如圖 7所示，延遲電路221把圖像信號SDin延遲一個幀，從而產生延遲的 圖像信號SDa,延遲電路221把延遲的圖像信號SDa提供給場景改變 前後關係確定單元124中的第二面部區域提取部分224B。假定接收 輸入圖像的圖像信號SDin的笫 一 面部區域提取部分224A具有和接收延遲的圖像信號SDa的第二面部區域提取部分224B相同的配置。第 一面部區域提取部分224A從圖像信號SDin中提取面部區域，第二面 部區域提取部分224A從延遲的圖像信號SDa中提取面部區域。
圖8表示面部區域提取部分224A或224B的配置。圖8所示的 面部區域提取部分224A的HSV轉換部分2241接收圖像信號SDin， 並對圖像信號SDin進行HSV (色調、飽和度和值)轉換，以便利用 HSV顏色空間。
圖9A和9B表示皮膚有色區域提取部分2243的操作例子。皮膚 有色區域提取部分2243從圖9A所示的圖像SDc提取具有在其一個 設置範圍內的色調值的像素，所述設置範圍例如是大於20小於40 (20<Hu<40)。皮膚有色區域提取部分2243在提取的像素上進行標 記，並判定這個標記的區域是皮膚有色區域Tr (圖9B所示的有陰影 的區域)，並提取這個皮膚有色區域Tr,
圖10A，10B表示圖8所示的水平線檢測部分2245的一個操作例 子。水平線檢測部分2245計算每個水平線上的從圖IOA所示的皮膚 有色區域Tr提取的像素，並檢測皮膚有色區域Tr內的具有含有計算 的最大像素數的水平長度Lg的水平線，如圖IOB所示.根據這個水 平線的位置獲得垂直座標(垂直參考點Ver)。把計算的像素的最大 數量乘以一個預定值，例如0.8。把這個乘積設置為水平長度Lg，並 使水平長度Lg的中央沿其水平方向對準提取的皮膚有色區域Tr的中 心，
圖11A，11B表示圖8所示的垂直線檢測部分2247的一個操作例 子，垂直線檢測部分2247把檢測的圖11A所示的水平長度Lg乘以一 個預定值，例如1.3，並把乘積設置為垂直長度Lg2,圖IIB所示的 垂直參考點Ver被設置為垂直長度Lg2的中央.
圖12A和12B表示圖8所示的幀區域提取部分2249的一個採作 例子。楨區域提取部分2249提取由具有在水平線檢測部分2245中檢 測的水平長度Lg和在垂直線檢測部分2247中檢測的垂直長度Lg2 的框圍成的一個圖像區域，如圖12A所示。在這個實施例中，如圖12B所示，由具有水平長度Lg和垂直長度Lg2的框圍成的圖像區域 被設置為要被提取的一個幀圖像區域。
圖13A和圖13B表示圖8所示的面部圖像辨別部分2250的一個 操作例子。面部圖像辨別部分2250具有如圖13A所示的標準的面部 圖像模板T叩c，並計算例如關於每個像素的該模板Tnpc和在幀區域 提取部分2249中提取的圖像區域Rec之間的差的絕對值的總和。面 部圖像辨別部分2250比較計算的差的絕對值的總和和一個預定的閾 值。如果差的絕對值的總和不超過預定的閾值，則面部圖像辨別部分 2250判定提取的圖像區域Rec是面部圖像，而如果差的絕對值的總和 超過預定的閾值，則面部圖像辨別部分2250判定提取的圖像區域Rec 不是面部圖像。
應當注意，當提取的圖像區域Rec的尺寸和模板Tnpc的尺寸不 匹配時，則通過任何的內插或細化對模板Tnpc的尺寸進行合適的調 整，以便使其尺寸匹配，然後進行上述的處理。
面部圖像辨別部分2250除去辨別面部圖像之外還辨別面部的方 向。圖14A-14E表示面部圖像辨別部分2250的一個操作例子。面部 圖像辨別部分2250除去圖14C所示的面部朝前的標準的面部圖像模 板Tnpc之外還具有一些標準的面部圖像模板。如圖14A-14E所示， 在這個實施例中，面部圖像辨別部分2250具有5個標準的面部圖像 模板，即，圖14A所示的面部朝左的標準面部圖像模板Tpna，困14B 所示的面部向左傾斜的標準面部圖像模板Tpnb，圖14C所示的面部 朝前的標準的面部圖像模板Tnpc，圖14D所示的面部向右傾斜的標 準面部圖像模板Tpnd，以及圖14E所示的面部向右的標準面部圖像 模板Tpne。
當面部圖像辨別部分2250藉助於利用模板進行匹配辨別面部圖 像時，面部圖像辨別部分2250可以計算關於每個像素的面部朝不同 方向的這些模板Tnpa到Tnpe的每一個與在幀區域提取部分2249中 提取的圖像區域Rec之間的差的絕對值的總和。面部圖像辨別部分 2250比較計算的差的絕對值的總和和一個閾值。如果計算的差的絕對值的總和不超過所述閾值並且成為最小值，則面部圖像辨別部分2250 將其辨別為面部的方向。應當注意，如果面部不是朝前的，則在皮膚 有色區域提取部分2243中提取的圖像區域Rec小於當面部朝前時在 皮膚有色區域提取部分2243中提取的圖像區域Rec，因而模板的尺寸 可以較小，在標準面部圖像模板中，除去向右和向左之外，面部還可 以向上和向下。
應當注意，面部圖像辨別部分2250辨別在幀區域提取部分2249 中提取的所有的圖像區域REC上的面部圖像。如果面部圖像辨別部 分2250辨別多於一個的面部圖像，則面部圖像辨別部分2250辨別例 如面部圖像當中具有最大圖像區域Rec的面部圖像。如果沒有面部圖 像被辨別，則結束處理。
向回參見圖7，第一視線方向檢測部分226A從關於圖像信號 SDin的在第一面部區域提取部分224A中提取的面部圖像的圖像區域 Rec檢測第一視線方向。第二視線方向檢測部分226B從關於延遲的 圖像信號SDa的在第二面部區域提取部分224B中提取的面部圖像的 圖像區域Rec檢測第二視線方向。
圖15A-15C表示圖7所示的視線方向檢測部分226A或226B的 一個操作例子。視線方向檢測部分226A或226B通過利用圖15A所 示的標準面部圖傳j溪板Tpnc中的眼睛的瞳孔區域Receye檢測眼睛的 方向。假定預先提取了標準面部圖像模板Tpnc中的眼晴瞍孔區域 Tpnc。計算圖15B所示的面部圖像的圖像區域Rec2的一個設置的搜 索範圍內關於對應於眼睛瞳孔區域Receye的像素的運動矢量。如果 圖15C所示的計算的運動矢量Vtr的絕對值超過預定的閾值，則確定 眼睛的方向和面部的方向不同，此時判定運動矢量Vtr的方向是新的 視線方向，如果圖15C所示的計算的運動矢量Vtr的絕對值未超過預 定的閾值，則判定在面部區域提取部分224A或224B的面部圖像辨別 部分2250中提取的面部方向是眼睛的方向，
圖7所示的顯示方向判定部分228根據表示圖像的特徵值的第一 和第二視線方向判定關於圖像信號SDiii的輸入圖像被顯示的方向，並產生和輸出顯示方向信息JP。例如，圖16A到16C分別表示圖像 顯示的操作的例子。在本實施例中，如圖16A所示，如果從關於延遲 的圖像信號SDa的圖像檢測到眼睛的方向(在幀F(ll)中為右方向)， 而從關於圖像信號SDin的幀F(12)的圖像未檢測到視線方向，則根據 關於延遲的圖像信號SDa的檢測的視線方向顯示關於圖像信號SDin 的圖像。在本實施例中，關於延遲的圖像信號SDa的圖像被在屏幕 110C上顯示，關於圖像信號SDin的圖像被在屏幕110R上顯示。
如圖16B所示，如果從關於延遲的圖像信號SDa的幀F(13)中的 圖像未檢測到視線方向，而從關於圖像信號SDin的圖像檢測到眼睛 的方向(在幀F(14)中為左方向)，則關於圖像信號SDin的圖像被這 樣顯示，使得關於圖像信號SDin的視線方向可以滿足關於延遲的圖 像信號SDa的圖像的顯示位置。在本實施例中，關於延遲的圖像信號 SDa的圖像被顯示在屏幕110C上，關於圖像信號SDin的圖像被顯示 在屏幕110R上。
如圖16C所示，如果在關於延遲的圖像信號SDa的幀F(15)中的 圖像和關於圖像信號SDin的幀F(16)中的圖像中都檢測到視線方向， 則優先使用從關於延遲的圖像信號SDa的圖像檢測到的視線方向。此 時，如果從關於延遲的圖像信號SDa的圖像檢測到從上到右的視線方 向，從關於圖像信號SDin的圖,測到從下到左的視線方向，即如 果從關於延遲的圖像信號SDa的圖像檢測到的視線方向和從關於圖 像信號SDin的圖像檢測到視線方向彼此相交，則顯示方向判定部分 228可以垂直地改變其顯示位置。例如，顯示方向判定部分228這樣 改變其顯示位置，使得其中檢測到的視線方向從上到右的關於延遲的 圖像信號SDa的圖像可被顯示在屏幕110C的下部，其中檢測到的視 線方向從下到左的關於困像信號SDin的圖像可被顯示在屏幕110R的 上部。這使得關於延遲的圖像信號SDa和圖《象信號SDin的圖像能夠 分別按照彼此的視線方向被布置。
因而，按照本發明的用於處理圖像的設備120的實施例包含場景 改變前後關係確定單元124，其把場景改變後的顯示位置確定到和場景改變前的圖像相關的顯示位置，並且還檢測場景改變前後圖像的視 線方向，以便根據眼睛的方向確定場景改變後的圖像的顯示位置。
利用按照本發明的用於處理圖像的設備120的實施例，觀看者能 夠容易地領會場景改變，並根據圖像中的視線方向能夠容易地領會場 景改變前後圖像之間的關係。
圖17表示場景改變前後關係確定單元124A的一種配置。場景 改變前後關係確定單元124A包含延遲電路221A和221B，運動矢量 檢測電路230，運動矢量判定電路232,以及顯示方向判定部分228。
延遲電路221A接收關於輸入圖像的圖像信號SDin，並將其延遲 一幀，從而產生延遲的圖像信號SDa。延遲電路221A把延遲的圖像 信號SDa提供給顯示電路221B,顯示電路221B接收延遲的圖像信號 SDa，並將其延遲一幀而產生延遲的圖像信號SDb。延遲電路221A 和221B向運動矢量檢測電路230提供延遲的圖4象信號SDa和SDb。 然後運動矢量檢測電路230從延遲的圖像信號SDa，SDb檢測運動矢 量。為了檢測運動矢量，例如把延遲的圖像信號SDa分類成每個具有 8x8個像素的塊，並檢測顯示的圖像信號SDb的所需的搜索區域內的 使得差值的絕對值的和最小的位置作為運動矢量。然後運動矢量檢測 電路230把檢測的運動矢量提供給運動矢量判定電路232。
運動矢量判定電路232接收來自運動矢量檢測電路230的運動矢 量，並由接收的運動矢量判定表示圖像之間的特徵值的一個預定運動 矢量。例如，運動矢量判定電路232產生所有接收的運動矢量的直方 圖，在圖像的直方圖中確定具有最高頻率的運動矢量作為背景的運動 矢量，並確定圖像的直方圖上具有次最高頻率的運動矢量作為主要對 象的運動矢量.運動矢量檢測電路232把具有次最高頻率的運動矢量 提供給顯示方向判定部分228.在本實施例中，如果在直方圖中具有 最髙頻率的運動矢量在數量上和在圖像的直方圖中具有次最高頻率 的運動矢量幾乎相同，則運動矢量判定電路232可以確定圖像直方圖 中具有笫三最大頻率的運動矢量為主要對象的運動矢量。如果圖像的 直方圖中具有最高頻率的運動矢量佔據運動矢量的總數，則運動矢量判定電路232可以確定這種條件為無運動條件。
顯示方向判定部分228根據在運動矢量判定電路232中判定的運 動矢量判定關於圖像信號SDin的輸入圖像的顯示方向。即，如圖2B 所示，例如，在圖像的直方圖中具有次最高頻率的運動矢量Vtr表示 在關於圖像信號SDin的場景改變之前主要對象的運動(顯示)方向。 顯示方向判定部分228這樣產生顯示方向信息JP，使得關於圖像信號 SDin的圖像Hd可以按照所述顯示方向被顯示。
因而，按照本發明的用於處理圖像的設備120的另 一個實施例包 含這樣一種場景改變前後關係確定單元124A，其把場景改變後的圖 像的顯示位置確定到和場景改變前的圖像相關的顯示位置，並檢測場 景改變前的圖像中的運動矢量，以便根據該運動矢量確定場景改變後 的顯示位置。
因而，利用按照本發明的用於處理圖像的設備120的這個實施 例，觀看者能夠容易地領會場景的改變，並根據圖像中的運動矢量容 易地領會場景改變前後圖像之間的關係。
圖18表示場景改變前後關係確定單元124B的配置。場景改變 前後關係確定單元124B包含延遲電路221C，音量檢測電路240，音 量比較電路242和顯示方向判定部分228。
延遲電路221和顯示方向判定部分228接收關於輸入圖像的圖像 信號SDin。延遲電路221把圖像信號SDin延遲一幀而產生延遲的圖 像信號SDa。延遲電路221把延遲的圖像信號SDa提供給音量檢測電 路240,音量檢測電路240檢測伴隨著延遲的圖像信號SDa的具有一 個以上的音頻信道的音頻信號的音量。應當注意，為了便於說明本實 施例，假定音頻信號和圖像信號SDin重疊並和雙通道立體聲有關。
音量檢測電路240檢測立體聲的兩個通道的每個通道的音頻信 號的音量，並把關於檢測的音量的信息提供給音量比較電路242。
音量比較電路242計算在音量檢測電路240中檢測的雙聲道立體 聲音頻的右聲道和左聲道中的音量之間的差的絕對值，並將表示圖像 的特徵值的所述差的絕對值和預定閾值比較。如果差的絕對值超過預定閾值，則確定在左右聲道的音量之間具有顯著的差別。音量比較電
路242向顯示方向判定部分228提供表示具有較大音量的聲道的方向 的信息。如果雙聲道立體聲音頻的左聲道L中的音量大於雙聲道立體 聲音頻的右聲道R的音量，則音量比較電路242向顯示方向判定部分 228提供表示左方向的信息，而如果雙聲道立體聲音頻的右聲道R中 的音量大於雙聲道立體聲音頻的左聲道L的音量，則音量比較電路 242向顯示方向判定部分228提供表示右方向的信息。如果差的絕對 值未超過預定閾值，則確定在左右聲道的音量之間沒有顯著的不同， 因而結束處理。
顯示方向判定單元228根據音量比較電路242的確定結果判定關 於圖像信號SDin的圖像的顯示方向.例如，當收到來自音量比較電 路242的表示方向的信息時，顯示方向判定單元228輸出收到的作為 關於圖像信號SDin的輸入圖像的行駛方向信息JP的信息中的方向。 在這個實施例中，例如，如圖2C所示，如果在關於場景改變前的圖 像的雙聲道立體聲信號的左右聲道中的音量之間具有任何顯著不同， 並且在雙聲道立體聲音頻的右聲道R中的音量大於雙聲道立體聲音 頻的左聲道L中的音量，則顯示方向判定單元228輸出右方向，使得 關於圖像信號SDin的圖像的Hf可在右屏幕110R上被顯示，如圖2C 所示。
雖然延遲電路221、 221A、 221B和221C使圖像信號SDin或其 類似物延遲一幀，但是可以把要延遲的幀的數量設置為一個可選的數 量，除非被延遲的時間點遠離場景改變的時間點。從其中檢測音量的 幀不限於一幀。例如，可以檢測關於一幀以上的音量的平均音量。
除去單聲道的音頻信號之外，音頻信號可以包含任何任選的聲 道.例如，本發明可以應用於5.1聲道環繞音頻信號。此時，可以根 據前兩個聲道或後兩個聲道中音量之間的差來應用上述的處理。此 外，可以根據前兩個聲道和後兩個聲道音量之間的差應用上述的處 理。
雖然場景改變前後關係確定單元124、 124A和124B分別利用視線方向、運動矢量和音量，在本實施例中，可以利用視線方向、運動 矢量和音量中任何的或所有的組合。在這種情況下，如果關於視線方 向的顯示位置信息JP和關於音量的顯示位置信息JP不同，則可以優 先使用關於音量的顯示位置信息JP。或者，可以使用關於所有判定的 方向中最高頻率的顯示位置信息JP。
回來參看圖3，顯示位置設置單元126從場景改變前後關係確定 單元124、 124A或124B的顯示方向判定部分228接收顯示尺寸信息 JP，並根據輸入圖像的顯示方向信息JP顯示在場景改變前後關係確 定單元124、 124A或124B中判定的關於圖像信號SDin的輸入圖像 的顯示位置。然後，顯示位置設置單元126把對應於投射器 112L，112C，112R的圖像信號分別提供給信號輸出單元142L，142C和 142R。
應當注意，如果沒有設置輸入圖像的顯示位置，例如，如果在當 前場景的圖像被顯示在右屏幕110R上時下一個場景的圖像被顯示在 右側，則下一個場景的圖像被顯示在右屏幕110R。
如果即使在場景改變時顯示位置也未改變，則顯示位置可以返回 中央屏110C或者被保持在當前屏。
如果當場景改變時顯示位置被改變，則場景改變前的圖像可被保 持為要作為靜止圖像被顯示的圖像。這使得在場景改變前後的圖像之 間的關係能夠更可被理解。
因而，按照本發明的用於處理圖像的設備120包含這樣一種場景 改變前後關係確定單元124B，其把場景改變後的圖像的顯示位置確 定到和場景改變前的圖像相關的顯示位置，並且還檢測場景改變前的 圖像中的音量，以便根據該音量確定場景改變後的圖像的顯示位置，
因而，利用按照本發明的用於處理圖像的設備120的這個實施 例，觀看者能夠容易地領會場景的改變，並根據圖像中的音量容易地 理解場景改變前後的圖像之間的關係，從而使得更容易地理解圖像顯 示，
圖19表示當以離線方式進行處理時按照本發明的用於處理圖像的設備120A的實施例的配置。和圖3所示的用於處理圖像的設備120 的相同的標號表示圖19所示的用於處理圖像的設備120A的相同的元 件，並因而省略其詳細的說明。
在用於處理圖像的設備120A中的存儲單元130接收並存儲關於 輸入圖像的圖像信號SDin。存儲單元130還把存儲的圖像信號SDin 提供給場景改變檢測單元121。
和上述以實時方式進行處理的情況類似，場景改變檢測單元121 檢測場景改變，場景改變前後關係確定單元124 (124A，124B )把場景 改變後的圖像的顯示位置確定到和場景改變前的圖像相關的顯示位 置。顯示位置設置單元126然後把場景改變後圖像的顯示位置設置到 已被確定的和場景改變前的圖像相關的顯示位置，並把用於顯示場景 改變後的圖像的關於圖像信號SDin的輸入圖像的顯示位置信息JC提 供給存儲單元130。存儲單元130完全根據接收的每個場景的顯示位 置信息JC調節要顯示的圖像的顯示位置，並把關於調節的顯示位置 的圖像信號提供給信號輸出單元142L，142C和142R。
圖20A-20C表示圖像顯示操作的例子。如圖20A所示，如果在 場景改變前後的圖像的顯示位置被連續地改變，即，如果圖20B所示 的圖像Hg的顯示位置和圖20C所示的圖像Hh的顯示位置被向右方 改變，並被連續地向右方改變，存儲單元130的未示出的控制器便把 笫一圖像Ha的顯示位置設置到左屏幕IIOL，使得圖像Ha，Hg和Hh 可被連續地顯示。這還使得能夠實現任何連續的顯示位置的改變，
因而，利用按照本發明的用於處理圖像的設備120A的實施例， 通過根據場景改變前後圖像之間的關係改變困像的顯示位置，觀看者 能夠理解場景之間的關係。在以離線方式進行處理的情況下，能夠處 理連續的顯示位置的改變，從而觀看者能夠容易地理解場景的改變. 還能夠作為靜止圖像保持顯示場景改變前的圖像，從而能夠使觀看者 更容易地理解場景的改變。
除去上述的硬體之外，任何軟體也可以實現上述的處理。圖21 表示可以應用按照本發明的實施例的計算機300的實施例的配置。計算機300包含中央處理單元(CPU)301。只讀存儲器(ROM)302、隨機 存取存儲器(RAM) 303、硬碟驅動器(HDD) 304以及輸入/輸出接口 305通過總線320和CPU 301相連。輸入單元311、記錄介質驅動單 元312、通信單元313、圖像信號輸入單元314以及圖像信號輸出單 元315被連接到輸入/輸出接口 305。
當外部設備向計算機300發送任何指令時，或者由操縱裝置例如 鍵盤和滑鼠構成的輸入單元311或者音頻輸入裝置例如麥克風輸入任 何指令時，這些指令通過輸入/輸出(I/0)接口 305被提供給CPU301。
CPU 301執行在ROM 302、 RAM 303、與/或HDD 304中存儲 的任何程序並根據接收的指令執行任何處理。ROM 302、 RAM 303、 與/或HDD 304預先存儲任何圖像處理程序，這些程序允許計算機300 執行類似於上述的用於處理圖像的設備的任何處理。CPU 301控制 ROM 302、 RAM 303、與/或HDD 304根據圖像信號輸入單元314接 收的輸入圖像信號SDin讀出其中的信息，並產生輸出信號SDL， SDC 和SDR,並通過圖像信號輸出單元315傳送這些輸出信號。記錄介質 可以存儲這種圖像處理程序。記錄介質驅動單元312在記錄介質上記 錄圖像處理程序，或者從記錄介質中讀出圖像處理程序，藉以使計算 機300能夠執行圖像處理程序。通信單元313可以通過任何傳輸通路 發送和接收圖像處理程序，藉以使計算機300能夠執行接收的圖像處 理程序。
圖22表示在以實時方式進行處理的情況下的圖像處理程序，在 圖22所示的步驟ST1，對場景進行辨別。圖23表示這種場景辨別操 作的例子.在圖23所示的步驟ST 11,幀之間的差的平均值Dva和 每幀中亮度的平均值Yav被計算，並且處理前進到步驟ST12。在步 驟ST12，使用亮度的平均值Yav對差的平均值Dav標稱化，從而計 算標稱值E。
在步驟ST13，通過比較標稱值E和閾值，確定是否具有場景改 變。如果標稱值E未超過閾值，則處理前進到步驟ST14,在該步驟 確定沒有場景改變，圖像被包含在同一個場景中。如果標稱值E超過閾值，則處理前進到步驟ST15，在該步驟確定具有場景改變。因而， 根據標稱值E進行場景辨別。
或者，在場景辨別的操作中，如上所述，可以計算相關係數r， 並可以通過比較相關係數r和一個閾值檢測場景改變。在這種情況下， 代替步驟ST11和ST12,按照上述的公式(4)計算相關係數r。代替 步驟ST13,通過比較相關係數r和所述閾值，確定是否具有場景改 變。如果相關係數r不小於所述閾值，則處理前進到步驟ST14，在 該步驟確定沒有場景改變，因而圖像被包含在同一個場景內。如果標 稱值E小於所述閾值，則處理前進到步驟ST15,在該步驟確定具有 場景改變。
返回圖22，在步驟ST2，確定是否檢測到場景改變。如果確定 未檢測到場景改變，則處理回到步驟ST1。如果確定在步驟ST2檢測 到場景改變，則處理前進到步驟ST3。在步驟ST3，確定場景改變前 後圖像之間的關係。
圖24表示在步驟ST3根據視線方向確定場景改變前後圖像之間 的關係的操作的例子。在圖24所示的步驟ST311,對關於輸入圖像 的圖像信號SDin進行HSV轉換。在步驟ST312,從這樣進行了 HSV 轉換的圖像中提取具有一個預定的色度值的區域。在步驟ST313，從 提取的區域提取沿水平線方向的最大連續像素的值。水平線的這個位 置被設置為垂直參考點，並檢測通過對連續像素的數量進行預定的計 算而獲得的值作為水平線。
在步驟ST314,通過根據垂直參考點對在步驟ST313檢測的水 平線的值進行預定計算而獲得垂直線的長度。在步驟ST315，提取由 具有在步驟ST313檢測的水平線和在步驟ST314檢測的垂直線的框 圍成的圖像區域。在步稞ST 316,在步驟ST315提取的圖像區域和 事先準備的標準面部圖M板比較，從而辨別這是否是面部圖像。此 時，準備具有不同方向的標準面部圖像模板，因而，除去辨別面部圖 像之外還辨別面部的方向。在步驟ST317,確定是否檢測到面部圖像。 如果檢測到面部圖像，則處理前進到步驟ST318，在該步驟由標準面部圖像模板中的眼睛瞳孔區域內的運動矢量檢測眼睛的方向，把檢測 的視線方向設置為場景改變後的圖像的顯示位置。如果未檢測到面部 圖像，則結束處理。
圖25表示根據步驟ST3中的運動矢量確定場景改變前後圖像之 間的關係的操作的例子。在步驟ST321,例如對於具有8x8個像素的 每個塊，檢測在當前幀的輸入圖像和在當前幀之前緊挨當前幀的一幀 的輸入圖像之間的運動矢量。在步驟ST322，在圖像的直方圖內具有 最高頻率的運動矢量被規定為背景的運動矢量，在圖像的檢測的直方 圖上具有次最高頻率的運動矢量被規定為主要對象的運動矢量。從檢 測的運動矢量中提取具有次最高頻率的運動矢量。在步驟ST323，檢 查具有次最高頻率的運動矢量對運動矢量的總數的比率，如果具有次 最高頻率的運動矢量的數量對於運動矢量的總數是足夠的，則確定除 去背景的運動矢量之外還有任何的運動矢量。然後處理前進到步驟 ST324。如果具有次最高頻率的運動矢量的數量對於運動矢量的總數 不足，則確定除了背景的運動矢量之外沒有運動矢量。處理然後結束。 在步驟ST324，具有次最高頻率的每個運動矢量的方向被設置為場景 改變之後的圖像的顯示位置。
圖26表示在步驟ST3根據音量確定場景改變前後圖像之間的關 系的操作的例子。在步驟ST331，從輸入的立體聲雙聲道音頻信號檢 測左右聲道的音量.在步驟ST332，使檢測的左右聲道的音量相互比 較。在步驟ST333，確定在左右聲道的音量之間是否具有任何差異。 如果具有任何差異，則處理前進到步驟ST334，在該步猓確定具有較 大音量的聲道的方向作為場景改變後的圖像的顯示位置。如果沒有差 異，則處理結束.
回到圖22，在步驟ST4，產生用於在步驟ST3確定的顯示位置 上顯示圖像的輸出信號SDL，SDC和SDR。在產生輸出信號時，圖像 被存儲在幀存儲器中，在基於顯示位置的定時從幀存儲器中這樣讀出 圖像信號，使得讀出的圖像信號可對於每個屏幕被劃分從而產生輸出 信號SDL, SDC和SDR。或者，在其中的記錄區域按照圖像信號的顯示位置對應於圖像顯示區域的存儲器中存儲圖像信號，藉以使得能
夠產生輸出信號SDL，SDC和SDR。
然後處理前進到步驟ST5。在步驟ST5，確定關於輸入圖像的圖 像信號是否結束。如果確定圖像信號未結束，則處理返回步驟ST1， 在該步驟重複所述的圖像處理。如果確定圖像信號結束，則圖像處理 結束。
圖27表示在以離線方式進行處理的情況下圖像處理程序的整個配置.
在圖27所示的步驟ST21，場景被辨別。在步驟ST22，確定是 否檢測到場景改變。如果在步驟ST22確定未檢測到場景改變，則處 理返回步驟ST21。如果在步驟ST22確定檢測到場景改變，則程序前 進到步驟ST23，在該步驟確定場景改變前後的圖像之間的關係。
在步驟ST24，確定是否對於每個場景都進行了場景改變前後圖 像之間的關係的確定。如果在步驟ST24確定尚未對於每個場景都進 行過場景改變前後圖像之間的關係的確定，則處理返回步驟ST21繼 續進行處理。如果在步驟ST24確定對於每個場景都進行了場景改變 前後圖像之間的關係的確定，則處理前進到步驟ST25。
在步驟ST25，從每個場景前後確定的顯示位置中提取顯示位置 連續地改變的情況，並這樣設置顯示位置，使得顯示位置可以連續地 改變.
在步驟ST26,這樣產生輸出信號SDL，SDC，SDR，使得圖像可 以在步驟ST25確定的顯示位置上被顯示，在產生輸出信號時，圖像 被存儲在幀存儲器中，並且在按照圖像的顯示位置的定時從幀存儲器 中這樣讀出圖像信號，使得讀出的圖像信號對於每個屏幕被劃分，借 以使得能夠產生輸出信號SDL，SDC和SDR。或者，把圖像信號存儲 器其中記錄區域按照圖像信號的顯示位置對應於圖俸顯示區域的存 儲器中，並使用在對應於每個屏幕的記錄區域中存儲的信號，從而使 得能夠產生輸出信號SDL，SDC和SDR。
因而，在按照本發明的用於處理圖像的方法和圖像處理程序產品的實施例中，檢測場景改變前後的圖像的特徵值，並根據圖像的特徵 值確定場景改變後的顯示位置。在這些實施例中，視線方向、運動矢 量和音量被用作圖像的特徵值。
因而，觀看者能夠容易地領會場景的改變，並由圖像中的內容容 易地領會場景改變前後圖像之間的關係。這使得能夠實現容易理解的 圖像呈現。
應當注意，雖然在上述實施例中說明了一個以上的屏幕和投射 器，它們的數量和屏幕的尺寸等可被選擇地改變。可以使用其它種類 的顯示器，例如寬屏顯示器或者彎曲表面顯示器例如圓柱顯示器。
雖然在上述實施例中用於處理圖像的設備120A內含有存儲單元 130,可以使用任何外部信息存儲裝置。當存儲單元130可拆卸時， 藉助於利用在這個可拆卸的存儲單元130中存儲的圖像信號SDin和 顯示位置信息JC，具有任何圖像顯示控制功能的另一種圖像顯示系 統也可以顯示具有任何的真實性和可容易理解的圖像。
按照上述的本發明的實施例，通過使用現有內容的圖像信號而不 創建新的圖像源與/或其它格式，可以在顯示位置上顯示場景改變，從 而使得能夠顯示比以前的圖像具有更好的效果並且能夠容易理解的 圖像.
下面參照圖28到30說明按照本發明的用於產生再現信息的設備 和方法以及再現信息產生程序產品的實施例。圖28表示按照本發明 的用於產生再現信息的設備500的實施例的配置，圖29表示用於再 現信息的設備600的配置。和圖3所示的用於處理圖像的設備120的 相同的標號表示設備500和600的相同的元件，並因而省略對這些元 件的細節的說明。
用於處理困像的設備120被劃分以便構成設備500和600。用於 產生再現信息的設備500對關於輸入圖像的圖像信號SDin進行任何 處理，並產生關於視頻的作為再現信息的例子的幀的顯示位置信息 JP。用於產生再現信息的設備500包含場景改變檢測單元121(121A) 和場景改變前後關係確定單元124 (124A和124B)。用於再現信息的設備600根據顯示位置信息JP對圖像信號SDin進行任何處理並再 現圖像。
在圖28所示的用於產生再現信息的設備500中的場景改變檢測 單元121接收圖像信號SDin，根據圖像信號SDin檢測幀內的場景改 變，從而產生場景改變檢測信號SC，並把場景改變檢測信號SC提供 給場景改變前後關係確定單元124。
當收到場景改變檢測信號SC時，場景改變前後關係確定單元 124根據表示圖像的特徵值的面部方向與/或視線方向確定場景改變 前後圖像間的關係，並把輸入圖像的顯示位置作為顯示位置信息JP 傳送到輸出端501。
輸出端501可以連接外部存儲介質例如USB存儲器，其存儲顯 示位置信息JP。這使得能夠提供用於表示每個場景的顯示位置的顯示 位置信息JP。此外，端子501還可以連接電信線路例如區域網(LAN) 電纜。例如，顯示位置信息JP通過網際網路通信網絡被下栽到用戶的 個人計算機(PC)。
圖29所示的用於再現信息的設備600從外部存儲介質中讀出顯 示位置信息JP,或者通過網際網路獲得顯示位置信息JP，並根據顯示 位置信息JP對關於輸入圖像的圖像信號SDin進行任何處理以再現圖 像。用於再現信息的設備600包含顯示位置設置單元126和信號輸出 單元142L，142C，142R。
顯示位置設置單元126接收顯示位置信息JP和圖像信號SDin。 然後顯示位置設置單元126根據顯示位置信息JP設置關於圖像信號 SDin的輸入圖像的顯示位置，並劃分圖像信號SDin，以便把劃分的 信號分別提供給信號輸出單元142L，142C，142R。
信號輸出單元142L，142C，142R由圖flU!"儲器構成。當接收圖像 信號SDin時，信號輸出單元142L連續地在圖像存儲器上存儲圖像信 號SDin。
然後從信號輸出單元142L讀出圖像信號SDin,並作為輸出信號 SDL提供給投射器112L。當提供劃分的圖像信號SDin時，信號輸出單元142L在其存儲器中存儲該圖像信號，使得不包括內容的圖像信 號的部分在屏幕上以黑色被顯示。
信號輸出單元142C和142R具有和信號輸出單元142L相同的配 置，並在其圖像存儲器上連續地存儲圖像信號SDin。然後從信號輸出 單元142C和142R讀出圖像信號SDin，並作為輸出信號SDC和SDR 分別提供給投射器112C和112R。當提供劃分的圖像信號SDin時， 信號輸出單元142C和142R在其圖像存儲器中這樣存儲圖像信號， 使得不包括內容的圖像信號的部分以黑色在屏幕上被顯示。
圖30表示在以實時方式進行處理的情況下顯示位置信息的產生 的例子，其表示再現信息產生程序。
在圖30所示的步驟ST31，場景被辨別。在步驟ST32，確定是 否檢測到場景改變。如果確定未檢測到場景改變，則處理返回步驟 ST1,如果確定檢測到場景改變，則處理前進到步驟ST3。在步驟ST3， 確定場景改變前後圖像間的關係。例如根據面部方向與/或圖像中眼睛 的方向、圖像的運動矢量以及圖像中左右聲道的音量之間的差來確定 場景改變前後圖像間的關係，
在步驟ST34，根據場景改變前後圖像間的關係，產生關於場景 改變後的圖像的顯示位置的顯示位置信息JP，該信息是在步驟ST33 確定的，然後處理前進到步驟ST35。
在步稞ST35，確定關於輸入圖像的圖像信號SDin是否結束。如 果確定圖像信號SDin尚未結束，則處理返回步驟ST1。如果確定圖 像信號結束，則圖像處理結束。
因而，利用按照上述本發明實施例的用於產生再現信息的設備 500、用於產生再現信息的方法及其程序產品，檢測場景改變前後的 圖像的特徵值，並根據所述特徵值，產生這樣的顯示位置信息JP，使 得場景改變後的圖像的顯示位置被設置到和場景改變前的圖像相關 的顯示位置。
因而，按照本發明的實施例，通過根據產生的顯示位置信息JP 再現圖像，能夠容易地領會場景的改變，並能夠根據圖像的內容領會在場景改變前後圖像間的關係。這使得圖像能夠以可理解的方式被呈 現。
因而，按照本發明的上述實施例的用於處理圖像的設備和方法、 用於處理圖像的程序產品、用於產生再現信息的設備和方法以及用於 產生再現信息的程序產品，優選地被應用於用於處理關於輸入圖像例 如電視廣播節目和電影的圖像信號的設備等。
本領域技術人員應當理解，根據迄今為止的設計要求和其它因 素，可以作出各種改型、組合、子組合以及等同替換，只要它們都落 在所附權利要求及其等效物的範圍內。
權利要求
1.一種用於處理圖像的設備，所述設備包括場景改變檢測單元，用於根據關於輸入圖像的圖像信號檢測輸入圖像的場景改變；顯示位置控制單元，用於根據場景改變檢測單元的檢測結果，把場景改變之後圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及顯示位置設置單元，用於把在顯示位置控制單元中確定的顯示位置設置為顯示在場景改變之後的圖像的顯示位置，其中所述顯示位置控制單元檢測場景改變前後的圖像的特徵值，並根據圖像的特徵值確定場景改變之後的圖像的顯示位置。
2. 如權利要求1所述的設備，其中所述顯示位置控制單元包括 第一面部區域提取部分，用於從圖像信號中提取面部圖像的區域；第一視線方向檢測部分，用於從在第一面部區域提取部分中提取 的面部圖像的區域中檢測第一視線方向；延遲部分，用於延遲圖像信號以產生延遲的圖像信號； 第二面部區域提取部分，用於從自延遲部分接收的延遲圖像信號第二視線方向檢測部分，用於從在第二面部區域提取部分中提取 的面部圖像的區域中檢測笫二視線方向；以及顯示方向判定部分，用於在第一和第二視線方向被檢測出之後根 據表示特徵值的第一和笫二視線方向判定關於圖像信號的輸入圖像 的顯示方向。
3.如權利要求2所述的設備，其中第一面部區域提取部分包括 有色皮膚區域提取部分，用於從圖像信號提取圖像的值在一個設 置範圍內的像素，並把所述像素設置為有色皮膚的區域；水平線檢測部分，用於計數在每個水平線上在有色皮膚區域提取部分中提取的有色皮膚區域中的像素的數量，並檢測具有最大的計數 像素數的水平線，以從具有最大的計數像素數的水平線的位置獲得參考點;垂直線檢測部分，用於根據水平線檢測部分中檢測的水平線的長度獲得垂直線的長度，並把參考點設置為垂直線的中點；幀區域提取部分，用於根據在水平線檢測部分中檢測的水平線和在垂直線檢測部分中檢測的垂直線從圖像中提取幀區域；以及面部圖像辨別部分，包含用於設置的面部圖像的模板，計算在所述模板和在幀區域提取部分提取的幀區域之間的差值，比較所述差值和預定閾值，並根據比較結果辨別圖像中的所述幀區域是否是面部區域。
4. 如權利要求2所述的設備，其中第二面部區域提取部分包括 有色皮膚區域提取部分，用於從延遲的圖像信號提取圖像的值在一個設置範圍內的像素，並把所述像素設置為有色皮膚的區域；水平線檢測部分，用於計數在每個水平線上在有色皮膚區域提取 部分中提取的有色皮膚區域中的像素的數量，並檢測具有最大的計數 像素數的水平線，以從具有最大的計數像素數的水平線的位置獲得參 考點；垂直線檢測部分，用於根據水平線檢測部分中檢測的水平線的長 度獲得垂直線的長度，並把參考點設置為垂直線的中點；幀區域提取部分，用於根據在水平線檢測部分中檢測的水平線和 在垂直線檢測部分中檢測的垂直線從圖像中提取幀區域；以及面部圖像辨別部分，包含用於設置的面部圖像的模板，計算在所 述模板和在幀區域提取部分提取的幀區域之間的差值，比較所述差值 和預定閾值，並根據比較結果辨別固像中的所述幀區域是否是面部區 域。
5. 如權利要求1所述的設備，其中顯示位置控制單元包括 第一延遲部分，用於延遲圖像信號，以產生第一延遲圖像信號； 第二延遲部分，用於延遲第一延遲圖像信號，以產生第二延遲圖像信號；運動矢量檢測部分，用於接收第一和第二延遲圖像信號，並從第一和第二延遲圖像信號檢測運動矢量；運動矢量判定部分，用於根據在運動矢量檢測部分中檢測的運動矢量判定表示特徵值的預定的運動矢量；以及顯示方向判定部分，用於根據在運動矢量判定部分中判定的運動 矢量判定關於圖像信號的輸入圖像的顯示方向。
6. 如權利要求1所述的設備，其中顯示位置控制單元包括 延遲部分，用於延遲圖像信號，以產生延遲的圖像信號； 音量檢測部分，用於檢測關於伴隨著延遲的圖像信號的具有多個聲道的音頻信號的音量；音量比較部分，用於計算在音量檢測部分中檢測的聲道之間的音 量的差值，比較所述差值和預定的閾值，並根據其比較結果辨別在聲 道之間是否具有音量的差異，所述差值表示特徵值；以及顯示方向判定部分，用於根據在音量比較部分中的辨別結果判定 關於圖像信號的輸入圖像的顯示方向。
7. 如權利要求1所述的設備，還包括積累單元，用於積累關於輸 入圖像的圖像信號，其中場景改變檢測單元根據在所述積累單元中積累的圖像信號 檢測輸入圖像的場景改變；其中當檢測到場景改變時，顯示位置控制單元把場景改變後的圖 像的顯示位置確定為與場景改變前的圖像相關的顯示位置；其中顯示位置設置單元把在顯示位置控制單元中確定的顯示位 置設置為用於顯示場景改變後的圖像的顯示位置，並向積累單元提供 用於在該設置的顯示位置上顯示場景改變後的圖像的顯示位置信息， 以及其中積累單元根據提供的用於每個場景的顯示位置信息調整用 於最終顯示場景改變後的圖像的顯示位置。
8. —種用於處理圖像的方法，所述方法包括第 一步驟，用於根據關於輸入圖像的圖像信號檢測輸入圖像的場景改變；第二步驟，用於根據第一步驟的檢測結果，把場景改變之後圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及第三步驟，用於把在第二步驟中確定的顯示位置設置為顯示在場 景改變之後的圖像的顯示位置，其中在第二步驟中，檢測場景改變前後的圖像的特徵值，並根據 這些圖像的特徵值確定顯示在場景改變之後的圖像的顯示位置。
9. 一種程序產品，其允許計算機通過執行用於處理圖像的方法來 處理圖像信號，所述方法包括第一步驟，用於根據關於輸入圖像的圖像信號檢測輸入圖像的場 景改變；笫二步驟，用於根據第一步驟的檢測結果，把場景改變之後圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及第三步驟，用於把在第二步驟中確定的顯示位置設置為顯示在場 景改變之後的圖像的顯示位置，其中在第二步驟中，檢測場景改變前後的圖像的特徵值，並根據 這些圖像的特徵值確定顯示在場景改變之後的圖像的顯示位置。
10. —種用於產生再現信息的設備，該設備處理關於輸入的圖像 的圖像信號，從而產生關於輸入的圖像的再現信息，所述設備包括場景改變檢測單元，用於根據關於輸入圖像的圖像信號檢測輸入 圖像的場景改變；以及顯示位置控制單元，用於根據場景改變檢測單元的檢測結果把場 景改變之後圖像的顯示位置確定為與場景改變之前的圖像相關的顯 示位置，其中所述顯示位置控制單元檢測場景改變前後的圖像的特徵值， 並根據圖像的特徵值產生再現信息，以便確定場景改變之後的圖像的 顯示位置。
11. 一種通過處理關於輸入圖像的圖像信號來產生關於輸入圖像的再現信息的方法，所述方法包括第 一步驟，用於根據關於輸入圖像的圖像信號檢測輸入圖像的場 景改變；以及第二步驟，用於根據第一步驟的檢測結果，把場景改變之後圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置，其中所述第二步驟包括以下子步驟檢測場景改變前後的圖像的 特徵值，以及產生再現信息，以根據圖像的特徵值確定在場景改變之 後圖像的顯示位置.
12.—種程序產品，其允許計算機通過執行下述步驟產生用於再 現關於輸入圖像的圖像信號的再現信息第一步驟，用於根據關於輸入圖像的圖像信號檢測輸入圖像的場 景改變；以及第二步驟，用於根據第一步驟的檢測結果，把場景改變之後圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置，其中所述第二步驟包括以下子步驟檢測場景改變前後的圖像的 特徵值，以及產生再現信息，以根據圖像的特徵值確定在場景改變之 後圖像的顯示位置。
全文摘要
本發明公開了處理圖像的設備和方法及產生再現信息的設備和方法。一種用於處理圖像的設備包括場景改變檢測單元，用於根據關於輸入圖像的圖像信號檢測輸入圖像的場景改變；顯示位置控制單元，用於根據場景改變檢測單元的檢測結果，把場景改變之後圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及顯示位置設置單元，用於把在顯示位置控制單元中確定的顯示位置設置為顯示在場景改變之後的圖像的顯示位置。所述顯示位置控制單元檢測場景改變前後的圖像的特徵值，並根據圖像的特徵值確定場景改變之後的圖像的顯示位置。
文檔編號H04N5/74GK101291392SQ200810092940
公開日2008年10月22日 申請日期2008年4月18日 優先權日2007年4月20日
發明者山元左近, 近藤哲二郎 申請人:索尼株式會社