章信息創建設備及其控制方法
2023-09-13 19:43:25 1
專利名稱：章信息創建設備及其控制方法
技術領域：
本發明涉及一種為視頻圖像數據創建章信息的章信息創建設備及其控制方法，尤其涉及為對視頻圖像內容進行分層編碼所獲得的視頻圖像數據創建章信息的章信息創建設備及其控制方法。
背景技術：
迄今為止，在攝像機、廣播節目記錄設備等設備中，已知如下技術該技術用於在正記錄或回放的視頻圖像內容中檢測場景變化位置等，以及將用於指定所檢測到的位置的信息創建為章信息。例如，章信息記錄在視頻圖像內容的數據中，並用於視頻圖像內容的提示回放(cue playback)、編輯等。例如，日本特開2006-108729公開了用於從幀之間的差異檢測視頻圖像內容的幀之間的場景變化、並自動創建章信息的技術。另一方面，作為視頻圖像內容用的分層編碼方案的例子，H. 264/AVC (Advanced Video Coding，先進視頻編碼)的增強版本H. ^4/SVC (Salable Video Coding，可擴展視頻編碼)已標準化。分層編碼方案的使用使得能夠在單個視頻圖像流的數據中對具有多個解析度的視頻圖像數據進行分層和編碼。例如，可以在單個流的數據中，對在同一視頻圖像內容中具有諸如640X480像素SD解析度和4096X2160像素4以1(解析度等的多個解析度的視頻圖像進行分層和編碼。層之間的視場(field of view)也可能不同，使得可能SD解析度的層是面部特寫，而4KI解析度的層是全身像。在針對分層編碼後的視頻圖像內容、以傳統方式檢測場景變化以及自動創建章信息的情況下，如果層之間的視場相同，則可以通過應用傳統方案在一個特定層創建章信息， 並在所有層共同使用該章信息。然而，在視頻圖像內容在層之間具有不同視場的情況下，可能在一層存在場景變化、而在其它層不存在場景變化。例如，考慮如下情況存在在高解析度層的具有多個人物的場景的視頻圖像、以及在低解析度層的其中一個人物的特寫的視頻圖像。在這種情況下， 即使高解析度層的視頻圖像中沒有大的變化，低解析度層的視頻圖像也可以改變成其他人物的特寫。因此，針對被分層編碼為在編碼後的層之間具有不同視場的視頻圖像內容，需要對具有不同視場的各層創建章信息。例如，在使用日本特開2006-1087 所公開的方法創建章信息的情況下，需要通過分析具有不同視場的各編碼後的層的視頻圖像來檢測場景變化，因而產生了處理增加的問題。特別地，對特定層的場景分析需要對該層進行解碼，從而導致分析處理的增加量以上的處理增加。
發明內容
考慮到傳統技術的上述問題作出了本發明。本發明利用為通過對具有不同視場的視頻圖像進行分層編碼所獲得的視頻圖像數據創建章信息的章信息創建設備及其控制方法，使得可以使用簡單的方法為各層的視頻圖像創建章信息。根據本發明的方面，提供一種章信息創建設備，用於根據通過對多個視頻圖像進行分層編碼而獲得的視頻圖像數據來創建所述多個視頻圖像中的各個視頻圖像的章信息， 其中所述多個視頻圖像包括具有任意視場的視頻圖像以及具有與包括在所述任意視場中的區域相對應的視場的視頻圖像，所述章信息創建設備包括判斷部件，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中判斷具有最寬視場的第一視頻圖像；檢測部件，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中檢測第二視頻圖像，其中所述第二視頻圖像的視場的大小與所述第一視頻圖像的視場的大小的比小於或等於閾值；計算部件，用於周期性地計算所述第二視頻圖像在所述第一視頻圖像的視場所包括的區域中的位置；第一創建部件，用於根據所述計算部件針對所述第二視頻圖像周期性地計算出的位置，計算固定時間段內所述位置的移動距離，以及如果所述移動距離大於或等於預定閾值，則創建所述第二視頻圖像的章信息；以及第二創建部件，用於分析所述第一視頻圖像，以及響應於檢測到所述第一視頻圖像的變化，創建所述第一視頻圖像和所述第二視頻圖像的章信息。根據本發明的其它方面，提供一種用於章信息創建設備的控制方法，所述章信息創建設備根據通過對多個視頻圖像進行分層編碼而獲得的視頻圖像數據來創建所述多個視頻圖像中的各個視頻圖像的章信息，其中所述多個視頻圖像包括具有任意視場的視頻圖像以及具有與包括在所述任意視場中的區域相對應的視場的視頻圖像，所述控制方法包括以下步驟判斷步驟，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中判斷具有最寬視場的第一視頻圖像；檢測步驟，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中檢測第二視頻圖像， 其中所述第二視頻圖像的視場的大小與所述第一視頻圖像的視場的大小的比小於或等於閾值；計算步驟，用於周期性地計算所述第二視頻圖像在所述第一視頻圖像的視場所包括的區域中的位置；第一創建步驟，用於根據在所述計算步驟中針對所述第二視頻圖像周期性地計算出的位置，計算固定時間段內所述位置的移動距離，以及如果所述移動距離大於或等於預定閾值，則創建所述第二視頻圖像的章信息；以及第二創建步驟，用於分析所述第一視頻圖像，以及響應於檢測到所述第一視頻圖像的變化，創建所述第一視頻圖像和所述第二視頻圖像的章信息。通過以下參考附圖對典型實施例的說明，本發明的其它特徵將變得明顯。
圖1是示出根據本發明的實施例的章信息創建設備的示例配置的框圖。圖2示出本發明可用的H. 264/SVC視頻圖像數據流的示例配置。圖3示出具有不同視場的分層編碼後的視頻圖像的示例配置。圖4示出本發明實施例中的視場信息的具體例子。圖5是示出本發明實施例的章信息創建設備中為具有窄視場的視頻圖像創建章信息的操作的流程圖。圖6示出本發明實施例的章信息創建設備所創建的示例章信息表。圖7示出具有窄視場的視頻圖像的示例變化。
具體實施例方式以下將參考附圖來詳細說明本發明的實施例。圖1是示出根據本發明的實施例的章信息創建設備100的示例配置的框圖。注意，儘管將根據本實施例的章信息創建設備100 作為記錄裝置來進行說明，然而還可以在能對分層編碼後的視頻圖像內容進行解碼的任意裝置中實現本發明。除諸如視頻記錄器或攝像機等的記錄設備以外，還可以在諸如視頻盤播放器或介質播放器等的用於對存儲在記錄介質上的編碼後的視頻圖像進行回放的回放設備、或者具有與記錄設備或回放設備相同的功能的任意裝置中良好地實現本發明。在圖1中，UI (用戶接口)控制單元101接收鍵或按鈕(未示出)的用戶操作，並基於接收到的內容來控制記錄控制單元102。記錄控制單元102在UI控制單元101的控制下將從外部源輸入的視頻圖像內容數據記錄至記錄單元103。在本發明中，假定從外部源輸入的視頻圖像數據是運動圖像專家組2傳輸流(下文稱為MPEG2 TS)格式的流數據。還假定視頻圖像數據中多路復用有音頻數據和分層編碼後的視頻圖像數據分別作為音頻基本流(下文稱為音頻EQ和視頻圖像基本流(下文稱為視頻圖像ES)。注意，假定視頻圖像ES為例如H.264/SVC格式。分層編碼後的視頻圖像數據包括基礎層和至少一個增強層。如果基礎層的視頻圖像和一個或多個增強層的視頻圖像具有共同的視場，則基礎層包括回放視頻圖像內容所需的最少的信息，並且一個或多個增強層包括用於提高基礎層的視頻圖像的質量的數據。在本實施例中，假定在至少兩層(可以包括基礎層，也可以不包括基礎層)上對具有不同視場的視頻圖像進行編碼。假定具有不同視場的視頻圖像是具有最寬視場的視頻圖像和具有與具有最寬視場的視頻圖像的一部分區域相對應的視場的視頻圖像。此外，為便於說明和理解，假定在各層之間視頻圖像的空間解析度等同。注意，可以經由諸如廣播、記錄介質或網絡等的任何不同類型的傳輸介質來輸入記錄控制單元102所接收的視頻圖像內容數據。例如，如果使用廣播輸入視頻圖像內容數據，則假定上遊調諧器(未示出)已進行了調諧。可選地，記錄控制單元102可以具有調諧器，可以通過來自UI控制單元101的信道選擇指示來提取特定信道的流數據。記錄控制單元102還將在記錄單元103中記錄的視頻圖像內容數據輸出至信號解多路復用器104。記錄單元103將從記錄控制單元102輸入的MPEG2 TS數據記錄至諸如硬碟驅動器、藍光碟驅動器或半導體存儲裝置等的存儲裝置。此外，記錄單元103將(後面說明的)窄視場章信息創建單元108和共用章信息創建單元111所創建的章信息表記錄在存儲裝置中。信號解多路復用器104將從記錄控制單元102輸入的MPEG2 TS數據解多路復用為視頻圖像ES和音頻ES數據，並將視頻圖像ES數據分別輸出至視頻圖像解碼單元109和視場信息提取單元105、並且將音頻ES輸出至音頻解碼單元112。視場信息提取單元105從包括在信號解多路復用器104所輸入的視頻圖像ES中的與編碼有關的信息，提取分層編碼後的基礎層的視頻圖像的視場信息、以及一個或多個增強層的視頻圖像的視場偏移信息(與相對於基礎層的視場的差異有關的信息)。因此，視場信息包括被稱為基礎層的特定層的視頻圖像的視場信息、以及除特定層的視頻圖像以外的層(增強層)的視頻圖像的視場信息。注意，如後面將說明的，偏移信息是指定增強層的視頻圖像相對於基礎層的視頻圖像的相對位置的信息。具體地，視場信息提取單元105從視頻圖像ES的SPSGequence Parameter kt，序列參數集)提取該信息。此外，視場信息提取單元105從AU (Access Unit，訪問單元)提取層識別符「cbpendencyjd」。視場信息提取單元105將所提取出的基礎層的視場信息、增強層的視場偏移信息、以及層識別符輸出至視場差異判斷單元106。 視場差異判斷單元106基於從視場信息提取單元105輸入的基礎層的視場信息、 增強層的視場偏移信息、以及層識別符來計算增強層的視場信息，並判斷各層的視場的大在層的視場與具有最寬視場的層的視場的比小於或等於預定閾值的情況下，視場差異判斷單元106將基礎層的視場信息、增強層的視場偏移信息、以及層識別符輸出至視場位置判斷單元107。此外，視場差異判斷單元106將具有最寬視場的層的識別符輸出至視頻圖像解碼單元109。以這種方式，視場差異判斷單元106判別在這些層中視場與具有最寬視場的層的視場的比小於或等於閾值的層(具有窄視場的層)，並將該層通知給視場位置判斷單元107。可以通過閾值設置，來改變在多個層中要根據移動距離而指派章的層(視場)的範圍。視場位置判斷單元107基於從視場差異判斷單元106輸入的基礎層的視場信息、 增強層的視場偏移信息、以及具有最寬視場的層的識別符，順序計算視場與具有最寬視場的層的視場的比小於或等於閾值的、具有窄視場的層的視頻圖像的中心位置。如果在固定時間段內具有窄視場的層的中心相對於順序計算出的中心位置的移動距離大於或等於預定閾值，則視場位置判斷單元107判斷為具有窄視場的層的視頻圖像的場景已變化。然後， 視場位置判斷單元107將具有窄視場的層的識別符和時間信息輸出至窄視場章信息創建單元108。例如，這個時間信息是與計算出最新的中心位置的視頻圖像幀相對應的時間信肩、ο窄視場章信息創建單元108根據從視場位置判斷單元107輸入的具有窄視場的層的識別符以及時間信息，來創建將時間信息與層的識別符相關聯的章信息表，並將所創建的章信息表保存在記錄單元103。視頻圖像解碼單元109基於從信號解多路復用器104輸入的視頻圖像ES以及從視場差異判斷單元106輸入的具有最寬視場的層的識別符，對具有最寬視場的層進行解碼，並創建視頻圖像數據。隨後，視頻圖像解碼單元109將視頻圖像數據輸出至諸如顯示設備等的外部設備以及視頻圖像分析單元110。視頻圖像分析單元110使用傳統的視頻圖像變化量識別技術來分析從視頻圖像解碼單元109輸入的視頻圖像數據，在例如幀之間的差異的大小大於或等於閾值的情況下檢測為視頻圖像已變化，並將時間信息輸出至共用章信息創建單元111。可以對視頻圖像的每一幀或者每幾幀進行視頻圖像分析單元110判斷視頻圖像的變化的處理。共用章信息創建單元111創建將從視頻圖像分析單元110輸入的時間信息與具有最寬視場的層的識別符和具有窄視場的層的識別符相關聯的章信息表。共用章信息創建單元111將所創建的章信息表保存在記錄單元103。注意，共用章信息創建單元111可以創建將從視頻圖像分析單元110輸入的時間信息與所有層的識別符相關聯的章信息表。音頻解碼單元112對從信號解多路復用器104輸入的音頻ES進行解碼以創建音頻數據，並將音頻數據輸出至揚聲器。將參考圖2說明本實施例中使用的用H. ^4/SVC編碼的視頻圖像數據流200的配置。這裡，假定將視頻圖像數據流200分層編碼為由基礎層和單個增強層組成的兩層。在視頻圖像數據流200中，SPSGequence Parameter kt，序列參數集)201是包括與包含多個圖片的完整序列的編碼相關的信息的報頭。此外，PPS(Picture Parameter kt，圖片參數集)202是包括與所有圖片相關的編碼信息的報頭。AU(ACCesS Unit，接入單元)203包含多個切片數據(slice data)。切片數據是包含切片的編碼後數據的、被稱為NAL(Network Abstraction Layer, 網絡抽象層)單元的單位數據之一。附加被稱為前綴NAL單元的擴展報頭作為切片數據的報頭，擴展報頭還包含作為用作層識別符的信息的cbpendencyjd。可以通過參考 cbpendencyjd來選擇層。SPS 201存儲與在這些層中編碼的視頻圖像的垂直視場和水平視場相關的信息。基礎層的SPSO 204存儲與基礎層的視頻圖像的垂直視場和水平視場有關的信息。增強層的SPSl 205存儲與相對於基礎層的視頻圖像的垂直視場和水平視場的差異有關的偏移信息。後面將詳細說明SPS 201中包括的信息。將參考圖3說明本實施例的在視頻圖像數據流200中編碼的視頻圖像內容的示例配置。如上所述，將本實施例使用的視頻圖像內容分層編碼為由基礎層和單個增強層組成的兩層。基礎層和增強層具有不同的視場及不同的解析度，基礎層具有SD解析度，而增強層具有4KI解析度。具體地，增強層的視頻圖像302是包括人物303、人物304和人物305 的全幀視頻圖像，而基礎層的視頻圖像301是人物303的面部特寫視頻圖像。因此，增強層是具有最寬視場的層。還假定基礎層的視場與增強層的視場之比小於或等於閾值。因此， 基礎層是具有窄視場的層。此外，具有窄視場的視頻圖像是具有最寬視場的視頻圖像的一部分區域，且具有窄視場的視頻圖像與具有最寬視場的視頻圖像是包含關係。將參考圖4說明當已經對這樣的視頻圖像內容進行了分層編碼時與各層的視場相關的信息。這裡，各層的視頻圖像的垂直大小和水平大小(像素數量、宏塊數量等)分別與垂直視場和水平視場相對應，且可用作與視場有關的信息。此外，由於各層的視頻圖像並不一定具有共同的縱橫比，因此在比較各層的視場大小的情況下，各層的視頻圖像中所包括的像素或宏塊的總數用作為該視頻圖像的視場的大小。在以下說明中，假定視頻圖像的大小用像素數量表示。這種情況下，基礎層的視頻圖像401的水平大小BH為640，垂直大小VH為480。此外，假定增強層的視頻圖像402的視場偏移信息由增強層的視頻圖像402相對於基礎層的視頻圖像401的左上角位置的差和右下角位置的差的組合來表示。當用像素數量表示時，圖3的視頻圖像配置中的偏移信息是 左上角的偏移信息403 (LH，LV)為(1096，660)，右下角的偏移信息404 (RH，RV)為(2360, 1020)。注意，LH、RH是水平偏移，而LV、RV是垂直偏移。假定從基礎層的邊緣向外側的偏移為正值。因此，無需比較大小，LH、LV、RH或RV中的任一個為負值表示增強層具有較窄的視場。此外，在如本實施例中一樣、具有窄視場的層的視頻圖像是具有最寬視場的層的視頻圖像的一部分的情況下，可以判斷為偏移信息包括負值的增強層具有比基礎層更窄的視場。將使用圖5的流程圖說明在本實施例的章信息創建設備中進行的用於為具有窄視場的視頻圖像創建章信息的操作。在步驟SlOl中，視場信息提取單元105從信號解多路復用器104接收視頻圖像 ES,並提取包含在AU中的層識別符cbpendencyjd。此外，視場信息提取單元105從視頻圖像E S的SPS 201中提取基礎層的視場信息(BH，BV) = (640,480)和增強層的視場偏移信息(LH，LV) = (1096，660)、(RH，RV) = (2360,1020) 隨後，視場信息提取單元 105 將所提取出的基礎層的視場信息、增強層的視場偏移信息和層的識別符輸出至視場差異判斷單元 106。在步驟S102中，視場差異判斷單元106根據從視場信息提取單元105接收到的基礎層的視場信息、各增強層的視場偏移信息以及層的識別符，得到各增強層的視頻圖像大小作為視場的大小。這裡，由於視頻圖像的大小是以像素為單位的，因而垂直像素的數量乘以水平像素的數量得到視場的大小。然後，視場差異判斷單元106根據基礎層的視頻圖像的垂直大小和水平大小以及各增強層的視頻圖像的垂直大小和水平大小，來判別具有最寬視場的層。在如圖3的例子中一樣、具有窄視場的層的視頻圖像是具有最寬視場的層的視頻圖像的一部分的情況下，具有正值的偏移信息的增強層的視頻圖像具有比基礎層的視頻圖像更寬的視場。類似地，具有負值的偏移信息的增強層的視頻圖像具有比基礎層的視頻圖像更窄的視場。在圖3示例的視頻圖像中，由於偏移信息為正值，且僅有基礎層和一個增強層，因而視場差異判斷單元106判斷為增強層是具有寬視場(最寬視場)的層。視場差異判斷單元106還計算增強層的水平大小(EH = BH+LH+RH)和垂直大小 (EV = BV+LV+RV)。在圖3的例子中，(EH，EV) = (4096,2160)。接著，視場差異判斷單元 106分別得到BHXBV作為基礎層的視頻圖像的視場、以及EHXEV作為增強層的視頻圖像的視場(最寬的視場)。在步驟S103中，視場差異判斷單元106根據步驟S102中得到的基礎層的視場和最寬的視場的大小，來檢測與具有最寬視場的視頻圖像的比小於或等於閾值的、具有窄視場的視頻圖像。具體地，視場差異判斷單元106判斷最寬視場與基礎層的視場的比是否大於或等於N。接著，如果最寬視場與基礎層的視場的比大於或等於N，則視場差異判斷單元106使處理進行至步驟S104，而如果最寬視場與基礎層的視場的比小於N，則視場差異判斷單元106使處理返回至步驟S101。可選地，視場差異判斷單元106可以判斷基礎層的視場與最寬視場的比是否小於或等於N。在本實施例中，例如，在N = 2時，視場差異判斷單元106判斷視場大小的比是否大於或等於2，然而，可以根據條件適當設置N的值，使得裝置的處理能力越強、N就越大。在本實施例中，已知最寬視場與基礎層的視場的比是 (4096 X 2160)/(640 X 480) = 28. 8，視場的比大於或等於2，因此基礎層是具有窄視場的層。在步驟S104中，視場位置判斷單元107從基礎層的視場信息和增強層的視場偏移信息，得到具有窄視場的層的視頻圖像的中心位置。具體地，視場位置判斷單元107將具有窄視場的層的視頻圖像放置在原點為具有寬視場的層的視頻圖像的左下角的XY坐標系中，並得到具有窄視場的層的視頻圖像的中心位置。當假定中心位置的坐標為(XI，Yi)時， 可分別得到 Xl 和 Yl 為 LHl+BH/2 和 |RV|+BV/2。在本實施例中，(X1，Y1) = (1416,1260)。在步驟S105中，視場位置判斷單元107針對相同的具有窄視場的層，計算從前一 SPS中的信息計算出的視頻圖像的中心坐標(Χ0，Υ0)與從當前SPS中的信息計算出的中心坐標(Χ1，Υ1)之間的移動距離，並判斷移動距離是否大於或等於Μ。具體地，視場位置判斷單元107判斷(Xl-XO)2+(Yl-YO)2彡M2是否成立。注意，可以周期性地進行移動距離的計算，例如，可以對具有窄視場的層的視頻圖像的每一幀或者每幾幀來進行移動距離的計算。因此，在步驟S105中得到的移動距離與預定的固定時間段內的移動距離相對應。如果中心坐標的移動距離大於或等於Μ，則視場位置判斷單元107將具有窄視場的層的層識別符cbpendencyjd和當前回放時間發送至窄視場章信息創建單元108，並且使處理進行至步驟S106。這裡，所發送的當前回放時間與具有窄視場的層的視頻圖像的章信息相對應。另一方面，如果判斷為中心坐標的移動距離小於M，則視場位置判斷單元107 使處理返回至步驟SlOl。在本實施例中，將具有窄視場的視頻圖像的水平大小作為M的值， 然而也可以適當地設置M的值。在步驟S106中，窄視場章信息創建單元108創建將從視場位置判斷單元107接收到的當前回放時間與具有窄視場的層的識別符dependencyjd相關聯的章信息表，並將章信息表記錄至記錄單元103。這裡，將參考圖6說明窄視場章信息創建單元108所創建的章信息表500。章信息表500將層的識別符與章的時間相互關聯地記錄，並管理視頻圖像內容的章信息。將相應的章信息(章的時間)所適用的層的識別符記錄在層的識別符欄501中。 因此，如果章信息對於所有層是共用的，則將包括在視頻圖像ES中的所有層的層識別符 cbpendencyjd記錄在層的識別符欄501中。此外，對於僅適用於特定層的視頻圖像的章信息，僅將該特定層的層識別符記錄在層的識別符欄501中。對於章時間欄502中的章信息， 將表示章的開始的時間記錄為從視頻圖像內容開始起經過的時間。這裡，將參考圖7說明創建共用章信息和窄視場章信息的視頻圖像的狀態的例子。當多個層的視頻圖像內容顯著變化(場景變化)時，創建共用章信息。在具有最寬視場的層的視頻圖像602顯著變化的情況下，假定具有窄視場的層的視頻圖像也發生了變化，則創建至少對於具有窄視場的層共用的章信息。可選地，可以創建對於所有層共用的章信息。例如，使用傳統的視頻圖像變化量識別技術，通過分析具有最寬視場的層的視頻圖像602、並在檢測到視頻圖像的大的變化時生成章信息，創建具有最寬視場的層的章信息。例如，在幀之間的差異的大小大於或等於閾值的情況下檢測到視頻圖像的變化之後，創建章信息。可以對視頻圖像的每一幀或者每幾幀進行視頻圖像分析單元110 判斷視頻圖像中的變化的處理。注意，對於如下的層，可以與具有最寬視場的層相同地為該層創建共用章信息，或者不為該層創建章信息，其中，具有最寬視場的層的視場與上述層的視場的比小於固定值。另一方面，如上所述，當移動距離大於或等於閾值時，例如在具有窄視場的視頻圖像的位置從601移動至606的情況下，為具有窄視場的視頻圖像創建章信息。根據本實施例，在通過對具有不同視場的多個視頻圖像進行分層編碼所獲得的視頻圖像數據中，基於對視頻圖像的分析為具有最寬視場的層的視頻圖像創建章信息。此外， 對於具有窄視場的層的視頻圖像，除與具有最寬視場的層相同的章信息之外，還基於固定時間段內的移動距離、而不通過分析視頻圖像，來創建章信息。因此，可以為各層的視頻圖像生成章信息，同時，與針對每個編碼後的層分析視頻圖像的情況相比大幅減少了處理負荷。其它實施例在上述實施例中，說明了將本發明應用於被分層編碼為增強層具有最寬視場的兩層的視頻圖像數據的例子。然而，基礎層可以具有最寬視場。這種情況下，例如在上述步驟 S102的視場判斷中已確認為增強層的視場偏移信息為負值時，可以判斷為基礎層具有比增強層更寬的視場。可以得到增強層的視頻圖像的視場為EHXEV，可以得到具有寬視場的層的視頻圖像的視場為BHXBV。此外，在上述實施例中說明了具有單個增強層的例子，然而本發明可以同樣應用於包括多個增強層的情況。在這種情況下，可以以與除具有最寬視場的層以外的層的數量相同的次數，重複進行具有窄視場的層的視頻圖像與具有最寬視場的層的視頻圖像的視場的比較。此外，在本實施例中，使用了 SPS中的增強層的視場偏移信息，然而，可以從存儲了與視頻圖像流數據的各切片有關的編碼信息的切片報頭獲取增強層的視場偏移信息。此外，在固定時間段內視頻圖像的中心位置的移動距離用作為具有窄視場的層的視頻圖像的場景變化的判斷基準，然而，只要能得到具有窄視場的層的視頻圖像的移動距離，就可以使用任何坐標。例如，可以使用四個角中的任一個的坐標。另外，在層之間的視頻圖像的圖像質量、特別是空間解析度不同的情況下，可以在將不同層的空間解析度轉換為相同的空間解析度之後比較視場的大小。還可以通過讀出並執行記錄在存儲器裝置上的程序以進行上述實施例的功能的系統或設備的計算機(或者CPU或MPU等的裝置)以及通過以下方法來實現本發明的方面， 其中，系統或設備的計算機通過例如讀出並執行記錄在存儲器裝置上的程序以進行上述實施例的功能，來進行該方法的各步驟。由於該目的，例如經由網絡或者從用作存儲器裝置的各種類型的記錄介質(例如，計算機可讀介質)向計算機提供該程序。儘管已經參考典型實施例說明了本發明，但是應該理解，本發明不限於所公開的典型實施例。所附權利要求書的範圍符合最寬的解釋，以包含所有這類修改、等同結構和功能。
權利要求
1.一種章信息創建設備，用於根據通過對多個視頻圖像進行分層編碼而獲得的視頻圖像數據來創建所述多個視頻圖像中的各個視頻圖像的章信息，其中所述多個視頻圖像包括具有任意視場的視頻圖像以及具有與包括在所述任意視場中的區域相對應的視場的視頻圖像，所述章信息創建設備包括判斷部件，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中判斷具有最寬視場的第一視頻圖像；檢測部件，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中檢測第二視頻圖像，其中所述第二視頻圖像的視場的大小與所述第一視頻圖像的視場的大小的比小於或等於閾值；計算部件，用於周期性地計算所述第二視頻圖像在所述第一視頻圖像的視場所包括的區域中的位置；第一創建部件，用於根據所述計算部件針對所述第二視頻圖像周期性地計算出的位置，計算固定時間段內所述位置的移動距離，以及如果所述移動距離大於或等於預定閾值， 則創建所述第二視頻圖像的章信息；以及第二創建部件，用於分析所述第一視頻圖像，以及響應於檢測到所述第一視頻圖像的變化，創建所述第一視頻圖像和所述第二視頻圖像的章信息。
2.根據權利要求1所述的章信息創建設備，其特徵在於，與所述多個視頻圖像的視場相關的信息包括用於示出所述多個視頻圖像中的一個特定視頻圖像的大小的信息、以及用於指定除所述一個特定視頻圖像之外的視頻圖像相對於所述一個特定視頻圖像的位置的偏移信息。
3.根據權利要求1或2所述的章信息創建設備，其特徵在於，所述計算部件計算所述第二視頻圖像的中心位置的坐標作為所述第二視頻圖像的位置。
4.一種用於章信息創建設備的控制方法，所述章信息創建設備根據通過對多個視頻圖像進行分層編碼而獲得的視頻圖像數據來創建所述多個視頻圖像中的各個視頻圖像的章信息，其中所述多個視頻圖像包括具有任意視場的視頻圖像以及具有與包括在所述任意視場中的區域相對應的視場的視頻圖像，所述控制方法包括以下步驟判斷步驟，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中判斷具有最寬視場的第一視頻圖像；檢測步驟，用於根據包括在所述視頻圖像數據中的、與所述多個視頻圖像的視場相關的信息，從包括在所述視頻圖像數據中的所述多個視頻圖像中檢測第二視頻圖像，其中所述第二視頻圖像的視場的大小與所述第一視頻圖像的視場的大小的比小於或等於閾值；計算步驟，用於周期性地計算所述第二視頻圖像在所述第一視頻圖像的視場所包括的區域中的位置；第一創建步驟，用於根據在所述計算步驟中針對所述第二視頻圖像周期性地計算出的位置，計算固定時間段內所述位置的移動距離，以及如果所述移動距離大於或等於預定閾值，則創建所述第二視頻圖像的章信息；以及第二創建步驟，用於分析所述第一視頻圖像，以及響應於檢測到所述第一視頻圖像的變化，創建所述第一視頻圖像和所述第二視頻圖像的章信息。
全文摘要
本發明提供一種章信息創建設備及其控制方法，所述章信息創建設備根據視場信息，計算在分層編碼後的多個視頻圖像中、與具有最寬視場的視頻圖像的視場的大小之比小於或等於閾值的具有窄視場的視頻圖像的位置。如果固定時間段內移動距離大於或等於閾值，則創建章信息。如果檢測到視頻圖像的變化，則基於對具有最寬視場的視頻圖像的分析結果，為其它視頻圖像創建章信息。由此，可以用簡單的方法，為通過對具有不同視場的視頻圖像進行分層編碼所獲得的視頻圖像數據中所包括的各層的視頻圖像創建章信息。
文檔編號H04N5/91GK102196230SQ20111006993
公開日2011年9月21日 申請日期2011年3月18日 優先權日2010年3月18日
發明者水留敦, 西埜匡昭 申請人:佳能株式會社