動圖像再現裝置、信息處理裝置及動圖像再現方法

2023-05-14 21:13:16 6

專利名稱：動圖像再現裝置、信息處理裝置及動圖像再現方法
技術領域：
本發明涉及數據處理技術，特別涉及再現動圖像的技術。
背景技術：
近年，提出了網頁伺服器發送將動圖像用多種影像比特率編碼後的多種編碼數據(以下稱作「視頻流」)，網頁客戶端動態切換視頻流的種類地再現動圖像的流(streaming)技術。該技術也被稱作「自適應流(adaptive streaming)」，以下,在本說明書中也這樣稱呼。發明內容
〔發明所要解決的課題〕
本發明人認識到在自適應流中，與不同的比特率對應的多種視頻流未必被相互整合地編碼，結果，有時在網頁客戶端中切換再現對象視頻流的種類時，動圖像的顯示會紊舌L。
本發明是鑑於這樣的課題而研發的，其主要目的在於提供一種用於抑制自適應流中切換再現對象視頻流的種類時的動圖像顯示的紊亂的技術。
〔用於解決課題的手段〕
為解決上述課題，本發明的一個方案的動圖像再現裝置包括:取得部，從並行地配送將動圖像以多種比特率編碼的多種視頻流、並按包含構成動圖像的多個圖片的數據塊單位配送各視頻流的伺服器中取得與其中一個比特率對應的視頻流的數據塊；取得控制部，將定為取得對象的視頻流的種類指示給取得部；再現部，作為視頻流的再現處理，使取得的數據塊中所包含的圖片解碼並顯示；以及再現控制部，對再現部指示開始進行再現處理。在與第I比特率對應的第I視頻流的再現處理過程中，將再現對象切換為與第2比特率對應的第2視頻流時，再現部針對正再現處理的第I視頻流的數據塊繼續進行其再現處理，取得控制部指示取得部取得第2視頻流來取代第I視頻流，在第2視頻流的數據塊所包含的圖片與正再現處理的第I視頻流的數據塊所包含的圖片重複的情況下，再現控制部指示再現部在對第2視頻流的數據塊進行的再現處理中，使該重複的圖片成為非顯示。
本發明的另一方案是信息處理裝置。該裝置包括:主處理器，統括地控制裝置整體；以及圖形處理器，進行圖像處理運算。主處理器從並行地配送將動圖像以多種比特率編碼的多種視頻流、並按包含構成動圖像的多個圖片的數據塊單位配送各視頻流的伺服器中取得與其中一個比特率對應的視頻流的數據塊，對圖形處理器指示開始進行其再現處理；作為視頻流的再現處理，圖形處理器執行使取得的數據塊中所包含的圖片解碼並顯示的處理；在與第I比特率對應的第I視頻流的再現處理過程中，將再現對象切換為與第2比特率對應的第2視頻流時，圖形處理器針對正再現處理的第I視頻流的數據塊繼續進行其再現處理，主處理器取得上述第2視頻流來取代第I視頻流，在第2視頻流的數據塊所包含的圖片與正再現處理的第I視頻流的數據塊所包含的圖片重複的情況下，指示圖形處理器在對第2視頻流的數據塊進行的再現處理中，使該重複的圖片成為非顯示。本發明的另一方案是動圖像再現方法。該方法包括:從並行地配送將動圖像以多種比特率編碼的多種視頻流、並按包含構成動圖像的多個圖片的數據塊單位配送各視頻流的伺服器中取得與第I比特率對應的第I視頻流的數據塊的步驟；作為第I視頻流的再現處理，使其數據塊中所包含的圖片解碼並顯示的步驟；在第I視頻流的再現處理過程中，將再現對象切換為與第2比特率對應的第2視頻流時，取得第2視頻流的數據塊的步驟；執行第2視頻流的再現處理，當其數據塊所包含的圖片與正再現處理的第I視頻流的數據塊所包含的圖片重複的情況下，使該重複的圖片非顯示的步驟。此外，將以上構成要素的任意組合、本發明的表現形式在裝置、方法、系統、程序、存儲有程序的記錄介質等間變換後的實施方式，作為本發明的方案也是有效的。〔發明效果〕通過本發明，能夠減少在自適應流中切換再現對象視頻流的種類時的動圖像顯示的紊亂。


圖1的(a)是表示同步(sync)樣本的PTS相一致的例子的圖。圖1的(b)是表示同步樣本的PTS不相一致的例子的圖。圖2是表示實施方式的動圖像配送系統的結構的圖。圖3是表示圖2的臺式再現裝置的內部電路的概略結構的圖。圖4是表示圖2的可攜式再現裝置的外觀的圖。圖5是表示圖2的可攜式再現裝置的內部電路的概略結構的圖。圖6是表示動圖像再現裝置的功能結構的功能塊圖。圖7是表示動圖像再現裝置的動作的流程圖。圖8是示意性地表示切換再現對象視頻流的比特率時的處理過程和用戶畫面中的顯示內容的圖。
具體實施例方式在說明實施方式的結構之前，首先說明概要。在自適應流中，作為再現對象的視頻流被在對應於互不相同的比特率的視頻流間切換。在此情況下，為抑制動圖像顯示的紊亂地順利地進行切換，需要同步樣本的時間位置(PTS:Presentation Time Stamp:顯示時間標籤)全部一致。同步樣本是在從該樣本開始解碼時，以後的所有樣本都能夠正確解碼的樣本(圖片:picture),相當於AVC (AdvancedVideo Coding:高級視頻編碼)中的IDR圖片。PTS表示在動圖像整體中使圖片顯示的時間位置、即圖片在動圖像內的顯示時刻。圖1的(a)表示同步樣本的PTS相一致的例子。該圖的上方表示了被按比特率X (例如8Mbps)編碼了的視頻流，該視頻流被按包含構成動圖像的多個圖片的組(以下稱作
「數據塊(chunk)」)單位來發送。即，按數據塊X — 1、數據塊X — 2........數據塊X — 5
這樣的順序依次發送。該圖的下方表示了被按比特率Y (例如4Mbps)編碼了的視頻流，該視頻流也被按數據塊單位來發送。即，按數據塊Y — 1、數據塊Y — 2........數據塊Y —5這樣的順序依次發送。此外，為使說明簡明，假定本實施方式的視頻流(的數據塊)所包含的多個圖片都已按顯示順序排列，且各個圖片都被附有PTS。此外，假定數據塊的開頭圖片為同步樣本(例如AVC的IDR圖片)。如圖1的(a)那樣，在不同比特率的視頻流間，同步樣本的PTS相一致時，假設在正再現數據塊X — 2時將再現對象視頻流的種類切換為比特率Y 了。在該圖中，數據塊X —3的同步樣本的位置(PTS = 190K)與數據塊Y — 3的同步樣本的位置(PTS = 190K)—致。因此，在數據塊X — 2中最後所顯示的圖片與在數據塊Y — 3中最初所顯示的圖片是連續的。因此，若在數據塊X — 2的顯示結束後直接顯示數據塊Y — 3，則動圖像在視頻流的切換過程中被順暢地顯示。即，重複的圖像不會被反覆顯示，且也不會有一部分圖像不被顯示的情況。但是，現狀是在比特率不同的視頻流間，同步樣本的PTS未必一致。圖1的(b)表示同步樣本的PTS不相一致的例子。假定在該圖中，在數據塊X — 2的再現過程中將再現對象視頻流的種類切換為比特率Y 了。在該圖中，相對於數據塊X — 3的同步樣本的位置(PTS = 190K)，數據塊Y — 3的同步樣本的位置(PTS = 160K)和數據塊Y — 4的同步樣本的位置(PTS = 310K)都不一致。在這樣的情況下，以前只能選擇從數據塊Y — 3的開頭起進行再現或從數據塊Y — 4的開頭起進行再現。在前者的情況下，PTS = 160K 190K的圖像會被重複顯示，在後者的情況下，PTS = 190K 310K的圖像不會被顯示。因此，在本實施方式中，提出一種動圖像再現技術，在再現比特率X的視頻流中的數據塊(例如數據塊X — 2)的過程中、再現對象被切換到了比特率Y的視頻流的情況下，使比特率Y的視頻流中的數據塊(例如數據塊Y — 3)所包含的圖片中的、與因X - 2的再現而被顯示的圖片重複的圖片(例如PTS= 160K 190K的圖片)不顯示。由此，即使在比特率不同的視頻流間同步樣本的PTS不一致，也能避免在切換視頻流的種類時重複的圖像被反覆顯示或本來應被顯示的圖像不被顯示的情況。圖2表示實施方式的動圖像配送系統的結構。動圖像配送系統100包括動圖像配送伺服器10、被總稱為動圖像再現裝置12的臺式再現裝置12a和可攜式再現裝置12b。動圖像再現裝置12介由LAN、WAN、網際網路等公知的通信網14與動圖像配送伺服器10連接。動圖像配送伺服器10是保持將動圖像按多種比特率編碼了的多種編碼數據的伺服器。在本實施方式中，假設它是網頁伺服器。例如保持分別與256Kbps、512Kbps、1Mbps、4Mbps,8Mbps的比特率對應的編碼數據。動圖像配送伺服器10將多種編碼數據作為視頻流並行地配送給動圖像再現裝置12。在各視頻流的配送中，按在各視頻流中預先規定的數據塊單位來發送數據。此外，動圖像的編碼可以適用公知的動圖像壓縮編碼技術，例如，可以適用 MPEG (Moving Picture Experts Group:動圖像專家組)、H.264/AVC。動圖像再現裝置12是安裝有網頁瀏覽器的信息處理裝置，介由其網頁瀏覽器訪問動圖像配送伺服器10，請求其配送視頻流。然後，根據自身的裝置環境的變化，動態地切換成為取得及再現的對象的視頻流的種類，並取得及再現適合當前的裝置環境的比特率的視頻流，來顯示動圖像。此外，臺式再現裝置12a可以是臺式遊戲機，也可以是一般的PC。可攜式再現裝置12b可以是可攜式遊戲機，也可以是行動電話終端、便攜信息終端、智慧型手機。
圖3是表示圖2的臺式再現裝置12a的內部電路的概略結構的功能塊電路圖。該圖主要表示了將臺式再現裝置12a設想為臺式遊戲機時的結構。臺式再現裝置12a的基本構成包括 CPU (Central Processor Unit:中央處理單兀)102、GPU (Graphics ProcessorUnit:圖形處理單元)104、主存儲器106、內置存儲器108、光碟再現處理器110、電源控制電路112、以及LAN模塊114。CPU102是作為統括地控制臺式再現裝置12a整體的通用處理器的主處理器，基於遊戲、電子郵件、網頁瀏覽器用的應用程式等各種程序來控制信號處理、內部結構要素。GPU104是作為被設計為高效地執行圖像處理運算的專用處理器的圖形處理器，執行臺式再現裝置12a中的圖像處理。光碟再現處理器110再現未圖示的光碟再現部中所被插入的記錄有應用程式、多媒體數據的BD (Blu-ray Disc ;商標)、DVD、⑶等光碟。主存儲器106作為CPU102的工作區及暫時存儲從光碟中讀出的數據的緩存器來發揮作用。LAN模塊114具備作為無線LAN模塊的功能和作為有線LAN模塊的功能，在臺式再現裝置12a與其外部裝置之間進行數據的收發。例如，作為無線LAN模塊，與行動電話200、接入點900通信，此外，作為有線LAN模塊，與第二層交換機(layer 2 switch) 800通信。此外，臺式再現裝置12a還包括USB埠 116、近距無線通信埠 118、存儲卡卡槽120、以及視頻輸出埠 122。USB埠 116用於與外接硬碟等周邊設備124連接。近距無線通信埠 118除與周邊設備124無線連接外，還與臺式再現裝置12a的控制器126連接。此外，控制器126還能夠與USB埠 116連接。存儲卡卡槽120與可插拔於臺式再現裝置12a的存儲卡128交換信息。此外，內置存儲器108存儲例如從光碟讀出的應用程式、遊戲的存檔數據，或介由USB埠 116、近距無線通信埠 118、存儲卡卡槽120取得的照片、動圖像、音樂等的數據等。GPU104具備進行坐標變換等處理的幾何變換引擎的功能和渲染處理器(rendering processor)的功能,按照來自CPU102的繪圖指示繪圖，將描繪出的圖像存儲於未圖示的幀緩存器中。即，例如當光碟所記錄的各種應用程式是像遊戲那樣使用所謂三維(3D)圖形的程序時，該GPU104通過幾何運算處理來計算構成該三維對象的多面體的坐標等。進而，通過渲染處理，計算用於生成將該三維對象用虛擬照相機拍攝而得到的圖像的計算、即透視變換(將構成三維對象的各多面體的頂點投影在虛擬的照相機屏幕上時的坐標值的計算等)。將最終得到的圖像數據寫入幀緩存器。視頻輸出埠 122將與GPU104所生成的圖像對應的視頻信號輸出給電視等監視器130。臺式再現裝置12a的接口 132包括用於接通電源和取出光碟的操作部134、用於顯示接通或關閉電源、各種器件的訪問狀況等的LED136。這些各部分主要介由總線138相互連接。此外，上述的臺式再現裝置12a的內部電路被未圖示的電源提供用於驅動的電力。此外，CPU102與GPU104以專用總線連接。具有上述那樣結構的臺式再現裝置12a被接通電源後，作業系統程序被從未圖示的掩模只讀存儲器(Masked ROM)讀出到主存儲器106中，CPU102執行作業系統程序。由此，CPU102統括地控制臺式再現裝置12a的各部分。CPU102執行作業系統程序時，首先進行動作確認等初始化處理。然後，讀出光碟所記錄的遊戲等應用程式，載入主存儲器106後，執行該遊戲應用程式。通過該遊戲應用程式的執行，CPU102按照從控制器126接收到的用戶的指示，控制GPU104等，控制圖像的顯示和效果音、音樂的產生。圖4表示圖2的可攜式再現裝置12b的外觀。該圖主要表示了將可攜式再現裝置12b設想為可攜式遊戲機的結構。可攜式再現裝置12b除能夠再現動圖像、靜圖像、音樂等數字內容(contents)外，還能夠執行遊戲程序等內容。各內容主要被從可插拔於可攜式再現裝置12b的外部記錄介質中讀出。本實施方式中的外部記錄介質是小型光碟402和存儲卡426。小型光碟402和存儲卡426分別被裝填在可攜式再現裝置12b上所設的未圖示的驅動裝置中。小型光碟402當然能夠存儲音樂數據和靜圖像數據，還能夠存儲電影等數據尺寸較大的動圖像數據。存儲卡426是可插拔於數位照相機或行動電話的小型存儲卡，主要存儲靜圖像數據、動圖像數據、聲音數據等用戶自身以其它設備等製作出的數據、及與其它設備之間收發的數據。可攜式再現裝置12b被設置有液晶顯示器404、十字鍵416、模擬搖杆418，以及按鈕鍵420等鍵。用戶雙手握持可攜式再現裝置12b的左右兩端，主要以左手的拇指使用十字鍵416或模擬搖杆418來指示上方向、下方向、左方向、右方向，主要以右手的拇指使用按鈕鍵420來指示各種操作。主(home)按鈕436與十字鍵416、按鈕鍵420不同，被設置於在以雙手握持可攜式再現裝置12b的左右兩端時難以被任何一根手指按壓的位置，以圖防止誤操作。液晶顯示器404上顯示基於圖形用戶接口的菜單畫面和各內容的再現畫面。此夕卜，可攜式再現裝置12b中安裝有USB埠、無線LAN通信功能，介由這些埠或通信功能與其它裝置(包括網際網路上的其它裝置)收發數據。還可以是具備紅外線埠，介由紅外線通信與其它裝置收發數據的結構。此外，可攜式再現裝置12b還具備選擇(seIect)按鈕440、開始(start)按鈕438等。開始按鈕438是用於用戶指示開始遊戲、開始顯示電子郵件畫面、開始再現電影或音樂、暫時停止等的按鈕。選擇按鈕440是用於用戶指示液晶顯示器404上所顯示的菜單的選擇等的按鈕。圖5表示圖2的可攜式再現裝置12b的內部電路結構。可攜式再現裝置12b的基本構成包括主CPU500和GPU502、輸入輸出處理器504、光碟再現部506、主存儲器508、掩模只讀存儲器(Masked ROM) 510、以及聲音處理器512。主CPU500是作為統括地控制可攜式再現裝置12b整體的通用處理器的主處理器，基於遊戲、電子郵件、網頁瀏覽器用的應用程式等各種程序控制信號處理、內部結構要素。GPU502是作為被設計為高效地執行圖像處理運算的專用處理器的圖形處理器，執行可攜式再現裝置12b中的圖像處理。輸入輸出處理器504進行外部與裝置內部之間的接口處理、用於保持向下兼容性的處理。光碟再現部506再現記錄有應用程式、多媒體數據的UMD等光碟。主存儲器508作為主CPU500的工作區、暫時存儲從光碟讀出的數據的緩存器來發揮作用。掩模只讀存儲器510主要存儲有由主CPU500、輸入輸出處理器504執行的作業系統程序。聲音處理器512處理聲音信號。此外，該可攜式再現裝置12b還具備UMD處理器514、光碟再現驅動器516、以及機械控制器518。UMD處理器514對由光碟再現部506從UMD讀出的、被RF放大器528放大了的盤再現信號施以例如糾錯處理(例如CIRC處理)、解壓解碼處理等，由此再現(還原)UMD所記錄的數據。光碟再現驅動器516及機械控制器518進行光碟再現部506的主軸電機的旋轉控制、光拾取的焦點/追蹤控制、盤盒的載入控制等。
這些各部分主要介由總線522、524等相互連接。此外，主CPU500與GPU502以專用總線連接。此外，主CPU500與輸入輸出處理器504以總線550連接。輸入輸出處理器504和UMD處理器514、掩模只讀存儲器510、聲音處理器512分別被連接於總線522。主CPU500執行掩模只讀存儲器(Mask ROM) 510所存儲有的主CPU用作業系統程序，由此控制可攜式再現裝置12b的所有動作。此外，主CPU500執行已被從UMD等光碟讀出並載入到主存儲器508或介由無線LAN530被載入了的各種應用程式等，來控制遊戲、製作編輯電子郵件、閱覽網頁等動作。輸入輸出處理器504執行掩模只讀存儲器510所存儲的輸入輸出處理器用的作業系統程序，由此控制與用戶的操作相應的來自控制器540的信號和遊戲的設定、介由電子郵件的內容和地址或存儲卡卡槽532的、來自存儲Web網站的URL等的存儲卡326的數據等的輸入輸出、及其它USB連接端子542、無線LAN530等中的數據的輸入輸出。在此，所謂控制器540，是十字鍵416、模擬搖杆418、按鈕鍵420等用戶用於控制可攜式再現裝置12b的鍵的總稱。GPU502具備進行坐標變換等處理的幾何變換引擎的功能和渲染處理器的功能，按照來自主CPU500的繪圖指示繪圖，將描繪出的圖像存儲於未圖示的幀緩存器。即，例如當光碟所記錄的各種應用程式是像遊戲那樣使用所謂三維(3D)圖形的程序時，該GPU502通過幾何運算處理來計算構成該三維對象的多面體的坐標等。進而，通過渲染處理，計算用於生成將該三維對象用虛擬照相機拍攝而得到的圖像的計算、即透視變換(將構成三維對象的各多面體的頂點投影在虛擬的照相機屏幕上時的坐標值的計算等)。將最終得到的圖像數據寫入幀緩存器。然後，GPU502輸出與該製作出的圖像對應的視頻信號。聲音處理器5I2具備ADPCM(AdaptiveDifferential Pulse Code Modulation:自適應脈衝編碼調製)解碼功能、音頻信號再現功能、信號調製功能等。所謂ADPCM解碼功能，是通過讀出內置或外接於該聲音處理器512的未圖示的聲音緩存器所存儲的波形數據，來再現並輸出效果音等音頻信號的功能。所謂信號調製功能，也作為基於上述聲音緩存器所存儲的波形數據，來產生音樂、效果音等音頻信號的所謂抽樣音源來進行動作。 具有以上那樣結構的可攜式再現裝置12b例如被接通電源後，主CPU500用的及輸入輸出處理器504用的作業系統程序被從掩模只讀存儲器510讀出。主CPU500和輸入輸出處理器504執行各自對應的作業系統程序。由此，主CPU500統括地控制可攜式再現裝置12b的各部分。此外，輸入輸出處理器504控制與控制器540、存儲卡526等之間的信號的輸入輸出。此外，主CPU500執行作業系統程序時，首先進行動作確認等初始化處理。接下來，控制光碟再現部506，讀出光碟所記錄的遊戲等應用程式，並將其載入到主存儲器508，執行該遊戲應用程式。通過該遊戲應用程式的執行，主CPU500按照介由輸入輸出處理器504從控制器540接收到的用戶的指示來控制GPU502、聲音處理器512，控制圖像的顯示及效果音、音樂的產生。此外，例如在再現光碟所記錄的電影等的情況下，主CPU500按照介由輸入輸出處理器504從控制器540接收到的用戶的指示(指令)來控制GPU502、聲音處理器512，控制從光碟再現出的電影的影像的顯示和效果音、音樂等的產生。使GPU502的處理結果顯示到液晶顯示器404，將聲音處理器512生成的效果音、音樂等用揚聲器544來再現。圖6是表示動圖像再現裝置12的功能結構的功能塊圖。動圖像再現裝置12包括取得部20、存儲緩存器22、控制部30、以及再現部40。在本說明書的功能塊圖中所表示的各塊從硬體上來講可由計算機的CPU、存儲器等元件、機械裝置實現，從軟體上來講可由電腦程式等實現，但在此，僅描述了通過它們的合作而實現的功能塊。因此，本領域技術人員當理解這些功能塊可以由硬體、軟體的組合以各種形式實現。取得部20按數據塊單位取得動圖像配送伺服器10所發送的與多種比特率對應的多種視頻流中的、由控制部30指定的種類的視頻流，存儲到存儲緩存器22中。具體來講，向動圖像配送伺服器10請求發送由控制部30指定的種類的視頻流，從動圖像配送伺服器10依次接收該種視頻流中的多個數據塊。取得部20由圖3中的CPU102與LAN模塊114的合作、或圖5中的CPU500與無線LAN530的合作來實現。存儲緩存器22是暫時存儲在取得部20中所取得的視頻流的數據塊的存儲器。控制部30統括地控制自適應流中的視頻流的取得處理和再現處理。控制部30由圖3中的CPU102、圖5中的CPU500實現。控制部30包括切換判斷部32、取得控制部34、跳過判斷部36、以及再現控制部38。在與第I比特率(例如8Mbps)對應的第I視頻流的再現處理過程中，當成為將再現對象切換成與不同於第I比特率的第2比特率(例如4Mbps)對應的第2視頻流的狀況時，切換判斷部32檢測該事實。具體來講，判斷預先規定的切換條件是否已滿足。該切換條件可以是與動圖像再現裝置12中的硬體環境、軟體環境、通信環境相關的各種條件。例如，從相對較高的比特率切換到相對較低的比特率的切換條件可以是CPU使用率在預定閾值以上。此外，也可以是圖片的解碼處理所需的時間在預定值以上，還可以是可利用的通信頻帶寬度、執行通信速度不足預定值。相反，從相對較低的比特率切換到相對較高的比特率的切換條件可以是CPU使用率不足預定閾值。此外，也可以是圖片的解碼處理所需的時間不足預定值，還可以是可利用的通信頻帶寬度、執行通信速度在預定值以上。此外，切換條件也可以是檢測到用戶對動圖像再現裝置12進行的切換操作，具體來講，可以是檢測到要求從當前所選的比特率切換到其它比特率的預定操作。在由切換判斷部32判斷出從相對較高的比特率切換到相對較低的比特率的切換條件已被滿足的情況下，取得控制部34對取得部20指示將成為取得對象的視頻流的比特率變更到比當前的比特率低的比特率。此外，當判斷出從相對較低的比特率切換到相對較高的比特率的切換條件已被滿足時，對取得部20指示將取得對象的視頻流的比特率變更到比當前的比特率高的比特率。此外，當通過用戶的切換操作而指定了特定的比特率時，向取得部20指示變更到用戶所指定的比特率。在由切換判斷部32判斷出切換條件已被滿足的情況下，跳過判斷部36決定將比特率切換後取得的數據塊所包含的圖片中的、與比特率切換前所取得的正再現處理的數據塊所包含的圖片重複的圖片從顯示對象中除去(跳過顯示)。以下，說明其具體處理。跳過判斷部36確定在後述的再現部40中正再現處理的數據塊所包含的圖片中的、應在時間序列的最後進行顯示的圖片(以下稱作「切換前最終圖片」)的顯示時刻。在本實施方式中，預先保存有在由控制部30對再現部40指示再現數據塊時，該數據塊中應最後顯示的圖片的PTS。跳過判斷部36將該PTS確定為切換前最終圖片的顯示時刻。作為變形例，可以向再現部40詢問在正再現處理的數據塊中將被最後顯示的圖片的PTS，將該PTS確定為切換如最終圖片的顯不時刻。
跳過判斷部36確定切換比特率後取得的數據塊所包含的圖片中的、應在時間序列的開頭顯示的圖片(例如IDR圖片，以下稱作「切換後開頭圖片」)的顯示時刻。在本實施方式中，將在切換比特率後取得的數據塊中應最初顯示的圖片所被賦予的PTS確定為切換後開頭圖片的顯示時刻。跳過判斷部36決定將在切換比特率後取得的數據塊所包含的圖片中的、應在切換後開頭圖片的顯示時刻至切換前最終圖片的顯示時刻之間顯示的圖片從顯示對象中除去。換言之，決定使應在切換前最終圖片的顯示之前進行顯示的圖片成為非顯示對象。例如，如圖1的(b)所示那樣，在正再現數據塊X — 2時，再現對象被切換而取得了數據塊Y —3的情況下，決定將PTS = 160K 190K的圖片從顯示對象中排除掉。跳過判斷部36將表示應從顯示對象中排除掉的圖片的信息(以下稱作「顯示跳過信息」)通知給再現控制部38。該顯示跳過信息中例如被設定從顯示對象中排除掉的圖片的PTS範圍。在沒有被跳過判斷部36通知顯示跳過信息的通常時候，再現控制部38將存儲緩存器22中所存儲的視頻流的數據塊的數據發送給再現部40，並指示再現顯示該數據塊所包含的所有圖片。以下將該指示稱作「通常再現指示」。在被跳過判斷部36通知了顯示跳過信息時，再現控制部38將存儲緩存器22中所存儲的數據塊的數據和顯示跳過信息一起發送給再現部40，指示再現顯示數據塊所包含的圖片中的被定為顯示對象的(未被從顯示對象中排除掉的)圖片。以下，將該指示稱作「選擇再現指示」。再現部40是執行視頻流的再現處理、具體來講是執行視頻流所包含的圖片的解碼處理和解碼結果圖像的顯示處理的視頻解碼器。再現部40由圖3中的GPU104、圖5中的GPU502實現。再現部40包括:解碼對象選擇部42、可變長度解碼部44、逆量化部46、逆正交變換部48、加法器50、幀存儲器52、運動補償部54、重新排序用緩存器56、顯示對象選擇部58、以及D/A變換部60。解碼對象選擇部42從控制部30接收包含被編碼的多個圖片的數據和運動矢量信息的、視頻流的數據塊的數據(以下稱作「圖像壓縮信息」)，以及通常再現指示。該圖像壓縮信息中，例如作為其首部信息，包含表示各圖片的PTS的信息、和表示各圖片是在其它圖片的解碼時被參照的參照圖片還是在其它圖片的解碼時不被參照的非參照圖片的信息。此夕卜，解碼對象選擇部42從控制部30接收選擇再現指示，此時，除數據塊的數據(圖像壓縮信息)外還接收顯示跳過信息。在接收到通常再現指示的情況下，解碼對象選擇部42將圖像壓縮信息原樣提供給可變長度解碼部44。另一方面，在接收到選擇再現指示的情況下，首先確定附有要從顯示對象中排除的範圍內的PTS的編碼圖片。然後，將這些編碼圖片中的非參照圖片從解碼對象中排除掉，僅將參照圖片定為解碼對象。對於附有成為顯示對象的範圍內的PTS的編碼圖片，不論是否為參照圖片，所有圖片都定為解碼對象。解碼對象選擇部42將表示各編碼圖片是否為解碼對象的信息和圖像壓縮信息一起提供給可變長度解碼部44。被解碼對象選擇部42從解碼對象中排除掉的編碼圖片在以後的解碼處理中被取消，例如不被解碼而被廢棄。可變長度解碼部44對圖像壓縮信息進行可變長度解碼，將所解碼出的圖像數據提供給逆量化部46，將運動矢量信息提供給運動補償部54。逆量化部46使所解碼出的圖像數據逆量化並將其提供給逆正交變換部48。逆正交變換部48對被逆量化部46逆量化了的DCT計數進行逆離散餘弦變換(IDCT)，由此，還原出原圖像數據。由逆正交變換部48還原出的圖像數據被提供給加法器50。若從逆正交變換部48輸出的圖像數據是不使用幀間預測地被編碼的圖片(例如IDR圖片、I圖片)，則加法器50將該圖像數據原樣存儲在重新排序用緩存器56中。並且，在該圖像數據是參照圖片的情況下，加法器50將該圖像數據存儲在幀存儲器52中，以備在生成使用幀間預測被編碼的圖片的預測圖像時進行參照。若從逆正交變換部48輸出的圖像數據是使用幀間預測地被編碼的圖片(例如P圖片、B圖片)，則因該圖像數據是差分圖像，加法器50將該差分圖像和從運動補償部54提供的預測圖像相加，由此還原出原圖像數據，並將其存儲在重新排序用緩存器56中。運動補償部54使用從可變長度解碼部44提供來的運動矢量信息和幀存儲器52中所存儲的參照圖片，生成用於P圖片、B圖片等的預測圖像，並將其提供給加法器50。重新排序用緩存器56是用於儲存對被編碼的圖片進行解碼處理後的結果、即原圖像(以下稱作「解碼圖片」)，並將該解碼圖片按顯示順序重新排序的緩存器。例如，可以基於被編碼的各個圖片所被賦予的PTS來對與各被編碼的圖片對應的解碼圖片進行重新排序。在解碼對象選擇部42接收到通常再現指示的情況下，在與PTS對應的時刻，顯示對象選擇部58將重新排序用緩存器56中按顯示順序保持的解碼圖片的數據提供給D/A變換部60。另一方面，在解碼對象選擇部42接收到選擇再現指示的情況下，僅將重新排序用緩存器56中按顯示順序保持的解碼圖片中的、顯示對象(即沒有被從顯示對象中排除的)解碼圖片的數據提供給D/A變換部60。具體來講，廢棄由顯示跳過信息所指定的、與被賦予了從顯示對象中排除的範圍內的PTS的編碼圖片對應的解碼圖片，而另一方面，將與被賦予了該範圍外的PTS的編碼圖片對應的解碼圖片提供給D/A變換部60。D/A變換部60將由顯示對象選擇部58提供來的解碼圖片的數據變換為模擬信號，並輸出給圖3的監視器130、圖5的顯示器404等顯示裝置。由於如上述那樣在與PTS相應的時刻被提供解碼圖片的數據，故能夠實現與PTS的設定值同步的動圖像的再現顯示。此外，即使在控制部30的切換判斷部32中判斷出切換條件已滿足的情況下，再現部40也將針對從控制部30接收完畢的數據塊的再現處理繼續進行到最後。換言之，針對正再現的數據塊，顯示到該數據塊所包含的最後的圖片。此外，圖6中的可變長度解碼部44 重新排序用緩存器56的處理是解碼圖片的一個例子，當然也可以適當執行與公知的動圖像壓縮編碼技術對應的解碼處理。以下，說明以上結構的動作。圖7是表示動圖像再現裝置12的動作的流程圖。取得部20從動圖像配送伺服器10按數據塊單位依次接收按第I比特率將動圖像編碼後的第I視頻流(S10)。控制部30的再現控制部38將第I視頻流的數據塊交給再現部40並指示進行通常的再現(S12)。再現部40開始針對被指示了通常再現的數據塊的再現處理，將該數據塊所包含的所有圖片解碼，並按照PTS依次顯示(S14)。控制部30的切換判斷部32 —直監視動圖像再現裝置12的各種環境信息。當由切換判斷部32檢測到切換比特率的條件已滿足時(S16的「是」)，取得控制部34按照所滿足的切換條件指示取得部20取得與比第I比特率高或低的第2比特率對應的第2視頻流。以後，取得部20按數據塊單位從動圖像配送伺服器10接收第2視頻流來取代第I視頻流(SlS)0跳過判斷部36將第2視頻流的數據塊所包含的圖片中的、與在再現部40中正再現處理的第I視頻流的數據塊所包含的圖片重複的圖片定為非顯示對象，決定非顯示範圍(PTS的值的範圍)(S20)。再現控制部38將第2視頻流的數據塊交給再現部40，指定非顯示範圍，指示有選擇地進行再現(S22)。若比特率的切換條件沒有滿足(S16的「否」)，則跳過以下的處理，結束本圖的關於視頻流切換的流程。再現部40開始針對第2視頻流的數據塊的再現處理。在該數據塊所包含的編碼圖片屬於非顯示範圍(S24的「是」)且是參照圖片的情況下(S26的「是」)，將該圖片解碼(S28)並存儲於參照用緩存器(S30)，但跳過顯示。在它是非參照圖片的情況下(S26的「否」)，不執行解碼處理本身。另一方面，在它是不屬於非顯示範圍、即是附有顯示範圍的PTS的編碼圖片的情況下(S24的「否」)，無論是否為參照圖片，都進行解碼(S32)。並且，若它是參照圖片(S34的「是」)，則將它存儲在參照用緩存器中(S36)，若它是非參照圖片(S34的「否」)，則跳過S36，在與PTS相應的時刻使之顯示(S38)。若還有未處理的編碼圖片(S40的「否」)，則回到S24，若已處理完所有編碼圖片(S40的「是」)，則結束本圖的關於視頻流的切換的流程。以後，此例中的第2視頻流成為當初的第I視頻流的角色，視頻流的再現處理被從SlO起反覆執行。S卩，自適應流化處理繼續進行，動圖像的再現顯示繼續進行。此外，在動圖像再現裝置12的環境再次變化而切換條件被滿足了的情況下，取得和再現的對象再次成為第I視頻流、或被切換為與不同於第1、第2比特率的第3比特率對應的第3視頻流。圖8示意性地表示切換再現對象視頻流的比特率時的處理過程和用戶畫面中的顯示內容。該圖表示了在圖1的(b)所示的數據塊X — 2的再現過程中，將再現對象視頻流的種類切換到比特率Y的例子。首先，控制部30讀入數據塊X — 2，將其交給再現部40，指示其再現(S50)。再現部40解碼數據塊X — 2，在由PTS規定的時刻使該解碼圖片顯示於用戶畫面中(S52)。在數據塊X - 2的再現處理中，最後顯示的圖片的PTS是190K(其實際的值不足190K，但在此為使說明簡明，假設它為190K)。 在再現部40中的數據塊X - 2的再現處理過程中，控制部30檢測通信速度的下降(S54)。控制部30讀入與更低的比特率對應的視頻流的數據塊Y - 3，將其交給再現部40。此時，控制部30指示將數據塊X — 2與數據塊Y — 3之間圖片重複的PTS = 160K 190K的範圍定為非顯示(S56)。在數據塊Y — 3的再現處理中，再現部40針對PTS = 160K 190K的圖片僅解碼參照圖片，並將其定為非顯示圖片(S58)。針對PTS = 190K以上的圖片如通常那樣進行解碼，並使其顯示於用戶畫面中(S60)。通過以上的處理，用戶畫面在顯示X - 2的所有解碼圖片後，不間斷地顯示與Y — 3的PTS = 190K以後對應的解碼圖片。通過本實施方式的動圖像再現裝置12，即使比特率不同的視頻流之間同步樣本的PTS不一致、換言之數據塊的邊界不一致，在切換視頻流的種類時，也能夠避免重複的圖像被重複顯示，能抑制動圖像顯示的紊亂。例如，在可利用的通信頻帶寬度較頻繁地變動的情況下，具體來講，在基於可攜式再現裝置12b的移動中的動圖像視聽、基於盡力服務(besteffort)型通信的動圖像視聽中，有時視頻流的種類會較頻繁地切換。在這樣的情況下，通過用實施方式中提出的動圖像再現技術抑制動圖像顯示的紊亂，能夠提高自適應流的便利性。
此外，在動圖像再現裝置12中，在切換比特率後的數據塊的再現處理時，即使是因與切換前的數據塊所包含的圖片重複而被定為非顯示的圖片，也能針對參照圖片進行解碼，使得在其它圖片的解碼時能夠參照。由此，能夠擔保成為顯示對象的圖片(P圖片及B圖片)的解碼。另一方面，由於定為非顯示的非參照圖片在其它圖片的解碼時是不需要的，並且本來也不用於畫面顯示以外的目的，故通過跳過解碼處理本身，能夠使比特率切換後的數據塊的再現處理迅速化。即，在切換前的數據塊所包含的圖片的再現顯示結束之前，容易使切換後的數據塊所包含的圖片成為可再現顯示的狀態，容易實現順暢的切換顯示。例如，容易防止在使切換後的數據塊所包含的圖片成為可再現顯示的狀態之前，切換前的數據塊所包含的圖片的再現顯示結束了時的、動圖像的再現顯示暫時停止的情況。此外，在動圖像再現裝置12中，以主處理器來執行視頻流的取得控制和再現控制、例如切換條件是否滿足的判斷處理、非顯示範圍的判斷處理，另一方面，以圖形處理器來執行視頻流的再現處理本身、例如解碼處理。由此，圖形處理器容易專門負責圖像運算處理，能高效地發揮其能力。此外，其結果，變得容易防止比特率切換後的數據塊的再現處理(解碼處理)延遲的情況，容易實現順暢的切換顯示。此外，作為與本實施方式不同的其它方式，可以考慮將不同比特率的2個視頻流總是並行地取得並解碼，使一者顯示、使另一方非顯示。在比特率切換時，使顯示和非顯示的關係反轉，由此抑制動圖像顯示的紊亂。但是，在該方式中，多種視頻流的取得和解碼處理總是被並行地執行，故與在本實施方式中提出的方式相比，會更多地使用硬體資源。此夕卜，比特率的種類越多，硬體資源的使用量就越增加，若不發生比特率的切換，則成為硬體資源的浪費。與此不同，在本實施方式所提出的方式中，同時取得和再現的比特率是一種，兼顧硬體資源的高效使用和順暢的切換顯示。以上基於實施方式對本發明進行了說明。本領域技術人員當理解實施方式為例示，其各構成要素和各處理過程的組合可以有各種變形例，且該變形例同樣包含在本發明的範圍內。例如，在上述實施方式中，假定視頻流的數據塊中的開頭圖片是同步樣本(IDR圖片)。在變形例中，數據塊中的開頭圖片不是同步樣本，換言之，同步樣本的時間位置可以與數據塊的邊界不一致。在該變形例中，只是再現部40的幀存儲器52中所存儲的參照圖片的圖像數據被清除(clear)的時刻(timing)與實施方式不同,而該變形例能夠與實施方式一樣地在切換視頻流的種類時避免重複的圖像被重複顯示，抑制動圖像顯示的紊亂。此外，關於上述變形例，視頻流的數據塊的數據中可以包含表示存在於該數據塊中的同步樣本的位置(例如PTS的值)的索引信息。此時，動圖像再現裝置12的解碼對象選擇部42可以確定附有從顯不對象中排除的範圍的PTS的編碼圖片中的、位於該範圍內的最後的同步樣本前面的編碼圖片(例如附有最後的同步樣本之前的PTS的編碼圖片)。然後，對於這些編碼圖片，無論其是否非參照圖片，都可以將它們從解碼對象中全部排除掉。這是因為這些編碼圖片在顯示對象圖片的解碼中不需要。通過此方案，能夠進一步限定應解碼的圖片的範圍，使比特率切換後的數據塊的再現處理更加高效化、迅速化。此外，作為其它方案，表示存在於視頻流的數據塊中的同步樣本的位置的索引信息可以在數據塊的數據之外另行從動圖像配送伺服器10提供給動圖像再現裝置12。此外，在動圖像配送伺服器10不保持索引信息的情況下，動圖像再現裝置12自身可以搜索數據塊的數據所包含的同步樣本的位置來生成索引信息。上述實施方式與變形例的任意組合，作為本發明的實施方式也是有效的。由組合產生的新的實施方式兼有被組合的實施方式和變形例各自的效果。本領域技術人員當理解如權利要求所述的各結構要件應發揮的功能由在實施方式和變形例中所示的各結構要素的單體或這些單體的合作實現。〔標號說明〕10動圖像配送伺服器、12動圖像再現裝置、20取得部、30控制部、32切換判斷部、34取得控制部、36跳過判斷部、38再現控制部、40再現部、100動圖像配送系統。〔工業可利用性〕本發明能夠適用於再現動圖像的數據的裝置。
權利要求
1.一種動圖像再現裝置，其特徵在於，包括: 取得部，從並行地配送將動圖像以多種比特率編碼的多種視頻流、並按包含構成上述動圖像的多個圖片的數據塊單位配送各視頻流的伺服器中取得與其中一個比特率對應的視頻流的數據塊， 取得控制部，將定為取得對象的視頻流的種類指示給上述取得部， 再現部，作為視頻流的再現處理，使上述取得的數據塊中所包含的圖片解碼並顯示，以及 再現控制部，對上述再現部指示開始進行上述再現處理； 其中，在與第I比特率對應的第I視頻流的再現處理過程中，將再現對象切換為與第2比特率對應的第2視頻流時， 上述再現部針對正再現處理的第I視頻流的數據塊繼續進行其再現處理， 上述取得控制部指示上述取得部取得上述第2視頻流來取代上述第I視頻流， 在上述第2視頻流的數據塊所包含的圖片與上述正再現處理的第I視頻流的數據塊所包含的圖片重複的情況下，上述再現控制部指示上述再現部在對上述第2視頻流的數據塊進行的再現處理中，使該重複的圖片成為非顯示。
2.如權利要求1所述的動圖像再現裝置，其特徵在於， 上述取得控制部根據可利用的通信頻帶寬度的變動，指示上述取得部取得上述第2視頻流來取代上述第I視頻流。
3.如權利要求1或2所述的動圖像再現裝置，其特徵在於， 上述再現控制部確定上述第2視頻流的數據塊所包含的圖片中的、應在對上述正再現處理的第I視頻流的數據塊的再現處理結束以前顯示的圖片為上述重複的圖片。
4.如權利要求1至3的任意一項所述的動圖像再現裝置，其特徵在於， 上述再現部在對上述第2視頻流的數據塊的再現處理中，使上述重複的圖片中的、在其它圖片的解碼時被參照的參照圖片解碼並使之非顯示，另一方面，將在其它圖片的解碼時不被參照的非參照圖片從解碼對象中排除。
5.一種信息處理裝置，其特徵在於，包括: 主處理器，統括地控制裝置整體，以及 圖形處理器，進行圖像處理運算； 其中，上述主處理器從並行地配送將動圖像以多種比特率編碼的多種視頻流、並按包含構成上述動圖像的多個圖片的數`據塊單位配送各視頻流的伺服器中取得與其中一個比特率對應的視頻流的數據塊，對上述圖形處理器指示開始進行其再現處理； 作為視頻流的再現處理，上述圖形處理器執行使上述取得的數據塊中所包含的圖片解碼並顯示的處理； 在與第I比特率對應的第I視頻流的再現處理過程中，將再現對象切換為與第2比特率對應的第2視頻流時， 上述圖形處理器針對正再現處理的第I視頻流的數據塊繼續進行其再現處理， 上述主處理器取得上述第2視頻流來取代上述第I視頻流，在上述第2視頻流的數據塊所包含的圖片與上述正再現處理的第I視頻流的數據塊所包含的圖片重複的情況下，指示上述圖形處理器在對上述第2視頻流的數據塊進行的再現處理中，使該重複的圖片成為非顯示。
6.一種動圖像再現方法，其特徵在於，包括: 從並行地配送將動圖像以多種比特率編碼的多種視頻流、並按包含構成上述動圖像的多個圖片的數據塊單位配送各視頻流的伺服器中取得與第I比特率對應的第I視頻流的數據塊的步驟， 作為上述第I視頻流的再現處理，使其數據塊中所包含的圖片解碼並顯示的步驟， 在上述第I視頻流的再現處理過程中，將再現對象切換為與第2比特率對應的第2視頻流時，取得上述第2視頻流的數據塊的步驟，以及 執行上述第2視頻流的再現處理，當其數據塊所包含的圖片與正再現處理的第I視頻流的數據塊所包含的圖片重複的情況下，使該重複的圖片非顯示的步驟。
7.一種電腦程式，其特徵在於，使計算機實現如下功能: 取得功能，從並行地配送將動圖像以多種比特率編碼的多種視頻流、並按包含構成上述動圖像的多個圖片的數據塊單位配送各視頻流的伺服器中取得與其中一種比特率對應的視頻流的數據塊， 取得控制功能，將定為取得對象的視頻流的種類指示給上述取得功能， 再現功能，作為視頻流的再現處理，使上述取得的數據塊所包含的圖片解碼並顯示，以及 再現控制功能，對上述再現功能指示開始進行上述再現處理； 其中，在與第I比特率對應的第I視頻流的再現處理過程中，將再現對象切換為與第2比特率對應的第2視頻流時， 上述再現功能針對正再現處理的第I視頻流的數據塊繼續進行其再現處理， 上述取得控制功能指示上述取得功能取得上述第2視頻流來取代上述第I視頻流， 在上述第2視頻流的數據塊所包含的圖片與上述正再現處理的第I視頻流的數據塊所包含的圖片重複的情況下，上述再現控制功能對上述再現功能進行指示，使得在對上述第2視頻流的數據塊的再現處理中 使該重複的圖片非顯示。
全文摘要
動圖像再現裝置(12)包括再現部(40)，作為視頻流的再現處理，使該視頻流的數據塊所包含的圖片解碼並顯示；控制部(30)，指示開始再現處理。在與第1比特率對應的第1視頻流的再現處理過程中，在將再現對象切換為與第2比特率對應的第2視頻流時，再現部(40)繼續進行針對正再現處理的第1視頻流的數據塊的再現處理。在第2視頻流的數據塊所包含的圖片與上述再現處理過程中的數據塊所包含的圖片重複的情況下，控制部(30)指示再現部(40)在對第2視頻流的數據塊進行的再現處理中使該重複的圖片非顯示。
文檔編號H04N21/234GK103155581SQ20118004913
公開日2013年6月12日 申請日期2011年10月11日 優先權日2010年10月14日
發明者椚田尚亨, 李承賢, 李宅周, 池宙營 申請人:索尼電腦娛樂公司