發布伺服器以及發布系統和方法以及程序的製作方法
2024-01-21 09:02:15
專利名稱：發布伺服器以及發布系統和方法以及程序的製作方法
技術領域：
(關聯申請)本發明基於在先的日本專利申請2008-248153號(2008年9月沈日申請)主張優先權，可以看做上述在先申請的所有記載內容通過引用而記載在本說明書中。本發明涉及一種信息發布技術，特別涉及一種對壓縮編碼後的動態圖像或靜止圖像流進行發布的發布伺服器(distribution server)、發布系統方法以及程序。
背景技術：
伴隨著下一代網絡(NGN 下一代網絡)的出現以及行動網路的帶寬的擴展及高速化，預先到今後進行高畫質的動態圖像或靜止圖像所產生的發布的服務將日趨增加。例如對於動態圖像內容，為了以低比特率高效地傳送，對內容進行壓縮編碼。作為這種方式，已知存在ITU-T (國際電聯電信標準化部門)建議H.沈3、以及由IS0/IEC(國際標準化組織/ 國際電工委員會)進行國際標準化的MPEG-4(運動圖象專家組4)。另外，如果利用由ITU-T 和IS0/IEC進行國際標準化的H. 264/MPEG-4AVC(高級視頻編碼)，則能夠與上述動態圖像壓縮編碼方式相比更高效地進行壓縮。在專利文獻1中，公開了一種與用戶終端的處理能力對應而進行內容發布的流伺服器。另外，在專利文獻2中公開了如下結構能夠通過利用JPEG(聯合圖像專家組)2000 生成補充像素，從而利用DSC(分布式信源編碼)系統(對信息源進行分割並單獨編碼、在解碼時集中進行解碼的系統)提供高畫質的動態圖像。在專利文獻3中公開了一種動態圖像發送伺服器，其在將原動態圖像數據轉換成中間動態圖像數據的基礎上，生成與行動電話對應的再生圖像的尺寸、幀頻的發送動態圖像。此外，根據以下說明可知，本發明與上述專利文獻所述的發明完全不同。專利文獻1 日本再公表專利W02004/040908號公報專利文獻2 日本特開2007-74306號公報專利文獻3 日本特開2008-136045號公報
發明內容
上述專利文獻1至3的所有公開內容通過引用而記載在本發明書中。下面，對本發明進行分析。在面向行動網路或網絡的發布中，受到網絡帶寬的限制，因此，對於動態圖像等內容，例如以畫面解析度為QCIF (四分之一通用中間格式)、比特率為641cbpS U81ibpS這種較低的比特率進行壓縮編碼。在用終端播放上述內容的情況下，解析度及畫質不充分，因此難以進行服務的普及化。另一方面，由於已經按照上述格式大量生成了內容，所以期待今後即使網絡帶寬增加也可以有效地靈活應用已經生成的內容，但沒有能夠有效地靈活應用的設計。由此，本發明提供一種發布伺服器、系統、方法、終端、程序，其可以有效利用比特率較低且畫面解析度較低的內容，能夠在內容發布目標中擴展圖像解析度及畫質。本說明書所公開的發明，為了解決上述課題而大概形成以下結構。根據本發明的一個側面，提供一種發布伺服器，其具有轉換部，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入信號實施擴展解析度以及畫質的轉換；以及發送部，其通過網絡將上述轉換後的信號向終端發布。根據本發明，提供一種發布方法，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入信號實施擴展解析度以及畫質的轉換，將上述轉換後的信號通過網絡向終端發布。根據本發明，提供一種程序，其執行下述處理輸入對動態圖像或靜止圖像壓縮編碼而得到的信號並對上述輸入信號實施擴展解析度以及畫質的轉換的處理；以及通過網絡將上述轉換後的信號向終端發布的處理。根據本發明，提供一種系統，其具有終端，其接收對動態圖像或靜止圖像進行壓縮編碼而得到的信號的發布；以及發布伺服器，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入信號實時擴展解析度及畫質的轉換，通過網絡將上述轉換後的信號向終端發布。發明的效果根據本發明，能夠有效利用比特率較低且畫面解析度較低的內容，能夠在內容發布目標中擴展圖像解析度及畫質。
圖1是表示本發明的一個實施例的系統結構的圖。圖2是表示本發明的一個實施例的發布伺服器裝置的結構的圖。圖3是表示本發明的其他實施例的發布伺服器裝置的結構的圖。圖4是表示本發明的其他實施例的移動終端的結構的圖。圖5是表示本發明的一個實施例的發布伺服器裝置的處理流程的圖。圖6是表示本發明的其他實施例的發布伺服器裝置的處理流程的圖。圖7是表示本發明的一個實施例的移動終端的處理流程的圖。圖8是表示本發明的一個實施例的發布伺服器裝置和移動終端的變形例的圖。標號的說明120移動終端130行動網路140壓縮編碼流數據150發布伺服器裝置151,251,301 呼叫控制部155數據包接收部159數據包發送部160,260 轉換部161解碼部162幀存儲器
163超解析度轉換部164編碼部204超解析度轉換部205顯示部261、262 切換部280音聲包接收部290動態圖像包接收部302音聲解碼部303動態圖像解碼部
具體實施例方式對本發明的實施方式進行說明。根據本發明的一個方式，提供一種發布伺服器，其具有轉換部，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的流或數據包，對上述輸入實施擴展解析度以及畫質的轉換；以及發布部，其通過網絡將上述轉換後的流或數據包向終端發布。根據本發明的一個方式，提供一種發布系統，其與網絡的帶寬或終端的能力對應而由伺服器判斷進行下述處理中的哪一個，即，輸入對動態圖像或靜止圖像進行壓縮編碼而得到的流或數據包，由伺服器對上述輸入實施擴展解析度以及畫質的轉換，將轉換後的流或數據包通過網絡向終端發布，或者伺服器不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。根據本發明的一個方式，提供一種發布系統，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的流或數據包，伺服器通過網絡將上述輸入信號向終端發布，終端對所接收的信號實施擴展解析度以及畫質的轉換，並進行輸出。根據本發明，實現了一種發布伺服器，其可以有效利用迄今為止面向移動發布或面向網絡發布而生成的比特率較低且畫面解析度較低的動態圖像內容壓縮碼流，在由伺服器實施擴展解析度及畫質的轉換的基礎上，通過NGN或今後寬頻化的行動網路對轉換後的流進行發布。另外，根據本發明，實現了一種發布系統，其可以有效利用迄今為止面向移動發布或面向網絡發布而生成的比特率較低且畫面解析度較低的動態圖像內容壓縮碼流，但與網絡的帶寬或終端的能力對應而由伺服器側判斷，是在由伺服器實施轉換的基礎上進行發布，還是伺服器不進行轉換而直接發布，由終端側擴展解析度及畫質。本發明不僅適用於視頻(動態圖像)內容，還適用於靜止圖像內容，但在以下的實施例中，對適用於視頻內容的情況下的結構例進行說明。本發明作為發布伺服器與終端之間的網絡，可以使用行動網路(移動電路交換網絡、移動分組網絡、第3. 9代網絡、第4代網絡等)、網際網路、固定網的分組網絡及NGN等，但在以下的實施例中對應用移動分組網絡的情況的例子進行說明。實施例圖1是表示本發明的一個實施例的系統結構的圖，示出了經由行動網路連接發布伺服器和移動終端的形態的例子。
圖1中，作為壓縮編碼流數據140，是預先用動態圖像編解碼器對動態圖像內容進行壓縮編碼，並將所得到的壓縮編碼流根據內容不同而進行存儲的數據。動態圖像編解碼器可以是任意的，但在這裡，作為一個例子而使用H. 264. H. 264的詳細內容例如可以參照 IS0/IEC 14496-10AVC ITU-T Rec. H. 264 International Standard for Advanced Video Coding 標準。發布伺服器裝置150和移動終端120之間進行呼叫處理，從壓縮編碼流數據140 讀出與移動終端120所指定的動態圖像內容對應的壓縮編碼流，在實施擴展解析度及畫質的轉換的基礎上，通過行動網路130向移動終端120發布。圖2是表示發布伺服器裝置150的重要部分結構的一個例子的圖。參照圖2，發布伺服器裝置150包括數據包接收部155、呼叫控制部151、轉換部160、數據包發送部159。 以下，對各部分進行說明。呼叫控制部151接收由移動終端120的SIP信號或RTSP (實時流送協議)信號產生的對話控制信號。另外，接收由SDP(會話描述協議)產生的移動終端的能力信息。在這裡，SIP的詳細內容、RTSP的詳細內容以及SDP的詳細內容可以分別參照IETF(網際網路工程工作組)RFC (請求注釋，Request For Comments) 326URFC 2326 以及 IETF RFC2327。在本實施例中，設為利用RTSP進行對話控制。如果呼叫控制部151從移動終端120接收由RTSP產生的對話開始指示以及由SDP 產生的終端能力信息，則對數據包接收部155發出指示，從壓縮編碼流數據140讀出與移動終端所指定的內容對應的壓縮編碼流。另外，呼叫控制部151將移動終端的能力信息輸出到轉換部160，並將移動終端的接收IP位址等信息輸出到數據包發送部159。數據包接收部155將壓縮編碼流數據140中與移動終端所指定的內容對應的壓縮編碼流作為RTP數據包輸入，提取存儲在RTP數據包的淨負載部分中的壓縮編碼流，並輸出到轉換部160。轉換部160具有解碼部161、幀存儲器162、超解析度轉換部163、編碼部164。在這裡，解碼部161針對從數據包接收部155輸入的壓縮編碼流，使用與內容壓縮編碼所使用的編碼器相同的方式(例如生成面向移動的內容時大多利用MPEG-4SP(簡單類)或 H. 263BP (基帶類))的解碼器，對上述流進行解碼，將解碼信號存儲到幀存儲器162中。超解析度轉換部163從呼叫控制部151輸入移動終端120的能力信息，在能力信息的範圍內進行一邊擴展畫面解析度一邊擴展畫質的轉換。例如，在移動終端的能力信息示出H. 基帶類)級別1. 2的情況下，意味著比特率為3841ApS(千字節/秒)、畫面解析度為CIF、幀頻為15fps (幀/秒)。超解析度轉換部163讀出存儲在幀存儲器162中的信號，進行一邊擴展畫面解析度一邊改善畫質的處理。在這裡，設為將QCIF的解析度擴展至CIF的解析度。為了擴展解析度，使用下述方法 針對轉換對象的圖像幀，使用多枚圖像幀作為參照圖像，一邊增加像素數量一邊擴展解析度的方法，或者 利用轉換對象的圖像幀內的不同位置的像素，增加像素數量的方法。超解析度轉換部163也可以構成為，從上述方法中，根據可以向超解析度轉換部163的處理分配的運算量和內存量的限制，選擇最佳方法。在超解析度轉換部163中，在針對轉換對象幀使用過去(時間上的過去)的參照幀的情況下，通過輸入由解碼部161解碼後的宏塊的每一個移動矢量，針對包含在該宏塊中的像素，基於上述移動矢量，重新執行移動矢量搜索處理(在參照幀的搜索範圍內的宏塊之中，求出與轉換對象幀的相應宏塊的差值最小的位置)，求出詳細的移動矢量(例如半像素單位)。並且，可以構成為，將通過重新搜索求出的詳細的移動矢量應用於過去的參照幀的像素，利用以上述詳細的移動矢量的量移動後的幀，增加轉換對象幀的像素。或者也可以構成為，不使用來自解碼部161的宏塊的移動矢量，根據轉換對象幀(當前幀)和參照幀搜索移動矢量。另外，在超解析度轉換部163中，在只使用解析度擴展對象的幀的情況下，通過檢測出邊緣部分，並使用邊緣附近的像素而增加像素、或對邊緣附近的像素加以校正，檢測出邊緣並進行強調的處理，由此實現提高解析度、改善畫質的處理。該處理針對動態圖像和/ 或靜態圖像進行。在超解析度轉換部163中，通過推斷移動方向，插補時間方向的幀圖像(在前後幀之間插入1幀)，而對幀頻進行插補，由此進行例如將幀頻從15fps擴展至30fps的處理。編碼部164從呼叫控制部151輸入移動終端120的能力信息，另外，輸入來自超解析度轉換部163的輸出信號，根據上述能力信息設定壓縮方式和參數。由於利用超解析度轉換部163擴展畫面解析度以及畫質，所以可以使用能力信息的最大值即H. 264BPiLl. 2、 畫面解析度為CIF、比特率為38421ibps、幀頻為15fps等。另外，在編碼部164中，為了簡化移動矢量搜索的運算量，可以採用如下結構從解碼部161輸入移動矢量信息，基於所輸入的移動矢量信息(對移動矢量實施與解析度擴展對應的轉換)，針對被超解析度轉換部163轉換後的圖像信號，搜索該移動矢量的附近， 求出新的移動矢量。數據包發送部159從呼叫控制部151輸入移動終端120的接收IP位址等，從編碼部164輸入壓縮編碼流，將其包含在RTP淨負載部中而作為RTP數據包向網絡輸出。下面，參照圖5對本實施例的發布伺服器裝置150的處理流程進行說明。步驟Sl 由數據包接收部155接收RTP數據包，將壓縮編碼流向解碼部161輸入。步驟S2 解碼部161對流進行解碼。步驟S3 超解析度轉換部163 —邊擴展解碼後的圖像的解析度，一邊改善畫質。步驟S4 編碼部164基於來自呼叫控制部151的與移動終端120相關的能力信息， 對來自超解析度轉換部163的信號進行編碼。步驟S5 數據包發送部159輸入來自編碼部164的編碼後的信號，包含在RTP淨負載中而作為RTP數據包發送。此外，上述發布伺服器的步驟Sl至S5當然也可以利用構成發布伺服器裝置的計算機上所執行的程序來實現其功能 處理。如圖8(A)所示，構成發布伺服器裝置的計算機 (CPU)通過從存儲裝置將程序載入內存並執行，從而實現上述轉換部、數據包接收部、數據包發送部、呼叫控制部等的處理。此外，當然也可以形成存儲程序的存儲裝置與發布伺服器裝置網絡連接的結構。此外，在本實施例中，也可以構成為，將壓縮編碼流存儲為預先設定的文件格式而並不存儲在RTP數據包中，並作為文件發送。在這裡，作為文件格式，可以使用例如根據3GPP標準化的3GP文件格式。3GP文件格式的詳細信息可以參照3GPP TS26. 244標準。下面，對本發明的第一實施例的作用效果進行說明。由於可以有效利用迄今為止面向移動發布或面向網絡發布而生成的比特率較低且畫面解析度較低的動態圖像內容壓縮碼流，在由伺服器實施擴展解析度及畫質的轉換的基礎上，通過NGN或今後寬頻化的行動網路對轉換後的流進行發布，所以可以提供充分的解析度和畫質。下面，對本發明的第二實施例進行說明。圖3是表示本發明的第二實施例的發布伺服器裝置的重要部分結構的一個例子的圖。圖4是表示本發明的第二實施例的移動終端的重要部分結構的圖。在圖3中，對與圖2相同的結構要素標註相同的參照標號。在圖3 中，由於與圖2相同的結構要素的進行相同動作，所以省略說明。參照圖3，本實施例與圖2的結構相比，具有切換部沈1、沈2，用於切換是由轉換部 260實施轉換處理還是將轉換處理旁路。圖3中，發布伺服器裝置的呼叫控制部251從移動終端120接收由RTSP產生的對話開始指示、以及通過SDP接收包含移動終端120是否安裝有超解析度轉換的信息在內的能力信息、以及網絡的帶寬信息，並對它們進行分析。另外，呼叫控制部251向數據包接收部155發出指示，使其從壓縮編碼流數據140 讀出與移動終端所指定的內容對應的壓縮編碼流。另外，呼叫控制部251利用網絡的帶寬及終端的能力信息判斷是否由伺服器側實施超解析度轉換，並將判斷結果向切換部261、切換部沈2以及轉換部260輸出。該判斷例如如下所示進行。在網絡的帶寬充分，終端未搭載超解析度轉換處理，終端的能力與內容的壓縮編碼的能力相比充分大等的情況下，呼叫控制部251判斷為由發布伺服器裝置150實施超解析度轉換，對切換部261以及切換部262發出指示，使其對轉換部260輸入輸出信號。另外，呼叫控制部251對轉換部260發出指示，使其執行(ON)超解析度轉換。另一方面，在網絡的帶寬不充分、移動終端120搭載有超解析度轉換處理的情況下，呼叫控制部251對切換部沈1以及切換部262發出指示，使其將轉換部260旁路。另外， 呼叫控制部251對轉換部260發出指示，使其停止超解析度轉換。切換部261和切換部262從呼叫控制部251輸入指示，進行是與轉換部260進行信號的輸入輸出還是將轉換部260旁路的切換動作。下面，參照圖6，對本實施例的發布伺服器裝置150的處理流程進行說明。步驟Sl 由數據包接收部155接收RTP數據包，讀出壓縮編碼流。步驟S6 在進行超解析度轉換處理的情況下(步驟S6為「是」)，利用切換部261將壓縮編碼流向解碼部161供給。在不進行超解析度轉換處理的情況下(步驟S6為「否」)， 利用切換部261、262將壓縮編碼流向數據包發送部159供給。由於步驟S2至S5的動作與圖5相同，所以省略說明。此外，上述發布伺服器裝置的步驟S 1至S6當然也可以利用構成發布伺服器裝置 150的計算機上所執行的程序來實現其功能·處理。如圖8(A)所示，構成發布伺服器裝置的計算機(CPU)通過從存儲裝置將程序載入內存並執行，從而實現上述轉換部、數據包接收部、數據包發送部、呼叫控制部、切換部等的處理。此外，當然也可以形成存儲程序的存儲裝置與發布伺服器裝置網絡連接的結構。圖4示出與圖3的發布伺服器裝置150連接的移動終端120的重要部分結構的一個例子。參照圖4，移動終端120具有呼叫控制部301、超解析度轉換部204、動態圖像解碼部303、音聲解碼部302、動態圖像包接收部四0、音聲包接收部觀0。呼叫控制部301與發布伺服器之間交換RTSP產生的對話控制信號。並且，利用 SDP向發布伺服器裝置傳輸移動終端的能力信息及是否搭載有超解析度轉換、網絡的帶寬等。另外，從發布伺服器接收的SDP中，記載有從發布伺服器發送的視頻流的能力信息、有無由發布伺服器側進行超解析度轉換處理、以及音聲流的能力信息。所述信息從呼叫控制部301發送至超解析度轉換部204、動態圖像解碼部303、音聲解碼部302、動態圖像包接收部四0、音聲包接收部觀0。並且，呼叫控制部301對超解析度轉換部204進行使超解析度轉換處理執行還是停止的指示。例如，在與由移動終端120接收到的視頻流相關的能力信息是視頻編解碼器為H. (基帶規範，Baseband Profile) Level 1. 2、比特率為3841ibps、畫面解析度為 CIF、幀頻為15fps，且由伺服器側進行了超解析度轉換的情況下，對超解析度轉換部204發出使轉換處理停止的指示。另外，在發布伺服器側中的超解析度轉換處理為停止的情況下，對超解析度轉換部204發出執行轉換處理的指示。另一方面，與音聲編解碼器相關的能力信息例如為AMR(自適應多速率)音聲編解碼器。動態圖像包接收部290從呼叫控制部301輸入與視頻信號相關的能力信息，從行動網路130接收視頻RTP數據包，讀出存儲在RTP數據包的淨負載部中的視頻流，並向動態圖像解碼部303輸出。動態圖像解碼部303從呼叫控制部301輸入關於視頻信號的能力信息，從動態圖像包接收部290輸入視頻流，根據能力信息解碼視頻信號並輸出。在這裡，例如壓縮編碼方式為H. 264BPPiLl. 0、圖像解析度為QCIF、比特率為641ibps、幀頻為15fps。超解析度轉換部204從呼叫控制部301輸入使超解析度轉換處理執行還是停止的指示，從動態圖像解碼部303輸入解碼後的視頻信號，在執行超解析度轉換處理的情況下， 實施一邊擴展畫面解析度一邊改善畫質的處理，將轉換處理後的視頻信號向顯示部205輸出ο與發布伺服器裝置的超解析度轉換部163相同地，例如將QCIF的解析度擴展至 CIF的解析度。對此，根據可以分配的運算量和內存量的限制，從針對轉換對象的圖像幀，使用多枚圖像幀作為參照圖像，一邊增加像素數量一邊擴展解析度的方法，以及利用對象的圖像幀內的不同位置的像素，增加像素數量的方法中，選擇最佳方法。在使用過去的參照幀的情況下，可以構成為，從動態圖像解碼部303輸入各個宏塊的每一個移動矢量，針對包含在該宏塊中的像素，基於上述移動矢量，重新搜索而求出詳細的移動矢量，將詳細的移動矢量應用於過去的參照幀的像素，以移動矢量移動而增加對象幀的像素。當然也可以採用不使用移動矢量的結構。另外，在只使用對象圖像幀的情況下，通過檢測出邊緣部分，並使用邊緣附近的像素而增加像素、或對邊緣附近的像素加以校正，檢測出邊緣並進行強調的處理，由此，也可以改善畫質。此外，可以通過推斷移動方向，插補時間方向的幀圖像，而對幀頻進行插補。例如從15fps擴展至30fps。另一方面，在停止超解析度轉換處理的情況下，將從動態圖像解碼部303輸入的解碼後的視頻信號直接向顯示部205輸出。顯示部205接收轉換後的動態圖像信號並進行顯示。音聲包接收部280從行動網路130接收音聲RTP數據包，並讀出存儲在RTP數據包的淨負載部中的音聲流，並進行輸出。音聲解碼部302從呼叫控制部301輸入作為能力信息的音聲編解碼器信息，從音聲包接收部280接收音聲流，對音聲進行解碼後進行輸出。在這裡，音聲編解碼器例如為 AMR音聲編解碼器。參照圖7對移動終端120的處理流程進行說明。步驟Sll 由動態圖像包接收部290接收RTP數據包，將壓縮編碼流向動態圖像解碼部303輸入。步驟S12 動態圖像解碼部303對視頻信號進行解碼。步驟S13 基於來自呼叫控制部301的指示，在由超解析度轉換部204進行解析度轉換的情況下(步驟S13為「是」)，在步驟S14中一邊擴展解碼後的圖像的解析度，一邊改善畫質。在不由超解析度轉換部204進行解析度轉換的情況下(步驟S13為「否」)，超解析度轉換部204將動態圖像解碼部303的視頻信號直接向顯示部205輸入。步驟15 顯示部205顯示來自超解析度轉換部204的信號。此外，上述移動終端的步驟Sll至S15，當然也可以利用在構成移動終端的計算機上執行的程序實現其功能、處理。以下的其他實施例也相同。如圖8(B)所示，構成移動終端的計算機(CPU)通過執行存儲在移動終端內的存儲裝置(Memory)的程序，從而實現上述轉換部及其他的動態圖像解碼部等的處理。對本發明的第二實施例的作用效果進行說明。在第二實施例中，可以有效利用畫面解析度較低的動態圖像內容壓縮碼流，但與網絡的帶寬或終端的能力對應而由伺服器側判斷，是在由伺服器實施轉換的基礎上進行發布，還是伺服器不進行轉換而直接發布，由終端側擴展解析度及畫質。可以提供充分的解析度和畫質。在如上說明的所有實施方式中，將作為C-Plane (控制平面)處理的呼叫控制部和作為U-Plane (用戶平面)處理的數據包接收部、轉換部、數據包複製部、數據包發送部等全部配置在伺服器裝置中，但也可以形成將C-Plane處理和U-Plane處理分別分離在單獨的裝置中的結構。根據該結構，可以使C-Plane和U-Plane獨立地具有擴展性。另外，從伺服器裝置將壓縮編碼流存儲在RTP數據包中而向移動終端發布，但也可以以文件形式存儲壓縮編碼流，利用HTTP (超文本傳輸協議)或TCP (傳輸控制協議) 向移動終端發送。在這裡，作為文件形式，已知例如3GP文件格式，詳細內容可以參照3GPP TS26. 244 標準。另外，在上述實施方式中，將視頻(動態圖像)信號作為對象，但對於靜態圖像信號，也可以採用與上述相同的結構。
另外，與視頻的壓縮編碼方式無關地，可以與H. 263, MPEG-4、H. 264等任意壓縮編碼方式進行對應。例如MPEG-4的詳細內容可以參照IS0/IEC 14496-2 Information Technology Coding of Audio Visual Object-Part 2 :Visual 標準。另外，作為從伺服器向移動終端的發布方法，不僅為第一實施例中說明的單播發布，還可以應用向屬於組播群的多個移動終端發布的組播發布、向不特定的多個移動終端發布的廣播發布。總結上述實施例，形成如下結構。(1)本實施例的發布伺服器，其具有轉換部，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入實施擴展解析度以及畫質的轉換；以及發送部，其通過網絡將上述實施轉換後的信號向終端發布。(2)根據上述(1)所述的本實施例的發布伺服器，其具有控制部，其與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即，針對上述輸入，由上述轉換部實施擴展解析度以及畫質的轉換，將轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。(3)根據上述⑴或(2)所述的本實施例的發布伺服器，上述轉換部具有解碼部，其輸入上述壓縮編碼後的信號，以與上述終端相關的能力信息相應的方式進行解碼；解析度轉換部，其對上述解碼後的信號的解析度進行轉換，改善畫質；以及編碼部，其輸入由上述解析度轉換部轉換後的信號，以與上述終端相關的能力信息相應的方式進行編碼。(4)根據上述(3)所述的本實施例的發布伺服器，上述解析度轉換部基於由上述解碼部解碼後的移動矢量，對過去的參照圖像重新搜索移動矢量，利用將重新搜索後的移動矢量應用於上述參照圖像而得到的圖像，進行上述圖像信號的解析度轉換。(5)本實施例的發布系統，其具有終端和發布伺服器，該發布伺服器經由網絡將對動態圖像或靜止圖像進行壓縮編碼而得到的信號向上述終端發布，上述發布伺服器具有轉換部，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入實施擴展解析度以及畫質的轉換；以及發送部，其通過網絡將上述實施轉換後的信號向終端發布。(6)根據上述( 所述的本實施例的發布系統，上述發布伺服器具有控制部，其與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即，針對上述輸入，由上述轉換部實施擴展解析度以及畫質的轉換，將轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。(7)本實施例的發布系統，其具有發布伺服器，其輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，通過網絡將上述輸入的信號向終端發布；以及
終端，其對接收到的信號進行解碼，在解析度或畫質不充分的情況下，實施擴展解析度以及畫質的轉換而進行顯示。(8)根據上述(7)所述的本實施例的發布系統，上述終端具有解碼部，其對上述接收到的信號進行解碼；解析度轉換部，其轉換上述信號的解析度，改善畫質；以及顯示部，其顯示上述轉換後的圖像信號。(9)本實施例的終端，其經由網絡從發布伺服器接收包含動態圖像或靜止圖像在內的圖像信號，其具有接收部，其接收上述包含動態圖像或靜止圖像在內的圖像信號；解碼部，其對上述接收到的圖像信號進行解碼；轉換部，其實施解析度轉換，轉換上述解碼後的圖像信號的解析度，改善畫質；控制部，其控制是否由上述轉換部進行轉換；以及顯示部，其在由上述轉換部進行轉換的情況下，顯示實施上述轉換而得到的信號， 在不進行轉換的情況下，顯示來自上述解碼部的信號。(10)本實施例的發布方法，發布伺服器輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入實施擴展解析度以及畫質的轉換，將實施了上述轉換的信號通過網絡向終端發布。(11)根據上述(10)所述的本實施例的發布方法，上述發布伺服器與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即，針對上述輸入，實施擴展解析度以及畫質的轉換，將上述轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。(12)根據上述(10)或(11)所述的本實施例的發布方法，由上述發布伺服器進行的上述轉換，針對上述接收到的信號，以與上述終端相關的能力信息相應的方式進行解碼，實施解析度轉換，轉換上述解碼後的信號的解析度，改善畫質，輸入上述轉換後的信號，以與上述終端相關的能力信息相應的方式進行編碼。(13)本實施例的發布方法，發布伺服器輸入對動態圖像或靜止圖像進行壓縮編碼而得到的信號，通過網絡將上述輸入信號向終端發布，上述終端對接收到的信號的解析度或畫質不充分的情況下，實施擴展解析度以及畫質的轉換而進行顯示。(14)根據上述(13)所述的本實施例的發布方法，在上述終端中，對上述接收到的信號進行解碼，轉換上述信號的解析度，改善畫質，
顯示上述轉換後的圖像信號。(15)本實施例的程序，其使構成發布伺服器的計算機中執行下述處理輸入對動態圖像或靜止圖像壓縮編碼而得到的信號並對上述輸入實施擴展解析度以及畫質的轉換的處理；以及通過網絡將實施上述轉換而得到的信號向終端發布的處理。(16)根據上述(15)所述的本實施例的程序，上述轉換處理具有解碼處理，在該處理中，針對上述接收到的信號，以與上述終端相關的能力信息相應的方式進行解碼；解析度轉換處理，在該處理中，對上述解碼後的信號的解析度進行轉換，改善畫質；以及編碼處理，在該處理中，輸入由上述解析度轉換部轉換後的信號，以與上述終端相關的能力信息相應的方式進行編碼。(17)根據上述(15)或(16)所述的本實施例的程序，使上述計算機執行下述處理與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即，針對上述輸入，由上述轉換部實施擴展解析度以及畫質的轉換，將轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。(18)本實施例的程序，使構成經由網絡從發布伺服器接收包含動態圖像或靜止圖像在內的圖像信號的終端的計算機執行下述處理接收上述包含動態圖像或靜止圖像在內的圖像信號的處理；對上述接收到的信號進行解碼的處理；控制是否對上述解碼後的信號的解析度進行轉換的處理；在進行上述轉換的情況下，實施解析度轉換，轉換上述解碼後的信號的解析度，改善畫質的轉換處理；以及以在進行上述轉換的情況下顯示實施了上述轉換後的信號，在不進行上述轉換的情況下顯示上述解碼後的信號的方式進行控制的處理。此外，上述的專利文獻的各公開內容通過引用而記載在本說明書中。在本發明的全部公開(包括權利要求書的範圍)的範圍內，可以基於其基本技術思想而對實施方式及實施例進行變更、調整。另外，可以在本發明的權利要求書的範圍內對各種公開要素進行各種組合及選擇。即，本發明當然包括本領域的技術人員能夠根據包含權利要求書的範圍在內的所有啟示、技術上的思想而得到的各種變形、修正。
權利要求
1.一種發布伺服器，其特徵在於，具有轉換部，其輸入有對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入實施擴展解析度以及畫質的轉換；以及發送部，其通過網絡將上述實施轉換後的信號向終端發布。
2.根據權利要求1所述的發布伺服器，其特徵在於，具有控制部，其與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即， 針對上述輸入，由上述轉換部實施擴展解析度以及畫質的轉換，將轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。
3.根據權利要求1或2所述的發布伺服器，其特徵在於， 上述轉換部具有解碼部，其輸入有上述壓縮編碼後的信號，以與上述終端相關的能力信息相應的方式進行解碼；解析度轉換部，其對上述解碼後的信號的解析度進行轉換，改善畫質；以及編碼部，其輸入有由上述解析度轉換部轉換後的信號，以與上述終端相關的能力信息相應的方式進行編碼。
4.根據權利要求3所述的發布伺服器，其特徵在於，上述解析度轉換部基於由上述解碼部解碼後的移動矢量，對過去的參照圖像重新搜索移動矢量，利用將重新搜索後的移動矢量應用於上述參照圖像而得到的圖像，進行上述圖像信號的解析度轉換。
5.一種發布系統，其特徵在於，具有終端和發布伺服器，該發布伺服器經由網絡將對動態圖像或靜止圖像進行壓縮編碼而得到的信號向上述終端發布，上述發布伺服器具有轉換部，其輸入有對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入實施擴展解析度以及畫質的轉換；以及發送部，其通過網絡將上述實施轉換後的信號向終端發布。
6.根據權利要求5所述的發布系統，其特徵在於，上述發布伺服器具有控制部，其與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即，針對上述輸入，由上述轉換部實施擴展解析度以及畫質的轉換，將轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。
7.一種發布系統，其特徵在於，具有發布伺服器，其輸入有對動態圖像或靜止圖像進行壓縮編碼而得到的信號，通過網絡將上述輸入的信號向終端發布；以及終端，其對接收到的信號進行解碼，在解析度或畫質不充分的情況下，實施擴展解析度以及畫質的轉換而進行顯示。
8.根據權利要求7所述的發布系統，其特徵在於， 上述終端具有解碼部，其對上述接收到的信號進行解碼；解析度轉換部，其轉換上述解碼後的信號的解析度，改善畫質；以及顯示部，其顯示上述轉換後的圖像信號。
9.一種終端，其經由網絡從發布伺服器接收包含動態圖像或靜止圖像在內的圖像信號，其特徵在於，具有接收部，其接收上述包含動態圖像或靜止圖像在內的圖像信號； 解碼部，其對上述接收到的圖像信號進行解碼；轉換部，其實施解析度轉換，轉換上述解碼後的圖像信號的解析度，改善畫質； 控制部，其控制是否由上述轉換部進行轉換；以及顯示部，其在由上述轉換部進行轉換的情況下，顯示實施上述轉換而得到的信號，在不進行轉換的情況下，顯示來自上述解碼部的信號。
10.一種發布方法，其特徵在於，發布伺服器輸入有對動態圖像或靜止圖像進行壓縮編碼而得到的信號，對上述輸入實施擴展解析度以及畫質的轉換，將實施了上述轉換的信號通過網絡向終端發布。
11.根據權利要求10所述的發布方法，其特徵在於，上述發布伺服器與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即，針對上述輸入，實施擴展解析度以及畫質的轉換，將上述轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。
12.根據權利要求10或11所述的發布方法，其特徵在於， 由上述發布伺服器進行的上述轉換，針對上述接收到的信號，以與上述終端相關的能力信息相應的方式進行解碼， 實施解析度轉換，轉換上述解碼後的信號的解析度，改善畫質， 輸入上述轉換後的信號，以與上述終端相關的能力信息相應的方式進行編碼。
13.一種發布方法，其特徵在於，發布伺服器輸入有對動態圖像或靜止圖像進行壓縮編碼而得到的信號，通過網絡將上述輸入信號向終端發布，上述終端對接收到的信號的解析度或畫質不充分的情況下，實施擴展解析度以及畫質的轉換而進行顯示。
14.根據權利要求13所述的發布方法，其特徵在於， 在上述終端中，對上述接收到的信號進行解碼，轉換上述解碼後的信號的解析度，改善畫質，顯示上述轉換後的圖像信號。
15.一種程序，其特徵在於，使構成發布伺服器的計算機中執行下述處理輸入對動態圖像或靜止圖像壓縮編碼而得到的信號並對上述輸入實施擴展解析度以及畫質的轉換的處理；以及通過網絡將實施上述轉換而得到的信號向終端發布的處理。
16.根據權利要求15所述的程序，其特徵在於， 上述轉換處理具有解碼處理，在該處理中，針對上述接收到的信號，以與上述終端相關的能力信息相應的方式進行解碼；解析度轉換處理，在該處理中，對上述解碼後的信號的解析度進行轉換，改善畫質；以及編碼處理，在該處理中，輸入由上述解析度轉換部轉換後的信號，以與上述終端相關的能力信息相應的方式進行編碼。
17.根據權利要求15或16所述的程序，其特徵在於，使上述計算機執行下述處理與網絡的帶寬或終端的能力對應地判斷進行下述處理中的哪一個，即，針對上述輸入，由上述轉換部實施擴展解析度以及畫質的轉換，將轉換後的信號通過網絡向終端發布，或者，不進行上述轉換而通過網絡向終端發布，由終端側對接收到的信號實施擴展解析度以及畫質的轉換，並進行輸出。
18.—種程序，其特徵在於，使構成經由網絡從發布伺服器接收包含動態圖像或靜止圖像在內的圖像信號的終端的計算機執行下述處理接收上述包含動態圖像或靜止圖像在內的圖像信號的處理； 對上述接收到的信號進行解碼的處理； 控制是否對上述解碼後的信號的解析度進行轉換的處理；在進行上述轉換的情況下，實施解析度轉換，轉換上述解碼後的信號的解析度，改善畫質的轉換處理；以及以在進行上述轉換的情況下顯示實施了上述轉換後的信號，在不進行上述轉換的情況下顯示上述解碼後的信號的方式進行控制的處理。
全文摘要
本發明提供一種發布伺服器、系統、方法、終端、程序，其能夠有效利用比特率較低且畫面解析度較低的內容，並能夠在內容發布目標中擴展圖像解析度及畫質。發布伺服器(150)輸入對動態圖像或靜止圖像進行壓縮編碼後的流或數據包，並對上述輸入實施擴展解析度以及畫質的轉換，並通過網絡(130)將上述轉換後的流或數據包向移動終端(120)發布。
文檔編號H04N7/24GK102165786SQ20098013786
公開日2011年8月24日 申請日期2009年9月25日 優先權日2008年9月26日
發明者小澤一範 申請人:日本電氣株式會社