根據無線顯示協議製備視頻數據的製作方法

2023-08-06 01:00:56

專利名稱：根據無線顯示協議製備視頻數據的製作方法
技術領域：
本發明涉及視頻數據處理，且更特定來說，涉及用於呈現給觀看者的視頻數據的遞送。
背景技術：
視頻顯示裝置呈現視頻數據以供用戶觀看。通常，由顯示裝置呈現的視頻數據包含預期用於以給定速率(例如，每秒四.97個幀，如國家電視系統委員會(NTSC)標準中所闡述)重放的一系列連續視頻幀。因為此視頻數據並不含有任何深度信息，所以所述視頻數據特徵化為二維OD)視頻數據。呈現此2D視頻數據的顯示裝置常稱作「2D顯示器」。當前，正開發三維(3D)顯示裝置以呈現三維(3D)視頻數據。這些所謂的「3D顯示器」可能需要額外觀看附件(例如，快門式眼鏡、偏光式眼鏡或雙色眼鏡(例如，具有一個紅色透鏡及一個綠色透鏡的眼鏡))以適當地觀看所呈現的3D視頻數據。需要額外觀看附件的3D顯示裝置常稱作「眼鏡式立體3D顯示器」。被稱作「裸眼式立體3D顯示器」的其它 3D顯示裝置能夠呈現可由觀看者觀看的3D視頻數據，而無需任何額外觀看附件。不管是眼鏡式立體3D顯示器還是裸眼式立體3D顯示器，不同製造商的3D顯示器通常需要遵照供貨商或製造商特定的輸入文件格式的3D視頻數據。舉例來說，一種所提議的3D視頻數據格式包含2D視頻數據加上深度信息，且稱作「2D+深度」。「2D+深度」顯示裝置僅可呈現以「2D+深度」 3D視頻數據格式提供的3D視頻數據。其它類型的3D顯示器可需要呈多視圖2D串流格式的3D視頻數據。多視圖2D串流格式封裝多個2D串流，其中所述2D串流各自是通過不同俘獲元件(例如，相機)同時(理想地，同步)從同一場景獲取。由於這些不同且通常專屬的3D視頻數據格式，來自一個製造商的給定3D顯示裝置僅可呈現根據此製造商的專屬3D視頻數據格式而格式化的3D視頻數據。

發明內容
大體來說，描述用於實現跨平臺三維(3D)視頻數據重放的技術。術語「平臺」大體上指代特定視頻顯示裝置及/或例如音頻/視頻接收器等任何支持裝置的軟體及硬體計算框架結構，及關於視頻解碼及重放的此框架結構的限制及功能性。在各種方面中，所述技術可以實現在不同3D視頻重放平臺上重放的方式將視頻數據變換成3D視頻數據，而不管所述視頻數據為二維OD)視頻數據還是3D視頻數據。就此來說，所述技術可在各種方面中促成跨平臺3D視頻重放。在一個方面中，一種可攜式裝置包含用以存儲視頻數據的模塊；無線顯示器主機模塊，其確定所述可攜式裝置外部的三維(3D)顯示裝置的一個或一個以上顯示參數，且基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據；及無線接口，其將所述3D視頻數據無線地發射到所述外部3D顯示裝置。在另一方面中，一種方法包含通過可攜式裝置存儲視頻數據；通過所述可攜式裝置的無線顯示器主機模塊確定所述可攜式裝置外部的三維(3D)顯示裝置的一個或一個以上顯示參數；通過所述無線顯示器主機模塊基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據；及通過所述可攜式裝置將所述3D視頻數據發射到所述外部3D顯
示裝置。在另一方面中，一種可攜式裝置包含用於存儲視頻數據的裝置；用於確定所述可攜式裝置外部的三維(3D)顯示裝置的一個或一個以上顯示參數的裝置；用於基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據的裝置；及用於將所述3D視頻數據發射到所述外部3D顯示裝置的裝置。在另一方面中，一種計算機可讀存儲媒體包含若干指令，所述指令使處理器存儲視頻數據；確定可攜式裝置外部的三維(3D)顯示裝置的一個或一個以上顯示參數；基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據；且將所述3D視頻數據發射到所述外部3D顯示裝置。在附圖及下文描述中闡述所述技術的一個或一個以上方面的細節。所述技術的其它特徵、目標及優點將從所述描述及所述圖式及從權利要求書而顯而易見。


圖1為說明一系統的框圖，在所述系統中，移動裝置實施本發明的技術的各種方面以促成跨平臺視頻數據重放。圖2為更詳細地說明圖1的移動裝置的框圖。圖3為更詳細地說明圖2的移動裝置的變換模塊及離線處理模塊的框圖。圖4A及4B為說明一裝置在實施本發明中所描述的技術的各種方面時的實例操作的流程圖。圖5為說明實施本發明中所描述的技術的各種方面的實例裝置的框圖。圖6為說明一移動裝置在執行本發明中所描述的技術的各種方面時的實例操作的流程圖。
圖7為說明三維(3D)視頻內容的框圖，所述三維(3D)視頻內容已根據本發明中所描述的技術的各種方面而格式化。圖8A到8C為說明實例區段的框圖，在所述實例區段中，已根據本發明中所描述的技術的各種方面而嵌入元數據。圖9為說明無線顯示器(WD)主機單元在執行本發明中所描述的技術的格式化方面時的實例操作的流程圖。圖IOA到IOE為說明各種系統的框圖，所述系統實施本發明中所描述的技術的一個或一個以上方面以促成跨平臺視頻重放。
具體實施例方式本發明是針對促成跨平臺三維(3D)視頻重放的技術。術語「平臺」大體上指代一特定視頻顯示裝置及/或例如音頻/視頻接收器等任何支持裝置的軟體及硬體計算框架結構，及關於視頻解碼及重放的此框架結構的限制及功能性。二維OD)顯示裝置通常提供藉以接收、解碼並呈現根據動畫專家組(MPEG)標準第二部分(通常稱為「MPEG-2」)格式化的視頻數據的平臺。能夠呈現2D視頻數據與三維(3D)視頻數據兩者的其它混合顯示裝置可提供能夠接收、解碼並呈現根據MPEG-2標準及特定3D視頻數據格式(例如，專屬製造商特定格式)格式化的視頻數據的混合平臺。專屬格式的實例包括「2D+深度」格式(其可稱作「2D+z」格式，其中「ζ」代表深度)、「2D+深度、遮蔽及全局效果」(其中透明度為特定類型的全局效果)及多視圖2D串流格式。僅3D顯示裝置通常提供藉以接收、解碼並呈現根據製造商特定3D格式中的一者格式化的3D視頻數據的平臺。所述技術通過實現在若干不同3D視頻平臺上進行3D視頻重放而促成跨平臺3D 視頻重放。當前，沒有一個製造商特定的、專屬的或甚至開放源碼或其它「自由」 3D視頻格式得以標準化或得到產業範圍接受。實情為，與這些各種格式中的每一者相關聯的製造商正試圖在市場中促成此標準化。此外，歸因於不同格式之間的競爭，這些3D視頻格式中沒有一者支持跨平臺3D視頻重放。跨平臺3D視頻重放大體上指代一個平臺重放經格式化以用於不同平臺的3D視頻數據的能力。因此，以一種格式格式化的3D視頻數據通常無法由提供接收、解碼並呈現以另一不同格式格式化的3D視頻數據的平臺的3D顯示裝置顯示。就此來說，本發明的技術可通過將3D視頻數據從一種格式變換成另一格式而促成跨平臺3D 視頻重放。跨平臺3D視頻重放還涉及將2D視頻數據變換成3D視頻數據以用於在3D顯示裝置上重放。術語「跨平臺」因此還可包括2D平臺以及3D平臺，其中所述技術可包含接收2D 視頻數據且將此2D視頻數據變換成根據由特定3D顯示裝置或混合2D/3D顯示裝置支持的 3D視頻數據格式而格式化的3D視頻數據。混合2D/3D顯示裝置包含能夠進行2D視頻解碼及重放與3D視頻解碼及重放兩者的顯示裝置。所述技術可在若干方面中促成跨平臺3D視頻重放。在一個方面中，所述技術可促進視頻顯示器詢問以根據詢問確定由視頻顯示裝置支持的3D視頻數據格式。可自動地發生此詢問，或在無除用以選擇用於詢問的一個或一個以上3D顯示裝置的初始用戶輸入外的用戶輸入的情況下發生此詢問。在自動地確定3D顯示裝置的此3D視頻數據格式之後， 所述技術可涉及根據所述自動確定的3D視頻數據格式自動地(例如，在無任何用戶輸入的情況下)配置將2D視頻數據轉換成3D視頻數據的一個或一個以上模塊，以便產生3D視頻數據。所述經配置的模塊接著接收2D視頻數據且將此2D視頻數據變換或以其它方式轉換成遵照顯示裝置的自動確定的輸入格式的3D視頻數據。此3D視頻數據發送到3D顯示裝置，所述3D顯示裝置進行解碼並呈現此3D視頻數據以供用戶觀看。在另一方面中，所述技術可通過基於所監視的參數而重新配置將視頻數據變換成 3D視頻數據的所述模塊中的一者或一者以上來促成跨平臺3D視頻重放，所述所監視的參數反映在通過特定3D顯示裝置重放3D視頻數據期間3D視頻數據的3D可視化的質量。可在視頻數據的變換期間動態地發生此重新配置。所述模塊的重新配置精細化3D視頻數據的產生，以動態地改善由3D顯示裝置產生的3D可視化的質量。所述模塊的重新配置還可用於降低可接受的3D視頻質量的處理複雜性的目的。可通過根據所述重新配置參數停用所述模塊中的一些模塊的執行或選擇較簡單的過程來執行相同功能性來降低處理複雜性。 較簡單的過程可誘發降低的3D視頻質量，所述降低的3D視頻質量根據用戶定義的準則仍應被視為可接受的。降低處理複雜性可降低電力消耗或可加速執行所述模塊的功能性。值得注意的是，可近實時地發生或在將3D視頻數據流式傳輸到3D顯示裝置的同時發生參數的監視與用以將視頻數據(2D視頻數據或3D視頻數據)變換成經格式化以用於特定3D顯示裝置的3D視頻數據的模塊的重新配置。在另一方面中，所述技術可促成提供無線接口的某一類別的3D顯示裝置進行跨平臺3D視頻重放。實施所述技術的此方面的裝置可包含用以存儲視頻數據的第一模塊； 及確定可攜式裝置外部的顯示裝置的一個或一個以上顯示參數的無線顯示器主機模塊。這些顯示參數可包含顯示裝置的顯示解析度、由顯示裝置支持的文件格式、由顯示裝置支持的視頻數據編碼器/解碼器技術(所謂的「視頻編解碼器」)、由顯示裝置支持的音頻編解碼器、顯示裝置是否支持3D視頻數據重放，及關於顯示裝置的能力或額外方面的其它參數。 實施所述技術的此方面的裝置還可包括第三模塊，其基於所述所確定的顯示參數而製備視頻數據以產生用於在外部顯示裝置上重放的視頻數據；及無線模塊，其將3D視頻數據無線地發射到外部顯示裝置。值得注意的是，可由可攜式裝置實施所述技術的各種方面，所述可攜式裝置包括無線蜂窩式手持機(其常稱作蜂窩式或行動電話)。可實施所述技術的各種方面的其它可攜式裝置包括所謂的「智慧型電話」、極易可攜式計算裝置(稱作「迷你筆記型計算機」)、膝上型計算機、可攜式媒體播放器(PMP)，及個人數字助理(PDA)。還可由例如以下各者的大體上非可攜式的裝置實施所述技術桌上型計算機、機頂盒(STB)、工作站、視頻重放裝置(例如，數字視頻光碟或DVD播放器)、2D顯示裝置及3D顯示裝置。因此，雖然在本發明中關於移動或可攜式裝置來描述所述技術的各種方面，但可由能夠接收視頻數據並將視頻數據轉發到外部顯示裝置的任何計算裝置實施所述技術的各種方面。圖1為說明系統10的框圖，在系統10中，移動裝置12實施本發明的技術的各種方面以促成跨平臺視頻數據重放。如圖1的實例中所展示，系統10包括源裝置14及顯示裝置16，所述源裝置14與顯示裝置16兩者分別經由無線通信信道13及15與移動裝置12 通信。源裝置14可包括通用多媒體裝置，例如個人計算機、工作站、個人數字助理(PDA)、行動電話(包括所謂的「智慧型電話」)，或包含能夠執行軟體(且特定來說，多媒體軟體)的通用處理器的任一其它類型的裝置。源裝置14或者可包含專用多媒體裝置，例如視頻攝錄一體機、數字視頻光碟(DVD)播放器、電視機、機頂盒(STB)、壓縮光碟(⑶)播放器、數字媒體播放器(例如，所謂的「MP3」播放器或組合MP3/MP4播放器，以及播放其它格式的其它媒體播放器，包括高級音頻解碼(AAC)、WindoWS媒體視頻(WMV)及波形音頻視頻(WAV)格式)、 數字視頻記錄器(DVR)、全球定位系統(GPQ裝置，或專用於一組一個或一個以上多媒體應用且通常並不實現對多媒體軟體的加載及執行的用戶控制的任一其它裝置。顯示裝置16大體上表示能夠經由顯示器進行視頻重放的任一裝置。顯示裝置16 可包含電視機(TV)顯示器，其可取決於顯示裝置16支持2D視頻數據重放、3D視頻數據重放還是2D與3D視頻數據重放的組合而被稱作2D視頻顯示裝置、3D視頻顯示裝置或混合 2D/3D視頻顯示裝置。顯示裝置16或者可包含具有顯示器的任一其它裝置，例如膝上型計算機、個人媒體播放器(PMP)、桌上型計算機、工作站、PDA，及可攜式數字媒體播放器(例如，可攜式DVD播放器)。出於說明的目的，假定顯示裝置16表示與移動裝置12無線地通信的無線電視機。然而，本發明的技術不應限於無線電視機。源裝置14包括存儲模塊18，其存儲2D視頻內容20及3D視頻內容22中的一者或一者以上。存儲模塊18可包含存儲器(易失性或非易失性存儲器)，包括隨機存取存儲器(RAM)、靜態RAM (SRAM)、動態RAM (DRAM)、快閃記憶體、只讀存儲器(ROM)、可編程 ROM(PROM)、可擦除PROM(EPROM)，及電可擦除PROM(EEPROM)。存儲模塊18或者可包含存儲裝置，例如硬碟驅動器、光碟機、磁帶驅動器及磁碟驅動器。在一些例子中，存儲模塊18可包含一個或一個以上存儲器及一個或一個以上存儲裝置的組合。2D視頻內容20表示根據特定2D視頻數據文件格式而格式化的2D視頻數據。實例2D視頻數據文件格式可包括由動畫專家組(MPEG)4第14部分所定義的MP4文件格式。 MP4文件格式是通常用以存儲數字音頻及數字視頻串流的容器文件格式。其它容器文件格式包含MP4文件格式的簡化版本(稱作3GP)、高級系統格式(ASF)、高級視頻交錯(AVI)文件格式、DivX媒體格式(DMF)、增強型視頻對象(EVO)文件格式，及快閃視頻文件格式。在此方面或其它方面中，文件格式還可指代關於特定輸送及/或應用層協議(例如，實時輸送協議(RTP)及串流控制傳輸協議(SCTP))而使用的文件格式。3D視頻內容22表示根據特定3D視頻數據文件格式而格式化的經解碼的3D視頻數據。示範性3D視頻數據格式包含「2D+深度」(其通常稱作「2D+z」格式)、「2D+深度、遮蔽及全局效果」或多視圖2D串流文件格式。就此來說，視頻數據文件格式大體上指代封裝視頻數據的標準方式(不管視頻數據是否經編碼)。因此，視頻數據文件格式可定義大體上封裝視頻數據或其部分以促進視頻數據的存儲及/或發射的方式。可使用例如以下各者的多種編解碼器來編碼視頻數據MPEG-2或任一其它編解碼器，包括國際電信聯盟標準化部門(ITU-T)H. 264/MPEG-4第10部分高級視頻解碼(AVC)標準(在下文中稱作「H.沈4/ MPEG-4AVC」標準)中所定義的編解碼器。在一些例子中，還可使用稱作H.沈5(或，根據其名稱，稱作下一代視頻解碼(NGVC))的編解碼器來編碼視頻數據，所述編解碼器是由ITU-T 視頻解碼專家組(VCEG)開發。在本發明中使用術語「視頻內容」來指代根據特定視頻數據文件格式封裝的經解碼的視頻數據。雖然為了便於說明而在圖1中未展示，但源裝置14可包括額外模塊，例如用於俘獲2D視頻內容20及3D視頻內容22的視頻俘獲模塊。或者，源裝置14可充當用於存儲內容20、22的歸檔存儲單元或儲集器。在一些例子中，源裝置14可經由源裝置14內所包括的接口 M而無線地接收內容20、22。即，源裝置14包括藉以與外部裝置無線地通信的接口 24。在一些例子中，這些外部裝置可經由接口對與源裝置14介接以將內容20、22存儲到存儲模塊18。出於說明性目的，顯示裝置16 (如上文所註明，其可表示無線電視機顯示器)包括接口 26、文件格式模塊27、視頻解碼器觀及顯示器30。接口 26 (類似於接口 24)表示顯示裝置16外部的裝置可藉以與顯示裝置16通信的接口。在此實例中，假定接口對及沈中的每一者表示無線接口。文件格式模塊27表示實施上文所描述的文件格式中的一者或一者以上的硬體或硬體與軟體模塊的組合。通常，文件格式模塊27執行解封裝以移除封裝經解碼的視頻數據的文件格式標頭且藉以輸出經解碼的視頻數據。視頻解碼器觀可表示實施用於解碼經解碼的視頻數據的一個或一個以上視頻編解碼器的硬體或組合硬體與軟體模塊。值得注意的是，使用術語「編解碼器」，而不管視頻解碼器觀是否實施給定編解碼器的編碼(即，壓縮)與解碼(即，解壓縮)方面兩者。因此， 可將視頻解碼器觀解釋為通過僅實施編解碼器的解壓縮方面而實施此編解碼器。就此來說，視頻解碼器觀可實施編解碼器，而不管視頻解碼器觀是實施編解碼器的壓縮與解壓縮方面兩者還是僅實施編解碼器的解壓縮方面。雖然在圖1的實例中未展示，但顯示裝置16還可包括表示實施一個或一個以上音頻編解碼器的硬體或硬體與軟體的組合的其它模塊。在一些例子中，視頻模塊與音頻模塊可組合於同一模塊中，所述同一模塊通常稱作音頻/視頻(A/V)解碼器。顯示器30可包含任何類型的顯示器，包括有機發光二極體(OLED)顯示器、發光二極體(LED)顯示器、等離子顯示器，及陰極射線管(CRT)顯示器。在圖1的實例中，移動裝置12還包括一個或一個以上接口 32，其大體上類似於相應源裝置14及顯示裝置16的接口對及沈。移動裝置12還包括實施本發明中所描述的技術的一個或一個以上方面的控制單元34。控制單元34可包含一個或一個以上處理器(圖1 中未展示)，所述一個或一個以上處理器執行存儲到例如以下各者的計算機可讀存儲媒體 (在圖1中也未展示)的軟體指令(例如，用以定義軟體或電腦程式的軟體指令)存儲裝置(例如，磁碟驅動器或光碟機)或存儲器(例如，快閃記憶體、隨機存取存儲器，或RAM)， 或存儲指令(例如，呈電腦程式或其它可執行程序的形式)以使可編程處理器執行本發明中所描述的技術的任一其它類型的易失性或非易失性存儲器。或者，控制單元34可包含專用硬體，例如一個或一個以上集成電路、一個或一個以上專用集成電路(ASIC)、一個或一個以上專用特殊處理器(ASSP)、一個或一個以上現場可編程門陣列(FPGA)，或用於執行本發明中所描述的技術的專用硬體的上述實例的任一組合。控制單元34包括變換模塊36、參數發現模塊38及人類視覺系統(HW)反饋模塊 40 ( 「HVS反饋模塊40」)。根據本發明中所描述的技術的各種方面，變換模塊36表示將2D 視頻內容20與3D視頻內容22中的一者或兩者變換成可為顯示裝置16接受或與顯示裝置16兼容的視頻數據的一個或一個以上可配置硬體模塊或一個或一個以上硬體與軟體可配置模塊的組合。當所得的經變換的視頻數據是根據由視頻解碼器觀支持的視頻編解碼器來編碼且根據由文件格式模塊27支持的文件格式來格式化時，視頻數據可與顯示裝置 16 「兼容」。根據本發明中所描述的技術的一個或一個以上方面，參數發現模塊38表示與顯示裝置16介接以發現顯示裝置16的一個或一個以上參數42 (包括由顯示裝置16支持的一個或一個以上文件格式)的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些模塊可執行軟體。這些格式通常包含由顯示裝置16的文件格式模塊27支持的一個或一個以上文件格式。通常，格式42暗示由視頻解碼器觀支持的一個或一個以上類型的編解碼器且因此參數發現模塊38還可發現由視頻解碼器觀支持的特定編解碼器。除文件格式外，參數42可包括所支持的解析度、當前解析度、所支持的對比度、當前對比度、顯示器或屏幕大小、由顯示裝置16支持的音頻及視頻編解碼器、接口沈的列表、 當前清晰度、所支持的清晰度、所支持的色溫、當前色溫、所支持的亮度、當前亮度、所支持的顯示格式、當前顯示格式、所支持的色彩設定、當前色彩設定、所支持的輸入格式、顯示器類型、顯示器製造商、所支持的深度範圍、當前深度範圍、會聚平面的所支持的位置、會聚平面的當前位置、所支持的背景對象平滑度、當前背景對象平滑度、所支持的目距配置、當前目距配置、所支持的優勢眼配置、當前優勢眼配置、所支持的視圖數目、當前視圖數目、所支持的觀看距離、當前觀看距離、所支持的觀看角度、當前觀看角度、在屏幕內的3D視頻內容的所支持的顯示位置、及在屏幕內的3D視頻內容的當前位置，及與顯示裝置16及其能力有關的任何其它參數。在任一情況下，參數發現模塊38發現格式，所述格式可包括文件格式與解碼格式或技術(例如，所支持的編解碼器)兩者。舉例來說，發現稱作「2D+深度」的3D文件格式暗示視頻解碼器觀支持3D視頻編解碼器，所述3D視頻編解碼器能夠解碼根據(例如) MPEG-2標準解碼的「2D+深度」文件格式的經解碼的2D視頻數據部分，同時還解碼「2D+深度」文件格式的深度部分以再現3D視頻數據以用於經由顯示裝置30重放。HVS反饋模塊40表示分析關於由顯示裝置16進行的3D視頻數據的顯示的定性及定量度量的一個或一個以上硬體模塊或硬體與軟體模塊的組合。根據本發明中所描述的技術的各種方面，HVS反饋模塊40可分析定性及定量度量且接著重新配置變換模塊36以改善輸入視頻數據(例如，2D視頻內容20或3D視頻內容22)到遵照由參數發現模塊38發現的輸入格式的視頻數據的變換。HVS反饋模塊40可與顯示裝置16介接以檢索由顯示裝置16的視頻解碼器觀輸出的視頻數據44，HVS反饋模塊40接著分析所述視頻數據44以確定這些定性及定量度量。HVS反饋模塊40可經由變換模塊36的此重新配置而促成較佳質量的3D視頻數據重放。根據本發明中所描述的技術的一個方面，移動裝置12自動地確定3D顯示裝置的 3D輸入文件格式且將2D視頻內容20變換成3D視頻數據以便遵照所述3D輸入文件格式。 出於說明的目的，假定顯示裝置16包含能夠呈現2D視頻內容20與3D視頻內容22兩者的混合2D/3D無線電視機。移動裝置12的參數發現模塊38可經由無線通信信道15與顯示裝置16介接以詢問文件格式模塊27，以便確定由文件格式模塊27支持以接收3D視頻數據的至少一個輸入文件格式。如上文所描述，文件格式可包含一個或一個以上3D文件格式 (例如，「2D+深度」或多視圖2D串流格式)，以及由視頻解碼器觀實施以解碼3D視頻數據的一個或一個以上編解碼器(其可通過所確定的文件格式來暗示)。值得注意的是，顯示裝置16可實施第一文件格式，而圖1中未展示的其它顯示裝置可實施不同於所述第一文件格式的多個不同文件格式。所述多個不同文件格式可防止2D 視頻數據(但更特定來說，3D視頻數據)的跨平臺重放，這是因為3D視頻文件格式尚未得以標準化或大體上未在產業內採用。通過發現顯示文件格式且接著將任何輸入或源視頻數據變換成所發現的文件格式可克服當試圖在接受第二不同文件格式的顯示裝置上解碼並呈現以第一文件格式格式化的3D視頻數據時可能出現的跨平臺重放問題。最初，移動裝置12的用戶或其它操作者可與由用戶接口模塊(為便於說明，在圖 1中未展示)呈現的用戶接口介接，以選擇或以其它方式發現顯示裝置16。用戶接口可呈現位於移動裝置12的給定範圍內的或連接到移動裝置12同樣連接的網絡(例如，802. Ilx 無線網絡、超寬帶(UWB)網絡，及/或Bluetooth 網絡)的裝置的列表。操作者可與用戶接口介接以選擇裝置(例如，顯示裝置16)，此後用戶接口模塊向參數發現模塊38通知選定的顯示裝置16。雖然可以此方式發生手動選擇，但參數發現模塊38可自動地與列表中的每一裝置介接以發現用於列表上的每一裝置的參數(例如，文件形式)。用戶接口可接著呈現所述列表且接收來自操作者或其它用戶的選擇所述裝置中的一者的輸入。換句話說，參數發現模塊38可響應於用戶選擇移動裝置12可介接的裝置的列表上的給定裝置或並不等待此選擇而自動地發現參數(包括格式)。在無任何其它用戶輸入的情況下發生發現的意義上，發現可為「自動的」。參數發現模塊38可與顯示裝置16介接，(例如)詢問文件格式模塊27 且接收由顯示裝置16支持的格式作為參數42中的一者，而無需任何用戶輸入。參數發現模塊38經由接口 32中的一個適當接口與顯示裝置16介接，所述適當接口經由通信信道15耦合到顯示裝置16的接口 26。參數發現模塊38可實施藉以與文件格式模塊27通信的詢問協議。舉例來說，參數發現模塊38可實施顯示接口協議或標準(例如， 高清多媒體接口(HDMI)協議或無線HDMI (WHDMI)協議)的各種方面，所述顯示接口協議或標準提供藉以確定各種參數的通信信道，所述各種參數可特徵化為顯示裝置16的能力及特性。雖然尚未闡述定義WHDMI的特定標準，但期望HDMI的有線版本，如日期為2006年11 月10日的題目為「高清多媒體接口規範1. 3A版(High-Definition Multimedia Interface Specification Version 1. 3A) 」的規範(所述規範藉此以全文引用的方式併入本文中)中所闡述，存在藉以詢問或以其它方式確定顯示裝置16的參數42 (包括所支持的文件格式) 的顯示數據信道(DDC)。雖然在本發明中關於HDMI及WHDMI來描述所述技術，但所述技術可根據開放標準 (例如，非專屬標準)以及並非受具體支持或尚未併入到任一標準中的其它規範(專屬的或開放的)來實施。舉例來說，參數發現模塊38可實施移動顯示數字接口(MDDI)，其為在由視頻電子標準協會支持的開放標準中定義的接口。或者，或結合MDDI，參數發現模塊38可實施MDDI的無線擴展(稱作無線MDDI (WMDDI))。此外，所述技術可關於移動產業處理器接口(MIPI)來實施。就此來說，所述技術因此不應限於任一個標準接口(例如，HDMI)，而是可關於...來實施。在以此方式發現格式42之後，參數發現模塊38接著與變換模塊36介接以配置變換模塊36，如上文所描述，變換模塊36表示將2D視頻數據與3D視頻數據兩者轉換成遵照所確定的輸入格式42的3D視頻數據的一個或一個以上模塊。參數發現模塊38可確定配置數據且將此配置數據加載到變換模塊36中以便配置變換模塊36，以將視頻內容(例如， 2D視頻內容20)變換成根據輸入格式42格式化的3D視頻內容。上文所描述但為便於說明而在圖1中未展示的用戶接口還可呈現另一裝置列表(其可稱作「源列表」)以區分此列表與顯示器列表(其可特徵化為「目的地列表」)，所述 「源列表」包括視頻內容的源。移動裝置12可經由接口 32發現這些裝置，類似於發現目的地列表的裝置。作為一個實例，移動裝置12經由接口 32及通信信道13發現源裝置14，其中用戶接口呈現包括源裝置14的源列表。假定操作者選擇源裝置14，則控制單元34可指示接口 32與源裝置14介接以確定存儲到源裝置14的存儲模塊18的內容20及22。控制單元34的用戶接口可接著呈現代表所確定的2D視頻內容20及3D視頻內容22的文件名、 圖像或其它數據。操作者可選擇2D視頻內容20或3D視頻內容22以用於顯示於選定的目的地裝置(例如，顯示裝置16)上。假定操作者選擇2D視頻內容20以用於以3D顯示於選定的顯示裝置16上，則變換模塊36開始接收2D視頻內容20，所述2D視頻內容20可以上文所描述的2D文件格式中的一者來格式化且根據第一編解碼器來解碼。經配置的變換模塊36可動態地(可能實時地或近實時地)將2D視頻內容20(其包含經格式化的文件及經解碼的視頻數據)轉換成以遵照自動確定的輸入格式42的文件格式解碼並格式化的3D視頻數據。變換模塊36接著經由通信信道15及接口 32 J6將以遵照自動確定的輸入格式42的文件格式解碼並格式化的動態產生的3D視頻數據(在圖1中展示為3D視頻內容48)轉發到顯示裝置16。顯示裝置16的文件格式模塊27接收3D視頻內容48，其包含根據由視頻解碼器 28支持的編解碼器解碼且接著根據由文件格式模塊27支持的3D文件格式而格式化的3D 視頻數據。文件格式模塊27 (歸因於兼容文件格式化)解封裝3D視頻內容48以產生經解碼的3D視頻數據50。視頻解碼器觀接著使用適當編解碼器解碼經解碼的3D視頻數據50 以產生3D視頻數據44，顯示器30呈現所述3D視頻數據44以供觀看者(例如，移動裝置 12的操作者)消耗。以此方式，所述技術的此方面通過以下操作來促進跨平臺3D視頻重放動態地配置變換模塊36以從2D視頻內容20產生3D視頻數據以使得所述3D視頻數據遵照由顯示裝置16支持的格式42。通常，此2D視頻內容20可限於2D平臺且雖然可假定混合2D/3D 顯示裝置16可利用混合2D/3D平臺的2D部分來呈現2D視頻內容20，但在無根據本發明中所描述的技術執行的移動裝置12的介入或中間變換能力的情況下，觀看者將被拒絕3D觀看體驗。就此來說，本發明的技術使移動裝置12能夠通過促進2D視頻內容20在3D視頻重放平臺上重放來促成跨平臺視頻重放。當變換模塊36變換2D視頻內容20以產生呈由顯示裝置16支持的格式的3D視頻數據(在圖1中展示為3D視頻內容48)且將所變換的3D視頻內容48轉發到顯示裝置 16時，HVS反饋模塊40可使用HVS模型確定一個或一個以上度量，所述一個或一個以上度量關於人類視覺系統反映所產生的3D視頻內容48的3D可視化的質量。更特定來說，在一些實例中，HVS反饋模塊40與顯示裝置16介接以確定3D視頻數據44，且使用所述HVS模型分析3D視頻數據44以確定所述一個或一個以上度量。所述一個或一個以上度量可包含通過3D視頻數據44描繪的一個或一個以上對象中的每一者的大小及/或深度度量(其中，在一些例子中，深度度量可隨時間而變來表達)、 通過3D視頻數據44描繪的一個或一個以上陰影中的每一者的陰影度量、背景對比度度量、 清晰度度量、空間頻率度量以及廣泛各種其它度量，所述度量中的每一者更詳細描述於下文中。另外，HVS反饋模塊40可與參數發現模塊38介接以接收由參數發現模塊38確定的一個或一個以上參數，例如所支持的解析度、當前解析度、所支持的對比度、當前對比度、顯示器或屏幕大小、文件格式或與顯示裝置16及其能力有關的任何其它參數。HVS反饋模塊 40可使變換模塊38的重新配置至少部分地基於這些參數42。HVS反饋模塊40還可存儲定義例如以下各者的一個或一個以上用戶偏好的用戶偏好數據所要的清晰度、所要的對比度、所要的顯示格式、所要的色溫、所要的色彩設定、 所要的亮度、所要的最大深度範圍、會聚平面的所要的位置、所要的背景對象平滑度、所要的目距配置、所要的優勢眼配置、所要的視圖數目、所要的觀看距離、所要的觀看角度、在屏幕內的3D視頻內容的所要的顯示位置及解析度，或與由顯示裝置(例如，顯示裝置16)進行的2D或3D視覺顯示有關的任一其它偏好。此外，HVS反饋模塊40還可至少部分基於這些用戶偏好而重新配置變換模塊38。S卩，HVS反饋模塊40可包含HVS模型，所述HVS模型是根據用戶偏好數據而配置以便產生用以至少部分基於這些用戶偏好而重新配置變換模塊38的配置數據。以此方式，當變換模塊36當前正變換2D視頻內容20 (或，在替代例子中，3D視頻內容22)時，HVS反饋模塊40與變換模塊36介接，以至少基於經由3D視頻數據44的分析而確定的度量來重新配置變換模塊36，以精細化3D視頻內容48的產生。就此來說，HVS反饋模塊40可動態地重新配置變換模塊36以自動地精細化(且很可能改善)3D視頻內容48 的所感知的視覺質量。如果此精細化除基於從3D視頻數據44確定的度量外還基於用戶偏好數據，則HVS反饋模塊40可針對特定用戶或逐個用戶地自動地重新配置變換模塊36以精細化3D視頻內容48的所感知的質量。因此，所述技術可不僅促進跨平臺視頻重放，而且促成跨平臺視頻重放所需的任何變換的動態精細化，以潛在地逐個用戶地改善觀看體驗。在一些例子中，移動裝置12經由無線通信媒體與顯示裝置16介接。給定顯示裝置16表示混合2D/3D無線顯示裝置的上述假定，則移動裝置12與顯示裝置16無線地介接。 當與顯示裝置16無線地介接時，參數發現模塊38可特徵化為確定顯示裝置16的一個或一個以上顯示參數42的無線顯示器(WD)主機。參數發現模塊38接著以一方式配置變換模塊36以使得變換模塊36基於顯示參數而製備視頻數據以便產生3D視頻內容48。此製備可涉及根據輸送協議格式化(或更具體來說，封裝)3D視頻數據。所述輸送協議定義視頻數據區段、音頻數據區段及深度數據區段中的每一者在多個包中的一不同者中的封裝。在一些例子中，可依序地將視頻、音頻及深度數據存儲於單一包內。輸送協議模塊將用於增強3D視頻內容的重放的元數據添加於所述多個包中的一者的標頭中的任選數據欄位內。此元數據可提供促進在具有特定能力的裝置上重放的提示或其它指示。元數據還可定義用於產生或以其它方式變換3D視頻數據以實現在具有特定能力或參數的不同 2D或3D顯示裝置上重放的技巧或規範。執行此製備的輸送協議單元可包含實時輸送協議(RTP)單元，實時輸送協議 (RTP)單元包含硬體或硬體與軟體的組合，其為應用層(且還稱為「層7」或「L7」)協議單元。術語「層」指代開放系統互連參考模型(「0SI模型」)內的層。通常，將輸送協議視為屬於OSI模型的輸送層(其還稱作「層4」或「L4」)內。RTP依賴於稱作通用數據報協議 (UDP)的輸送層協議來使用應用層功能性提供增強的輸送協議。在此意義上，雖然事實為 RTP駐留於應用層而非輸送層，但可將RTP視為輸送協議。術語「輸送協議」因此不應限於輸送層協議，而是可包括OSI模型中提供輸送層功能性的任一層的任一協議。
在以上文所描述的方式製備3D視頻內容48之後，變換模塊36將內容轉發到接口 32中的一個無線接口，所述無線接口將包發射到顯示裝置16。顯示裝置16接收包，解格式化所述包以解封裝經編碼的音頻、經編碼的視頻及深度數據以及元數據，根據元數據解碼經編碼的音頻及經編碼的視頻數據以產生音頻及增強的視頻數據，且經由音頻重放模塊 (圖1中未展示)及顯示器30呈現音頻及增強的視頻數據以供觀看者消耗。視頻數據得以 「增強」，這是因為元數據可改善得益於元數據而解碼的所得視頻數據的解碼及重放。就此來說，所述技術的各種方面促成內聚跨平臺視頻重放系統。在一個方面中，以上文所描述的方式發現文件格式且使用所述文件格式來配置變換模塊36以改善跨平臺的重放。在另一方面中，所述技術經由使用HVS模型所確定的動態反饋來促進重放的質量，以便在變換期間精細化3D視頻重放的質量。在又一方面中，自動地確定參數且使用所述參數來製備用於由3D顯示裝置重放的3D視頻數據的遞送。此製備可涉及將元數據嵌入到用於將3D視頻內容無線地發射到顯示裝置的包中，其中此元數據可定義促進3D視頻內容的解碼及進一步變換的參數。在一些方面中，可嵌入此元數據以使得其對於並不支持3D視頻重放的顯示器(例如，僅2D顯示裝置)來說為透明的。雖然展示為單獨的裝置，但源裝置12及移動裝置16可包含併入有源裝置12的功能性及移動裝置16的功能性的單一裝置。在一些例子中，移動裝置12可併入有源裝置14 的功能性。就此來說，所述技術不應限於圖1中所展示的實例。此外，雖然上文關於移動裝置12來描述所述技術，但可由能夠進行與本發明中所描述的技術一致的視頻變換的任一裝置實施所述技術。這些裝置在本文中大體上可稱作 「視頻處理裝置」。此外，就此來說，所述技術不應限於圖1中所展示的實例。圖2為更詳細地說明圖1的移動裝置12的實例的框圖。在圖2的實例中，移動裝置12包括多個接口 32，例如無線接口 32A及有線接口 32B。無線接口 32A可包含以下接口中的一者或一者以上無線網際網路接口(例如，通過IEEE 802. Ilx標準套件定義的接口)、 Bluetooth 無線接口、無線HDMI接口、紅外線無線接口，或可藉以發生無線通信的任一其它接口。有線接口 32B可包括以下接口中的一者或一者以上通用串行總線(USB)接口、微型USB接口、HDMI接口、複合電纜接口、同軸電纜接口、視頻圖形陣列接口，或可藉以發生有線通信的任一其它接口。移動裝置12還包括視頻俘獲裝置50、本地存儲模塊52及內部顯示器M。視頻俘獲裝置50表示實施用於記錄3D視頻數據的眼鏡式立體3D視頻相機或用於記錄2D視頻數據的2D視頻相機的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。本地存儲模塊52表示用於在本地存儲數據(包括2D視頻數據及3D 視頻數據，或如果經解碼及格式化，則包括經解碼及格式化的內容)的硬體或硬體與軟體模塊的組合。本地存儲模塊52可包含靜態或動態存儲器及/或存儲裝置，例如上文關於控制單元34所列出的存儲器及/或存儲裝置中的任一者。內部顯示器M表示呈現視頻數據及圖像數據以供內部顯示器討的觀看者消耗的硬體或硬體與軟體模塊的組合。內部顯示器M可包含上文關於顯示裝置16的顯示器30所註明的顯示器中的任一者。視頻俘獲裝置50、本地存儲模塊52及內部顯示器M中的每一者耦合到控制單元 34，控制單元34已在圖2中加以進一步詳細說明。在圖2的實例中，控制單元34包含變換模塊36、參數發現模塊38及HVS反饋模塊40，其與關於圖1所展示者相同。然而，這些模塊36到40在圖2的實例中被進一步詳細展示為包括若干子模塊及數據。舉例來說，變換模塊36包括預處理模塊56、2D到3D處理模塊58、後處理模塊60、再現模塊62及顯示格式模塊64。雖然關於圖3更詳細描述這些模塊中的每一者，但簡要來說，預處理模塊56表示執行預處理以確定用於執行從一個平臺到另一平臺的視頻數據轉換的信息的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。2D到3D處理模塊58表示用於(如名稱表明)基於由預處理模塊56確定的信息執行2D視頻數據到3D 視頻數據的轉換的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體，其中此信息可稱作「預處理信息」。後處理模塊60表示修改或以其它方式調整所產生的3D視頻數據(例如，深度圖)以精細化3D視頻重放的質量的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。再現模塊62表示模型化3D場景、產生額外視圖且以其它方式進一步精細化3D視頻重放的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。顯示格式模塊 64表示根據給定文件格式將所產生且隨後精細化的3D視頻數據格式化的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。作為另一實例，HVS反饋模塊40可包括定性評估模塊66及定量評估模塊68。定性評估模塊66表示對由移動裝置12外部的顯示裝置(例如，外部顯示裝置16的視頻解碼器28)解碼的3D視頻數據44執行定性分析以確定度量70中的一者或一者以上的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體，所述度量70關於人類視覺系統部分地定義3D視頻數據44的3D可視化的質量的所感知的質量。 定量評估模塊68對由變換模塊36的各種子模塊(例如，後處理模塊60、再現模塊62及顯示格式模塊64)產生的3D視頻數據執行定量分析。此分析可導致確定度量70中的額外度量。這些度量70可接著形成用於後續修改或重新配置形成變換模塊36的模塊56到64中的一者或一者以上以精細化由變換模塊36產生的3D視頻內容48的基礎。此精細化可依據定性度量70與定量度量70兩者引起3D視頻數據44的改善的重放。控制單元34還包括先前關於圖1的實例未展示的兩個額外模塊離線處理模塊 72及用戶接口模塊74。離線處理模塊72表示大體上關於屬性(例如，照明類型及照明方向、對象反射率、紋理效果及氛圍效果)執行圖像(或視頻幀)的描述符的統計分析及模型化的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。這些描述符可包含遵照定義用於多媒體內容描述符的標準的MPEG-7標準(有時稱作多媒體內容描述接口)的描述符。在任何情況下，描述符大體上可表示定義通過視頻數據描繪的視覺特徵的描述的數據。通常，描述符描述這些視覺特徵的基本特性，例如與這些特徵相關聯的形狀、色彩、紋理或運動。用戶接口模塊74表示呈現用戶接口的一個或一個以上硬體模塊或硬體與軟體模塊的組合，移動裝置12的操作者與所述用戶接口互動以輸入並接收來自移動裝置12的數據。通常，用戶接口模塊74將圖形用戶接口(⑶I)呈現給內部顯示器M，內部顯示器M可將⑶I提供給用戶。在一些例子中，內部顯示器M可包含所謂的「觸控式屏幕」，用戶可通過所述「觸控式屏幕」與內部顯示器M互動以輸入定義由GUI呈現的各種項目的選擇的數據。在此意義上，與內部顯示器M在圖2的實例中與用戶接口模塊74分離的示範性描繪相反，可將內部顯示器M視為用戶接口模塊74的一部分。最初，移動裝置12的操作者可與由用戶接口模塊74呈現的用戶接口介接，以選擇一個或一個以上源，所述一個或一個以上源包括操作者希望經由一個或一個以上目的地顯示器顯示的視頻內容。這些源可包括視頻俘獲裝置50及本地存儲模塊52，以及經由無線接口 32A及有線接口 32B( 「接口 32」)以通信方式耦合到移動裝置12的源裝置，例如圖1 的實例中所展示的源裝置14，其經由無線通信信道13以通信方式耦合到接口 32。目的地顯示器可包含內部顯示器M及以通信方式耦合到接口 32的一個或一個以上目的地顯示裝置，例如圖1的實例中所展示的目的地顯示裝置16，其經由無線通信信道15以通信方式耦合到接口 32。在選擇一個或一個以上源之後，操作者還可與此用戶接口或由用戶接口模塊74 呈現的另一用戶接口介接，以選擇由選定源存儲的特定內容。舉例來說，操作者可選擇源裝置12作為視頻內容的源。響應於此，用戶接口模塊74可與源裝置12介接以確定由源裝置 14存儲於存儲模塊18內的內容20及22。用戶接口模塊74可接著更新當前用戶接口或呈現藉以顯示可用於由目的地重放的內容20、22的另一用戶接口。操作者可與所呈現的用戶接口互動以選擇2D視頻內容20及3D視頻內容22中的一者或一者以上。出於說明的目的， 假定操作者選擇2D視頻內容20。在選擇2D視頻內容20之後，操作者可與當前用戶接口、先前用戶接口或另一用戶接口介接，以選擇一個或一個以上目的地。此外，出於說明的目的，假定操作者與此目的地用戶接口互動以輸入選擇顯示裝置16的數據。在選擇顯示裝置16作為由源裝置14存儲到存儲模塊18的選定的2D視頻內容20的目的地後，用戶接口模塊74即刻接收指示所述選擇的此數據，且指示適當接口 32開始接收選定的2D視頻內容20並傳送經由由變換模塊 36進行的2D視頻內容20的變換而產生的3D視頻內容48。用戶接口模塊74還可與參數發現模塊38介接以向參數發現模塊38指示選定的目的地，以使得參數發現模塊38可根據本發明中所描述的技術與適當目的地介接以確定參數76。移動裝置12的操作者還可與先前用戶接口、當前用戶接口或可能的由用戶接口模塊74呈現的不同用戶接口介接，以輸入指定一個或一個以上用戶偏好78( 「用戶偏好 78，，)的數據。用戶偏好78可包括優勢眼偏好、對比度偏好、清晰度偏好、色調偏好、色溫偏好，或與視頻數據的顯示有關的任何其它偏好。用戶偏好78還可包括音頻偏好(例如，環繞聲偏好及音量偏好)，且所述技術不應限於僅視頻用戶偏好。用戶接口模塊74將這些用戶偏好78轉發到HVS反饋模塊40，所述HVS反饋模塊40可根據本發明中所描述的技術在配置或重新配置變換模塊36時使用這些偏好78。在任何情況下，在選擇源裝置12及目的地顯示裝置16及潛在的存儲到源裝置12 的內容20及22中的一者或一者以上之後，參數發現模塊38可與選定的目的地(例如，顯示裝置16)介接以確定參數76。參數發現模塊76可(例如)經由遵照所註明的HDMI標準的有線接口 32與顯示裝置16介接。使用HDMI標準的各種方面，參數發現模塊76可確定參數76，例如由文件格式模塊27支持以用於接收3D視頻內容的輸入文件格式。其它參數 76包括上文所註明的與顯示器30的各種能力或參數有關的參數，例如所支持的解析度、當前解析度、顯示大小、所支持的色溫、當前色溫，或與顯示器30及視頻解碼有關的任何其它參數(包括由視頻解碼器觀支持的編解碼器)。
如下文更詳細描述，參數發現模塊38還可被特徵化為無線顯示器(WD)主機，其代管藉以無線地發現這些參數的會話。通常，當實施這些無線顯示器主機技術時，參數發現模塊38實施稱作「無線HDMI，，或「WHDMI，，的形式的HDMI。在發現參數76之後，參數發現模塊38可與變換模塊36的顯示格式模塊64介接以配置顯示格式模塊64，以便根據由選定的目的地顯示裝置16的文件格式模塊27支持的文件格式適當地格式化3D視頻數據。參數發現模塊38可自動地執行參數76 (其包括輸入文件格式)的發現與顯示格式模塊64的配置兩者。如上文所註明，術語「自動地」的使用通常表明執行表示為自動地發生的那些動作無需操作者介入。然而，此術語的使用並不意味著暗示起始所註明的自動操作可不需要操作者或用戶輸入。為了說明，考慮其中操作者與各種用戶接口互動以選擇源、內容及裝置的上述實例。與用戶接口的互動並不減損確定參數76及顯示格式模塊64的自動性。因為在上述實例中不需要用戶提供指定參數發現模塊38確定這些參數76且接著配置顯示格式模塊64的任何輸入或數據，所以操作者可能不知曉這些自動操作。就此來說，從操作者的觀點來說，因為操作者未主動地指示執行這些操作，所以可將自動操作解釋為顯而易見地發生。參數發現模塊38可經由應用程式編程接口(API)調用來配置顯示格式模塊64，參數發現模塊38可通過所述應用程式編程接口(API)調用來指定顯示裝置16的所確定的輸入文件格式。在接收2D視頻內容20之前，HVS反饋模塊40還可與預處理模塊56、2D到3D 處理模塊58、後處理模塊60、再現模塊62及顯示格式模塊64介接，以基於用戶偏好78而配置這些模塊56到64。舉例來說，用戶偏好78中的一者可定義優選清晰度，HVS反饋模塊 40可在配置2D到3D處理模塊58時利用所述優選清晰度。HVS反饋模塊40可利用優選清晰度作為2D到3D處理模塊58計算在清晰圖像不連續性下的深度值的準確度的指示。在另一實例中，用戶偏好78中的一者可定義會聚平面的優選位置或優選深度範圍，HVS反饋模塊40可在配置再現模塊62時利用會聚平面的所述優選位置或所述優選深度範圍。HVS 反饋模塊40可利用優選會聚平面位置或深度範圍來調整模塊62的再現參數。在任何情況下，參數發現模塊38與HVS反饋模塊40兩者可配置變換模塊36的模塊56到64中的一者或一者以上。變換模塊36 —旦經配置便可接收2D視頻內容20，2D 視頻內容20可包含單視圖或多視圖2D視頻數據。單視圖2D視頻數據可包含來自單一視頻俘獲裝置的單視圖拍攝。多視圖2D視頻數據可包含來自多個視頻俘獲裝置的多視圖拍攝。通常，多視圖2D視頻數據實現所述多個視圖中的任一者的重放且觀看者通常可在重放期間在所述多個視圖之間切換，然而，2D顯示裝置通常並不將所述多個視圖中的兩者或兩者以上彼此同時地呈現。預處理模塊56通常接收2D視頻內容20。離線處理模塊72並不接收2D視頻內容，而是以下文關於圖3所描述的方式來支持預處理模塊56。簡要來說，離線處理模塊72 通常實施如上文所註明的藉以執行統計分析及模型化以產生用於供預處理模塊56使用的模型的各種算法。預處理模塊56接收2D視頻內容20且確定關於形成2D視頻內容20的各種圖像或幀的全局信息。此全局信息可與2D視頻內容20的單一圖像或幀或若干圖像或幀有關。 舉例來說，全局信息可定義氛圍效果(例如，指示雨、雪、風等的存在的信息)。預處理模塊56還可確定2D視頻內容的給定圖像或幀的局部信息。用以確定所述局部信息的此局部處理可涉及確定與以下各者有關的信息邊緣的位置及強度、邊緣的分類、對象的分段、照明屬性的檢測，及感興趣的區域的檢測。在預處理並確定全局及局部信息之後，預處理模塊56 將2D視頻內容20以及全局及局部信息轉發到2D到3D處理模塊58。2D到3D處理模塊58處理所接收的2D視頻內容20以提取深度信息。2D到3D處理模塊58可基於由預處理模塊56確定的全局及局域信息而提取深度信息。舉例來說，2D 到3D處理模塊58可從幾何線性信息(例如，通過預處理模塊56所確定的信息而定義的邊緣信息)提取深度信息。2D到3D處理模塊58可實施若干深度提取算法以(例如)從以下各者提取深度信息或值幾何結構及運動、聚焦/散焦、著色及陰影，及上文所註明的幾何線性信息。2D到3D處理模塊58可合併經由這些算法中的一者或一者以上所提取的深度以產生深度圖。所述深度圖可將深度值指派給2D視頻內容20的每一圖像或幀的每一像素， 藉以產生3D視頻數據，2D到3D處理模塊58將所述3D視頻數據轉發到後處理模塊60。後處理模塊60接收由2D到3D處理模塊58產生的此3D視頻數據且修改所述3D 視頻數據以精細化深度圖。舉例來說，後處理模塊60可修改深度圖，以改善所得的經變換的3D視頻內容48在經由顯示裝置16顯示時的可視化的質量。此修改可涉及全局地使深度圖平滑或選擇性地修改對應於深度圖的幀中的感興趣的特定區域的深度信息。在以此方式精細化深度圖之後，後處理模塊60將經精細化的3D視頻數據轉發到再現模塊62。再現模塊62接收經精細化的3D視頻數據且針對需要一個或一個以上視圖的情形 (例如在顯示裝置16的所確定的輸入格式為多視圖串流格式時或顯示裝置16以其它方式支持多個「2D+深度(ζ) 」視圖時的狀況)而模型化3D場景。在此視圖再現之後，再現模塊 62將潛在的多視圖3D視頻數據轉發到顯示格式模塊64，顯示格式模塊64進行根據由顯示裝置16支持的經配置的輸入文件格式而格式化多視圖3D視頻數據以產生經變換的3D視頻內容48。顯示格式模塊64接著將經變換的3D視頻內容48轉發到顯示裝置16以用於呈現給觀看者。當以上文所描述的方式變換2D視頻內容20時，HVS反饋模塊40與顯示裝置16介接以檢索由顯示裝置16的視頻解碼器觀輸出的3D視頻數據44。HVS反饋模塊40接著執行經解碼的3D視頻數據44的定性及定量評估。更具體來說，定性評估模塊66執行與經解碼的3D視頻數據44的可視化質量有關的定性評估，以確定度量70 (可稱作「定性度量70」) 中的一者或一者以上。此可視化質量還可包括給定觀看者在觀看3D視頻數據44時的舒適度(如通過用戶偏好78定義)。為了說明，考慮右眼優勢觀看者在觀看3D視頻數據44時喜歡用其右眼。在此狀況下，定性評估模塊66可分析3D視頻數據44以確保右眼串流比左眼串流有利。即，如果觀看者為右眼優勢，則定性評估模塊66可在確定給定幀或圖片群組的總度量時將右眼串流度量高於左眼串流度量而加權。定量評估模塊68可執行3D視頻數據44的定量分析以確定度量78 (其可稱作「定量度量78」)中的一者或一者以上。舉例來說，定量評估模塊68可評估由後處理模塊60、 再現模塊62及顯示格式模塊64中的一者或一者以上產生的3D視頻數據的一個或一個以上幀中的對象的深度與大小之間的關係。定量度量78可包括對象的深度與大小之間的此關係作為一個度量。其它定量度量78可包括與基於深度圖像的再現有關的度量，例如，過濾功效度量、可見不連續性度量及內插功效度量。定量度量78還可包括在深度的正規化中有用的度量。定量度量78因此可包括與以下各者有關的至少一個度量通過3D視頻數據定義的對象的深度與大小之間的關係、3D視頻數據的深度不連續性與平均區域色彩不連續性之間的關係、過濾功效度量、內插功效度量、在深度的正規化中有用的度量，及與測量沿著時間的深度不連續性有關的度量。定量評估模塊68可進一步測量由模塊60到64產生的視頻數據的沿著時間的深度不連續性，且執行大量其它形式的定量分析。使用定性評估模塊66及/或定量評估模塊68，HVS反饋模塊40可執行大量的分析。如上文部分註明，此分析可涉及測量及調整由模塊56到64中的一者或一者以上產生或從顯示裝置16接收作為3D視頻數據44的3D視頻數據的給定幀或圖像中的任一對象的深度與大小之間的關係。所述分析還可涉及測量沿著時間的深度不連續性、陰影或著色效果、背景對比度及空間頻率。基於這些度量，HVS反饋模塊40可接著基於度量70而確定配置數據80且與變換模塊36的模塊56到64中的一者或一者以上介接，以重新配置這些模塊56到64以便精細化經變換的3D視頻內容48的所感知的視覺質量。除基於度量70而確定配置數據80外， HVS反饋模塊40還可基於參數發現模塊38可轉發到HVS反饋模塊40的參數76而確定配置數據80。此外，HVS反饋模塊40可確定或以其它方式定製配置數據80以適應用戶偏好 78。因此可根據廣泛多種度量、參數及偏好來確定配置數據80。作為一個實例，HVS反饋模塊80可定製配置數據80以修正缺乏眼追蹤功能性的顯示裝置的聚焦線索。聚焦線索包含針對不同焦距描述跨越給定幀的圖像的明確度的數據。 在此實例中，參數76可指示顯示裝置16缺乏眼追蹤功能性。在此情形下，為了修正聚焦線索(其可包含HVS藉以解譯聚焦的在3D視頻內容48中的線索)，HVS反饋模塊40可確定用於2D到3D處理模塊58及/或再現模塊62的配置數據80，以便約束由2D到3D處理模塊58執行的深度提取及/或約束由再現模塊62進行的多視圖再現的深度解譯。HVS反饋模塊40可基於指示顯示裝置16的顯示器30的大小的參數76而產生此配置數據80，這是因為聚焦可取決於視場及標準觀看距離，視場與標準觀看距離兩者可從顯示器的大小來導出。聚焦還可取決於眼間隔(其通常經定義為左眼與右眼之間的距離) 且用戶偏好78可存儲標準眼間隔偏好。HVS反饋模塊80因此可存取用戶偏好78與參數 76兩者以產生配置數據80，以便修正不具有藉以提供上述反饋(例如，實際觀看距離、實際眼位置，及實際眼間隔)的眼追蹤機構的顯示裝置30中的聚焦誤用線索。如果可經由顯示裝置16利用眼追蹤，則HVS反饋模塊40可經由HVS反饋模塊40 藉以接收3D視頻內容44的同一接口接收此反饋。此機構可為耦合到顯示裝置16的外部裝置。或者，此眼追蹤機構可整合於顯示裝置16內。名稱「眼追蹤」在一些實例中可為誤稱，這是因為所述機構無需追蹤眼移動但可更大體上追蹤每一用戶的位置，在所述狀況下， 可導出觀看距離及眼位置。在一些例子中，HVS反饋模塊40可產生配置數據80，以按不同方式修正眼鏡式立體顯示器及裸眼式立體顯示器的聚焦線索。顯示裝置16為眼鏡式立體顯示裝置(需要例如快門式眼鏡等額外觀看設備來適當地呈現3D視頻數據的顯示裝置)還是裸眼式立體顯示裝置(不需要額外觀看設備來適當地呈現3D視頻數據的顯示裝置)可由參數發現模塊 38來確定且作為參數38中的一者來存儲。考慮稱作「體積型顯示器」的特定類型的裸眼式立體顯示器(其再次可經由參數38中的一者來指示)。體積型顯示器可能不能夠呈現用於多個同時視點(其中每一視點用於一不同觀看者)的真實光場。因此，這些體積型顯示器在用作裸眼式立體顯示器時通常無法正確地呈現視圖相依的照明(例如，遮蔽、單向反射及反射)。HVS反饋模塊40可配置變換模塊36的各種模塊56到64以校正觀看位置，以便改善體積型顯示器的立體感知。眼鏡式立體顯示器與裸眼式立體顯示器之間的其它差異可擔保不同配置且HVS 反饋模塊40可基於這些參數78而定製配置數據80。舉例來說，在裸眼式立體顯示器與眼鏡式立體顯示器之間通常存在深度感知與深度性能之間的差異。HVS反饋模塊40可基於這些裝置能力或參數差異而以不同方式定製配置數據80。如上文所註明，HVS反饋模塊40可基於顯示裝置18的不同形狀因數(且更特定來說，顯示器30的大小)而定製配置數據80以約束聚焦線索。內部顯示器M通常具有遠小於外部顯示裝置16的顯示器30的形狀因數的形狀因數，且這些不同形狀因數可暗示建置及顯示立體圖像的方式的差異。此外，形狀因數可指示觀看觀眾量的潛在的大小，其中較小形狀因數可表明單一觀看者，而較大顯示器可表明多個觀看者。HVS反饋模塊40可產生配置數據80以便考慮這些不同形狀因數。具體來說，在一個實例中，HVS反饋模塊40可充分利用HVS的已知方面來基於形狀因數產生配置數據80。在一個方面中，通過人眼的空間及聚焦解析度來規定最佳立體像素分布。給定人眼的此已知限制，則HVS反饋模塊40基於顯示器的類型(眼鏡式立體或裸眼式立體，包括此兩種類型的3D顯示技術的不同子類別)及顯示器的大小而確定特定空間及聚焦解析度。HVS反饋模塊40可接著產生用於2D到3D處理模塊56的配置數據80以修改深度處理。HVS反饋模塊40還可基於關於顯示裝置16的觀看者的特定視軸線或觀看角度而精細化或潛在地最優化如通過度量70中的一者指示的空間頻率。此視軸線或觀看角度可通過3D視覺數據44來提供，或參數發現模塊38可與顯示裝置16介接以發現作為參數76 中的一者的此視軸線或觀看角度(因為其與整合於顯示裝置16內的眼或觀看者追蹤設備有關)。HVS反饋模塊40還可利用指定當前顯示解析度的參數76中的一者或一者以上，這是因為此顯示解析度可影響聚焦線索。HVS反饋模塊40可接著基於這些參數76而產生配置數據80。在另一實例中，HVS反饋模塊40可產生配置數據80以精細化或潛在地最優化基於深度圖像的再現(DIBR)。HVS反饋模塊40可分析3D視頻數據44及由後處理模塊60、 再現模塊62及顯示格式模塊64產生的3D視頻數據以精細化DIBR的各種方面。在一個例子中，HVS反饋模塊40分析此視頻數據44或由模塊60到64中的一者或一者以上產生的視頻數據，以確保深度維度的適當過濾，以最小化且可能潛在地消除視覺假象。常常，深度過濾精細化涉及特定顯示技術或能力，所述特定顯示技術或能力再次可由參數發現模塊38 發現且因此經由參數76中的一者或一者以上而知曉。為了說明，考慮歸因於未經深度過濾的再現而產生的可見不連續性潛在地在相減式顯示器中大得多，這是因為這些顯示器可使來自背光的直接照明可見。HVS反饋模塊40因此可產生配置數據80以調整深度過濾，以便考慮不同顯示能力。HVS反饋模塊40還可基於與用於填充孔的目的(例如，內插，其可在調整2D視頻內容20的解析度以適應當前解析度時出現)的過濾有關的度量70而產生配置數據80以精細化DIBR的各種方面。過濾可包含高斯過濾或基於邊緣的過濾。HVS反饋模塊40還可基於與特定文件格式(例如，稱作P3D的文件格式)有關的度量70而產生配置數據80以精細化DIBR，以便使特定像素的深度值強制為零(其中預期在給定圖像或幀中發生遮蔽)。仍關於精細化DIBR，HVS反饋模塊40可基於與陰影效果及著色有關的度量70而產生配置數據80，以便使用可見相鄰像素增加區域中的陰影效果/著色。HVS反饋模塊40 還可增大邊緣以經由高頻增強(HFE)精細化DIBR，以最小化歸因於深度過濾而產生的模糊，所述模糊往往使邊緣不連續性平滑。另外，HVS反饋模塊40可通過產生配置數據80來精細化DIBR，以促進深度圖的動態範圍再成形，藉此此配置數據80擴大較高深度值且壓縮較低深度值。在一些例子中，HVS反饋模塊40可基於給定觀看者的HVS的感知力或靈敏度 (如通過用戶偏好78中的一者定義)而調製擴大及壓縮的範圍。還可通過HVS反饋模塊40產生配置數據80而發生此DIBR精細化，所述配置數據 80基於與眼偏好或優勢有關的用戶偏好78中的一者或一者以上而調整DIBR。為了說明， 考慮針對任一視圖，觀看者可為左眼優勢或右眼優勢，且觀看者可將此優勢作為用戶偏好 78中的一者來指示。值得注意的是，觀看者可經歷經由用戶接口呈現的測試以確定優勢或可僅選擇所述優勢。在任何情況下，HVS反饋模塊40可產生配置數據80，其基於與眼優勢、 靈敏度或感知力差異有關的用戶偏好78中的若干偏好而調整各種視圖，以使得視圖在沿著視軸線+/-20度或高達50度的範圍內細化以獲得高達120色彩像素密度(cpd)的優良立體像素解析度。在適當的情況下，HVS反饋模塊40可產生配置數據80以採用不對稱質量， 以便改善深度感知，其中此不對稱質量表示左眼視圖的所感知質量與右眼視圖的所感知質量不對稱或不相等。在又一實例中，HVS反饋模塊40可基於與眼靈敏度有關的用戶偏好78以及與內容類型、照度級及其類似者有關的度量70中的一者或一者以上而產生配置數據80以正規化深度。由HVS反饋模塊40進行的深度的正規化也可取決於最大深度，所述最大深度是基於視頻數據44及與場景改變、內容類型及構成(例如，如果存在處於無限焦距下的對象)有關的度量70來確定。由HVS反饋模塊40進行的深度的正規化除了取決於與再現方法有關的定量度量70外還可取決於參數76 (例如，顯示器類型)。在另一實例中，HVS反饋模塊40可產生配置數據80以精細化3D可視化，以便最小化壓力(例如，眼疲勞及噁心)。在一些方面中，HVS反饋模塊40可產生配置數據80以最優化3D可視化，以便最小化壓力(例如，眼疲勞及噁心)。HVS反饋模塊40可約束深度以最小化壓力，基於場景中的對象的類型而執行選擇性深度提取，對場景中感興趣的特定對象執行用於特定深度提取的選擇性深度再現，或僅提取高於特定置信等級的深度值。以此方式，HVS反饋模塊40可基於度量70、參數76及用戶偏好78而產生配置數據40，且重新配置變換模塊36的一個或一個以上模塊56到64以便精細化(如果不可能改善或甚至最優化)2D視頻內容20到3D視頻內容48的變換。變換模塊36的經重新配置的模塊56到64可接著繼續根據配置數據80將2D視頻內容20變換成3D視頻內容48。變換模塊36可接著在此動態重新配置之後開始將經精細化的3D視頻內容48轉發到顯示裝置16，此後，顯示裝置16便可經由顯示器30呈現此經精細化的3D視頻內容48以供一個或一個以上觀看者消耗。此反饋機構，在此反饋機構中，HVS反饋模塊40可在2D視頻內容20到3D視頻內容48的整個變換期間繼續以便持續地精細化此視頻數據，或在一些方面中最優化此視頻數據，以用於在由操作者選擇的特定平臺(例如，顯示裝置16)上重放。就此來說，HVS反饋模塊40可實現透明(從觀看者的觀點來說)的實時或近實時動態反饋，所述透明的實時或近實時動態反饋以定製3D視頻內容 48以用於在具體選定的顯示裝置(例如，顯示裝置16)上重放給特定觀看者的方式精細化且潛在地改善(如果並不最優化)3D視頻內容48，如通過用戶偏好78定義。下文闡述HVS 反饋模塊40產生配置數據80且根據配置數據80重新配置變換模塊36的模塊56到64中的各種模塊的實例。HVS反饋模塊40還可實現透明(從觀看者的觀點來說)的實時或近實時動態反饋，所述透明的實時或近實時動態反饋可用以重新配置模塊56到64，以使得計算複雜性降低同時保留根據用戶偏好的可接受的3D視頻質量。圖3為更詳細地說明圖2的移動裝置12的變換模塊38及離線處理模塊72的框圖。如圖3的實例中所展示，模塊56到62中的每一者包含執行2D或3D視頻內容到經變換的3D視頻內容48的變換的各種方面的額外單元。舉例來說，預處理模塊56包含至少三個全局處理單元82A到82C，其在圖3的實例中展示為氛圍效果檢測單元82A( 「氛圍效果檢測單元82A」)、場景改變檢測單元82B及相機運動檢測單元82C。將這些模塊視為全局處理單元，這是因為其全局地分析2D視頻內容20的整個幀或多個幀(例如)以檢測相應的氛圍效果、場景改變及相機運動。預處理模塊56還包括局部處理單元84A到84C，其分別每次處理用於單一幀內的相鄰像素的給定區域的輸入視頻數據20或22 (此處理被視為局部化或局部處理)，以檢測感興趣的區域(ROI)、邊緣及對比度及/或照明。在圖3的實例中，將這些局部處理單元84A 到84C展示為ROI檢測單元84A、邊緣檢測單元84B及對比度/照明檢測單元84C( 「對比度/照明檢測單元84C」)。ROI檢測單元84A表示檢測ROI (例如，面部或人體)的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。邊緣檢測單元84B表示定位邊緣並將其分類(例如，將邊緣分類為限定實際對象的邊界、分類為定義陰影邊界，或分類為定義著色效果)的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。此分類還可涉及確定邊緣的強度。對比度/照明檢測單元84C表示檢測照明屬性的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。雖然出於便於說明的目的在圖3中未展示，但預處理模塊56可包括額外的全局或局部處理單元。舉例來說，預處理模塊56可包括另一局部處理單元，其基於給定圖像或幀的色度分量、所述圖像或幀的色彩分量或所述圖像或幀的色度分量與色彩分量兩者而執行對象的分段。本發明中所闡述的技術因此不應限於圖3中所展示的實例，而是可包括額外的全局及局部處理單元。可將由單元82A到82C及84A到84C提取的各種信息轉發到2D 到3D處理以促進深度提取。2D到3D處理模塊58包括用以執行多幀深度提取技術與單幀深度提取技術兩者的若干單元。多幀深度提取單元包括相機模型化單元86A及移動對象模型化單元86B。相機模型化單元86A表示模型化幾何結構及運動(例如，模型化俘獲幾何結構及運動的相機) 以提取深度值的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。移動對象模型化單元86B表示將獨立移動對象的背景分段以提取深度值的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。
單幀提取單元包括透鏡模型化單元88A、遮蔽模型化單元88B、照明模型化單元 88C及幾何模型化單元88D。透鏡模型化單元88A表示基於在給定幀或圖像中檢測到的聚焦及散焦線索而提取深度值的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。遮蔽模型化單元88B表示將給定幀或圖像中的各種對象之間的遮蔽模型化或以其它方式檢測給定幀或圖像中的各種對象之間的遮蔽且基於這些遮蔽提取深度值的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。照明模型化單元88C表示基於所檢測的陰影及著色效果而提取單一幀或圖像的深度值的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。幾何模型化單元88D表示基於單一幀或圖像內的幾何線性透視圖的模型化而提取所述單一幀或圖像的深度值的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。如上文所註明，這些單元86A到86B及88A到88D中的許多單元依賴於由預處理模塊56的單元82A到82C及84A到84C提取的信息。舉例來說，照明模型化單元88C可使深度的提取基於由對比度/照明檢測單元84C及邊緣檢測單元84B確定的對比度/照明信息。作為另一實例，遮蔽模型化單元88B可使用由邊緣檢測單元84B檢測到的邊緣信息來模型化遮蔽。作為又一實例，透鏡模型化單元88A可使深度提取基於由邊緣檢測單元84B確定的邊緣信息。作為另一實例，幾何模型化單元88D可基於由邊緣檢測單元84B確定的邊緣信息而提取深度值。相機模型化單元86A及移動對象模型化單元86B可基於由氛圍效果檢測單元82A、場景改變檢測單元82B及相機運動檢測單元82C確定的信息而提取深度值。 以此方式，2D到3D處理模塊58可從2D視頻內容20與3D視頻內容22兩者提取深度值。值得注意的是，針對多視圖串流，變換模塊36可包括多個2D到3D處理模塊(例如，可調用多個2D到3D處理模塊)以處理同時從多個俘獲系統獲取或俘獲的一不同串流的每一幀。甚至針對單視圖串流，變換模塊36還可包含藉以處理兩個或兩個以上連續幀或圖像的多個2D到3D處理模塊。在此單視圖串流例子中，所述多個2D到3D處理模塊中的每一者將提取特徵點及用於這些點的描述符。這些描述符將接著用以設定不同幀中的特徵點之間的對應性，其中對應點的位置將與由相機模型化單元86A實施的投影幾何相機模型一起使用以提取深度值。關於通過不同相機單元(每一相機位於一不同空間點處，具有相同或不同的相機參數)同時獲取每一視圖的多視圖串流，2D到3D處理單元58可包括類似於透鏡模型化單元88A的多個相機模型化單元。這些透鏡模型化單元88A中的每一者處理一不同多視圖的一幀，其中這些幀中的每一者是同時俘獲。針對單視圖串流，2D到3D處理單元58可調用相機模型化單元88A以每次處理所述單視圖串流的單一圖像或幀。在使用多幀處理單元86A到86B及單幀處理單元88A到88D中的一者或一者以上確定深度值之後，2D到3D處理模塊58可合併來自各種多幀及單幀處理單元86A到86B及 88A到88D的深度值或以其它方式整合這些深度值，以針對給定視圖串流(或，在多視圖串流的狀況下，針對所述視圖串流中的每一者)的每一幀建立複合深度圖。所述深度圖將深度值指派給給定幀或圖像的每一像素。關於「2D+深度」文件格式，作為一個實例，將每一幀的深度圖表示為灰階圖像，其中所述灰階圖像的每一 8位像素值定義幀中的對應像素的深度值。
HVS反饋模塊40可產生配置數據80以配置2D到3D處理模塊，以便約束由多幀及單幀深度提取處理單元86A到86B及88A到88D中的一者或一者以上進行的深度提取。作為一個實例，HVS反饋模塊40可產生配置數據80以配置相機模型化單元86A，以使得用以模型化相機系統的線性方程式體系通過使用來自其它單元(例如，單元86B及88A到88D) 的結果而消除歧義且加速，以約束一組有效對應點。HVS反饋模塊40還可產生配置數據80以影響由多幀及單幀處理單元86A到86B 及88A到88D產生的深度圖的合併。舉例來說，2D到3D處理模塊58可使用加權平均合併函數來合併這些深度圖，所述加權平均合併函數將不同權重指派給所述所確定或所提取的深度圖中的每一者。HVS反饋模塊40可產生配置數據80以修改或配置這些權重以調整所得複合深度圖。此調整可改善經變換的3D視頻內容48的可視化質量，或以其它方式降低與觀看經變換的3D視頻內容48相關聯的壓力。在以此方式處理2D視頻內容20之後，2D到3D處理模塊58將2D視頻內容20及所述所產生的一個或一個以上(如在多視圖串流的狀況下)複合深度圖轉發到後處理模塊 60。後處理模塊60包括深度感知單元90，其修改所述所得一個或一個以上深度圖以精細化經變換的3D視頻內容48的可視化質量。在一些例子中，深度感知單元90修改所述所得一個或一個以上深度圖以改善經變換的3D視頻內容48的可視化質量。深度感知單元90可在代表變換模塊36的模塊56到64的管線中引入一單元，藉此HVS反饋模塊40可進行調解以精細化深度圖。為了說明，深度感知單元90可表示HVS反饋模塊40可與之互動以加載配置數據80以使得HVS反饋模塊40可在所述管線中進行調解以執行深度圖的後處理的接口。在一個實例中，HVS反饋模塊40可產生用於深度感知單元90的配置數據80，以便配置深度感知單元90以執行以下操作全局地使深度圖跨越多個幀或整個3D視頻數據而平滑，及/或選擇性地修改由ROI檢測單元84A識別的感興趣的特定區域的深度信息。在另一實例中，HVS反饋模塊40可基於配置深度感知單元90以執行以下操作的參數76而產生配置數據80 修改及約束深度值的範圍，以使得這些值經定製以用於特定顯示器(例如， 顯示裝置16)。在另一實例中，HVS反饋模塊40可基於配置深度感知單元90以執行以下操作的度量70而產生配置數據80 動態地修改深度圖以促進經變換的3D視頻數據的定量改
業
口 ο在精細化所述一個或一個以上深度圖之後，後處理模塊60將2D視頻內容及所述一個或一個以上經精細化的深度圖轉發到再現模塊62。再現模塊62包括3D模型化單元 92、照明模型化單元94( 「照明模型化單元94」)及內插單元96。3D模型化單元92、照明模型化單元94及內插單元96中的每一者表示模型化3D場景的各種方面以便實現從2D視頻內容20產生一個或一個以上額外視圖的一個或一個以上硬體模塊，所述一個或一個以上硬體模塊中的一些硬體模塊可執行軟體。3D模型化單元92可利用來自後處理模塊60的深度圖來促進3D場景的產生及一個或一個以上額外視圖的後續產生。照明模型化單元94可利用由照明模型化單元88C及/ 或對比度/照明檢測單元84C確定的照明信息來促進3D場景的產生及一個或一個以上額外視圖的後續產生。內插單元96可利用2D視頻數據的像素信息來促進3D場景的產生及一個或一個以上額外視圖的後續產生。就此來說，再現模塊62產生額外視圖以便實現從單視圖2D視頻內容20產生呈多視圖串流格式的3D視頻內容。雖然為便於說明而未將顯示格式模塊64展示為包含類似於模塊56到62的額外單元，但顯示格式模塊64可調用各種單元以根據由參數發現模塊38確定的輸入文件格式 98格式化從再現模塊62接收的3D視頻數據。在一個實例中，顯示格式模塊64調用色彩交錯單元，以按不同色彩分量(在需要時，例如，根據互補色(anaglyph)文件格式)交錯不同視圖。作為另一實例，顯示格式模塊62調用空間交錯單元以按不同像素位置交錯不同視圖。當產生多個視圖時，顯示格式模塊64可調用在時間上多路復用各種視圖以用於幀切換式顯示的多視圖單元，所述幀切換式顯示可通過配置數據80來指示且經由參數76中的一者而獲悉。除顯示格式要求外，HVS反饋模塊40還可基於配置顯示格式模塊64以強調、過濾或大體上修改3D視頻串流的度量70及/或用戶偏好78而產生配置數據80。離線處理模塊72大體上可關於訓練集合的各種屬性執行訓練集合的各種幀或圖像的特定描述符的統計分析及模型化。各種屬性可包括照明的類型及照明的方向、對象反射率、紋理及氛圍效果。離線處理模塊72通過建立供預處理模塊56的各種單元82A到82C 及84A到84C使用的一個或一個以上模型來提供對預處理模塊的支持。離線處理模塊72包括機器學習單元100以執行統計分析及模型化。機器學習單元100可定義且模型化一考慮歸因於著色而產生的跨越邊緣的強度變化的描述符(作為一個實例)或一考慮由陰影造成的跨越邊緣的強度變化的描述符(在另一實例中)。在另一實例中，機器學習單元100可定義且模型化一考慮在特定照明條件下的場景中的對象的反射率屬性的描述符。機器學習單元100使用訓練集合(圖3中未展示)離線地模型化每一描述符的統計行為。此訓練集合可由一組圖像組成，所述組圖像是在影響每一描述符的屬性的所有潛在變化下獲得。由機器學習單元100在使用訓練集合經歷訓練之後建立的模型因此俘獲描述符針對給定情況條件(例如，給定照明方向)為特定值的概率。統計行為的模型接著由預處理模塊56的單元在線使用。預處理模塊56利用這些模型來確定以下情況的最大似然性針對從預處理模塊56當前正處理的所述一個或一個以上圖像或幀獲得的給定描述符的特定值，場景的條件為特定條件(例如，特定照明方向)。可將這些模型不僅擴展到照明相關情況，而且擴展到場景中的氛圍效果(霾、雨、 雪等)或紋理變化。所述描述符還可為局部的(如果其俘獲像素的鄰域內的信息)或全局的(如果其俘獲整個圖像的信息)。所述模型可使用馬爾可夫隨機場(Markov random field)俘獲若干描述符之間的關係的統計行為。就此來說，離線處理模塊72可通過產生供預處理模塊56使用的模型的機器學習單元100來支持預處理模塊56。值得注意的是，機器學習單元100可接收新訓練集合，所述新訓練集合可實現改善的模型化及後續變換。圖4A及4B為說明移動裝置(例如，圖2的移動裝置12)在實施本發明中所描述的技術的各種方面時的實例操作的流程圖。首先參看圖4A，移動裝置12的控制單元34內所包括的用戶接口模塊74最初可呈現一用戶接口，移動裝置12的用戶或其它操作者可與所述用戶接口互動以輸入定義用戶偏好78的數據。用戶接口模塊74接收定義用戶偏好78的此數據且將用戶偏好78轉發到HVS反饋模塊40以用於配置或重新配置變換模塊36 (102)。用戶接口模塊74還可呈現同一用戶接口或另一用戶接口，用戶可與所述同一用戶接口或另一用戶接口互動以選擇一個或一個以上源裝置及一個或一個以上目的地裝置。用戶接口模塊74可接著接收選擇一個或一個以上源裝置(例如，圖1的實例中所展示的源裝置14)及一個或一個以上目的地裝置(例如，外部顯示裝置16)的數據(104)。基於這些選擇，用戶接口模塊74可與無線接口 32A及有線接口 32B中的各種接口介接，以分別與所述選定的一個或一個以上源裝置(例如，源裝置14)及所述選定的一個或一個以上目的地裝置(例如，外部顯示裝置16)建立通信鏈路或信道13及15。在確保建立這些信道13 及15之後，用戶接口模塊74可接著與參數發現模塊38介接以起始關於顯示裝置16的能力的參數76的發現。參數發現模塊38以上文所描述的方式經由已建立的通信信道15與顯示裝置16 介接以確定參數76 (106)。參數發現模塊38可將這些參數76轉發到HVS反饋模塊40，HVS 反饋模塊40又可在配置或重新配置變換模塊36時使用這些參數76。參數76中的一者可包含由外部顯示裝置16支持的一個或一個以上輸入文件格式以接受2D及/或3D視頻內容。參數發現模塊38可與變換模塊36 (且，更具體來說，顯示格式模塊64)介接以根據所確定的輸入文件格式配置顯示格式模塊64，以格式化經變換的3D視頻數據48(108)。或者， HVS反饋模塊40可與顯示格式模塊64介接，以按上文關於參數發現模塊38所描述的方式配置顯示格式模塊64。HVS反饋模塊40還可與其它模塊56到62介接，以最初基於參數76 及用戶偏好78而配置變換模塊36的這些模塊56到62，以便根據用戶偏好78定製用於由外部顯示裝置16呈現的3D視頻內容48的產生。變換模塊36 —旦經配置便經由通信信道13與源裝置12介接，以從源裝置12檢索2D及/或3D視頻內容20、22(110)。在接收到(例如)2D視頻內容20後，變換模塊36 即刻將2D視頻內容20的視頻數據轉換成3D視頻內容48，所述3D視頻內容48是根據所確定的輸入文件格式而格式化(11 。變換模塊36接著將根據所確定的輸入文件格式而格式化的3D視頻數據作為3D視頻內容48輸出，移動裝置12將3D視頻內容48轉發到顯示裝置 16(114,116) ο參看圖4B，在接收到3D視頻內容48的至少一部分之後，顯示裝置16通過移除輸入文件格式化標頭來解封裝所接收的3D視頻內容48以產生經解碼的3D視頻數據50。顯示裝置16接著解碼經解碼的3D視頻數據50以產生3D視頻數據44，顯示裝置16經由顯示器30向一個或一個以上觀看者呈現3D視頻數據44以供其消耗。當呈現此視頻數據44時且當變換模塊36將2D視頻內容20轉換成3D視頻內容48時，HVS反饋模塊40與顯示裝置16介接以檢索視頻數據44(118)。如上文所描述，HVS反饋模塊40 (且，更具體來說，HVS反饋模塊40的定性評估模塊66)分析經解碼的視頻數據44以確定如上文所描述的定性度量70，其中這些定性度量 70描述經解碼的視頻數據44的可視化質量(119)。HVS反饋模塊40還可使用定量評估模塊66來確定定量度量70，定量度量70在定量方面描述經解碼的視頻數據44的質量。基於這些度量70，HVS反饋模塊40重新配置變換模塊36的模塊56到64以精細化經解碼的視頻數據44的可視化質量(120)。HVS反饋模塊40還可使模塊56到64的此重新配置基於度量70、參數76及用戶偏好78中的兩者或兩者以上的組合。舉例來說，給定與用戶的優選對比度等級有關的用戶偏好78中的一個特定用戶偏好，則HVS反饋模塊40可鑑於此優選對比度等級來分析度量 78 (例如，所感知的對比度等級)，且產生精細化3D視頻內容48的後續產生的配置數據，以使得視頻數據44展現接近(如果不等於)所述優選對比度等級的對比度等級。HVS反饋模塊40還可鑑於參數76來分析度量78以便精細化3D視頻內容48的產生，以使得從後續視頻數據44進行的度量78分析關於通過參數78定義的特定顯示能力得以改善。在一些例子中，可以上述方式使用度量70、參數76及用戶偏好78全部三者以產生3D視頻內容48 的後續產生，所述3D視頻內容48是在給定參數76及用戶偏好78的情況下相對於度量70 而精細化。在以上文所描述的方式重新配置變換模塊36之後，變換模塊36繼續將2D視頻內容20轉換成3D視頻內容48 (122)。變換模塊36接著輸出3D視頻內容48，所述3D視頻內容48包含根據所確定的輸入格式而格式化的3D視頻數據(124)。移動裝置12將3D視頻內容48轉發到外部顯示裝置16(1沈)。上述過程可以可特徵化為一反覆過程的此方式繼續，以使得針對反覆中的每一者，相對於定義視頻數據44的可視化的所感知質量的度量70 來精細化視頻內容48 (118到126)。雖然上文關於HVS反饋模塊40分析經解碼的3D視頻數據來描述，但HVS反饋模塊40或者可分析經解碼的3D視頻數據。此外，顯示裝置16可包括其自身的類似於HVS反饋模塊40的HVS反饋模塊，其分析經解碼的3D視頻數據或經解碼的3D視頻數據。以此方式，顯示裝置16可自身分析3D視頻數據且將通過其自身的HVS反饋模塊確定的所述一個或一個以上度量轉發到HVS反饋模塊40，所述HVS反饋模塊40可使用這些度量來調整視頻數據到3D視頻數據的變換。所述技術因此不應限於此方面。圖5為說明實施本發明中所描述的技術的各種方面的實例移動裝置128的框圖。 移動裝置1 可大體上類似於圖1的移動裝置12。雖然關於特定裝置(例如，移動裝置 128)來描述所述技術，但所述技術可由任一類型的裝置實施，包括上文註明為能夠實施關於移動裝置12所描述的技術的各種方面的那些其它裝置。類似於圖2的實例中所展示的移動裝置12，移動裝置1 包括無線接口 32A、有線接口 32B、視頻俘獲模塊50、本地存儲模塊52及用戶接口模塊74。無線接口 32A、有線接口 32B、視頻俘獲模塊50及本地存儲模塊52中的每一者可為視頻數據及/或內容的「源」(即， 提供視頻數據及/或內容)，且由於此原因，其可大體上被稱作「源」。這些源可提供視頻數據130，所述視頻數據130可包含2D視頻數據或3D視頻數據(其可包括2D視頻數據+額外深度信息，或2D視頻數據+額外深度及遮蔽區信息，或2D視頻數據+深度、遮蔽區及全局效果信息)。移動裝置1 還包括圖像/視頻處理單元132、圖像/視頻編碼器單元134、圖像/ 視頻緩衝器單元136、顯示處理單元138、內部顯示器140、無線顯示器(WD)主機單元142， 及無線顯示接口 144。圖像/視頻處理器單元132表示處理視頻數據130以產生3D視頻數據146的硬體單元或組合硬體與軟體單元。圖像/視頻編碼器單元134表示根據由圖像/ 視頻編碼器單元134支持的一個或一個以上編解碼器中的一者編碼視頻數據146以產生經編碼的視頻數據148的硬體單元或硬體單元與軟體單元的組合。雖然展示為編碼器，但圖像/視頻編碼器單元134還可執行解碼。編碼器單元134輸出存儲到圖像/視頻緩衝器單元136的經編碼的視頻數據148，所述圖像/視頻緩衝器單元136可包含存儲器或存儲裝置 (例如，上文所描述的存儲器與存儲裝置兩者的實例)。在一些例子中，移動裝置1 提供藉以在在內部顯示器140上本地預覽3D視頻數據146的預覽模式，所述內部顯示器140可包含發光二極體(LED)顯示器、有機LED(OLED) 顯示器、陰極射線管顯示器、等離子顯示器、液晶顯示器(LCD)或任一其它類型的顯示器。 在此預覽模式中，圖像/視頻處理單元132可產生預覽視頻數據150A、150B( 「預覽視頻數據150」)。預覽視頻數據150A可包含形成3D視頻數據146的右眼透視圖的右眼視頻數據。 預覽視頻數據150B可包含形成3D視頻數據146的左眼透視圖的左眼視頻數據。當視頻俘獲裝置50包含3D視頻俘獲裝置時，此3D視頻俘獲裝置50可產生右眼視頻數據150A與左眼視頻數據150B兩者，圖像/視頻處理單元132可將所述右眼視頻數據150A與所述左眼視頻數據150B轉發到顯示處理單元138。顯示處理單元138表示處理經緩衝的視頻數據152以根據由外部顯示裝置中的一者或一者以上(例如，外部顯示裝置154A到154N( 「外部顯示裝置巧4」)中的一者或一者以上)支持的輸入格式而格式化經緩衝的視頻數據152的硬體單元或硬體單元與軟體單元的組合。顯示處理單元138可將此經格式化的經緩衝的視頻數據152作為3D視頻內容156 輸出。顯示處理單元138可包括藉以確定由外部顯示裝置154中的一者或一者以上支持的輸入文件格式的顯示格式接口(DFI)，出於便於說明的目的，在圖5中未展示所述顯示格式接口(DFI)。顯示處理單元138還可接收預覽視頻數據150中的一者或一者以上且格式化此預覽視頻數據150以用於由內部顯示器140呈現。顯示處理單元138可將此經格式化的預覽視頻數據150A、150B作為預覽視頻內容158A、158B( 「預覽視頻內容158」)輸出，內部顯示器140可與將3D視頻內容156輸出到外部顯示裝置154中的一者或一者以上同時而將預覽視頻內容158A、158B中的一者或兩者呈現給移動裝置128的用戶。在內部顯示器140支持3D視頻內容重放的例子中，預覽視頻數據150可包含顯示處理單元138進行格式化以用於由內部顯示器140顯示或呈現的3D視頻數據。在內部顯示器140支持3D視頻內容重放與2D視頻內容重放兩者的例子中，圖像/視頻處理單元132 可基於以下各者而確定將預覽視頻數據150作為2D視頻數據還是作為3D視頻數據產生 用戶偏好、應用類型(例如，2D視頻數據通常對於電子郵件/文本來說優選，而計算機圖形 (CG)通常再現為3D視頻數據)、操作功率模式、可用電池電力，及通常影響此類型的決策的其它偏好、度量及參數。圖像/視頻處理單元132、圖像/視頻編碼器單元1；34及顯示處理單元138可包含以下各者中的一者或一者以上例如執行存儲到計算機可讀媒體的一個或一個以上指令的通用處理器(其可稱作計算機處理單元或CPU)的處理器、數位訊號處理器(DSP)、圖形處理單元(GPU)，或任一其它類型的處理器。或者，圖像/視頻處理單元132可包含專用硬體，例如現場可編程門陣列(FPGA)及專用集成電路(ASIC)。在一些例子中，可將專用硬體與一個或一個以上處理器兩者組合以提供本發明中關於單元132、134及138所描述的各種操作。雖然上文描述根據由外部顯示裝置巧4支持的輸入文件格式而格式化經緩衝的視頻數據152以產生3D視頻內容156，但顯示處理單元138 —般僅支持用於有線接口的文件格式，例如HDMI、DVI及其它有線文件格式。特定來說，考慮到迄今為止尚不存在任何正式或標準化的無線文件格式，顯示處理單元138不可支持無線文件格式。然而，WD主機單元 142可支持無線顯示文件格式且提供到這些無線顯示器的接口以便確定外部顯示裝置154中的一者或一者以上是否支持無線文件格式。WD主機單元142因此可表示提供藉以確定由外部顯示裝置154中的一者或一者以上支持的無線顯示格式的接口且接著根據所確定的無線顯示格式而格式化經緩衝的3D視頻數據152的硬體單元或硬體單元與軟體單元的組合。因此，WD主機單元142可通過使移動裝置128能夠根據由一個或一個以上外部顯示裝置1 支持的無線文件格式無線地發射3D視頻內容來促進跨平臺重放。WD主機單元142可(例如)實施上文所描述的WHDMI或WMDDI協議以確定關於外部顯示裝置154中包含無線顯示器的那些顯示裝置的能力的無線顯示參數，包括所支持的無線文件格式。WD主機單元142可接收來自顯示處理單元138的經緩衝的3D視頻數據 152，根據無線輸入文件格式中的一個所確定的無線輸入文件格式而格式化或重新格式化 (在顯示處理單元138最初格式化此數據的狀況下)經緩衝的3d視頻數據152，且將3D視頻內容156返回到顯示處理單元138。顯示處理單元138將此3D視頻內容156轉發到無線顯示接口 144，所述無線顯示接口 144可包含無線接口 32B中的一者，但出於說明的目的而展示為分離的。無線顯示接口 144接著將此3D視頻內容156轉發到外部顯示裝置154中的一者或一者以上。雖然展示為包括於移動裝置128內，但WD主機單元142可駐留於移動裝置1 外部且經由無線接口 32A或有線接口 32B中的一者與移動裝置1 介接。當WD主機單元142 位於移動裝置1 外部時，WD主機單元142可包含類似於無線顯示接口 144的無線顯示接口或促進與WD客戶端單元(其更詳細描述於下文中)的通信的另一類似接口。在一些例子中，WD主機單元142可包含由顯示處理單元138執行以便顯示處理單元138執行無線文件格式化的軟體模塊。就顯示處理單元138包括上述例子中用以執行WD主機單元142的硬體來說，可將WD主機單元142視為包括硬體單元與軟體單元兩者。在一些例子中，WD主機單元142可識別選定的目的地裝置(例如，外部顯示裝置 154)中的兩者支持不同的無線文件格式。在此例子中，WD主機單元142產生根據第一確定的無線文件格式而格式化的第一 3D視頻內容156及根據第二確定的無線文件格式而格式化的第二 3D視頻內容156。無線顯示接口 144接著將第一及第二 3D視頻內容156轉發到外部顯示裝置154中的適當者。因此，雖然在圖5的實例中展示為僅發送單一 3D視頻內容 156，但3D視頻內容156可包含第一及第二版本或，更大體來說，3D視頻內容156的多個版本，其中每一版本是根據不同的無線文件格式而格式化。一種無線格式可包含充分利用例如實時輸送協議(RTP)的輸送協議來將3D視頻內容的視頻數據區段、音頻數據區段及深度數據區段封裝於多個包中的一不同者中的格式。此外，所述格式可充分利用此輸送協議來封裝對應於遮蔽信息及/或全局效果信息的額外信息區段，如下文關於圖8的實例所展示。WD主機單元142包括輸送單元158，其實施此輸送協議以將3D視頻內容156的各種區段封裝於多個包中的一不同者中。在將各種區段封裝到不同包之後，輸送單元158將用於增強3D視頻內容156的重放的元數據添加於所述多個包中的一者的標頭中的任選數據欄位內。此元數據可定義促進額外視圖的再現的參數及促成特定顯示器上的重放的參數。元數據還可定義用戶偏好，例如所要的對比度、清晰度、色溫、2D或3D屏幕解析度，及2D或3D重放格式(加左右黑邊(pillared box)、拉伸、 原始狀態等)。在根據涉及輸送協議的此文件格式而格式化3D視頻數據152之後，WD主機單元142可將所得3D視頻內容156轉發到無線顯示接口 144，所述無線顯示接口 144將所述包發射到外部顯示裝置154中的一者或一者以上。當無線顯示接口 144將此內容156發射到外部顯示裝置154中的兩者或兩者以上時，所述發射可稱作3D視頻內容156的「WD多播」。 在任何情況下，此發射可與經由內部顯示器140進行的預覽視頻數據150的顯示同時發生。 通常，將預覽視頻數據150與3D視頻內容156的呈現同步。或者，可在由外部顯示裝置154 中的一者或一者以上進行的3D視頻內容156的呈現之前發生預覽視頻數據150的呈現。圖6為說明移動裝置(例如，圖5的實例中所展示的移動裝置128)在執行本發明中所描述的技術的各種方面時的實例操作的流程圖。最初，移動裝置128的用戶或其它操作者可與由用戶接口模塊74呈現的用戶接口互動，以輸入選擇視頻內容的一個或一個以上源及外部顯示裝置154中支持無線視頻內容遞送的一者或一者以上(其可稱作「外部無線顯示裝置」)的數據。用戶接口模塊74因此接收選擇所述一個或一個以上源及外部無線顯示裝置154中的一者或一者以上的數據(162)。用戶接口模塊74將外部無線顯示裝置巧4中的選定的一者或一者以上的所述選擇轉發到WD主機單元140。WD主機單元140接著經由無線顯示接口(例如，無線顯示接口 144)與外部無線顯示裝置154中的所述選定者介接，以確定定義外部無線顯示裝置154中的所述選定者的一個或一個以上能力的參數(164)。這些參數可類似於由參數發現模塊38發現的參數76。 一個實例參數可包括由外部無線顯示裝置154中的所述選定者支持的無線輸入文件格式。同時，圖像/視頻處理單元132可接收來自選定源32A、32B、50及52中的一者或一者以上的視頻數據130(166)。依據源50 (其在圖5中展示為「視頻俘獲裝置50」)，視頻俘獲裝置50可包含具有兩個圖像傳感器的立體相機，所述兩個圖像傳感器同時俘獲同時入射於所述兩個傳感器上的圖像以提供給定圖像(或在視頻俘獲的狀況下，圖像系列)的兩個視點。視頻俘獲裝置50可以若干方式來以同步方式俘獲視頻數據。在第一方式中，使用通過緩衝器進行的快速串行俘獲或並行俘獲中的任一者經由同一存儲器總線接收源自所述兩個傳感器的數據。在串行俘獲的狀況下，圖像/視頻處理單元132考慮在深度提取期間的兩個不同視圖的串行俘獲之間的時間偏移。在第二方式中，經由不同存儲器總線接收源自所述兩個傳感器的數據以避免當在所述兩個傳感器之間共享單一總線時出現複雜化。 在第三方式中，源自所述兩個傳感器的數據通常呈流式傳輸格式，且寫入到顯示緩衝器以在嵌入式或外部顯示器上預覽。在此預覽模式中，通常可僅預覽所述兩個2D視點中的一者，或換句話說，可預覽來自所述兩個傳感器中的一者的數據串流，以節省存儲器帶寬及/或電力。經由用戶接口模塊74輸入的用戶偏好可指示是2D還是3D (例如，一個視點或兩個視點被發送到顯示處理器)。可針對給定視頻記錄或圖像俘獲會話實時地或近實時地鍵入用戶輸入或可將用戶輸入指定為一般偏好。用戶偏好也可基於給定應用而指示是以2D來呈現數據還是以3D來呈現數據，以使得(如上文所描述)2D用於文本、電子郵件及網頁瀏覽且3D用於攝錄一體機及媒體播放器。圖像/視頻處理單元132可基於可用電池電力或電源管理設定(在具有或無用戶輸入/介入的情況下，無用戶輸入/介入可稱作「自動地」發生)而確定是將視頻數據130變換成2D視頻數據還是3D視頻數據。在3D預覽的狀況下(其中，內部顯示器140以3D來呈現預覽視頻數據150)，顯示處理單元138可接收作為兩個單獨串流(例如，預覽視頻數據150A及150B)的兩個視點的原始(未經壓縮)3D或圖像數據。顯示處理單元138還可接收直接來自傳感器的2D視頻數據130及來自圖像/視頻處理單元132、圖像/視頻編碼器單元134或來自3D經解碼圖像/視頻文件的3D深度信息。顯示處理單元138還可接收來自3D編碼圖像/視頻文件 (例如，存儲到本地存儲模塊52)的經壓縮的3D數據，所述經壓縮的3D數據可經由有線接口或無線接口 32A、32B而串流到外部顯示裝置154中的一者。在此狀況下，如果啟用顯示器鏡射，則內部顯示器140可獲得來自傳感器/信號處理器的未經壓縮但經處理的視頻串流。任選地，內部顯示器140可僅再現2D圖像(例如，預覽視頻數據150中的一者)。顯示處理單元138還可接收來自視頻俘獲裝置50的單一傳感器的2D數據，其中圖像/視頻處理單元132可包含類似於圖2中所展示的變換模塊36的2D到3D變換模塊58的2D到3D 處理模塊，其將2D數據轉換成3D數據。在任何情況下，圖像/視頻處理單元132可將所接收的視頻數據130變換成3D視頻數據或以其它方式精細化3D視頻數據以產生3D視頻數據146及潛在的預覽視頻數據 150 (167)。圖像/視頻處理單元132接著將此數據轉發到3D圖像/視頻編碼器，所述3D圖像/視頻編碼器編碼3D視頻數據146以輸出經編碼的3D視頻數據148。圖像/視頻緩衝器單元136緩衝或以其它方式存儲經編碼的3D視頻數據148，且顯示處理單元138從圖像 /視頻緩衝器單元136檢索經緩衝的視頻數據152以用於根據輸入文件格式進行格式化。 顯示處理單元138 (如上文所註明)還可接收預覽視頻數據150，且與經緩衝的3D視頻數據 152的格式化同時地將此視頻數據格式化以用於顯示於內部顯示器140上。然而，給定顯示處理單元138可能不支持用於將3D視頻數據152遞送到外部無線顯示器巧4中的所述選定者的無線3D文件格式，則顯示處理單元138將數據152轉發到WD 主機單元142。WD主機單元142接著以上文所描述的方式根據所確定的參數製備3D視頻數據152(168)。特定來說，WD主機單元142可根據由外部無線顯示裝置154中的所述選定者中的一者或一者以上支持的無線3D文件格式而格式化3D視頻數據152。WD主機單元142接著將所製備的3D視頻數據轉發回到顯示處理單元138，所述顯示處理單元138將此所製備的3D視頻數據(其還可稱作「3D視頻內容156」)轉發到無線顯示接口 144。無線顯示接口 144與外部無線顯示裝置154中的所述選定的一者或一者以上介接，以將此所製備的3D視頻數據156無線地發射到外部無線顯示裝置巧4中的此一者或一者以上(170)。或者，如上文所註明，WD主機單元142可與無線顯示接口 144整合，此後顯示處理單元138將經緩衝的3D視頻數據152轉發(不執行任何格式化)到無線顯示接口 144。在此例子中，WD主機單元142根據由外部無線顯示裝置154中的所述選定者支持的所確定的無線文件格式而格式化經緩衝的3D視頻數據152。無線顯示接口 144接著將此所製備的 3D視頻數據156轉發到外部無線顯示裝置154中的所述選定者。圖7為說明已根據本發明中所描述的技術的各種方面而格式化的3D視頻內容 (例如，關於圖5的實例所展示的3D視頻內容156)的框圖。特定來說，WD主機單元142的輸送單元158已根據RTP而格式化3D視頻內容156。輸送單元158接收經緩衝的3D視頻數據152，所述經緩衝的3D視頻數據152包含若干不同部分172A到172N( 「部分172」)。 這些部分可包含經緩衝的3D視頻數據152的一部分，且可對應於數據152的一幀、一片段、一圖片群組、一個或一個以上宏塊、一個或一個以上塊、一個或一個以上像素值或任一其它部分，而不管是經定義的(例如，通過標頭或其它標記定義)還是未經定義的。雖然未展示， 但緩衝器單元136還可緩衝音頻數據，所述音頻數據可與經緩衝的視頻數據152—起轉發。部分172中的每一者可包含經緩衝的視頻數據152的各種區段，包括視頻區段 174A到174N( 「視頻區段174」)與深度區段176A到176N( 「深度區段176」)兩者，以及經緩衝的音頻數據的區段178A到178N( 「音頻區段178」)。輸送單元158為這些部分172 中的每一者指派對應時間戳記180A到180N( 「時間戳記180」)，其在圖7的實例中展示為 "TS 1」到「TS N」。輸送單元158接著將區段174、176及178中的每一者與指派給駐留區段 174到178中的每一者的部分172中的對應一者的時間戳記180中的對應一者一起封裝。舉例來說，輸送單元158將時間戳記180A「TS 1」指派給駐留區段174A到178A的部分172A。輸送單元158接著將區段174A、176A及178A中的每一者與時間戳記180A「TS 1」 一起封裝，從而產生圖7的實例中所展示的經封裝的區段。此封裝可符合RTP。輸送單元158還可根據RTP將區段174到178中的每一者與其它標頭信息一起封裝，以形成含有區段174到178中的一不同者的包，而且，產生上文所描述的元數據並將元數據嵌入於這些包中的每一者的標頭中，此情形關於圖8更詳細描述於下文中。關於RTP及根據RTP的包的形成的更多信息可見於以下意見請求(RFC)中日期為1998年1月的題為「用於MPEG1/MPEG2視頻的RTP有效負載格式(RTP Payload Format for MPEG1/MPEG2 Video) 」的RFC2250 ；日期為1999年12月的題為"RTP有效負載格式規範的作者指南(Guidelines for Writers of RTP Payload Format Specification) 」 的 RFC 2736 ；日期為2000年11月的題為「用於MPEG-4音頻/視覺串流的RTP有效負載格式 (RTP Payload Format for MPEG-4 Audio/Visual Mreams) 」 的 RFC3016 ；日期為 2003 年 7月的題為「RTP 用於實時應用的輸送協議(RTP :A transport Protocol for Real-Time Applications)，，的RFC 3550 ；日期為2003年11月的題為「用於MPEG-4基本串流的輸送的 RTP 有效負載格式(RTP Payload Format for Transport of MPEG-4 Elementary Streams)，，的RFC 3640 ；日期為2005年2月的題為「用於H. 264視頻的RTP有效負載格式 (RTP Payload Format for H. 264 Video) 」的 RFC 3984 ；及日期為 2009 年 10 月的題為「用於具有MPEG環繞多通道音頻的基本串流的RTP有效負載格式(RTP Payload Format for Elementary Streams with MPEG Surround Multi-Channel Audio) "^RFC 5691, Ijfi^RFC 中的每一者以全文引用的方式併入本文中。以此方式充分利用RTP來產生格式化為RTP串流的3D視頻內容156可在以下意義上促進向後兼容性僅2D顯示裝置可接收此3D視頻內容156且僅呈現視頻區段174而不考慮深度區段176。S卩，此僅2D顯示裝置可丟棄深度區段176或以其它方式不辨識深度區段176且僅呈現作為視頻區段174發送的2D視頻數據。就此來說，充分利用RTP的擴展性來遞送與僅2D顯示裝置向後兼容的深度區段176的上述文件格式可通過此向後兼容性而促成跨平臺3D視頻重放。圖8A到8C為說明實例區段181A到181C的框圖，在所述實例區段181A到181C 中，已根據本發明中所描述的技術的各種方面而嵌入元數據。圖8A為說明根據本發明中所描述的技術的各種方面存儲深度元數據的實例區段181A的框圖。區段181A包括有效負載類型欄位182A( 「有效負載類型182A」)、深度範圍欄位182B( 「深度範圍182B」)、深度解析度欄位182C( 「深度解析度182C」)、相機模型參數欄位182D( 「相機模型參數182D」)、最佳觀看參數欄位182E( 「最佳觀看參數182E」)及壓縮類型欄位182F( 「壓縮類型182F」)。有效負載類型欄位182A存儲被存儲到所述區段的數據(其在此實例中指示深度數據)的類型，所述數據還可稱作「有效負載」以區別此數據與封裝所述有效負載的標頭數據。深度範圍欄位182B存儲針對給定3D視頻圖像或視頻的深度平面的寬度及大小的數據。深度平面的大小可與當前圖像的大小相同或小於當前圖像的大小。相機模型參數欄位 182D存儲與非固有及固有相機模型參數有關的數據。最佳觀看參數欄位182E存儲針對以下各者的數據通過觀看屏幕的大小及觀看距離定義的觀看角度，以及會聚平面、上文所註明的深度範圍、亮度及若干其它有關參數。壓縮類型欄位182F存儲描述用於視頻或音頻區段的有效負載中的壓縮的類型的數據，其可指示JPEG、H. 264或專屬壓縮算法。圖8B為說明根據本發明中所描述的技術的各種方面存儲遮蔽元數據的實例區段 181B的框圖。區段181B包括有效負載類型欄位184A( 「有效負載類型184A」)、基線欄位 184B(「基線184B」)、遮蔽解析度欄位184C(「遮蔽解析度184C」)及壓縮類型欄位182D(「壓縮類型182D」)。有效負載類型欄位184A存儲被存儲到所述區段的數據(其在此實例中指示遮蔽數據)的類型，所述數據還可稱作「有效負載」以區別此數據與封裝所述有效負載的標頭數據。基線欄位184B存儲定義關於第一視圖(當前圖像已從所述第一視圖獲取)的位置而移位的水平距離的數據。遮蔽解析度欄位184C存儲定義遮蔽平面的寬度及大小的數據，遮蔽平面的大小可與當前圖像的大小相同或小於當前圖像的大小。壓縮類型184D可大體上類似於壓縮類型182F。圖8C為說明根據本發明中所描述的技術的各種方面存儲全局效果元數據的實例區段181C的框圖。區段181C包括有效負載類型欄位186( 「有效負載類型186」)及多個參數188A到188N( 「參數188」)。有效負載類型欄位184A存儲被存儲到所述區段的數據 (其在此實例中指示全局效果數據)的類型，所述數據還可稱作「有效負載」以區別此數據與封裝所述有效負載的標頭數據。參數188存儲對應於全局效果(例如，霾、雨、雪及煙) 的數據。參數188中的每一者可與不同類型的全局效果有關且指定給定全局效果的類型、 密度、位置及重複。參數188可存儲此信息，以按類似於在計算機圖形中描述這些全局效果的方式的方式來定義全局效果。圖9為說明無線顯示器(WD)主機單元(圖5的實例中所展示的WD主機單元142) 在執行本發明中所描述的技術的格式化方面時的實例操作的流程圖。最初，WD主機單元 142可接收來自顯示處理單元138的經緩衝的3D視頻數據152及音頻數據Q00)。在接收到3D視頻數據後，WD主機單元142的輸送單元158即刻確定3D視頻數據的視頻區段及深度區段002)，例如圖7的實例的視頻區段174及深度區段176(202)。同樣，輸送單元158 確定音頻數據的音頻區段(例如，音頻區段180) (204)。輸送單元158接著確定視頻數據152及音頻數據的部分172中的每一者的時間戳記180，如上文所描述(206)。輸送單元158將部分172中的同一者的區段174到178與時間戳記180中的對應一者一起封裝以形成包，也如上文所描述008)。WD主機單元142可以上文所描述的方式確定元數據，此後輸送單元158將所確定的元數據嵌入於所述包的標頭中010、212)。具有嵌入的元數據的所得包可類似於圖8的實例中所展示的包。在嵌入元數據之後，輸送單元158將所述包轉發到無線裝置接口 144，所述無線裝置接口 144進行將所述包轉發到外部無線顯示裝置154中的所述選定者(214)。圖IOA到IOE為說明各種系統216A到216E的框圖，所述系統216A到216E實施本發明中所描述的技術的一個或一個以上方面以促成跨平臺視頻重放。更具體來說，圖IOA 為說明系統216A的框圖，所述系統216A包括外部WD主機單元218及外部WD客戶端單元 222，所述外部WD主機單元218與所述外部WD客戶端單元222兩者實施本發明中所描述的技術的各種方面。外部WD主機單元218可包含與系統216A的移動裝置217介接的裝置。 移動裝置217可類似於圖5的移動裝置128，但移動裝置217不包括類似於移動裝置1 的 WD主機單元142的整合式WD主機單元或內部WD主機單元。外部WD主機單元218可包含所謂的「硬體鎖」，其經由類似於移動裝置128的有線接口 32B中的一者的有線接口與移動裝置217介接。舉例來說，外部WD主機單元218可經由通用系統總線(USB)或微型USB有線接口與移動裝置217介接。外部WD客戶端單元222同樣包含與系統216A的顯示平臺223介接的裝置。類似於外部WD主機單元218，外部WD客戶端222可包含所謂的「硬體鎖」，其經由有線接口(例如，USB接口、複合音頻/視頻(A/V)接口、HDMI接口或任一其它有線接口)與顯示平臺223 介接。顯示平臺223可表示與系統216A的3D顯示裝置2 介接的裝置，例如數字視頻光碟(DVD)播放器、音頻/視頻接收器、Bluray 光碟播放器、多媒體播放器、數字視頻記錄器 (DVR)，或提供用於與3D顯示裝置2 介接的平臺的任一其它裝置。在一些例子中，顯示平臺223可包含個人計算機(例如，膝上型計算機或桌上型計算機)，或專用於執行2D到3D 轉換的裝置。3D顯示裝置2 可類似於圖5的實例中所展示的外部顯示裝置154。雖然展示為與3D顯示裝置2 分開，但顯示平臺223可整合到3D顯示裝置228中。如上文所註明，迄今為止尚不存在藉以將視頻數據無線地轉發到顯示裝置的任何標準化的無線顯示協議。給定標準化的無線顯示協議的此缺乏，則大多數顯示平臺(例如， 顯示平臺22 不支持無線視頻數據接收或發射。外部WD主機單元218及外部WD客戶端單元222的使用可克服此限制。為了說明，考慮移動裝置217可為2D視頻數據221的源，外部WD主機單元218可經由移動裝置217與外部WD主機單元218之間的有線連接(上文所註明)接收所述2D視頻數據221。外部WD主機單元218可與外部WD客戶端單元222建立無線鏈路220且接著經由無線鏈路220建立會話。此會話可包含RTP會話。當外部WD主機單元218接收到2D 視頻數據221時，WD主機單元218根據由外部WD客戶端單元222支持的無線顯示協議格式化2D視頻數據221。舉例來說，WD主機單元218可通過根據圖7的實例中所展示的文件格式而格式化2D視頻數據221來製備2D視頻數據218，但以下情況除外2D視頻數據221 不包括任何深度區段，且因此所得的經格式化的數據不包括任何深度包，從而使得每一部分僅具有視頻及音頻區段。外部WD主機單元218還可與外部WD客戶端單元222介接，以確定定義顯示平臺 223及/或3D顯示裝置228的能力的參數。外部WD主機單元218可與外部WD客戶端單元 222介接以請求這些參數。響應於此請求，外部WD客戶端單元222可經由有線接口與顯示平臺223介接，以按上文所描述的方式(例如，使用WHDMI)發現顯示平臺223的能力。當顯示平臺223使用(例如)HDMI與3D顯示裝置2 介接時，顯示平臺223還可能已發現3D顯示裝置228的參數。顯示平臺223可接著返回描述顯示平臺223及3D顯示裝置228中的一者或兩者的能力的參數，外部WD客戶端單元222將所述參數轉發到外部WD主機單元 218。外部WD主機單元218可接著基於這些參數而產生元數據且將此元數據嵌入到各種包的標頭中，如上文所描述。在任何情況下，WD主機單元218經由無線鏈路220將經格式化的2D視頻數據221 發射到外部WD客戶端單元222。在接收到此經格式化的2D視頻數據221後，外部WD客戶端單元222可解封裝各種區段以重新形成2D視頻數據221，而且，提取嵌入於包標頭中的元數據。外部WD客戶端單元22接著將重新形成的2D視頻數據221連同元數據一起轉發到顯示平臺223。如圖IOA的實例中所展示，顯示平臺223包括可類似於圖2的2D到3D處理模塊 58及顯示格式模塊64的2D到3D處理模塊2M及顯示格式模塊226。雖然類似，但2D到 3D處理模塊2M及顯示格式模塊64可具有較有限的特性在於2D到3D處理模塊2M僅可支持特定3D視頻數據(例如，與另一視圖相對比的深度)的產生，且顯示格式模塊2 僅可支持特定裝置特定3D輸入文件格式(例如，與多視圖串流相對比的「2D+Z」)。雖然2D 到3D處理模塊2M與顯示格式模塊2 兩者具有較有限的特性，但模塊2M與2 兩者可配置達特定程度且可利用經轉發的元數據來改善從所接收的2D視頻數據221產生3D視頻內容227。3D顯示裝置2 接收並呈現3D視頻內容227。2D到3D處理模塊2M可包含(作為一個實例)用於基於硬體或基於軟體的媒體播放器的插件程序或其它軟體模塊。顯示格式模塊2 也可包含(在一個實例中)用於基於硬體或基於軟體的媒體播放器的插件程序或其它軟體模塊。顯示格式模塊2 可執行顯示格式交錯，所述顯示格式交錯可為多視圖顯示所必要的。如上文所描述，2D到3D處理模塊2 通過提取深度信息來將2D視頻數據221轉換成3D視頻內容227的3D視頻數據。此深度提取可涉及識別來自2D視頻數據221的一個或一個以上幀的大型及小型特徵且將其分段。深度提取還涉及將2D視頻數據221分類成若干區域，例如背景區域、遮蔽區域及前景區域。一旦經分類，深度提取便基於2D視頻數據221中的結構及運動而識別3D模型中的移動對象的位置及定位。深度提取的結果為用於2D視頻數據221的2D圖像(或幀)中的每一像素的深度值，其是作為用於每一幀的N 位位像來存儲。或者，可產生用於每一區域的深度圖且在再現期間在運行中構成場景。在採用經「2D+深度」格式化的3D視頻內容227作為輸入的眼鏡式立體顯示器的狀況下，將深度圖中的信息及2D視頻數據221格式化成「2D+z」文件格式以輸入到3D顯示裝置228。如果3D顯示裝置228的顯示輸入文件格式為多串流文件格式(其中視頻的多個串流或視圖封裝於單一容器中)，則2D到3D處理模塊2M可基於2D視頻幀及相關聯的深度圖而產生對應於2D視頻數據221的一個或一個以上額外輔助視點(secondary viewpoint) 0 顯示格式模塊2 接著取決於所需的觀看角度、視圖的數目及經定義以用於顯示或由用戶定義的其它參數(例如，作為元數據)而通過輔助視圖交錯原始2D視頻數據或2D視頻數據 221。圖IOB為說明系統216B的框圖，所述系統216B包括外部WD主機單元218及內部 WD客戶端單元230，所述外部WD主機單元218與所述內部WD客戶端單元230兩者實施本發明中所描述的技術的各種方面。系統216B大體上類似於系統216A，但以下情況除外顯示平臺223'包括內部WD客戶端單元230(而不是如同圖IOA中的狀況，與外部WD客戶端裝置介接，在圖IOA中，顯示平臺223與外部WD客戶端單元222介接)。由於此原因，通過緊接於參考數字「223」之後的一個撇號來表示顯示平臺223'。內部WD客戶端單元230可以大體上類似於外部WD客戶端單元222的方式操作，但經由有線接口與顯示平臺223'介接除外。實情為，內部WD客戶端裝置230整合於顯示平臺223'內且藉以避免在外部與顯示平臺223'介接。圖IOC為說明另一系統216C的框圖，所述系統216C包括外部WD主機單元218及外部WD客戶端單元222，所述外部WD主機單元218與所述外部WD客戶端單元222兩者實施本發明中所描述的技術的各種方面。系統216C類似於系統216A，但系統216C的顯示平臺 223"包括深度到多視圖(Z到MV)處理模塊234。為了指示此差異，通過在參考數字「223」 之後的兩個撇號來表示顯示平臺223"。系統216A與216C之間的另一差異在於移動裝置217輸出根據「2D+Z」文件格式而格式化的3D視頻數據232。移動裝置217可接收來自上文所描述的所述源中的任一者的2D視頻數據且非實時或實時或近實時地執行2D到3D處理。或者，移動裝置217可接收3D視頻內容且將3D視頻內容變換成「2D+z」格式(如MPEG-C第3部分中所指定)。移動裝置217可使用現有文件格式(例如，MP4)封裝此3D視頻數據232，所述現有文件格式已經修改以每一幀載運一額外包以用於深度圖(或「ζ」)信息。用於深度包的封裝標頭可為文件格式規範中作為信息元素而經指定以用於用戶數據的標頭。使用此信息元素可實現與2D視頻顯示器的向後兼容性。此MP4無線顯示協議中的深度包可經由時序/同步信息而與對應視頻包相關聯， 或者，經由用於視頻包的幀唯一識別信息(例如，序號)同樣可用於所述相關聯。在系統216C中，外部WD主機單元218接收3D視頻數據232且根據無線顯示協議而格式化此數據232，從而產生類似於圖7中所展示的3D視頻數據的經格式化的3D視頻數據232。WD主機單元218可在用於MP4文件的剖析器處截取3D視頻數據232且檢索視頻、音頻及深度包。WD主機單元218接著重新封裝這些包與RTP標頭以形成RTP串流，WD 主機單元218經由實時流式傳輸協議(RTSP)將所述RTP串流流式傳輸到外部WD客戶端裝置222。可根據上文關於圖7的實例所描述的格式化而格式化這些串流。實際上，WD主機單元218修改輸送協議(例如，RTP)以載運「2D+z」3D視頻數據232。外部WD客戶端單元222經由無線鏈路220接收這些串流，解封裝所述串流以重新形成根據「2D+z」編碼而編碼的3D視頻數據232且將此3D視頻數據232轉發到Z到MV 處理模塊234。Z到MV處理模塊234通過從3D視頻數據232再現多視圖而將3D視頻數據 232從「2D+z」編碼格式轉換成多視圖串流編碼格式。顯示格式模塊2 接著以上文所描述的方式交錯這些多視圖以產生3D視頻內容236，3D顯示裝置2 接收且呈現所述3D視頻內容236以供一個或一個以上觀看者消耗。圖IOD為說明另一系統216D的框圖，所述系統216D包括外部WD主機單元218及內部WD客戶端單元230，所述外部WD主機單元218與所述內部WD客戶端單元230兩者實施本發明中所描述的技術的各種方面。如圖IOD中所展示，系統216D類似於系統216B在於系統216B與21D兩者包括移動裝置217、外部WD主機單元218、內部WD客戶端單元230 及一個或一個以上3D顯示裝置228。然而，系統216D包括移動多媒體裝置237，所述移動多媒體裝置237包括內部WD客戶端單元230，而在系統216B中，顯示平臺223'包括內部WD客戶端單元230。由於此原因，通過在參考數字「223」之後的三個撇號來表示顯示平臺 223以識別此差異。移動多媒體裝置237可包括移動多媒體處理器(圖IOD中未展示)，其包括內部 WD客戶端單元230及Z到圖形處理單元(GPU)處理模塊238 ( "Z到GPU處理模塊238」)。 所述多媒體處理器可包括GPU。在此意義上，可將WD客戶端單元230及Z到GPU處理模塊 238視為代管於具有GPU的多媒體處理器上。Z到GPU處理模塊238執行深度到多視圖轉換過程，以便將根據「2D+z」格式編碼的3D視頻數據232轉換成多視圖編碼格式。內部WD 客戶端單元230與外部WD主機單元218可以與上文關於圖IOB的系統216B中的這些相同單元所描述的方式相同的方式彼此通信，唯一不同在於所述通信涉及如關於圖IOC的系統216C所描述的3D視頻數據232。在任何情況下，內部WD客戶端單元230接收根據無線顯示協議而格式化的經封裝的3D視頻數據232，且解封裝此經封裝的3D視頻數據232以重新形成3D視頻數據232。 內部WD客戶端單元230將此數據232轉發到Z到GPU處理模塊238，所述Z到GPU處理模塊238將GPU用作藉以執行轉換過程以產生根據多視圖編碼格式而格式化的3D視頻數據 242的通用計算引擎。將GPU用作通用計算引擎可涉及使用OpenCL，其包含用於撰寫跨越由CPU及GPU組成的異質平臺執行的程序的框架結構。OpenCL包括用於撰寫在OpenCL裝置上執行的函數的語言，加上用以定義且接著控制平臺的應用程式設計器接口(API)。Z到GPU處理模塊238可使用GPU執行實時或近實時深度到多視圖轉換，且藉以可實現與接受呈不同格式(例如，「2D+z」格式及多串流視頻格式)的3D內容的異質顯示器介接。舉例來說，Z到GPU處理模塊238可產生根據「2D+z」格式而格式化的3D視頻數據M0，3D顯示器228A可直接接受所述3D視頻數據240而無需顯示平臺223 「進行介入處理。Z到GPU處理模塊238還可產生根據多視圖格式而格式化的3D視頻數據M1，且將此數據241轉發到顯示平臺223" 』。顯示平臺223" 』的顯示格式模塊2 可交錯來自經多視圖格式化的3D視頻數據Ml的串流以產生3D視頻數據M2，3D顯示裝置228B可接收且呈現所述3D視頻數據M2。圖IOE為說明另一系統216E的框圖，所述系統216E執行本發明中所描述的技術的一個或一個以上方面。系統216E可類似於圖IOD的系統216D，但移動多媒體裝置237' 包括內部WD客戶端單元230及2D到3D處理模塊224除外。為了表示此差異，移動多媒體裝置237'包括在參考數字「237」之後的一個撇號。在任何情況下，移動裝置217可將2D視頻內容或3D視頻內容244轉發到外部WD 主機單元218，所述外部WD主機單元218以上文所描述的方式根據無線顯示協議封裝此內容244且經由無線鏈路220將經格式化的內容244轉發到內部WD客戶端單元230。如果所述內容為2D視頻內容M4，則內部WD客戶端單元230可接著將此數據244轉發到2D到 3D處理單元224以執行實時或近實時2D到3D轉換(例如，深度提取)。如果顯示器228A、 228B中的一者或兩者需要，則2D到3D處理模塊2 可將3D視頻數據轉發到Z到GPU處理模塊238以產生經多視圖格式化的3D視頻數據，如上文所描述。或者，如果內部WD客戶端單元230接收3D視頻內容244且顯示器228A、2^B中的一者或兩者需要多視圖文件格式，則內部WD客戶端單元230可將3D視頻內容244轉發到Z到GPU處理模塊238，所述Z 到GPU處理模塊238產生根據多視圖文件格式而格式化的3D視頻數據Ml。
移動多媒體裝置237'可接著將內容240轉發到3D顯示裝置228A，如上文所描述。或者，移動多媒體裝置237'可將3D視頻數據241轉發到顯示平臺223〃 』，如上文所描述。顯示平臺223"『(再次如上文所描述)可使用顯示格式模塊2 交錯多個視圖且將所得3D視頻內容242轉發到3D顯示裝置228B。在系統216E中，移動裝置217可選擇經由通過外部WD主機單元218及內部WD客戶端單元230實施的無線顯示協議來驅動2D或3D視頻內容。如上文所註明，WD主機單元218與WD客戶端單元230可交換描述連接到客戶端的顯示器(一個或一個以上，經由鏡射)的參數，其中這些參數包括由這些顯示器支持的3D內容格式。取決於無線鏈路220上的可用帶寬，WD客戶端單元230可執行2D到3D轉換過程(而不是移動裝置217執行所述過程)。在移動多媒體裝置237'內執行轉換還可促成較佳用戶體驗及視覺質量。此外，取決於3D顯示器的參數，執行深度到多視圖轉換過程。另外，移動多媒體裝置237'可執行從無線顯示協議到顯示格式的格式轉換。在所有系統216A到216E中，各種組件可利用WD主機及客戶端單元來使傳統上有線的顯示器能夠變成無線顯示器或至少變成可經由無線連接存取。因此，各種內部及外部 WD主機及客戶端單元可通過將有線顯示器轉換成無線顯示器而促成跨平臺3D視頻重放。 此外，各種WD主機及客戶端單元並不強制實行特定3D內容格式，而是僅提供藉以高效率地無線地發射3D視頻數據同時仍實現與僅2D顯示裝置的向後兼容性的無線顯示輸送協議。 就此來說，各種內部及外部WD主機及客戶端單元可進一步促成跨平臺3D視頻重放。可以硬體、固件或其任一組合實施本文中所描述的技術。在一些例子中，硬體也可執行軟體。描述為模塊、單元或組件的任何特徵可一起實施於整合式邏輯裝置中或分離地實施為離散但可互操作的邏輯裝置。在一些狀況下，各種特徵可實施為集成電路裝置，例如集成電路晶片或晶片組。如果以軟體實施，則可至少部分通過計算機可讀媒體來實現所述技術，所述計算機可讀媒體包含在執行時使處理器執行上文所描述的方法中的一者或一者以上的指令。計算機可讀媒體可形成電腦程式產品的一部分，其可包括封裝材料。計算機可讀媒體可包含計算機數據存儲媒體，例如隨機存取存儲器(RAM)、同步動態隨機存取存儲器 (SDRAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體、磁性或光學數據存儲媒體及其類似者。另外或其它，所述技術可至少部分通過計算機可讀通信媒體來實現，所述計算機可讀通信媒體載運或傳達呈指令或數據結構的形式的代碼且可由計算機存取、讀取及/或執行。可由以下各者執行代碼或指令一個或一個以上處理器(例如一個或一個以上 DSP)、通用微處理器、ASIC、現場可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。 因此，如本文中所使用的術語「處理器」可指代上述結構中的任一者或適合於實施本文中所描述的技術的任一其它結構。另外，在一些方面中，本文中所描述的功能性可提供於專用軟體模塊或硬體模塊內。本發明還預期多種集成電路裝置中的任一者，所述集成電路裝置包括用以實施本發明中所描述的技術中的一者或一者以上的電路。此電路可提供於單一集成電路晶片中或所謂的晶片組中的多個可互操作的集成電路晶片中。這些集成電路裝置可用於多種應用中，其中一些可包括用於無線通信裝置(例如，行動電話手持機)中。已描述本發明的各種實例。這些及其它實例在所附權利要求書的範圍內。
權利要求
1.一種可攜式裝置，其包含用以存儲視頻數據的模塊；無線顯示器主機模塊，其確定所述可攜式裝置外部的三維3D顯示裝置的一個或一個以上顯示參數，且基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據；及無線接口，其將所述3D視頻數據無線地發射到所述外部3D顯示裝置。
2.根據權利要求1所述的可攜式裝置，其中所述無線顯示器主機模塊通過根據所述顯示參數中的一者或一者以上處理所述視頻數據及與所述視頻數據相關聯的元數據中的一者或一者以上來製備所述視頻數據。
3.根據權利要求1所述的可攜式裝置，其中所述無線顯示器主機模塊根據無線顯示協議製備所述視頻數據以產生3D視頻數據；且其中所述無線接口根據所述無線顯示協議將所述3D視頻數據無線地發射到所述外部 3D顯示裝置。
4.根據權利要求3所述的可攜式裝置，其進一步包含視頻處理模塊，所述視頻處理模塊將二維2D視頻數據變換成所述3D視頻數據，其中所述無線顯示器主機模塊自動地確定所述顯示參數，且其中所述顯示參數包括由所述3D顯示裝置支持的輸入格式；且根據所述自動確定的輸入格式配置所述變換模塊以使得所述變換模塊產生所述3D視頻數據。
5.根據權利要求3所述的可攜式裝置，其中所述無線顯示協議包含輸送協議，所述輸送協議將所述3D視頻數據的多個視頻數據區段與多個深度數據區段中的每一者封裝於多個包中的一不同者中。
6.根據權利要求5所述的可攜式裝置，其中所述輸送協議包含應用層輸送協議，且其中所述應用層輸送協議包含實時輸送協議RTP。
7.根據權利要求5所述的可攜式裝置，其中所述輸送協議進一步封裝與所述深度數據區段相關聯的元數據。
8.根據權利要求1所述的可攜式裝置，其中所述無線接口將所述3D視頻數據無線地發射到耦合到所述外部3D顯示裝置的無線顯示器客戶端模塊，且其中所述無線顯示器主機模塊與所述無線顯示器客戶端模塊兩者支持無線顯示協議。
9.根據權利要求1所述的可攜式裝置，其進一步包含變換模塊，所述變換模塊將二維 2D視頻數據變換成所述3D視頻數據，其中所述無線顯示器主機模塊自動地確定所述顯示參數，且其中所述顯示參數包括由所述3D顯示裝置支持的輸入格式；且根據所述自動確定的輸入格式配置所述變換模塊以使得所述變換模塊產生所述3D視頻數據。
10.根據權利要求9所述的可攜式裝置，其中所述輸入格式包含「2D+深度」輸入格式、 「2D+深度、遮蔽及全局效果」輸入格式及多視圖串流輸入格式中的一者，且其中所述「2D+ 深度、遮蔽及全局效果」輸入格式定義透明度、全局照明模型及氛圍效果中的一者或一者以上。
11.根據權利要求9所述的可攜式裝置，其進一步包含呈現第一用戶接口的用戶接口模塊，所述第一用戶接口接收從多個3D顯示裝置中選擇所述3D顯示裝置的輸入數據，其中所述無線接口與所述選定的3D顯示裝置無線地通信以自動地確定所述顯示參數。
12.根據權利要求9所述的可攜式裝置，其進一步包含呈現用戶接口的用戶接口模塊， 所述用戶接口接收定義一個或一個以上用戶偏好的輸入數據，其中所述無線顯示器主機模塊根據所述所定義的用戶偏好配置所述變換模塊以使得所述變換模塊產生所述3D視頻數據。
13.根據權利要求1所述的可攜式裝置，其進一步包含變換模塊，所述變換模塊變換所述視頻數據以產生所述3D視頻數據；及人類視覺系統HVS反饋模塊，其在所述變換模塊變換所述視頻數據時使用HVS模型確定一個或一個以上度量，所述一個或一個以上度量關於人類視覺系統反映所述所產生的3D 視頻數據的3D可視化質量；且基於所述所確定的一個或一個以上度量而重新配置所述變換模塊以精細化所述3D視頻數據的所述產生。
14.根據權利要求13所述的可攜式裝置，其中在產生所述3D視頻數據時，所述無線接口將所述3D視頻數據發射到所述3D顯示裝置。
15.根據權利要求13所述的可攜式裝置，其進一步包含呈現用戶接口的用戶接口模塊，所述用戶接口接收定義一個或一個以上用戶偏好的輸入數據，其中所述HVS反饋模塊根據所述所定義的用戶偏好配置所述變換模塊以便產生3D視頻數據。
16.根據權利要求1所述的可攜式裝置，其中所述可攜式裝置包含移動蜂窩式電話、移動計算裝置、可攜式裝置及手持機裝置中的一者。
17.一種方法，其包含通過可攜式裝置存儲視頻數據；通過所述可攜式裝置的無線顯示器主機模塊確定所述可攜式裝置外部的三維3D顯示裝置的一個或一個以上顯示參數；通過所述無線顯示器主機模塊基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據；及通過所述可攜式裝置將所述3D視頻數據發射到所述外部3D顯示裝置。
18.根據權利要求17所述的方法，其中製備所述視頻數據包含根據所述顯示參數中的一者或一者以上處理所述視頻數據及與所述視頻數據相關聯的元數據中的一者或一者以上。
19.根據權利要求17所述的方法，其中製備所述視頻數據包含根據無線顯示協議製備所述視頻數據以產生所述3D視頻數據；且其中發射所述3D視頻數據包含根據所述無線顯示協議將所述3D視頻數據發射到所述外部3D顯示裝置。
20.根據權利要求19所述的方法，其進一步包含通過所述可攜式裝置的變換模塊將二維2D視頻數據轉換成所述3D視頻數據，其中確定所述一個或一個以上顯示參數包含自動地確定所述一個或一個以上顯示參數，且其中所述顯示參數包括由所述3D顯示裝置支持的輸入格式，且所述方法進一步包含根據所述自動確定的輸入格式配置所述變換模塊以使得所述變換模塊產生所述3D視頻數據。
21.根據權利要求19所述的方法，其中所述無線顯示協議包含輸送協議，所述輸送協議將所述3D視頻數據的多個視頻數據區段與多個深度數據區段中的每一者封裝於多個包中的一不同者中。
22.根據權利要求21所述的方法，其中所述輸送協議包含應用層輸送協議，且其中所述應用層輸送協議包含實時輸送協議RTP。
23.根據權利要求21所述的方法，其中所述輸送協議進一步封裝與所述深度數據區段相關聯的元數據。
24.根據權利要求17所述的方法，其中發射所述3D視頻數據包含將所述3D視頻數據無線地發射到耦合到所述外部3D顯示裝置的無線顯示器客戶端模塊，且其中所述無線顯示器主機模塊與所述無線顯示器客戶端模塊兩者支持無線顯示協議。
25.根據權利要求17所述的方法，其進一步包含通過所述可攜式裝置的變換模塊將二維2D視頻數據變換成所述3D視頻數據，其中確定所述一個或一個以上顯示參數包含自動地確定所述一個或一個以上顯示參數，且其中所述顯示參數包括由所述3D顯示裝置支持的輸入格式，且所述方法進一步包含根據所述自動確定的輸入格式配置所述變換模塊以使得所述變換模塊產生所述3D視頻數據。
26.根據權利要求25所述的方法，其中所述輸入格式包含「2D+深度」輸入格式、「2D+ 深度、遮蔽及全局效果」輸入格式及多視圖串流輸入格式中的一者，且其中所述「2D+深度、 遮蔽及全局效果」輸入格式定義透明度、全局照明模型及氛圍效果中的一者或一者以上。
27.根據權利要求25所述的方法，其進一步包含呈現第一用戶接口，所述第一用戶接口接收從多個3D顯示裝置中選擇所述3D顯示裝置的輸入數據；及與所述選定的3D顯示裝置無線地通信以自動地確定所述顯示參數。
28.根據權利要求25所述的方法，其進一步包含呈現用戶接口，所述用戶接口接收定義一個或一個以上用戶偏好的輸入數據；及根據所述所定義的用戶偏好配置所述變換模塊以使得所述變換模塊產生所述3D視頻數據。
29.根據權利要求17所述的方法，其進一步包含通過所述可攜式裝置的變換模塊變換所述視頻數據以產生所述3D視頻數據；在所述變換模塊變換所述視頻數據時，使用HVS模型確定一個或一個以上度量，所述一個或一個以上度量關於人類視覺系統反映所述所產生的3D視頻數據的3D可視化質量； 及在所述變換模塊變換所述視頻數據時，基於所述所確定的一個或一個以上度量而重新配置所述變換模塊以精細化所述3D視頻數據的所述產生。
30.根據權利要求四所述的方法，其中發射所述3D視頻數據包含在產生所述3D視頻數據時將所述3D視頻數據發射到所述3D顯示裝置。
31.根據權利要求四所述的方法，其進一步包含呈現用戶接口，所述用戶接口接收定義一個或一個以上用戶偏好的輸入數據；及根據所述所定義的用戶偏好配置所述變換模塊以便產生3D視頻數據。
32.根據權利要求17所述的方法，其中所述可攜式裝置包含移動蜂窩式電話、移動計算裝置、可攜式裝置及手持機裝置中的一者。
33.一種可攜式裝置，其包含 用於存儲視頻數據的裝置；用於確定所述可攜式裝置外部的三維3D顯示裝置的一個或一個以上顯示參數的裝置；用於基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據的裝置；及用於將所述3D視頻數據發射到所述外部3D顯示裝置的裝置。
34.根據權利要求33所述的可攜式裝置，其中所述用於製備所述視頻數據的裝置包含用於根據所述顯示參數中的一者或一者以上處理所述視頻數據及與所述視頻數據相關聯的元數據中的一者或一者以上的裝置。
35.根據權利要求33所述的可攜式裝置，其中所述用於製備所述視頻數據的裝置包含用於根據無線顯示協議製備所述視頻數據以產生所述3D視頻數據的裝置；且其中所述用於發射所述3D視頻數據的裝置包含用於根據所述無線顯示協議將所述3D 視頻數據發射到所述外部3D顯示裝置的裝置。
36.根據權利要求35所述的可攜式裝置，其進一步包含用於將二維2D視頻數據變換成所述3D視頻數據的裝置，其中所述用於確定所述一個或一個以上顯示參數的裝置包含用於自動地確定所述一個或一個以上顯示參數的裝置，且其中所述顯示參數包括由所述3D顯示裝置支持的輸入格式，且所述可攜式裝置進一步包含用於根據所述自動確定的輸入格式配置所述用於變換的裝置以使得所述用於變換的裝置產生所述3D視頻數據的裝置。
37.根據權利要求35所述的可攜式裝置，其中所述無線顯示協議包含輸送協議，所述輸送協議將所述3D視頻數據的多個視頻數據區段與多個深度數據區段中的每一者封裝於多個包中的一不同者中。
38.根據權利要求37所述的可攜式裝置， 其中所述輸送協議包含應用層輸送協議，且其中所述應用層輸送協議包含實時輸送協議RTP。
39.根據權利要求37所述的可攜式裝置，其中所述輸送協議進一步封裝與所述深度數據區段相關聯的元數據。
40.根據權利要求33所述的可攜式裝置，其中所述用於發射所述3D視頻數據的裝置包含用於將所述3D視頻數據無線地發射到耦合到所述外部3D顯示裝置的無線顯示器客戶端模塊的裝置，且其中無線顯示器主機模塊與所述無線顯示器客戶端模塊兩者支持無線顯示協議。
41.根據權利要求33所述的可攜式裝置，其進一步包含 用於將二維2D視頻數據變換成所述3D視頻數據的裝置，其中所述用於確定所述一個或一個以上顯示參數的裝置包含用於自動地確定所述一個或一個以上顯示參數的裝置，且其中所述顯示參數包括由所述3D顯示裝置支持的輸入格式；及用於根據所述自動確定的輸入格式配置用於變換的裝置以使得用於變換的裝置產生所述3D視頻數據的裝置。
42.根據權利要求41所述的可攜式裝置，其中所述輸入格式包含「2D+深度」輸入格式、 「2D+深度、遮蔽及全局效果」輸入格式及多視圖串流輸入格式中的一者，且其中所述「2D+ 深度、遮蔽及全局效果」輸入格式定義透明度、全局照明模型及氛圍效果中的一者或一者以上。
43.根據權利要求41所述的可攜式裝置，其進一步包含用於呈現第一用戶接口的裝置，所述第一用戶接口接收從多個3D顯示裝置中選擇所述3D顯示裝置的輸入數據；及用於與所述選定的3D顯示裝置無線地通信以自動地確定所述顯示參數的裝置。
44.根據權利要求41所述的可攜式裝置，其進一步包含用於呈現用戶接口的裝置，所述用戶接口接收定義一個或一個以上用戶偏好的輸入數據；及用於根據所述所定義的用戶偏好配置所述用於變換的裝置以使得所述用於變換的裝置產生所述3D視頻數據的裝置。
45.根據權利要求33所述的可攜式裝置，其進一步包含 用於變換所述視頻數據以產生所述3D視頻數據的裝置； 用於在變換所述視頻數據時使用HVS模型確定一個或一個以上度量的裝置，所述一個或一個以上度量關於人類視覺系統反映所述所產生的3D視頻數據的3D可視化質量；及用於在變換所述視頻數據時基於所述所確定的一個或一個以上度量而重新配置所述用於變換的裝置以精細化所述3D視頻數據的所述產生的裝置。
46.根據權利要求45所述的可攜式裝置，其中所述用於發射所述3D視頻數據的裝置包含用於在產生所述3D視頻數據時將所述3D視頻數據發射到所述3D顯示裝置的裝置。
47.根據權利要求45所述的可攜式裝置，其進一步包含用於呈現用戶接口的裝置，所述用戶接口接收定義一個或一個以上用戶偏好的輸入數據；及用於根據所述所定義的用戶偏好配置所述用於變換的裝置以便產生3D視頻數據的裝置。
48.根據權利要求33所述的可攜式裝置，其中所述可攜式裝置包含移動蜂窩式電話、 移動計算裝置、可攜式裝置及手持機裝置中的一者。
49.一種計算機可讀存儲媒體，其包含若干指令，所述指令使處理器 存儲視頻數據；確定可攜式裝置外部的三維3D顯示裝置的一個或一個以上顯示參數； 基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據；且將所述3D視頻數據發射到所述外部3D顯示裝置。
全文摘要
大體來說，描述用於根據無線顯示協議製備視頻數據的技術。舉例來說，包含用以存儲視頻數據的模塊、無線顯示器主機模塊及無線接口的可攜式裝置可實施本發明的所述技術。所述無線顯示器主機模塊確定所述可攜式裝置外部的三維3D顯示裝置的一個或一個以上顯示參數，且基於所述所確定的顯示參數而製備所述視頻數據以產生3D視頻數據。所述無線接口接著將所述3D視頻數據無線地發射到所述外部3D顯示裝置。以此方式，可攜式裝置實施所述技術以根據無線顯示協議製備視頻數據。
文檔編號H04N13/00GK102474662SQ201080034960
公開日2012年5月23日 申請日期2010年8月4日 優先權日2009年8月6日
發明者維賈雅拉克希米·R·拉韋恩德拉恩, 胡迪特·馬蒂內·包薩, 薩米爾·薩利布·索利曼 申請人:高通股份有限公司