使用多線程單指令多數據處理並行執行媒體編碼的製作方法

2023-10-10 05:59:19 2

專利名稱：使用多線程單指令多數據處理並行執行媒體編碼的製作方法
使用多線程單指令多數據處理並行執行媒體編碼
背景技術：
用於對媒體數據進行編碼的各種技術已經由在例如移動圖像專
家組(MPEG)、國際電信聯盟(ITU)、國際標準化組織(ISO)和國際電工 委員會(IEC)的各種組織發布的多種標準中進行了描述。例如， MPEG-1 、 MPEG-2和MPEG-4視頻壓縮標準描述了塊編碼技術，在 該技術中，將一副圖像分割為多個片(slice)、宏塊和塊。在執行了時 間運動預測和/或者空間預測之後，對一個塊中的殘餘值進行熵編碼。 熵編碼的一個公共實例是可變長度編碼(VLC)，其包括將數據符號轉 換為可變長度碼。熵編碼的更多複雜的實例包括基於上下文 (context-based)的自適應可變長度編碼(CAVLC)和基於上下文的自適 應二進位算術編碼(CABAC)，其在MPEG-4第10部分或者ITU/正C H.264視頻壓縮標準，Video coding for Very Low Bit Rate Communication用於超低比特率通信的視頻編碼)，ITU-T Recommendation H.264(2003年5月)。
視頻編碼器通常利用由功能固定的邏輯電路或者標量處理器實 現的單個單元來執行順序編碼。由於在熵編碼中使用的複雜度的增 加，順序視頻編碼消耗了大量的處理器時間，即使是採用幾個GHz 的機器也是如此。


圖1示出了節點的一個實施例； 圖2示出了媒體處理的一個實施例； 圖3示出了系統的一個實施例；以及 圖4示出了邏輯流程的一個實施例。
具體實施例方式
圖1示出了節點的一個實施例。圖1示出了媒體處理節點100的 框圖。 一個節點通常可以在系統100中包括用於傳遞信息的任何物理
實體或邏輯實體，並且按照一組給定的設計參數或者執行約束的需 要，節點可以實現為硬體、軟體或者其任何組合。
在各種實施例中，節點可以包括或者可以實現為計算機系統、 計算機子系統、計算機、應用設備、工作站、終端、伺服器、個人計
算機(PC)、膝上型電腦、超小型膝上型電腦、手持計算機、個人數字 助理(PDA)、機頂盒(STB)、電話、行動電話、蜂窩電話、手機、無 線接入點、基站、無線電網絡控制器(RNC)、移動客戶中心(MSC)、 微處理器、諸如特定用途集成電路(ASIC)之類的集成電路、可編程邏 輯器件(PLD)、諸如通用處理器之類的處理器、數位訊號處理器(DSP) 和/或者網絡處理器、接口、輸入/輸出(I/0)設備(例如，鍵盤、滑鼠、 顯示器、印表機)、路由器、集線器、網關、橋、交換機、電路、邏 輯門、寄存器、半導體裝置、晶片、電晶體、或者任何其他裝置、機 器、工具、設備、組件、或者其組合。
在各種實施例中，節點可以包括或者可以實現為軟體、軟體模 塊、應用程式、程序、子程序、指令集、計算碼、字、值、符號、或 者其組合。節點可以根據預定的計算機語言、方式或者語法來實現， 以命令處理器執行特定的功能。計算機語言的實例可以包括C、 C++、 Java、 BASIC、 Perl、 Matlab、 Pascal、 Visual BASIC、彙編語言、機 器碼、用於網絡處理器的微代碼、等等。實施例並不局限於該情況。
在各種實施例中，媒體處理節點ioo可以包括或者可以實現為以
下一個或多個處理系統、處理子系統、處理器、計算機、裝置、編
碼器、解碼器、編解碼器(CODEC)、壓縮裝置、解壓裝置、濾波裝置 (例如，圖形縮放裝置、解塊濾波裝置)、變換裝置、娛樂系統、顯示 器、或者任何其他的處理結構。實施例並不局限於該情況。
在各種實施例中，媒體處理節點ioo可以被設置為執行一個或多 個處理操作。處理操作通常可以涉及一個或多個操作，例如生成、管 理、通信、發送、接收、轉存、訪問、讀取、寫入、操作、編碼、解 碼、壓縮、解壓、重構、加密、濾波、流形成、或者其他信息處理。
實施例並不局限於該情況。
在各種實施例中，媒體處理節點IOO可以被設置為處理一種或多
種信息，例如視頻信息。視頻信息通常涉及源自一個或多個視頻圖像 的或者與一個或多個視頻圖像相關聯的任何數據。例如，在一個實施
例中，視頻信息可以包括以下一個或多個視頻數據、視頻序列、圖 像組、圖像、對象、幀、片、宏塊、塊、像素、等等。指定給像素的
^:可以包括實數和/或者整數。實施例並不局限於該情況。
在各種實施例中，媒體處理節點ioo可以執行諸如以下的媒體處
理操作將視頻數據編碼和/或者壓縮為可以進行存儲或者形成流的 文件，從存儲的文件或者媒體流中解碼和/或者解壓出視頻數據，濾 波(例如，圖形縮放、解塊濾波)，視頻重放，基於網際網路的視頻應用， 電話會議應用，和流媒體視頻應用。實施例並不局限於該情況。
在各種實施例中，媒體處理節點IOO可以按照一個或多個協議對
信息進行通信、管理、或者處理。協議可以包括用於管理多個節點之 間通信的一組預定規則或者指令。協議可以通過由標準化組織(例如，
ITU、 ISO、 IEC、 MPEG、網際網路工程任務組(IETF)、電子電氣工程 師協會(IEEE)等等)發布的一種或多種標準來定義。例如，所描述的 實施例可以被設置為按照諸如MPEG-1、 MPEG-2、 MPEG-4、 H.264
之類的用於視頻處理的標準來工作。實施例並不局限於該情況。
在各種實施例中，媒體處理節點100可以包括多個模塊。按照一 組給定的設計或者執行約束的要求，所述模塊可以包括或者實現為 一個或多個系統、子系統、處理器、裝置、機器、工具、組件、電路、 寄存器、應用程式、子程序、或者其任何組合。在各種實施例中，所 述模塊可以通過一個或多個通信介質連接。通信介質通常可以包括能 夠攜帶信息信號的任何介質。例如，按照給定的實現要求，通信介質 可以包括有線通信介質、無線通信介質、或者其組合。實施例並不 局限於該情況。
媒體處理節點100可以包括運動估計模塊102。在各種實施例中， 運動估計模塊102可以被設置為接收輸入視頻數據。在各種實現中， 輸入視頻數據的一個幀可以包括一個或多個片、宏塊和塊。例如，片
可以包括I片、P片或者B片，並且一個片可以包含幾個宏塊。例如， 每個宏塊可以包括幾個塊，諸如亮度塊和/或者色度塊。在一個實施 例中， 一個宏塊可以包括16X16像素的區域， 一個塊可以包括8X8 像素的區域。在其他實施例中，例如， 一個宏塊可以被劃分為各種塊 大小，諸如16X16、 16X8、 8X16、 8X8、 8X4、 4X8禾Q4X4。應 該理解的是，雖然提及了宏塊和塊，但是所描述的實施例和實現可以 應用於視頻數據的其他劃分方式。實施例並不局限於該情況。
在各種實施例中，運動估計模塊102可以被設置為對一個或多個 宏塊進行運動估計。運動估計模塊102可以根據一個或多個參考幀， 估計宏塊中的當前塊內容。在各種實現中，運動估計模塊102可以將 當前幀中的一個或多個宏塊與在參考幀中的周圍區域進行比較，以確 定匹配區域。在一些實施例中，運動估計模塊102可以使用多個參考 幀(例如，過去的、先前的、將來的)來執行運動估計。在一些實現中， 例如，運動估計模塊102可以使用運動矢量，來估計匹配區域從一個 或多個參考幀到當前幀之間的運動。實施例並不局限於該情況。
媒體處理節點IOO可以包括模式決定模塊104。在各種實施例中， 模式決定模塊104可以被設置為確定一個或多個宏塊的編碼模式。例 如，所述編碼模式可以包括預測編碼模式，諸如幀內編碼預測和/或 者幀間編碼預測。幀內塊預測可以包括使用先前解碼的像素從同一幀 中估計像素值。幀間塊預測可以包括從在一個序列中連續的多個幀中 估計像素值。實施例並不局限於該情況。
媒體處理節點IOO可以包括運動預測模塊106。在各種實施例中， 運動預測模塊106可以被設置為執行時間運動預測和/或者空間預測， 以預測一個塊的內容。例如，運動預測模塊106可以被設置為使用諸 如幀內預測和/或者幀間預測之類的預測技術。在各種實現中，運動 預測模塊106可以支持雙向預測。在一些實施例中，運動預測模塊 106可以根據周圍塊中的運動矢量來執行運動矢量預測。實施例並不 局限於該情況。
在各種實施例中，運動預測模塊106可以被設置為根據在當前幀 與一個或多個參考幀之間的差異，來提供殘餘。例如，該殘餘可以包含在一個塊的被預測內容(例如，像素、運動矢量)與實際內容之間的 差異。實施例並不局限於該情況。
媒體處理節點100可以包括變換模塊108，例如正向離散餘弦變 換(FDCT)模塊。在各種實施例中，變換模塊108可以被設置為提供 所述殘餘的頻率描述。在各種實現中，變換模塊108可以將所述殘餘 轉換到頻域，並且生成頻率係數矩陣。例如，16X16的宏塊可以被 變換為16X16的頻率係數矩陣，8X8的塊可以被變換為8X8的頻 率係數矩陣。在一些實施例中，變換模塊108可以使用基於8X8像 素的變換和/或者基於4X4像素的變換。實施例並不局限於該情況。
媒體處理節點IOO可以包括量化器模塊IIO。在各種實施例中， 量化器模塊IIO可以被設置為對經過變換的係數進行量化，並輸出殘 餘係數。在各種實現中，量化器模塊110可以輸出殘餘係數，其包含 有相對少的幾個非零值係數。量化器模塊no可以通過將很多經過變 換的頻率係數驅至零，來使得編碼變得容易。例如，量化器模塊iio 可以用頻率係數除以一個量化因子或者量化矩陣，量化因子或者量化 矩陣將較小的係數(例如，高頻係數)驅至零。實施例並不局限於該情 況。
媒體處理節點100可以包括逆量化器模塊112和逆變換模塊 (IDCT)114。在各種實施例中，逆量化器模塊112可以被設置為接收 經過量化的變換後的係數，並執行逆量化，以生成經過變換的係數， 例如DCT係數。逆變換模塊114可以被設置為接收經過變換的係數， 例如DCT係數，並執行逆變換，以生成像素數據。在各種實現中， 逆量化和逆變換可以用於預測在量化過程中產生的損失。實施例並不 局限於該情況。
媒體處理節點IOO可以包括運動補償模塊116。在各種實施例中， 運動補償模塊116可以接收逆變換模塊114的輸出，並對一個或多個 宏塊執行運動補償。在各種實現中，運動補償模塊116可以被設置為 補償匹配區域在當前幀與一個或多個參考幀之間的運動。實施例並不 局限於該情況。
媒體處理節點IOO可以包括掃描模塊118。在各種實施例中，掃
描模塊118可以被設置為從量化器模塊110接收經過變換、量化的殘 餘係數，並執行掃描操作。在各種實現中，掃描模塊118可以根據一 種掃描次序，諸如Z字型掃描次序，來掃描殘餘係數，以生成經過變 換、量化的殘餘係數的一個序列。實施例並不局限於該情況。
媒體處理節點100可以包括熵編碼模塊120，例如VLC模塊。 在各種實施例中，熵編碼模塊120可以被設置為執行熵編碼，例如 VLC(例如，遊程-級別VLC)、 CAVLC、 CABAC、等等。通常，CAVLC 和CABAC比VLC更為複雜。例如，CAVLC可以使用整數數量的比 特來對一個值進行編碼，CABAC可以使用算術編碼，並使用小數數 量的比特來對值進行編碼。實施例並不局限於該情況。
在各種實施例中，熵編碼模塊120可以被設置為執行VLC操作， 例如使用霍夫曼表的遊程-級別VLC。在這種實施例中，可以將掃描 的經過變換、量化的係數序列表示為遊程-級別(run-levd)符號的序列。 每個遊程-級別符號可以包括一個遊程-級別對，其中級別是非零值系 數的值，遊程是在該非零值係數之前的零值係數的數量。例如，原始 序列的一部分Xp X2， X3， 0， 0， 0， 0， 0， X4可以表示為遊程-級別符號(O, X,)(O, X2)(0， X3)(5， X4)。在各種實現中，熵編碼模塊120 可以被設置為根據一組預定的霍夫曼表，將每個遊程-級別符號轉換 為不同長度的比特序列。實施例並不局限於該情況。
媒體處理節點IOO可以包括比特流打包模塊122。在各種實施例 中，在各種實施例中，比特流打包模塊122可以被設置為根據掃描次 序對塊的熵編碼比特序列打包，以形成塊的VLC序列。比特流打包 模塊122可以根據塊次序對多個塊的比特序列進行打包，以形成宏塊 等等的編碼序列。在各種實現中，可以唯一地確定一個符號的比特序 列，以使得打包處理的逆操作可以用於實現對塊和宏塊的唯一解碼。 實施例並不局限於該情況。
在各種實施例中，媒體處理節點IOO可以實現多級功能管道。如 圖1所示，例如，媒體處理節點IOO可以實現一種功能管道，其被劃 分為級A中的運動估計操作、級B中的編碼操作、和級C中的比特 流打包操作。在一些實現中，在級B中的編碼操作可以進一步劃分。
在各種實施例中，媒體處理節點100可以執行基於功能和數據域的劃
分，以實現對於多線程計算機結構而言可以充分利用的並行性。
在各種實現中，各個獨立的線程可以執行運動估計級、編碼級和 打包比特流級。每個線程可以包括電腦程式的一部分，其可以與其 他線程相互獨立地且並行地執行。在各種實施例中，可以使用互斥對 象(互斥體)和/或者信號燈來實現線程同步。可以通過存儲器訪問和/ 或者直接的寄存器訪問來實現線程通信。實施例並不局限於該情況。
在各種實施例中，媒體處理節點100可以執行並行的多線程操 作。例如，三個獨立的線程可以並行地執行級A中的運動估計操作、 級B中的編碼操作、和級C中的比特流打包操作。在各種實現中， 對級A進行操作的多個線程、對級B進行操作的多個線程和對級C 進行操作的多個線程可以並行進行。實施例並不局限於該情況。
在各種實現中，功能管道可以被劃分為使得級C中的比特流打 包操作與級A中的運動估計操作和級B中的編碼操作相互分開。功 能管道的劃分可以是基於功能和數據域的，以實現線程級的並行性。 例如，運動估計級A和編碼級B可以在數據域上劃分為宏塊，並且 比特流打包級C可以被劃分為行，其允許與其他級的計算有更高的 並行度。在各種實施例中，對宏塊或者塊的最終的比特序列打包可以 與對宏塊或者塊之內的遊程-級別符號的比特序列打包相互分開，從 而使得對於不同宏塊和塊的熵編碼(例如，VLC)操作可以通過不同的 線程並行執行。通過將最後的順序操作，即打包比特流，移到基於宏 塊的編碼操作的外部，可以降低順序依賴性，並且可以提高並行度。 實施例並不局限於該情況。
圖2示出了媒體處理的一個實施例。圖2示出了可以由諸如媒體 處理節點100之類的媒體處理節點執行的一個並行多線程處理的實 施例。在各種實施例中，可以對宏塊、塊、和行進行並行多線程處理。 在圖2所示的實例中，例如，每個宏塊(m， n)可以包括16X16的宏 塊。對於720像素X480行的標準解析度(SD)幀來說，M=45， N==30。
實施例並不局限於該情況。
在一個實施例中，在級B中對於宏塊(IO)、 (11)、 (12)、和(13)中的一個或多個宏塊的編碼操作可以與級c中對行-oo執行的比特流打
包操作並行執行。在各種實現中，塊級別的處理可以與宏塊級別的處
理並行執行。在級B中，例如，在宏塊(10)中的塊級別的編碼操作可 以與對宏塊(OO)、 (01)、 (02)、和(03)的宏塊級別的編碼操作並行執行。 實施例並不局限於該情況。
在各種實施例中，並行多線程操作可能受到層內和/或者層間數 據的相關性的影響。在圖2所示的實例中，層內數據相關性用實線箭 頭表示，層間數據相關性用虛線箭頭表示。在該實例中，當執行級A 中的運動估計操作時，宏塊(12)、 (13)和(21)之間可能存在層內數據相 關性。在級A和級B之間還可能存在宏塊(11)的層間相關性。結果， 在級B中對宏塊(ll)執行的編碼操作只有在級A中對宏塊(ll)執行的 運動估計操作完成之後才可以開始。在級B和級C之間還可能存在 宏塊(OO)、 (01)、 (02)、和(03)的層間相關性。結果，在級C中對行-OO 的比特流打包操作只有在對宏塊(OO)、 (01)、 (02)、和(03)的操作完成
之後才可以開始。實施例並不局限於該情況。
圖3示出了系統的一個實施例。圖3示出了單指令多數據(SIMD) 處理系統300的框圖。在各種實現中，SIMD處理系統300可以被設 置為執行各種媒體處理操作，包括媒體編碼操作(例如VLC操作)的 多線程並行執行。在各種實施例中，媒體處理節點IOO可以通過實現 SIMD處理，來執行媒體編碼的多線程並行執行。應該理解的是，所 述的SIMD處理系統300是一個示例性的實施例，並且其可以包括額 外的組件，在此為了清楚和便於理解而將這些組件省略。
SIMD處理系統300可以包括媒體處理設備302。在各種實施例 中，媒體處理設備302可以包括SIMD處理器304， SIMD處理器304 可以訪問多種功能單元或資源。SIMD處理器304可以包括，例如， 通用處理器、專用處理器、DSP、媒體處理器、圖形處理器、通信處 理器、等等。實施例並不局限於該情況。
在各種實施例中，SIMD處理器304可以包括，例如，多個處理 引擎(諸如微引擎或核)。每個處理引擎可以被設置為執行編程邏輯， 例如在微引擎的線程上運行的宏塊，以執行多個線程(例如，4個或8
個)。實施例並不局限於該情況。
在各種實施例中，SIMD處理器304可以包括，例如，SIMD執 行引擎(諸如n-操作數的SIMD執行引擎)，以在一個指令周期中同時 執行數據的n個操作數的SIMD指令。例如，8通道的SIMD執行引 擎可以同時執行用於數據的8個32比特操作數的一個SIMD指令。 每個操作數都可以被映射到SIMD執行引擎的一個單獨的計算通道。 在各種實現中，SIMD執行引擎可以接收SIMD指令和n-分量的數據 矢量，以對SIMD執行引擎的相應通道進行處理。SIMD引擎可以同 時對在該矢量中的所有分量執行該SIMD指令。實施例並不局限於該 情況。
在各種實現中，SIMD指令可以是條件型的。例如，SIMD指令 或者SIMD指令集可以在滿足一個或多個預定條件時執行。在各種實 施例中，特定處理操作的並行循環的結束可以通過使用SIMD條件分 支和循環機制來實現。所述條件可以是基於一個或多個宏塊和/或者 塊。實施例並不局限於該情況。
在各種實施例中，SIMD處理器304可以實現基於區域的寄存器 訪問。SIMD處理器304可以包括，例如，寄存器文件和索引文件， 以便在寄存器文件中存儲描述區域的值，以存儲信息。在一些情況下， 區域可以是動態的。被索引的寄存器可以包括多個獨立的片。在各種 實現中，在索引寄存器中的一個值可以定義寄存器文件中的一個區域 的一個或多個起點。例如，該值可以表示寄存器識別符和/或者子寄 存器識別符，其指示在寄存器中的數據元素的位置。寄存器區域的描 述(例如，寄存器號、子寄存器號)可以被編碼到用於每個操作數的指 令字中。索引寄存器可以包括用於描述寄存器區域的其他值，例如寄 存器區域的寬度、水平跨距或者數據類型。實施例並不局限於該情況。
在各種實施例中，SIMD處理器304可以包括一個標誌結構。 SIMD處理器304可以包括，例如，用於存儲標誌字或者標誌的一個 或多個標誌寄存器。標誌字可以與處理操作所生成的一個或多個結果 相關聯。例如，所述結果可以與零、非零、等於、不等於、大於、大 於等於、小於、小於等於、和域者溢出條件相關聯。標誌寄存器和/
或者標誌字的結構可以是靈活的。實施例並不局限於該情況。
在各種實施例中，標誌寄存器可以包括n-通道SIMD執行引擎的 n-比特標誌寄存器。標誌寄存器的每個比特可以與一個通道相關聯， 並且標誌寄存器可以從SIMD執行單元接收並存儲信息。在各種實現 中，SIMD處理器304可以包括用於一個或多個標誌寄存器的水平和 /或者垂直求值單元。實施例並不局限於該情況。
SIMD處理器304可以通過總線306耦合到一個或多個功能單元。 在各種實施例中，總線306可以包括一個或多個晶片上總線的集合， 這些晶片上總線將媒體處理設備302的各種功能單元相互連接。儘管 為了便於理解，將總線306描述為單個總線，但應該理解的是，總線 306可以包括任何總線構架並且可以包括任意數量的總線和總線的任 意組合。實施例並不局限於該情況。
SIMD處理器304可以耦合到指令存儲單元308和數據存儲單元 310。在各種實施例中，指令存儲單元308可以被設置為存儲SIMD 指令，數據存儲單元310可以被設置為存儲數據，例如與二維圖像、 三維圖像和/或者移動圖像相關聯的標量和矢量。在各種實現中，指 令存儲單元308和/或者數據存儲單元310可以與單獨的指令高速緩 存和數據高速緩存、共享的指令數據高速緩存、由公共共享高速緩存 所支援的單獨的指令高速緩存和數據高速緩存、或者任何其他緩存體 系相關聯。實施例並不局限於該情況。
指令存儲單元308和數據存儲單元310可以包括或者可以實現為 能夠存儲數據的任意計算機可讀存儲介質，包括易失性存儲器和非易 失性存儲器。存儲介質的實例包括隨機存取存儲器(RAM)、動態 RAM(DRAM)、 雙倍數據速率 DRAM(DDRAM)、 同步 DRAM(SDRAM)、快閃記憶體、ROM、可編程ROM(PRAM)、可擦除可編 程ROM(EPROM)、電可擦除可編程ROM(EEPROM)、快閃記憶體、內容可 尋址存儲器(CAM)、聚合物存儲器(例如，鐵電聚合物存儲器、奧氏 存儲器、相變或者鐵電存儲器)、矽-氧-氮-氧-矽(SONOS)存儲器、盤 存儲器(例如軟盤、硬碟、光碟、磁碟)、或者卡(例如，磁卡、光卡)、 或者適合存儲信息的任何其他類型的介質。存儲介質可以包括機器可讀存儲裝置和/或者各種控制器的各種組合，以存儲電腦程式指令 和數據。實施例並不局限於該情況。
媒體處理設備302可以包括通信接口 312。通信接口 312可以包 括能夠將媒體處理設備302耦合到一個或多個網絡和/或者網絡裝置 上的任何合適的硬體、軟體、或者硬體與軟體的組合。在各種實施例 中，通信接口 312可以包括一種或多種接口，例如，發送接口、接收 接口、媒體交換結構(MSF)接口、系統分組接口(SPI)、公共交換接口 (CSI)、外設部件接口(PCI)、小型計算機系統接口(SCSI)、網際網路交 換(IE)接口、結構接口晶片(FIC)、線卡、埠、或者任何其他合適的 接口。實施例並不局限於該情況。
在各種實現中，通信接口 312可以被設置為將媒體處理設備302 連接到一個或多個物理層裝置和/或者交換結構314。媒體處理設備 302可以提供網絡與交換結構314之間的接口 。媒體處理設備302可 以對數據進行各種媒體處理，以便通過交換結構314進行傳輸。實施 例並不局限於該情況。
在各種實施例中，SIMD處理系統300可以通過採用SIMD指令 能力和靈活地訪問一個或多個被索引寄存器、基於區域的寄存器和/ 或者標誌寄存器，來實現數據級的並行性。在各種實現中，例如，SIMD 處理系統300可以接收數據的多個塊和/或者宏塊，並以SIMD方式 執行塊級的和宏塊級的處理。可以使用靈活的標誌結構將處理操作 (例如，比較操作)的結果打包為標誌字。可以並行地對被打包到SIMD 寄存器中的不同塊的標誌字執行SIMD操作。例如，可以對標誌字使 用諸如前導零檢測(leading-zero-detection， LZD)操作之類的指令，來 確定非零值係數之前的零值係數的數量。可以使用基於區域的寄存器 訪問能力，將多個塊的標誌字打包到SIMD寄存器中。使用多索引 SIMD移動指令和對於多個源和/或者多個目的地索引的基於區域的 寄存器訪問，可以執行多個塊的非零值係數值的並行移動。使用數據 埠分散聚集(scatter-gathering)能力，可以執行並行的存儲器訪問， 例如表(例如，霍夫曼表)查詢。實施例並不局限於該情況。
可以參考以下附圖和相關的實例來進一步描述各種實施例的操
作。 一些視圖可以包括邏輯流程。應該理解的是，該邏輯流程僅僅是 提供了如何實現所描述功能的一個實例。此外，除非明確指出，否則 所給出的邏輯流程並不是必須要按照所示出的順序執行。此外，該邏 輯流程可以用硬體元件、由處理器執行的軟體元件、或者其組合來實 現。實施例並不局限於該情況。
圖4示出了邏輯流程400的一個實施例。圖4示出了用於執行媒 體處理的邏輯流程400。在各種實施例中，邏輯流程400可以通過媒 體處理節點來執行，例如媒體處理節點100和/或者編碼模塊(諸如熵 編碼模塊120)。邏輯流程400可以包括對宏塊進行基於SIMD的編碼。 基於SIMD的編碼可以包括例如熵編碼，諸如VLC(例如遊程-級別 VLC)、 CAVLC、 CABAC等等。在各種實現中，熵編碼可以包括將 一個被掃描係數(例如，經過變換、量化、掃描的係數)序列表示為遊 程-級別符號序列。每個遊程-級別符號可以包括一個遊程-級別對，其 中級別是非零值係數的值，遊程是在該非零值係數之前的零值係數的 數量。實施例並不局限於該情況。
邏輯流程400可以包括輸入宏塊數據(402)。在各種實施例中， 一個宏塊可以包含N個塊(例如，YUV420為6個塊，YUC444為12 個塊，等等)，並且該宏塊數據可以包含該宏塊中每個塊的掃描係數 (例如，經過DCT變換、量化、掃描後的係數)序列。例如， 一個宏 塊可以包括6個數據塊，並且每個數據塊可以包括一個8X8的係數 矩陣。在該情況下，對於該宏塊中每個塊，宏塊數據可以包含一個 64個係數的序列。在各種實現中，可以以SIMD方式並行地處理宏
塊數據。實施例並不局限於該情況。
邏輯流程400可以包括根據宏塊數據生成標誌字(404)。在各種
實施例中，可以對宏塊數據執行相對於零的比較，並且可以根據該比 較結果生成標誌字。例如，可以對宏塊中每個塊的掃描係數序列執行 相對於零的比較。每個標誌字可以包含基於該比較結果的、針對每個 係數的1個比特。例如，可以根據8X8塊的64個係數，生成64比 特標誌字，其包含根據該比較結果的多個1和多個0。在各種實施例 中，通過將多個塊的比較結果打包到SIMD的靈活的標誌寄存器中，
可以以SIMD方式並行地生成多個標誌字。實施例並不局限於該情 況。
邏輯流程400可以包括存儲標誌字(406)。在各種實施例中，可 以並行存儲多個塊的標誌字。例如，可以並行存儲與宏塊中的6個塊 相對應的6個64比特標誌字。在各種實現中，通過將標誌字打包到 具有基於區域的寄存器訪問能力的SIMD寄存器中，可以以SIMD方 式並行地存儲多個塊的標誌字。實施例並不局限於該情況。
邏輯流程400可以包括判斷所有標誌字是否都為零(408)。在各 種實施例中，可以對每個標誌字進行比較，以判斷標誌字是否僅僅包 含零值係數。當標誌字包含零值時，可以確定已經到達該塊的塊尾 (EOB)。在各種實現中，可以對多個標誌字並行地執行多個判斷。例 如，可以為6個64比特標誌字並行地執行判斷。實施例並不局限於 該情況。
邏輯流程400可以包括在所有標誌字不都是零的情況下，根據 標誌字確定遊程值(410)。在各種實施例中，可以對標誌字執行前導 零檢測(LZD)操作。例如，可以使用SIMD指令以SIMD方式執行LZD 操作。LZD操作的結果可以包括在標誌字中非零值係數之前的零值 係數的數量。可以根據LZD操作的結果設置遊程值，例如，遊程= LZD(標誌)。遊程值可以對應於與該標誌字相關聯的塊的掃描係數序 列中的非零值係數之前的零值係數的數量。由此，所確定的遊程值可 以用於與該標誌相關聯的塊的遊程-級別符號。在各種實現中，可以 並行地對被打包到SIMD寄存器中的多個塊的多個標誌字執行SIMD LZD操作。例如，可以並行地對6個64比特標誌字執行SIMD LZD 操作。實施例並不局限於該情況。
邏輯流程400可以包括根據遊程值執行係數的索引移動(412)。 在各種實施例中，例如，可以使用SIMD指令以SIMD方式執行索引 移動。所述係數可以包括塊的掃描係數序列中的非零值係數。遊程值 可以對應於塊的掃描係數序列中的非零值係數之前的零值係數的數 量。索引移動可以將非零值係數從存儲位置(例如寄存器)移動到輸出 端。在各種實施例中，非零值係數可以包括塊的遊程-級別符號中的
級別值。在各種實現中，可以並行地為多個塊執行索引移動操作。例
如，可以使用多索引SIMD移動指令和對於多個源和/或者多個目的 地索引的基於區域的寄存器訪問，來執行索引移動。多索引SIMD移 動指令可以有條件的執行。可以通過對於一個塊是否到達了 EOB， 來判斷上述條件。如果對於一個塊達到了 EOB，則不對該塊執行移 動。同時，如果對於另一個塊還沒有達到EOB，則對該塊執行移動。 實施例並不局限於該情況。
邏輯流程400可以包括執行對遞增遊程的索引存儲(414)。在各 種實施例中，例如，可以使用SIMD指令以SIMD方式執行索引存儲。 遞增遊程可以用於確定在掃描係數序列中下一個非零值係數的位置。 例如，當對一個塊的掃描係數序列中的非零值係數執行索引移動時， 可以使用遞增遊程。在各種實現中，可以並行地為多個塊執行索引存 儲操作。多索引SIMD存儲指令可以有條件的執行。可以通過對於一 個塊是否到達了 EOB，來判斷上述條件。如果對於一個塊達到了 EOB，則不對該塊執行存儲。同時，如果對於另一個塊還沒有達到 EOB，則對該塊執行存儲。實施例並不局限於該情況。
邏輯流程400可以包括執行標誌字的左移(416)。在各種實施例 中，可以對標誌字執行左移，以便從一個塊的標誌字中移走非零值系 數。例如，可以以SIMD方式使用SIMD指令執行左移操作。在各種 實施例中，可以並行地對多個塊的多個標誌字執行左移操作。SIMD 左移指令可以有條件的執行。可以通過對於一個塊是否到達了 EOB， 來判斷上述條件。如果對於一個塊達到了 EOB，則不對該塊的標誌 字執行左移。同時，如果對於另一個塊還沒有達到EOB，則對該塊 的標誌字執行左移。實施例並不局限於該情況。
邏輯流程400可以包括執行一個或多個並行循環以確定一個宏 塊中的塊的所有遊程-級別符號。在各種實施例中，例如，可以使用 SIMD循環機制以SIMD方式執行並行循環。在各種實現中，例如， 可以使用SIMD條件分支機制以SIMD方式執行條件分支。條件分支 可以用於當對於一個塊的處理巳經結束時終止和/或者繞過一個循 環。所述條件可以是基於一個塊、 一些塊或者全部塊。例如，當與特
定塊相關聯的標誌字僅僅包含零值係數時，條件分支可以中斷對於該 特定塊的迸一步處理，同時允許對於其他塊繼續進行處理。該處理可 以包括但是不局限於確定遊程值、係數的索引移動、以及遞增遊程 的索引存儲。實施例並不局限於該情況。
邏輯流程400可以包括當所有標誌字都為零時輸出VLC碼陣
列(41S)。在各種實施例中，可以根據預定的霍夫曼表，將遊程-級別 符號轉換為VLC碼。在各種實現中，例如，可以使用數據埠的分 散-聚集能力以SIMD方式執行並行的霍夫曼表査詢。可以將VLC碼 陣列輸出到打包模塊，例如比特流打包模塊122，以形成一個宏塊的 碼序列。實施例並不局限於該情況。
在各種實現中，所描述的實施例可以使用SIMD處理來進行媒體 編碼(例如VLC)的並行執行。所描述的實施例可以包括以下或者通過 以下所實現各種處理器結構(例如多線程和/或者多核結構)和/或者 各種SIMD能力(例如，SIMD指令集、基於區域的寄存器、帶有多個 獨立索引的索引寄存器、和/或者靈活的標誌寄存器)。實施例並不局 限於該情況。
在各種實現中，所描述的實施例可以實現媒體編碼的線程級和/ 或者數據級的並行性，其實現了處理性能的提高。例如，多線程方法 的實現可以大約與處理核的數量和/或者硬體線程的數量成線性地提 高多線程處理速度(例如，在16核處理器上有約16倍的速度提高)。 使用標誌字和LZD指令的LZD檢測的實現與標量循環實現相比可以 提高處理速度(例如，約4-10倍的速度提高)。使用SIMD LZD操作 和分支/循環機制的多個塊(例如6個塊)的並行處理與按照塊的順序 的算法相比可以提高處理速度(例如，約6倍的速度提高)。實施例並 不局限於該情況。
在此，可以提出各種具體細節來提供對上述實施例的透徹理解。 然而，本領域技術人員應該理解的是，沒有這些具體細節也可以實現 上述實施例。在其他實例中，沒有詳細的描述已知的操作、組件和電 路，以便不會使得上述實施例變得模糊。可以理解的是，在此公開的 具體結構和功能細節是代表性的，而不是必須要限制上述實施例的範圍。
在各種實現中，所描述的實施例可以包括或者形成有線通信系 統、無線通信系統或者其組合的一部分。儘管可以通過舉例使用特定 通信介質來描述特定的實施例，但是應該理解的是，在此所討論的原 理和技術可以使用各種通信介質和相關技術來實現。
在各種實現中，所描述的實施例可以包括或者形成網絡的一部
分，該網絡例如為廣域網(WAN)、區域網(LAN)、城域網(MAN)、互
聯網、世界網際網路、電話網絡、無線電網絡、電視網絡、電纜網、衛
星網、無線個域網(WMAN)、無線WAN(WWAN)、無線LAN(WLAN)、
無線MAN(WMAN)、碼分多址(CDMA)蜂窩無線電話通信網絡、第
三代(3G)網絡(諸如寬帶CDMA(WCDMA))、第四代(4G)網絡、時分
多址(TDMA)網絡、擴展TDMA(E-TDMA)蜂窩無線電話網絡、全球
移動通信系統(GSM)蜂窩無線電話網絡北美數字蜂窩(NADC)蜂窩無
線電話網絡、全球行動電話系統(UMTS)網絡、和/或者任何其他用於
運載數據的有線或者無線通信網絡。實施例並不局限於該情況。
在各種實現中，所描述的實施例可以被設置為在一個或多個有線
通信介質上傳輸信息。有線通信介質的實例可以包括電線、電纜、印 刷電路板(PCB)、底板、交換結構、半導體材料、雙絞線、同軸電纜、
光纖等等。
在各種實現中，所描述的實施例可以被設置為在一種或多種類型
的無線通信介質上傳輸信息。無線通信介質的一個實例可以包括無線 譜的多個部分，例如射頻(RF)譜。在這種實現中，所描述的實施例可 以包括適合於在指定的無線譜上傳輸信息信號的組件和接口 ，例如一 個或多個天線、無線發射機/接收機("收發機")、放大器、濾波器、 控制邏輯電路、等等。如在此所用到的，術語"收發機"可以以非常 廣泛的意義來使用，包括發射機、接收機、或者兩者的組合，並且可 以包括各種組件，例如天線、放大器等等。天線的實例可以包括內部 天線、全向天線、單極天線、偶極天線、底端饋電天線、圓形極化天 線、微帶天線、分集天線、雙天線、天線陣列、等等。實施例並不局 限於該情況。
在各種實施例中，通信介質可以連接到使用輸入/輸出(i/o)適配
器的節點。1/0適配器可以被設置為採用任何合適的技術來工作，以
使用所需要的一組通信協議、服務或者操作流程來控制節點之間的信
息信號。I/O適配器還可以包括合適的物理連接器，以便將I/O適配
器與相應的通信介質相連。1/0適配器的實例可以包括網絡接口、
網絡接口卡(NIC)、線卡、盤控制器、視頻控制器、音頻控制器、等 等。實施例並不局限於該情況。
在各種實現中，所描述的實施例可以被設置為傳輸一種或者多種 信息，例如媒體信息和控制信息。媒體信息通常可以涉及表示對於用 戶而言有意義的內容的任何數據，例如圖像信息、視頻信息、圖形信 息、音頻信息、聲音信息、文本信息、數字信息、文字數字符號、字 符符號、等等。控制信息通常可以涉及表示對於自動系統而言有意義 的命令、指令或者控制字的任何數據。例如，控制信息可以用於通過 一個系統路由媒體信息，或者命令一個節點以特定方式處理媒體信 息。媒體信息和控制信息可以在多個不同裝置和網絡之間來回發送。 實施例並不局限於該情況。
在一些實現中，可以根據一個或多個IEEE 802標準，包括用於 WLAN的IEEE 802.11x(例如，802.11a、 b、 g/h、 j、 n)標準和/或用於 WMAN的802.16標準，來傳輸信息。可以根據一個或多個數字視頻 廣播地面(D VB -T)廣播標準以及高性能無線區域網(HiperL AN)標準 來傳輸信息。實施例並不局限於該情況。
在各種實現中，例如，所描述的實施例可以包括或者形成分組網 絡的一部分，該分組網絡根據由一個或多個IEEE 802標準所定義的 分組協議來傳輸信息。在各種實施例中，可以使用異步傳輸模式(ATM) 協議、物理層會聚協議(PLCP)、幀中繼、系統網絡架構(SNA)等等來 傳輸分組。在一些實現中，可以使用介質訪問控制協議，例如由一個 或多個IEEE 802乙太網標準所定義的具有衝突檢測的載波監聽多路 訪問(CSMA/CD)，來傳輸分組。在一些實現中，可以根據網際網路協 議，例如傳輸控制協議(TCP)和網際網路協議(IP)、 TCP/IP、 X.25、超文 本傳輸協議(HTTP)、用戶數據報協議(UDP)等等，來傳輸分組。實施
例並不局限於該情況。
一些實施例可以使用例如機器可讀介質或者產品來實現，所述機 器可讀介質或者產品可以存儲指令或者指令集，當所述指令或者指令 集被機器執行時，可以使得該機器執行根據上述實施例的方法和/或 者操作。這種機器可以包括，例如，任意合適的處理平臺、計算平臺、 計算裝置、處理裝置、計算系統、處理系統、計算機、處理器等等， 並且可以使用硬體和/或者軟體的任意合適的組合來實現。該機器可 讀介質或者產品可以包括，例如，任何適合類型的存儲器單元、存儲 器裝置、存儲器產品、存儲器介質、存儲裝置，存儲產品、存儲介質 和/或者存儲單元，例如，存儲器、可移動或者不可移動介質、可擦 除或者不可擦除介質、可寫或者可重寫介質、數字或者模擬介質、硬
盤、軟盤、壓縮盤ROM(CD-ROM)、可記錄壓縮盤(CD-R)、可重寫 壓縮盤(CD-RW)、光碟、磁碟、磁光碟、可移動存儲卡或者盤、各種 類型的數字多功能盤(DVD)、磁帶、盒式磁帶、等等。所述指令可以 包含任何合適類型的碼，例如原始碼、編譯過的代碼、經過解釋的代 碼、可執行代碼、靜態代碼、動態代碼、等等。所述指令可以使用任 何合適的高級、低級、面向對象的、可視的、經過編譯的和/或者經 過解釋的程式語言來實現。實施例並不局限於該情況。
使用可以根據任意數量的因素變化的結構來實現一些實施例，這 些因素例如為需要的計算速率、功率等級、耐熱性、處理循環預算、 輸入數據速率、輸出數據速率、存儲器資源、數據總線速度、和其他 性能約束。例如，可以使用由通用處理器或者專用處理器執行的軟體 來實現實施例。在另一個實例中，實施例可以實現為專用硬體，例如 電路、ASIC、 PLD、 DSP等等。在再一個實施例中，可以使用編程 的通用計算機組件或者用戶定製的硬體組件的任意組合來實現實施 例。實施例並不局限於該情況。
除非特別聲明，否則應該理解諸如"處理"、"計算"、"運算"、 "判斷"等等術語指的是計算機或者計算機系統、或者類似的電子計 算裝置的動作和/或者處理，類似的電子計算裝置用於將在該計算系 統的寄存器和/或者存儲器中表示為物理量(電子)的數據，處理和/或
者變換為在該計算系統的存儲器、寄存器或者其他這種信息存儲、傳 輸或者顯示裝置中表示為物理量(電子)的數據。實施例並不局限於該 情況。
還要指出的是，任何"一個實施例"或者"實施例"的稱謂都意 味著結合該實施例所描述的特定特徵、結構或者特點包含在至少一個 實施例中。在本說明書中的各個位置處的短語"在一個實施例中"的 出現並不是必須指同一實施例。
雖然在此已經描述了各個實施例的特定特徵，但是本領域技術人 員可以進行各種修改、替代、改變、和等價變化。因此要理解的是， 附帶的權利要求目的是覆蓋落入上述實施例的真實精神範圍之內的 所有這些修改和變化。
權利要求
1、一種設備，包括媒體處理節點，用於對宏塊數據執行單指令多數據處理，所述宏塊數據包含宏塊中多個塊的係數，所述媒體處理節點包括編碼模塊，用於根據所述宏塊數據，生成與所述多個塊相關聯的多個標誌字，並且根據所述標誌字並行地確定多個塊的遊程值。
2、 如權利要求l所述的設備，其中，所述係數包括所述多個塊 中每個塊的經過變換、量化、掃描的係數的序列。
3、 如權利要求1所述的設備，其中，所述編碼模塊將標誌字存 儲在標誌寄存器中。
4、 如權利要求l所述的設備，其中，所述編碼模塊通過執行前 導零檢測來確定遊程值。
5、 如權利要求l所述的設備，其中，所述編碼模塊根據所述遊 程值，對多個塊的非零值係數執行並行的移動。
6、 如權利要求5所述的設備，其中，所述非零值係數對應於多個塊的級別值。
7、 如權利要求l所述的設備，其中，所述編碼模塊輸出碼陣列 至打包模塊，以形成所述宏塊的碼序列。
8、 如權利要求7所述的設備，其中， 所述打包模塊與所述編碼模塊分離，並且 所述編碼模塊對多個宏塊執行多線程處理。
9、 一種系統，包括 通信介質；單指令多數據處理設備，耦合至所述通信介質，所述單指令多數 據處理設備包括媒體處理節點，用於處理宏塊數據，所述宏塊數據包含宏塊中多 個塊的係數，所述媒體處理節點包括編碼模塊，其根據所述宏塊數據 生成與所述多個塊相關聯的多個標誌字，並且根據所述標誌字並行地 確定多個塊的遊程值。
10、 如權利要求9所述的系統，其中，所述係數包括所述多個塊 中每個塊的經過變換、量化、掃描的係數的序列。
11、 如權利要求9所述的系統，其中，所述編碼模塊將標誌字存 儲在標誌寄存器中。
12、 如權利要求9所述的系統，其中，所述編碼模塊通過執行前 導零檢測來確定遊程值。
13、 如權利要求9所述的系統，其中，所述編碼模塊根據所述遊 程值，對多個塊的非零值係數執行並行的移動。
14、 如權利要求13所述的系統，其中，所述非零值係數對應於 多個塊的級別值。
15、 如權利要求9所述的系統，其中，所述編碼模塊輸出碼陣列 至打包模塊，以形成所述宏塊的碼序列。
16、 如權利要求15所述的系統，其中， 所述打包模塊與所述編碼模塊分離，並且 所述編碼模塊對多個宏塊執行多線程處理。
17、 一種方法，包括步驟接收宏塊數據，所述宏塊數據包含宏塊中多個塊的係數；並且 對所述宏塊數據執行單指令多數據處理，包括步驟根據所述宏塊數據生成與所述多個塊相關聯的多個標誌字，並且根據所述標誌字並行地確定多個塊的遊程值。
18、 如權利要求17所述的方法，其中，所述係數包括所述多個 塊中每個塊的經過變換、量化、掃描的係數的序列。
19、 如權利要求17所述的方法，還包括將標誌字存儲在標誌 寄存器中。
20、 如權利要求17所述的方法，還包括通過執行前導零檢測 來確定遊程值。
21、 如權利要求17所述的方法，還包括根據所述遊程值，對 多個塊的非零值係數執行並行的移動。
22、 如權利要求21所述的方法，還包括根據所述非零值係數， 確定多個塊的級別值。
23、 如權利要求17所述的方法，還包括輸出碼陣列，以形成所述宏塊的碼序列。
24、 如權利要求23所述的方法，還包括對多個宏塊執行多線程處理。
25、 一種包含有機器可讀存儲介質的產品，所述機器可讀存儲介 質所包含的指令在執行時使得系統 接收宏塊數據，所述宏塊數據包含宏塊中多個塊的係數；並且 對所述宏塊數據執行單指令多數據處理，包括步驟根據所述宏塊數據生成與所述多個塊相關聯的多個標誌字，並且根據所述標誌字並行地確定多個塊的遊程值。
26、 如權利要求25所述的產品，其中，所述係數包括所述多個 塊中每個塊的經過變換、量化、掃描的係數的序列。
27、 如權利要求25所述的產品，還包括指令，其在執行時使得所述系統將標誌字存儲在標誌寄存器中。
28、 如權利要求25所述的產品，還包括指令，其在執行時使得所述系統通過執行前導零檢測來確定遊程值。
29、 如權利要求25所述的產品，還包括指令，其在執行時使得所述系統:根據所述遊程值，對多個塊的非零值係數執行並行的移動。
30、 如權利要求29所述的產品，還包括指令，其在執行時使得所述系統根據所述非零值係數，確定多個塊的級別值。
31、 如權利要求25所述的產品，還包括指令，其在執行時使得 所述系統輸出碼陣列，以形成所述宏塊的碼序列。
32、 如權利要求25所述的產品，還包括指令，其在執行時使得所述系統對多個宏塊執行多線程處理。
33、 一種方法，包括接收宏塊數據；並且對所述宏塊數據執行並行的多線程處理，包括並發的運動估計操 作、編碼操作、以及重構操作，其中，所述編碼操作在功能和數據域 上與所述重構操作分離，以實現線程級的並行性。
34、 如權利要求33所述的方法，其中，多線程處理包括可變長 度編碼操作。
35、 如權利要求33所述的方法，其中，多線程處理包括比特流 打包操作。
全文摘要
描述了一種設備、系統、方法和產品，其用於使用單指令多數據處理並行地執行媒體編碼。所述設備可以包括媒體處理節點，用於對宏塊數據執行單指令多數據處理。宏塊數據可以包含一個宏塊中多個塊的係數。媒體處理節點可以包括編碼模塊，用於根據所述宏塊數據，生成與多個塊相關聯的多個標誌字，並且根據所述標誌字並行地確定多個塊的遊程值。還描述和聲明了其他實施例。
文檔編號G06F15/80GK101176089SQ200680016686
公開日2008年5月7日 申請日期2006年5月2日 優先權日2005年5月16日
發明者洪 江 申請人:英特爾公司