立體視頻的立體匹配方法、控制器和系統與流程
2023-12-04 13:31:51 3
本公開涉及圖像處理領域，且更具體地，涉及一種立體視頻的立體匹配方法、控制器和系統。
背景技術：
隨著立體視覺的發展，立體匹配的速度和準確度也成為研究的重要方向。立體匹配主要需要解決的問題是如何將真實對象點在左眼圖像和右眼圖像的兩幅圖像/視頻中的投影點對應起來，即通過一幅圖像/視頻幀的每個像素點，如何準確找出在另一幅圖像/視頻幀中的對應點，計算對應點對的圖像/視頻幀的坐標差值，得出視差值。
在用雙目攝像機拍攝立體視頻的情況下，立體視頻可以包括在時間上連續的多對視頻幀。同一時刻的一對視頻幀可以包括左眼幀圖像和右眼幀圖像兩個圖像。針對每一對視頻幀的左眼幀圖像和右眼幀圖像需要進行立體匹配。目前大多數的雙目視頻立體匹配算法都是將視頻逐幀分開，對於每一對視頻幀用圖像立體匹配的方法來進行該對視頻幀的立體匹配，而對於下一對視頻幀，再用圖像立體匹配的方法來進行該下一對視頻幀的立體匹配。這種方法除了效率低下的問題，還存在嚴重的抖動問題，即雖然視頻場景變化很小，但是視差圖像跳動很明顯，也就是說從時間軸的角度來說不夠平穩。為了解決這一問題，近些年來，一些研究者考慮將時間信息考慮進來做視頻的立體匹配，例如在圖像幀的一個局部窗口，設計一個時空的代價聚合函數，這種方法的缺點在於需要逐像素計算代價聚合的值，因而時間效率有限。還有一些研究者先估計視頻的運動信息(例如，視頻的光流)來指導視差圖的計算，但是檢測諸如光流的運動信息的誤差也常常比較大，因而視差圖的檢測也會造成進一步誤差。
另一方面，由於置信傳播算法在全局優化方面的成功應用，使雙目立體匹配精度得到較大的提高。置信傳播算法的優點是根據區域的特點自動調節消息傳輸的距離遠近，它不僅考慮了相鄰像素點對目標像素點的影響，還考慮了不相鄰像素點對目標像素點的影響，同時能很好的處理低紋理區域和深度不連續區域，在低紋理區域，消息可以傳輸很遠；在不連續區域，消息的傳輸很快停止。這些方法通常首先利用局部匹配實現粗匹配，找出其中正確的匹配點對(種子點)，用這些匹配點對進行全局匹配處理，以計算其他像素點的視差值，最終獲得精度更高的稠密視差圖。但是，目前已有的置信傳播算法都是基於靜止圖像的立體匹配，而且置信傳播算法的時間效率不高。
因此，需要改進的視頻立體匹配的技術。
技術實現要素：
根據本發明的一個方面，提供一種立體視頻的立體匹配方法，包括：對立體視頻中的第一幀圖像和第二幀圖像分別進行圖像分割以生成第一幀分割塊和第二幀分割塊，所述第一幀圖像在時間上先於第二幀圖像；對第一幀分割塊和第二幀分割塊進行幀間匹配；至少部分地根據幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度以基於所述第一幀圖像的視差值來獲得所述第二幀圖像的視差值。
根據本發明的另一方面，提供一種立體視頻的立體匹配系統，包括：拍攝裝置，被配置為拍攝第一幀圖像和要與第一幀圖像進行立體匹配的第一相對幀圖像、以及第二幀圖像要與第二幀圖像進行立體匹配的第二相對幀圖像；控制器，被配置為接收所述拍攝裝置發送的第一幀圖像和要與第一幀圖像進行立體匹配的第一相對幀圖像、以及第二幀圖像要與第二幀圖像進行立體匹配的第二相對幀圖像；並對立體視頻中的第一幀圖像和第二幀圖像分別進行圖像分割以生成第一幀分割塊和第二幀分割塊，所述第一幀圖像在時間上先於第二幀圖像；對第一幀分割塊和第二幀分割塊進行幀間匹配；至少部分地根據幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度以基於所述第一幀圖像的視差值來獲得所述第二幀圖像的視差值。
根據本發明的另一方面，提供一種立體視頻的立體匹配控制器，包括：圖像分割裝置，被配置為對立體視頻中的第一幀圖像和第二幀圖像分別進行圖像分割以生成第一幀分割塊和第二幀分割塊，所述第一幀圖像在時間上先於第二幀圖像；幀間匹配裝置，被配置為對第一幀分割塊和第二幀分割塊進行幀間匹配；立體匹配裝置，被配置為至少部分地根據幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度以基於所述第一幀圖像的視差值來獲得所述第二幀圖像的視差值。
如此，根據本發明的各個方面，將先前幀的視差信息用到當前幀的視差計算將大幅降低時間成本，並會產生時間上的連貫的視頻視差圖。
附圖說明
圖1示出應用根據本發明的實施例的視頻立體匹配算法的系統硬體場景圖。
圖2示出了根據本發明的第一實施例的視頻立體匹配方法的示意流程圖。
圖3示出了根據本發明的第二實施例的視頻立體匹配方法的示意流程圖。
圖4示出了根據本發明的各個實施例的兩層的圖模型的示例。
圖5示出了根據本發明的各個實施例的貝葉斯概率網絡的示意圖。
圖6示出了根據本發明的第三實施例的計算同一時刻的一對幀圖像的視差值的示意流程圖。
圖7A示出了根據本發明的第三實施例的置信傳播算法的傳播示意圖。
圖7B示出了根據本發明的第三實施例的考慮種子點的可靠度來進行置信傳播算法的示意圖。
圖7C示出了根據本發明的實施例的考慮兩個像素點之間的傳播是非對稱的方式來進行置信傳播算法的示意圖。
圖8示出了根據本發明的第三實施例的基於可靠度的置信傳播算法的計算同一時刻的一對幀圖像的視差值的示意圖。
圖9示出了根據本發明的第四實施例的立體視頻的立體匹配控制器的方框圖。
具體實施方式
現在將詳細參照本發明的具體實施例，在附圖中例示了本發明的例子。儘管將結合具體實施例描述本發明，但將理解，不是想要將本發明限於所述的實施例。相反，想要覆蓋由所附權利要求限定的在本發明的精神和範圍內包括的變更、修改和等價物。應注意，這裡描述的方法步驟都可以由任何功能塊或功能布置來實現，且任何功能塊或功能布置可被實現為物理實體或邏輯實體、或者兩者的組合。
為了使本領域技術人員更好地理解本發明，下面結合附圖和具體實施方式對本發明作進一步詳細說明。
注意，接下來要介紹的示例僅是一個具體的例子，而不作為限制本發明的實施例必須為如下具體的步驟、數值、條件、數據、順序等等。本領域技術人員可以通過閱讀本說明書來運用本發明的構思來構造本說明書中未提到的更多實施例。
圖1示出應用根據本發明的實施例的視頻立體匹配算法的系統硬體場景圖。
如圖1所示的一種視頻立體匹配系統包括：拍攝裝置100，被配置為拍攝第一圖102(1)和第二圖102(2)；控制器101，被配置為執行根據本發明的實施例的立體匹配算法。該立體匹配算法可以包括接收所述拍攝裝置100發送的第一圖和第二圖，並計算第一圖的像素和第二圖的像素之間的匹配代價；預估第一圖和第二圖中的參考圖像中的像素的視差值和對應的可靠度，其中，所述可靠度表示該像素的預估的視差值的正確的概率；根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的傳播能量係數；基於所述有方向的傳播能量係數來實施置信傳播算法以獲得像素的更新的視差值。由此，可以通過更新的視差值來構建最終的視差圖。
在此，如果該拍攝裝置為雙目視頻攝像機，則可以拍攝得到至少作為第一幀圖像的先前時刻的左圖和作為第一相對幀圖像的先前時刻的右圖、以及作為第二幀圖像的當前時刻的左圖和作為第二相對幀圖像的當前時刻的右圖。在以下實施例的說明中，採用示例而非限制的先前時刻的左圖和右圖以及當前時刻的左圖和右圖來給出說明。但實際上，隨著科技的發展，可能出現多維攝像機，而本發明公開的視頻立體匹配技術也可以應用於多維視頻立體匹配中。
在此，控制器101可以包括通用處理器、數位訊號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、離散門或電晶體邏輯、離散的硬體組件或者其任意組合而實現或進行所述的各個例示的邏輯塊、模塊和電路。處理器101可以以單個晶片、晶片組、集成電路、單片機等的形式。通用處理器可以是微處理器，但是作為替換，該控制器可以是任何商業上可獲得的處理器、微控制器或狀態機。控制器還可以實現為計算設備的組合，例如DSP和微處理器的組合，多個微處理器、與DSP核協作的一個或多個微處理器或任何其他這樣的配置。控制器內部還可以包括存儲器(未示出)。存儲器可以存儲至少一個計算機可執行指令，用於在由控制器執行時本技術所描述的實施例中的各個功能和/或方法的步驟。存儲器還可以臨時或永久地存儲各種數據和指令。
當然，圖1所示的硬體場景圖僅是一個示例而非限制，本領域技術人員可以基於本公開的描述來構造任何適當的硬體場景。
圖2示出了根據本發明的第一實施例的視頻立體匹配方法的示意流程圖。
圖2所示的立體視頻的立體匹配方法200包括：步驟201，對立體視頻中的第一幀圖像和第二幀圖像分別進行圖像分割以生成第一幀分割塊和第二幀分割塊，所述第一幀圖像在時間上先於第二幀圖像；步驟202，對第一幀分割塊和第二幀分割塊進行幀間匹配；步驟203，至少部分地根據幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度以基於所述第一幀圖像的視差值來獲得所述第二幀圖像的視差值。
在此，由於視頻幀之間在時間上和空間上存在一定的連續性，例如視頻幀通常是例如24幀/1秒(不限於此)，即每個連續幀之間相差例如1/24秒，因此在這1/24秒之間的當前幀圖像中的各個像素點、分割塊等分割元素的視覺特徵和視差值等特徵與先前幀圖像中的那些可能變化不大，因此如果能利用這種變化不大的特徵信息，將先前幀圖像的已知的視差值一定程度地應用於當前幀圖像的視差值計算，能夠一定程度地減少計算量，加快視頻立體匹配的速度。因此，根據本發明的各個實施例，首先通過幀間匹配來找到先前的第一幀圖像中的具體分割塊在當前的第二幀圖像中是哪個分割塊，然後考慮幀間匹配的先前的第一幀分割塊和當前的第二幀分割塊之間的相似度，可以基於第一幀圖像的視差值來獲得與第一幀圖像的視差值具有一定相似關係的第二幀圖像的視差值。即，如果匹配的第一幀分割塊與匹配的第二幀分割塊非常相似、甚至相同，那可能將匹配的第一幀分割塊的視差值適應地或直接地應用為匹配的第二幀分割塊的視差值。如此，將先前幀的視差信息用到當前幀的視差計算將大幅降低時間成本，並會產生時間上的連貫的視頻視差圖。
注意，在本文中，用「幀間匹配」來表示時間上不同的兩個視頻幀之間的圖像匹配，即尋找先前的第一幀圖像中的具體分割元素在當前的第二幀圖像中是哪個分割元素，以與靜態雙目圖像之間的立體匹配區分。幀間匹配的方式很多，可以採用傳統的運動估計法、光流法等等，在此不一一詳述。該靜態雙目圖像之間的立體匹配指的是雙目圖像的左圖中的分割元素是右圖中的那個分割元素，從而得到對應點的位置及其視差值。因此，在本文，用「立體匹配」表示左圖和右圖之間的匹配。
當然，在此，第一幀圖像在時間上先於第二幀圖像，兩者可以是緊挨著連續的兩幀，也可以是相隔一幀或幾幀的兩幀。而在雙目攝像機的情況下，該第一幀圖像可以例如是先前的左圖像，而要與第一幀圖像進行立體匹配的第一相對幀圖像可以例如是先前的右圖像，而第二幀圖像可以例如是當前的左圖像，而要與第二幀圖像進行立體匹配的第二相對幀圖像可以例如是當前的右圖像。
在一個實施例中，所述至少部分地根據第一幀分割塊之間的相似度以及幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度來基於第一幀圖像的視差值來獲得第二幀圖像的視差值的步驟203可以包括：步驟2031(未示出)，針對所述第一幀圖像和所述第二幀圖像，構建兩層的圖模型，其中，第一幀圖像是第一層，第二幀圖像是第二層，分割塊是圖的節點，第一幀圖像內的連接兩個節點的邊是內邊，連接第一幀圖像和第二幀圖像之間的節點的邊是外邊；步驟2032(未示出)，至少部分地根據第一幀分割塊之間的相似度以及幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度來計算所述圖模型中的內邊和外邊的權值；步驟2033(未示出)，在圖模型上，通過概率估算來基於第一幀圖像的視差值來獲得第二幀圖像的視差值。
在此，除了考慮幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度以外還考慮據第一幀分割塊之間的相似度，可以根據第一幀分割塊之間的相似度以及由此得到的分割塊的視差值的相似度，來更好地從第一幀圖像的視差值來獲得第二幀圖像的視差值。
在此，在該實施例中，採用建立圖模型和概率估算的方法來從第一幀圖像的視差值來獲得第二幀圖像的視差值。但是，本發明不限於該方法，只是利用這樣的二層圖模型和概率估算的方法可以更直觀地表示第一幀分割塊之間的關係和第一幀分割塊和第二幀分割塊之間的關係對第二幀圖像的視差值的影響。事實上，如果第一幀分割塊之間的相似度以及由此得到的分割塊的視差值的相似度很高，則可以直接或按比例使用第一幀圖像的視差值作為第二幀圖像的視差值，而不需要建立複雜的圖模型和概率模型等。
在一個實施例中，所述幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度可以通過幀間匹配分割塊的像素數量、對齊重疊的像素數量、和在視覺特徵上的相似度以及重心的距離來確定。通常，幀間匹配分割塊的像素數量在第一幀圖像和第二幀圖像中相差越小(即越相似)，說明越可能是同一個物體，因此相似度可能越大；幀間匹配分割塊的對齊重疊的像素數量在第一幀圖像和第二幀圖像中相差越小(即越相似)，說明越可能是同一個物體，因此相似度可能越大，在此對齊可以通過將分割塊的重心、中心、邊、或角等對齊來實現；幀間匹配分割塊的視覺特徵在第一幀圖像和第二幀圖像中相差越小(即，越相似)，說明越可能是同一個物體，因此相似度可能越大；幀間匹配分割塊的重心距離在第一幀圖像和第二幀圖像中越小(即，兩個重心越重合)，說明越可能是同一個物體，因此相似度可能越大。當然，本領域技術人員還可以基於這個思想來構思除了像素數量、對齊重疊的像素數量、和在視覺特徵上的相似度以及重心的距離以外的更多的因素來確定圖像間的相似度。
在一個實施例中，所述第一幀分割塊之間的相似度可以通過各第一幀分割塊在視覺特徵上的相似度來確定。例如，視覺特徵可以是顏色、色差、灰度、形狀、紋理等等。雖然在此僅考慮了同一圖像內的分割塊之間的視覺特徵上的相似度來考察圖像內的分割塊的相似度，但是本領域技術人員還可以基於本思想來構思除了視覺特徵以外的其他特徵、例如直方圖、各種圖像變換等來尋找圖像內的分割塊的相似度關係。
在一個實施例中，在圖模型上，通過概率估算來基於第一幀圖像的視差值來獲得第二幀圖像的視差值的步驟2033可以包括：基於圖模型的外邊，計算時間域一致性，所述時間域一致性表示第一幀圖像和第二幀圖像中的幀間匹配分割塊的視差值相似的程度；基於圖模型的內邊，計算空間域一致性，所述空間域一致性表示相鄰的第二幀分割塊之間的視差值相似的程度；計算表示第二幀圖像和要與第二幀圖像進行立體匹配的第二相對幀圖像之間的立體匹配代價的似然值；確定時間域一致性、空間域一致性和似然值的線性加權值，並進行線性加權得到總和；求使得所述總和達到最大值的視差值作為第二幀圖像的視差值。
上述在圖模型上，通過二層圖模型和貝葉斯概率估算來基於第一幀圖像的視差值來獲得第二幀圖像的視差值僅是一個示例，而非限制，事實上，在得知了幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度、甚至優選地加上第一幀分割塊之間的相似度之後，可以根據第一幀圖像的視差圖來構造很多種圖模型和概率估算的模型，例如一層圖模型、馬爾可夫網絡模型等等。
在一個實施例中，對第一幀分割塊和第二幀分割塊進行幀間匹配的步驟202可以包括：第一次幀間匹配步驟，針對每一個第一幀分割塊，在第二幀圖像中找到一個幀間匹配的第二幀分割塊，使得第一幀分割塊和所找到的第二幀分割塊之間的相似度最大；第二次幀間匹配步驟，針對每一個第二幀圖像分割塊，在第一幀圖像中找到一個幀間匹配的第一幀分割塊，使得第二幀分割塊和所找到的第一幀分割塊之間的相似度最大；如果一個第一幀分割塊和一個第二幀分割塊在所述第一次和第二次幀間匹配步驟中都是幀間匹配的，則確定所述第一幀分割塊和所述第二幀分割塊是幀間匹配的。
上述具體步驟也僅是視頻中的幀間匹配的一個示例，事實上，視頻中的幀間匹配可以採用其他幀間匹配方法，例如全搜索法(Full Search)、三步法(Three-step search algorithm)、四步法(Four-step search algorithm)、鑽石算法(diamond search algorithm)等。
在一個實施例中，該方法200還可以包括獲得第一幀圖像的視差值，其中，所述獲得第一幀圖像的視差值可以包括：計算第一幀分割塊和要與第一幀圖像進行立體匹配的第一相對幀圖像的分割塊之間的立體匹配代價；預估第一幀分割塊的視差值和對應的可靠度，其中，所述可靠度表示該分割塊的預估的視差值的正確的概率；根據兩個第一幀分割塊之間的所述視覺特徵的差異度和距離和該兩個第一幀分割塊對應的可靠度來計算該兩個第一幀分割塊之間的有方向的傳播能量係數；基於所述有方向的傳播能量係數來實施置信傳播算法以獲得第一幀分割塊的更新的視差值。根據本發明的實施例的獲得第一幀圖像的視差值的上述方法還會在稍後參考圖6-8來相似介紹。當然，獲得第一幀圖像的視差值的方法不限於此，還可以採用現有技術中的其他立體匹配方法來獲得。
在一個實施例中，所述分割塊包括超像素塊，在另一實施例中，所述分割塊包括像素點。優選地，在本公開中，利用超像素塊來進行上述幀間匹配、立體匹配等動作可以提高效率、減少計算量。在此，超像素塊指的是：圖像按照圖像像素的視覺特徵(例如，顏色/灰度)被分割成小的圖像塊，在同一個小圖像塊中，像素的視覺特徵相同或者非常相似，這樣的小圖像塊被稱之為「超像素」。在視頻圖像的這種具有時間上連續和空間上相似的特點的圖像序列，利用視覺特徵相似或相同的超像素塊作為分割塊單位，相比於採用像素點為單位，可以減少計算量並提高效率。
而在上述獲得第一幀圖像的視差值的方法中，分割塊可以是像素點，由此，可以精確地得出第一幀圖像的視差值，因為該第一幀圖像是第二幀圖像、甚至後續幀圖像的視差值的基礎，因此，利用更精細的像素點為單位來獲得視差值是優選的。當然，分割塊的單位不限於此，還可以利用其他圖像分割的方法來得到其他類型的分割塊。
圖3示出了根據本發明的第二實施例的視頻立體匹配方法的示意流程圖。
該第二實施例可以是一個可選的實施例，其中，該第一幀圖像例如是先前的左圖像，而要與第一幀圖像進行立體匹配的第一相對幀圖像例如是先前的右圖像，而第二幀圖像例如是當前的左圖像，而要與第二幀圖像進行立體匹配的第二相對幀圖像例如是當前的右圖像，分割塊是超像素塊，建立的圖模型是二層圖模型，且利用貝葉斯概率網絡來通過置信傳播方式計算視差圖。
具體地，在步驟3011中，對雙目攝像機的左攝像頭拍攝的先前幀的左圖和當前幀的左圖進行超像素塊分割，使得視頻幀被按照圖像像素的視覺特徵(例如顏色/灰度)分割成超像素塊。基於超像素塊的分割可以使用現有的非專利文獻P.F.Felzenszwalb and D.P.Huttenlocher.Efficient graph-based image segmentation.International Journal of Computer Vision,59(2):167–181,2004提出的方法。分割的原則如下：定義一個圖模型，其中的「節點」對應於圖像的像素，而「邊」連接相鄰的8連通像素。通過圖像的顏色梯度給出了兩節點間的邊的權值。在圖模型上建立最小生成樹(Minimum Spanning Tree，MST)，圖像像素/區域按其大小和一個尺度參數進行合併。
圖4示出了根據本發明的各個實施例的兩層的圖模型的示例。圖4的左側示出了先前的T時刻的左圖的超像素塊分割結果以及當前的T+1時刻的左圖的超像素塊分割結果。利用不同的顏色的塊表示不同的超像素塊。
回到圖3，在步驟3012中，左圖和右可以是極線校正過的，使得左圖和右圖可以位於同一極線上，以便更準確地計算左圖的各個像素和右圖的各個像素之間的匹配代價。匹配代價可以用任意一種已知的匹配代價函數來計算，例如絕對差和(Sum of Absolute Differences，SAD),平方差和(Sum of Squared Differences，SSD),絕對差零均值和(Zeromean Sum of Absolute Differences，ZSAD),平方差零均值和(Zeromean Sum of Squared Differences，ZSSD),伯奇和託馬西(Birchfield and Tomasi，BT),互信息(Mutual Information，MI),Census等等。為了提高初始視差圖的精度，也可進一步利用多種匹配代價函數融合得到更高精度的匹配代價函數。同時，通過一定大小的窗口中，利用窗口疊加來增強匹配代價的可靠性也是一種提高精度的常見方法。
在步驟3013中，將先前的左圖像幀和當前的左圖像幀的超像素塊進行幀間匹配。可以根據非專利文獻C.Couprie,C.Farabet,Y.LeCun,and L.Najman,Causal Graph-based Video Segmentation,in ICIP,2013的方法進行幀間匹配。具體地，在第一次幀間匹配步驟中，針對先前的每一個左圖像幀超像素塊，在當前的左圖像幀中找到一個幀間匹配的左圖像幀超像素塊，使得先前的左圖像幀超像素塊和當前的左圖像幀超像素塊之間的相似度最大；在第二次幀間匹配步驟中，針對當前的每一個左圖像幀超像素塊，在先前的左圖像幀中找到一個幀間匹配的左圖像幀超像素塊，使得當前的左圖像幀超像素塊和先前的左圖像幀超像素塊之間的相似度最大；如果一個先前的左圖像幀超像素塊和一個當前的左圖像幀超像素塊在所述第一次和第二次幀間匹配步驟中都是幀間匹配的，則確定所述先前的左圖像幀超像素塊和所述當前的左圖像幀超像素塊是幀間匹配的。
在步驟3014中，構建兩層的圖模型，如圖4的右側所示。其中圖的節點是視頻幀中的超像素塊(作為分割塊)，「內邊」連接同一層(例如同一圖像)圖模型中兩個節點，「外邊」是根據超像素塊的幀間匹配結果，連接不同層(例如，先前的圖像和當前的圖像)的兩個節點。「內邊」的權值可以由同一圖內的超像素塊的視覺特徵的相似度決定；「外邊」的權值可以由幀間匹配分割塊的像素數量、對齊重疊的像素數量、和在視覺特徵上的相似度以及重心的距離等來確定，可以用如下公式(1)定義該權值如下：
其中，|ri|表示超像素塊ri包含的像素數量，|rj|表示超像素塊rj包含的像素數量，|ri∩rj|表示將超像素塊ri和rj對齊後重疊的像素的個數，d(ci，cj)是超像素塊ri和rj的重心的距離，aij是超像素塊ri和rj在視覺特徵上的相似度。當然，該公式僅是示例，事實上，還可以基於幀間匹配分割塊的像素數量、對齊重疊的像素數量、和在視覺特徵上的相似度以及重心的距離中的一種或多種或其他因素來構造另外的公式，在此不一一舉例。
如果兩層的節點沒有匹配成功，則該兩個節點間的外邊的權值為0。這也可以理解為，不對沒有幀間匹配的超像素塊對計算外邊的權值，因為如果沒有幀間匹配，則兩個超像素塊之間沒有相似關係，可以認為這兩個超像素塊不是同一個物體，因此不會考慮將一個超像素塊的視差值應用於計算另一超像素塊的視差值，因此，沒有必要求這兩者之間的關係。
建立二層圖模型僅是示例而非限制，只是建立二層圖模型能夠使得先前幀和當前幀之間的關係更直觀。
在步驟3015中，將用貝葉斯概率網絡將來詮釋上述的圖模型。根據貝葉斯理論，設計一個貝葉斯網絡如圖5所示。圖5示出了根據本發明的各個實施例的貝葉斯概率網絡的示意圖。該貝葉斯網絡可以建立在以下兩個假設的基礎上：1)先前幀視頻的視差值將會影響當前幀視頻的視差值；2)右視頻幀的視差值能夠通過左視頻幀和視差圖恢復得到。也就是說，通過先前幀的視差圖來獲得當前幀的視差圖，然後，可以基於當前的左圖的視差值和當前幀的視差圖來計算當前的右圖的視差值。
基於圖5的貝葉斯概率網絡，可以得到：
這裡，概率
從而，
其中，dt表示當前t時刻的圖像幀的視差值，dt-1表示先前的t-1時刻的圖像幀的視差值，表示t時刻的右圖的視覺特徵值(例如顏色/灰度值)，表示t時刻的右圖的視覺特徵值(例如顏色/灰度值)。
上面方程的右邊的三項分別對應時間域一致性、空間域一致性和似然值，它們可以被分別定義如下：
時間域一致性：
空間域一致性：
似然值：
其中，i，j表示分別在先前幀和當前幀中的N個超像素塊中的超像素塊，i，i′表示左圖L中的超像素塊，H1、H2、H3是表示exp函數的帶寬的係數，ρ1、ρ3是權重係數。πi是空間域的內邊，wij是外邊，是左圖的像素的視覺特徵值(例如顏色/灰度值)，是右圖的像素的視覺特徵值(例如顏色/灰度值)，
這裡時間域一致性表示連續兩幀被匹配上的超像素塊的視差值是否是比較相似的；空間域一致性表示在同一幀中，相鄰超像素塊的視差值是否是比較接近；而似然值是視覺特徵值(例如顏色/灰度)決定的匹配代價。匹配代價的定義是現有技術中已知的，在此不贅述。
用和分別表示∑∈Lπi(dt(i)，dt-1(i′)),和從而可以得到以下能量方程：
這裡α,β和γ是線性加權的權值，滿足α+β+γ＝1。權值α,β和γ可以根據超像素塊的立體匹配的結果自適應地設定，例如，超像素塊的立體匹配的精度如果比較低，則γ可以設定較高的值；但如果超像素塊的立體匹配的精度很高，則γ可以設定為0，這樣可以較大程度的減少時間消耗。
基於上述能量方程，優化方程如下：
可以用已有的技術和方法解此方程，例如用動態規劃和圖割的方法去解視差值dt，達到置信傳播的目的。
如此，將先前幀的視差信息用到當前幀的視差計算將大幅降低時間成本，並會產生時間上的連貫的視頻視差圖。另一方面，利用超像素塊作為視差值的求解單元也將降低時間成本。此外，將時空信息引入到視差值的全局優化過程，可以幫助實現無閃爍和時間上一致的視差圖。
圖6示出了根據本發明的第三實施例的計算同一時刻的一對幀圖像的視差值的示意流程圖。
立體匹配方法600包括：步驟601，計算第一圖的像素和第二圖的像素之間的匹配代價；步驟602，預估第一圖和第二圖中的參考圖像中的像素的視差值6021和對應的可靠度6022，其中，所述可靠度6022表示該像素的預估的視差值的正確的概率；步驟603，根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的傳播能量係數；步驟604基於所述有方向的傳播能量係數來實施置信傳播算法以獲得像素的更新的視差值。
在步驟601中，例如左圖的第一圖和例如右圖的第二圖可以是極線校正過的，使得左圖和右圖可以位於同一極線上，以便更準確地計算左圖的各個像素和右圖的各個像素之間的匹配代價。匹配代價可以用任意一種已知的匹配代價函數來計算，例如絕對差和(Sum of Absolute Differences，SAD),平方差和(Sum of Squared Differences，SSD),絕對差零均值和(Zeromean Sum of Absolute Differences，ZSAD),平方差零均值和(Zeromean Sum of Squared Differences，ZSSD),伯奇和託馬西(Birchfield and Tomasi，BT),互信息(Mutual Information，MI),Census等等。為了提高初始視差圖的精度，也可進一步利用多種匹配代價函數融合得到更高精度的匹配代價函數。同時，通過一定大小的窗口中，利用窗口疊加來增強匹配代價的可靠性也是一種提高精度的常見方法。
在步驟602中，利用得到的匹配代價，預估左圖和右圖中的參考圖像中的每個像素的視差值和對應的可靠度。這裡，左圖和右圖中取一個作為參考圖像，並計算該參考圖像中的每個像素的視差值和對應的可靠度。另外，這裡可以僅得到初步的粗略的視差值，為了提高計算效率而不太考慮準確度的話，可以採用簡單有效的方法來計算，例如勝者為王(Winner Takes All，WTA)算法。
優選地，在得到初始的視差值的同時，也相應地求出該初始的視差值的可靠度的得分。可靠度可以表示該像素的預估的視差值的正確的概率。在此，關於可靠度在立體匹配中的應用可參考文獻X.Hu,P.Mordohai,A quantitative evaluation of confidence measures for stereo vision,in PAMI 34(6012),2121-2133。在該文獻中提到很多種計算可靠度的算法。例如，可靠度的計算可以採用基於規則的算法或者學習預測算法來完成。
如果採用基於規則的算法可以包括以下步驟：基於每個像素點及其相鄰的像素，提取匹配代價的曲線的可靠性特徵；對每個像素點進行投票，其中，fin是像素i的第n個可靠性特性，fin的值越大表示像素i的初始的預估視差值在第n個可靠性特性上表現出更高的可靠性，如果fin的值大於預定閾值，則像素i得到投票；將像素i的總投票∑nfin作為像素i的初始的預估視差值的可靠度得分。在此，可靠性特性指的是由於不同的視差值評估方法得到不同初始視差值而得到的對應於不同初始視差值的不同可靠性特性。因此，利用投票的方式能夠對各個不同的初始視差值評估方法的可靠性特性進行統計，得到更為準確的可靠性。如果採用學習預測的算法可以包括以下步驟：收集包括多個樣本的訓練集，每一個樣本包括匹配的像素對及其正確的視差值，每個樣本還有一個正負標籤，表示按照勝者為王(WTA)算法得到的預估視差值是否正確；基於匹配代價的曲線的可靠性特徵，利用機器學習的算法來學習一個分類器，以預測一個預估的視差值是否可靠。
當然，計算預估的視差值和相應的可靠度的方法不限於上述，本領域技術人員還可以採用已知的其他方法。
在該實施例中，用像素點作為單位來進行初始視差值的預估和可靠度的計算以及後續的傳播能量係數和傳播模型的建立，這是考慮到精細度，利用像素點可以獲得精細的視差值。然而，在追求速度而不太考慮精細度的情況下，也可以採用比像素點更大的圖像塊作為單位，例如具有相同或類似視覺特徵(顏色/灰度)的超像素塊等等。
下面結合圖7A-7C和圖8詳細介紹步驟603的根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的傳播能量係數的原理。
圖7A示出了根據本發明的第三實施例的置信傳播算法的傳播示意圖。
置信傳播算法通常首先利用局部匹配實現粗匹配，找出其中正確的匹配點對(種子點)，用這些匹配點對進行全局匹配處理，以計算其他像素點的視差值，最終獲得精度更高的稠密視差圖。這種方法的最基本的步驟就是計算像素點之間的關係，即如何將種子點的信息傳播到其他點，將多少種子點的信息來進行置信傳播。如圖7A所示，用傳播能量係數來表徵在置信傳播算法中從種子點向其他像素點的信息傳播的能量的多少，即種子點能將多少信息能量傳播到其他像素點。
圖7B示出了根據本發明的第三實施例的考慮種子點的可靠度來進行置信傳播算法的示意圖。
不同於其中相同地對待任何種子點的傳統置信傳播算法，根據本發明的實施例，可以考慮不同種子點的各自的可靠度來區別對待不同種子點以進行置信傳播算法。如圖7B所示，從種子點1向像素點3的傳播能量係數由於種子點1和2的可靠度不同而不同於從種子點2向像素點3的傳播能量係數。
圖7C示出了根據本發明的實施例的考慮兩個像素點之間的傳播是非對稱的方式來進行置信傳播算法的示意圖。
不同於其中兩個像素點之間的傳播能量係數對稱的傳統置信傳播算法，根據本發明的實施例，兩個像素點之間的傳播能量係數由於該兩個像素點各自的可靠度而可以是非對稱的。如圖7C所示，從種子點1向像素點2的傳播能量係數由於種子點1和2的可靠度不同而可能不同於從種子點2向像素點1的傳播能量係數。因此，在本發明的實施例中，傳播能量係數可以是有方向性的向量。
圖8示出了根據本發明的第三實施例的基於可靠度的置信傳播算法的計算同一時刻的一對幀圖像的視差值的示意圖。
如圖8所示，a,b,c,…,i表示9個像素點，在傳統的置信傳播算法中，像素b到e(b→e)，和e到b(e→b)的能量傳播係數是相同的。而在本發明的實施例中，因為像素b和e在預估初始視差值的時候的可靠度是不相同的，所以b→e和e→b的能量傳播係數也可以是不同的。從而將不相同的能量傳播係數加載到有向的圖模型中，得到最終的視差值。
具體地，在步驟603中，根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的傳播能量係數。基本的規則可以是：兩個像素之間的所述視覺特徵的差異度越小，傳播能量係數越大，兩個像素之間的距離越小，傳播能量係數越大，且兩個像素對應的可靠度越高，傳播能量係數越大。以下列舉具體的公式來表示傳播能量係數和兩個像素之間的所述視覺特徵的差異度和距離和兩個像素對應的可靠度之間的關係，但本發明不限於該具體的公式，而是其他滿足上述基本規則的公式都是可以構思的。
在一個實施例中，基於圖像像素的視覺特徵、空間位置，以及上述得到的可靠度得分，計算傳播能量係數。在此，視覺特徵可以包括灰度、顏色等視覺信息，空間位置可以包括歐式距離等距離度量。在一個實施例中，用wij表示像素i和像素j之間的初始傳播能量係數，其可以被定義為：
這裡Δc(i，j)＝||I(i)-I(j)||和Δg(i，j)＝||i-j||分別代表像素i和像素j之間的顏色/灰度等的差異度和在圖像坐標中的歐式距離。該差異度也反映了兩個像素在視覺特徵上的相似度，即差異度越小，相似度越高。λc和λg是兩個平衡參數。
另一方面，用ri表示像素i的可靠度得分，表示該像素的預估視差值的正確的概率。即，可靠度得分越高，表示預估的視差值越有可能是正確的。傳播能量係數pij則可被定義為如下內積形式：
pij＝ ……(11)
其中表示可靠度的得分ri和初始傳播能量係數wij的內積。
也就是說，在本實施例中，傳播能量係數考慮了像素的初始視差值的可靠度得分。另外，由於考慮的傳播起始的像素點的可靠度得分，因此，從傳播起始的像素點到其他像素點的傳播能量係數與從其他像素點到該像素點的傳播能量係數可能是不同的、非對稱的，因此可以理解為該傳播能量係數是有方向的。
另外，在此，由於可以利用每個像素的初始視差值及其可靠度得分，因此，可以更準確地使得每個像素都可以作為種子點(而非傳統技術中的僅一部分像素作為種子點)以及考慮其對傳播能量係數的影響，因此可以得到更準確的傳播能量係數，從而之後得到更準確的視差值和立體匹配結果。
當然，上述具體的傳播能量係數的計算公式僅是示例，而事實上，可以構思其他公式，只要使得傳播能量係數考慮像素的初始視差值的可靠度得分，使得可靠度得分越高，從該像素傳播出去的傳播能量係數越大。
在步驟604中，基於所述有方向的傳播能量係數來實施置信傳播算法以獲得像素的更新的視差值。
具體地，首先，建立一個有方向的圖模型G＝(V，E)，這裡V是圖模型的節點，也就是參考圖像的像素，圖模型中的節點之間的邊的權值用傳播能量係數pij表示。圖模型的每條邊是一個有方向的點對[i，j]，表示從像素i到像素j的有向邊。這裡暫不考慮自循環(self loop)，即對所有的節點v∈V，在此，有方向的圖模型是為了體現節點和節點之間的有方向且有權值的傳播關係，事實上，其他類型的模型——只要體現了這種關係——也是可以使用的。
然後，在該圖模型上實施置信傳播算法以獲得像素的更新的視差值。
具體地，基於構建的有向圖模型和傳播能量係數矩陣，可以定義一個隨機遊走模型，使得該模型有唯一的穩定分布，例如傳送隨機遊走(teleporting random walk)模型。用∏表示一個對角矩陣，該對角矩陣的對角元素是隨機遊走的穩定分布，計算傳播概率矩陣Θ＝(∏1/2P∏-1/2+∏-1/2P∏1/2)/2其中P是傳播能量係數矩陣。用y(i)表示像素i的所述的視差值預估的計算函數，那麼像素最終的視差計算函數為f＝(I-αΘ)-1y(i)，這裡α是範圍為[0,1]的參數。注意，此處y(i)可以是矩陣形式，例如豎向量式的矩陣。
上述隨機遊走模型可以從例如文獻D.Zhou,J.Huang,and B.Scholkopf,Learning from Labeled and Unlabeled Data on a Directed Graph,in ICML,6005中找到。但是，除了隨機遊走模型以外，還可以使用其他模型來在所述圖模型上實施置信傳播算法。
總的來說，通過利用可靠度得分，該立體匹配算法不需要如傳統算法那樣，僅單獨地檢測種子點，而是所有像素的視差值在考慮可靠度的同時進行置信傳播。初始預估的視差值如果具有較高的可靠度得分，則說明該像素對越有可能是正確的匹配對，將會更容易影響其他像素的視差更新，從而將減輕從不太可靠的像素出發的誤傳播帶來的影響，從而得到更準確的視差值。從而，本發明的實施例的改進的全局立體匹配算法更容易取得更高精度的視差圖像。
由此，可以通過上述實施例的立體匹配方法來精確地得出第一幀圖像的視差值，因為該第一幀圖像是第二幀圖像、甚至後續幀圖像的視差值的基礎，因此，通過取得更精細的更高精度的第一幀圖像的視差圖可以得到更高精度的後續幀的視差圖。
當然，在另一實施例中，也可以不以像素點為單位來進行該先前幀圖像的立體匹配以獲得視差值，而是以超像素塊為單位，如結合圖1-5所描述的對圖像進行超像素塊的分割以基於先前幀的信息來進行當前幀的立體匹配，在這種情況下，可以一次對先前圖像進行超像素塊分割以得到超像素塊，並將這種分割塊用於先前幀的立體匹配的時差值計算和用於當前幀的立體匹配的方法的基礎。在以超像素塊為單位進行先前圖像的視差值的計算時，可以以超像素塊的灰度/顏色等視覺特徵信息的平均值(或總和或中位值或其他表示整個超像素塊的信息的算法)來實施上述結合圖6-8描述的先前幀圖像的立體匹配。
圖9示出了根據本發明的第四實施例的立體視頻的立體匹配控制器的方框圖。
圖9所示的立體視頻的立體匹配控制器900包括：圖像分割裝置901，被配置為對立體視頻中的第一幀圖像和第二幀圖像分別進行圖像分割以生成第一幀分割塊和第二幀分割塊，所述第一幀圖像在時間上先於第二幀圖像；幀間匹配裝置902，被配置為對第一幀分割塊和第二幀分割塊進行幀間匹配；立體匹配裝置903，被配置為至少部分地根據幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度以基於所述第一幀圖像的視差值來獲得所述第二幀圖像的視差值。
因此，根據本發明的各個實施例，首先通過幀間匹配來找到先前的第一幀圖像中的具體分割元素在當前的第二幀圖像中是哪個分割元素，然後考慮先前的第一幀圖像和當前的第二幀圖像之間的幀間匹配上的分割塊之間的相似度，可以基於第一幀圖像的視差值來獲得與第一幀圖像的視差值具有一定相似關係的第二幀圖像的視差值。即，如果匹配的第一幀分割塊與匹配的第二幀分割塊非常相似、甚至相同，那可能將匹配的第一幀分割塊的視差值適應地或直接地應用為匹配的第二幀分割塊的視差值。如此，將先前幀的視差信息用到當前幀的視差計算將大幅降低時間成本，並會產生時間上的連貫的視頻視差圖。
在一個實施例中，立體匹配裝置903可以被配置為：針對所述第一幀圖像和所述第二幀圖像，構建兩層的圖模型，其中，第一幀圖像是第一層，第二幀圖像是第二層，分割塊是圖的節點，第一幀圖像內的連接兩個節點的邊是內邊，連接第一幀圖像和第二幀圖像之間的節點的邊是外邊；至少部分地根據第一幀分割塊之間的相似度以及幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度來計算所述圖模型中的內邊和外邊的權值；，在圖模型上，通過概率估算來基於第一幀圖像的視差值來獲得第二幀圖像的視差值。
在此，除了考慮幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度以外還考慮據第一幀分割塊之間的相似度，可以根據第一幀分割塊之間的相似度以及由此得到的分割塊的視差值的相似度，來更好地從第一幀圖像的視差值來獲得第二幀圖像的視差值。
在一個實施例中，所述幀間匹配的第一幀分割塊和第二幀分割塊之間的相似度可以通過幀間匹配分割塊的像素數量、對齊重疊的像素數量、和在視覺特徵上的相似度以及重心的距離來確定。
在一個實施例中，所述第一幀分割塊之間的相似度可以通過各第一幀分割塊在視覺特徵上的相似度來確定。例如，視覺特徵可以是顏色、色差、灰度、形狀、紋理等等。
在一個實施例中，立體匹配裝置還可以被配置為：基於圖模型的外邊，計算時間域一致性，所述時間域一致性表示第一幀圖像和第二幀圖像中的幀間匹配分割塊的視差值相似的程度；基於圖模型的內邊，計算空間域一致性，所述空間域一致性表示相鄰的第二幀圖分割塊之間的視差值相似的程度；計算表示第二幀圖像和要與第二幀圖像進行立體匹配的第二相對幀圖像之間的立體匹配代價的似然值；確定時間域一致性、空間域一致性和似然值的線性加權值，並進行線性加權得到總和；求使得所述總和達到最大值的視差值作為第二幀圖像的視差值。
在一個實施例中，幀間匹配裝置902可以被配置為進行：第一次幀間匹配步驟，針對每一個第一幀分割塊，在第二幀圖像中找到一個幀間匹配的第二針分割塊，使得第一幀分割塊和所找到的第二幀分割塊之間的相似度最大；第二次幀間匹配步驟，針對每一個第二幀分割塊，在第一幀圖像中找到一個幀間匹配的第一幀分割塊，使得第二幀分割塊和所找到的第一幀分割塊之間的相似度最大；如果一個第一幀分割塊和一個第二幀分割塊在所述第一次和第二次幀間匹配步驟中都是幀間匹配的，則確定所述第一幀分割塊和所述第二幀分割塊是幀間匹配的。
在一個實施例中，該控制器900還可以包括獲得第一幀圖像的視差值的裝置(未示出)，其中，所述獲得第一幀圖像的視差值的裝置可以被配置為：計算第一幀分割塊和要與第一幀圖像進行立體匹配的第一相對幀圖像的分割塊之間的立體匹配代價；預估第一幀分割塊的視差值和對應的可靠度，其中，所述可靠度表示該分割塊的預估的視差值的正確的概率；根據兩個第一幀分割塊之間的所述視覺特徵的差異度和距離和該兩個第一幀分割塊對應的可靠度來計算該兩個第一幀分割塊之間的有方向的傳播能量係數；基於所述有方向的傳播能量係數來實施置信傳播算法以獲得第一幀分割塊的更新的視差值。
在一個實施例中，所述分割塊包括超像素塊，在另一實施例中，所述分割塊包括像素點。優選地，在本公開中，利用超像素塊來進行上述幀間匹配、立體匹配等動作可以提高效率、減少計算量。
而在上述獲得第一幀圖像的視差值的方法中，分割塊可以是像素點，由此，可以精確地得出第一幀圖像的視差值，因為該第一幀圖像是第二幀圖像、甚至後續幀圖像的視差值的基礎，因此，利用更精細的像素點為單位來獲得視差值是優選的。
因此，在利用上述優選的獲得先前幀的更高精度的視差圖之後，可以基於該更高精度的先前幀的視差圖來利用之前描述的立體匹配方法獲得更精確的當前幀的視差圖。
當然，上述的具體實施例僅是例子而非限制，且本領域技術人員可以根據本發明的構思從上述分開描述的各個實施例中合併和組合一些步驟和裝置來實現本發明的效果，這種合併和組合而成的實施例也被包括在本發明中，在此不一一描述這種合併和組合。
注意，在本公開中提及的優點、優勢、效果等僅是示例而非限制，不能認為這些優點、優勢、效果等是本發明的各個實施例必須具備的。另外，上述公開的具體細節僅是為了示例的作用和便於理解的作用，而非限制，上述細節並不限制本發明為必須採用上述具體的細節來實現。
本公開中涉及的器件、裝置、設備、系統的方框圖僅作為例示性的例子並且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領域技術人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設備、系統。諸如「包括」、「包含」、「具有」等等的詞語是開放性詞彙，指「包括但不限於」，且可與其互換使用。這裡所使用的詞彙「或」和「和」指詞彙「和/或」，且可與其互換使用，除非上下文明確指示不是如此。這裡所使用的詞彙「諸如」指詞組「諸如但不限於」，且可與其互換使用。
本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子並且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟。如本領域技術人員將認識到的，可以按任意順序進行以上實施例中的步驟的順序。諸如「其後」、「然後」、「接下來」等等的詞語不意圖限制步驟的順序；這些詞語僅用於引導讀者通讀這些方法的描述。此外，例如使用冠詞「一個」、「一」或者「該」對於單數的要素的任何引用不被解釋為將該要素限制為單數。
另外，本文中的各個實施例中的步驟和裝置並非僅限定於某個實施例中實行，事實上，可以根據本發明的概念來結合本文中的各個實施例中相關的部分步驟和部分裝置以構思新的實施例，而這些新的實施例也包括在本發明的範圍內。
以上所述的方法的各個操作可以通過能夠進行相應的功能的任何適當的手段而進行。該手段可以包括各種硬體和/或軟體組件和/或模塊，包括但不限於硬體的電路、專用集成電路(ASIC)或處理器。
可以利用被設計用於進行在此所述的功能的通用處理器、數位訊號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、離散門或電晶體邏輯、離散的硬體組件或者其任意組合而實現或進行所述的各個例示的邏輯塊、模塊和電路。通用處理器可以是微處理器，但是作為替換，該處理器可以是任何商業上可獲得的處理器、控制器、微控制器或狀態機。處理器還可以實現為計算設備的組合，例如DSP和微處理器的組合，多個微處理器、與DSP核協作的一個或多個微處理器或任何其他這樣的配置。
結合本公開描述的方法或算法的步驟可以直接嵌入在硬體中、處理器執行的軟體模塊中或者這兩種的組合中。軟體模塊可以存在於任何形式的有形存儲介質中。可以使用的存儲介質的一些例子包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、快閃記憶體、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可移動碟、CD-ROM等。存儲介質可以耦接到處理器以便該處理器可以從該存儲介質讀取信息以及向該存儲介質寫信息。在替換方式中，存儲介質可以與處理器是整體的。軟體模塊可以是單個指令或者許多指令，並且可以分布在幾個不同的代碼段上、不同的程序之間以及跨過多個存儲介質。
在此公開的方法包括用於實現所述的方法的一個或多個動作。方法和/或動作可以彼此互換而不脫離權利要求的範圍。換句話說，除非指定了動作的具體順序，否則可以修改具體動作的順序和/或使用而不脫離權利要求的範圍。
所述的功能可以按硬體、軟體、固件或其任意組合而實現。如果以軟體實現，功能可以作為一個或多個指令存儲在切實的計算機可讀介質上。存儲介質可以是可以由計算機訪問的任何可用的切實介質。通過例子而不是限制，這樣的計算機可讀介質可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存儲、磁碟存儲或其他磁存儲器件或者可以用於攜帶或存儲指令或數據結構形式的期望的程序代碼並且可以由計算機訪問的任何其他切實介質。如在此使用的，碟(disk)和盤(disc)包括緊湊盤(CD)、雷射盤、光碟、數字通用盤(DVD)、軟碟和藍光碟，其中碟通常磁地再現數據，而盤利用雷射光學地再現數據。
因此，電腦程式產品可以進行在此給出的操作。例如，這樣的電腦程式產品可以是具有有形存儲(和/或編碼)在其上的指令的計算機可讀的有形介質，該指令可由一個或多個處理器執行以進行在此所述的操作。電腦程式產品可以包括包裝的材料。
軟體或指令也可以通過傳輸介質而傳輸。例如，可以使用諸如同軸電纜、光纖光纜、雙絞線、數字訂戶線(DSL)或諸如紅外、無線電或微波的無線技術的傳輸介質從網站、伺服器或者其他遠程源傳輸軟體。
此外，用於進行在此所述的方法和技術的模塊和/或其他適當的手段可以在適當時由用戶終端和/或基站下載和/或其他方式獲得。例如，這樣的設備可以耦接到伺服器以促進用於進行在此所述的方法的手段的傳送。或者，在此所述的各種方法可以經由存儲部件(例如RAM、ROM、諸如CD或軟碟等的物理存儲介質)提供，以便用戶終端和/或基站可以在耦接到該設備或者向該設備提供存儲部件時獲得各種方法。此外，可以利用用於將在此所述的方法和技術提供給設備的任何其他適當的技術。
其他例子和實現方式在本公開和所附權利要求的範圍和精神內。例如，由於軟體的本質，以上所述的功能可以使用由處理器、硬體、固件、硬連線或這些的任意的組合執行的軟體實現。實現功能的特徵也可以物理地位於各個位置，包括被分發以便功能的部分在不同的物理位置處實現。而且，如在此使用的，包括在權利要求中使用的，在以「至少一個」開始的項的列舉中使用的「或」指示分離的列舉，以便例如「A、B或C的至少一個」的列舉意味著A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辭「示例的」不意味著描述的例子是優選的或者比其他例子更好。
可以不脫離由所附權利要求定義的教導的技術而進行對在此所述的技術的各種改變、替換和更改。此外，本公開的權利要求的範圍不限於以上所述的處理、機器、製造、事件的組成、手段、方法和動作的具體方面。可以利用與在此所述的相應方面進行基本相同的功能或者實現基本相同的結果的當前存在的或者稍後要開發的處理、機器、製造、事件的組成、手段、方法或動作。因而，所附權利要求包括在其範圍內的這樣的處理、機器、製造、事件的組成、手段、方法或動作。
提供所公開的方面的以上描述以使本領域的任何技術人員能夠做出或者使用本發明。對這些方面的各種修改對於本領域技術人員而言是非常顯而易見的，並且在此定義的一般原理可以應用於其他方面而不脫離本發明的範圍。因此，本發明不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特徵一致的最寬範圍。
為了例示和描述的目的已經給出了以上描述。此外，此描述不意圖將本發明的實施例限制到在此公開的形式。儘管以上已經討論了多個示例方面和實施例，但是本領域技術人員將認識到其某些變型、修改、改變、添加和子組合。