立體匹配方法、控制器和系統與流程
2023-12-04 13:30:26 1
本發明涉及圖像處理領域，且更具體地涉及立體匹配方法、控制器和系統。
背景技術：
立體匹配是立體匹配中最基本的技術，它主要需要解決的問題是如何將真實對象點在雙目攝像機拍攝的左右兩幅圖像中的投影點對應起來，即通過一幅圖像的每個像素點，如何準確找出在另一幅圖像中的對應點，從而計算對應點對的圖像坐標差值，得出視差值。
到目前為止立體匹配算法研究已取得了顯著的發展，湧現出了許多立體匹配算法，算法匹配精度不斷提高。根據約束方式的不同，可將立體匹配算法分為局部匹配算法和全局匹配算法兩大類。
局部匹配算法通常是對待匹配像素點周圍小鄰域內進行討論，獲得待匹配點的視差值，此類算法往往計算量小，易於硬體實現。
全局匹配算法是對掃描線甚至整個圖像進行討論，通過不同視差分布計算全局範圍內的不同相似性度量值，最小度量值即為最優視差分布。通常全局匹配方法都是在一個全局能量函數最小化的框架下進行的，根據約束條件，定義出相應的全局能量函數，通過算法計算獲得全局能量函數最小值時所對應的視差分布，即得出視差圖。
因此，仍然存在對立體匹配方法的不斷探索以尋求更精確的立體匹配結果。
技術實現要素：
置信傳播算法可以應用於立體匹配的全局匹配算法中。置信傳播算法的優點是根據區域的特點自動調節消息傳輸的距離遠近，它不僅考慮了相鄰像素點對目標像素點的影響，還考慮了不相鄰像素點對目標像素點的影響，同時能很好的處理低紋理區域和深度不連續區域，在低紋理區域，消息可以傳 輸很遠；在不連續區域，消息的傳輸很快停止。這些方法通常首先利用局部匹配實現粗匹配，找出其中正確的匹配點對(種子點)，用這些匹配點對進行全局匹配處理，以計算其他像素點的視差值，最終獲得精度更高的稠密視差圖。這種方法的最基本的步驟就是計算像素之間的關係，即如何將種子點的信息傳播到其他點，將多少種子點的信息來進行置信傳播。信息傳播的能量的多少可以用能量傳播係數來表徵。現有的技術通常採用匹配代價計算、初始視差值計算、以及與鄰像素的輸入/輸出消息傳遞的步驟。在消息傳遞過程中完成置信傳播。
本公開的技術對現有的置信傳播算法進行了改進，提高了立體匹配的精確度。
具體地，根據本發明的一個方面，提供一種立體匹配方法，包括：計算第一圖的像素和第二圖的像素之間的匹配代價；預估作為參考圖像的、第一圖和第二圖之一中的像素的視差值和對應的可靠度，其中，所述可靠度表示該像素的預估的視差值的正確的概率；根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數；基於所述有方向的能量傳播係數來實施置信傳播算法以獲得像素的更新的視差值。
根據本發明的另一個方面，提供一種立體匹配系統，包括：拍攝裝置，被配置為拍攝第一圖和第二圖；控制器，被配置為接收所述拍攝裝置發送的第一圖和第二圖，並計算第一圖的像素和第二圖的像素之間的匹配代價；預估作為參考圖像的、第一圖和第二圖之一中的像素的視差值和對應的可靠度，其中，所述可靠度表示該像素的預估的視差值的正確的概率；根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數；基於所述有方向的能量傳播係數來實施置信傳播算法以獲得像素的更新的視差值。
根據本發明的另一個方面，提供一種立體匹配控制器，包括：匹配代價計算裝置，被配置為計算第一圖的像素和第二圖的像素之間的匹配代價；預估裝置，被配置為預估作為參考圖像的、第一圖和第二圖之一中的像素的視差值和對應的可靠度，其中，所述可靠度表示該像素的預估的視差值的正確的概率；能量傳播係數計算裝置，被配置為根據所述參考圖像中的兩個像素 之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數；視差值獲得裝置，被配置為基於所述有方向的能量傳播係數來實施置信傳播算法以獲得像素的更新的視差值。
附圖說明
圖1示出應用根據本發明的實施例的立體匹配算法的系統硬體場景圖。
圖2示出了根據本發明的一個實施例的立體匹配方法的示意流程圖。
圖3A示出了置信傳播算法的傳播示意圖。
圖3B示出了根據本發明的實施例的考慮種子點的可靠度來進行置信傳播算法的示意圖。
圖3C示出了根據本發明的實施例的考慮兩個像素點之間的傳播是非對稱的方式來進行置信傳播算法的示意圖。
圖4示出了根據本發明的實施例的基於可靠度的置信傳播算法的立體匹配過程的示意圖。
圖5示出了根據本發明的實施例的立體匹配控制器的方框圖。
具體實施方式
現在將詳細參照本發明的具體實施例，在附圖中例示了本發明的例子。儘管將結合具體實施例描述本發明，但將理解，不是想要將本發明限於所述的實施例。相反，想要覆蓋由所附權利要求限定的在本發明的精神和範圍內包括的變更、修改和等價物。應注意，這裡描述的方法步驟都可以由任何功能塊或功能布置來實現，且任何功能塊或功能布置可被實現為物理實體或邏輯實體、或者兩者的組合。
為了使本領域技術人員更好地理解本發明，下面結合附圖和具體實施方式對本發明作進一步詳細說明。
注意，接下來要介紹的示例僅是一個具體的例子，而不作為限制本發明的實施例必須為如下具體的步驟、數值、條件、數據、順序等等。本領域技術人員可以通過閱讀本說明書來運用本發明的構思來構造本說明書中未提到的更多實施例。
圖1示出應用根據本發明的實施例的立體匹配算法的系統硬體場景圖。
如圖1所示的一種立體匹配系統包括：拍攝裝置100，被配置為拍攝第一圖102(1)和第二圖102(2)；控制器101，被配置為執行根據本發明的實施例的立體匹配算法。該立體匹配算法可以包括接收所述拍攝裝置100發送的第一圖和第二圖，並計算第一圖的像素和第二圖的像素之間的匹配代價；預估作為參考圖像的、第一圖和第二圖之一中的像素的視差值和對應的可靠度，其中，所述可靠度表示該像素的預估的視差值的正確的概率；根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數；基於所述有方向的能量傳播係數來實施置信傳播算法以獲得像素的更新的視差值。由此，可以通過更新的視差值來構建最終的視差圖。
在此，如果該拍攝裝置為雙目相機，則拍攝得到至少作為第一圖的左圖和作為第二圖的右圖。在以下實施例的說明中，採用示例而非限制的左圖和右圖來給出說明。但實際上，隨著科技的發展，可能出現多維相機，而本發明公開的立體匹配技術也可以應用於多維立體匹配中。
在此，控制器101可以包括通用處理器、數位訊號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、離散門或電晶體邏輯、離散的硬體組件或者其任意組合而實現或進行所述的各個例示的邏輯塊、模塊和電路。處理器101可以以單個晶片、晶片組、集成電路、單片機等的形式。通用處理器可以是微處理器，但是作為替換，該控制器可以是任何商業上可獲得的處理器、微控制器或狀態機。控制器還可以實現為計算設備的組合，例如DSP和微處理器的組合，多個微處理器、與DSP核協作的一個或多個微處理器或任何其他這樣的配置。控制器內部還可以包括存儲器(未示出)。存儲器可以存儲至少一個計算機可執行指令，用於在由控制器執行時本技術所描述的實施例中的各個功能和/或方法的步驟。存儲器還可以臨時或永久地存儲各種數據和指令。
當然，圖1所示的硬體場景圖僅是一個示例而非限制，本領域技術人員可以基於本公開的描述來構造任何適當的硬體場景。
圖2示出了根據本發明的一個實施例的立體匹配方法200的示意流程圖。
根據本實施例的立體匹配方法200包括：步驟201，計算第一圖的像素和第二圖的像素之間的匹配代價；步驟202，預估作為參考圖像的、第一圖和第二圖之一中的像素的視差值2021和對應的可靠度2022，其中，所述可 靠度2022表示該像素的預估的視差值的正確的概率；步驟203，根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數；步驟204基於所述有方向的能量傳播係數來實施置信傳播算法以獲得像素的更新的視差值。
在步驟201中，例如左圖的第一圖和例如右圖的第二圖可以是極線校正過的，使得左圖和右圖可以位於同一極線上，以便更準確地計算左圖的各個像素和右圖的各個像素之間的匹配代價。匹配代價可以用任意一種已知的匹配代價函數來計算，例如絕對差和(Sum of Absolute Differences，SAD)，平方差和(Sum of Squared Differences，SSD)，絕對差零均值和(Zeromean Sum of Absolute Differences，ZSAD)，平方差零均值和(Zeromean Sum of Squared Differences，ZSSD)，伯奇和託馬西(Birchfield and Tomasi，BT)，互信息(Mutual Information，MI)，Census等等。為了提高初始視差圖的精度，也可進一步利用多種匹配代價函數融合得到更高精度的匹配代價函數。同時，通過一定大小的窗口中，利用窗口疊加來增強匹配代價的可靠性也是一種提高精度的常見方法。
在步驟202中，利用得到的匹配代價，預估左圖和右圖中的參考圖像中的每個像素的視差值和對應的可靠度。這裡，左圖和右圖中取一個作為參考圖像，並計算該參考圖像中的每個像素的視差值和對應的可靠度。另外，這裡可以僅得到初步的粗略的視差值，為了提高計算效率而不太考慮準確度的話，可以採用簡單有效的方法來計算，例如勝者為王(Winner Takes All，WTA)算法。
優選地，在得到初始的視差值的同時，也相應地求出該初始的視差值的可靠度的得分。可靠度可以表示該像素的預估的視差值的正確的概率。在此，關於可靠度在立體匹配中的應用可參考文獻X.Hu，P.Mordohai，A quantitative evaluation of confidence measures for stereo vision，in PAMI 34(2012)，2121-2133。在該文獻中提到很多種計算可靠度的算法。例如，可靠度的計算可以採用基於規則的算法或者學習預測算法來完成。
如果採用基於規則的算法可以包括以下步驟：基於每個像素點及其相鄰的像素，提取匹配代價的曲線的可靠性特徵；對每個像素點進行投票，其中，fin是像素i的第n個可靠性特性，fin的值越大表示像素i的初始的預估視差值在 第n個可靠性特性上表現出更高的可靠性，如果fin的值大於預定閾值，則像素i得到投票；將像素i的總投票Σn fin作為像素i的初始的預估視差值的可靠度得分。在此，可靠性特性指的是由於不同的視差值評估方法得到不同初始視差值而得到的對應於不同初始視差值的不同可靠性特性。因此，利用投票的方式能夠對各個不同的初始視差值評估方法的可靠性特性進行統計，得到更為準確的可靠性。如果採用學習預測的算法可以包括以下步驟：收集包括多個樣本的訓練集，每一個樣本包括匹配的像素對及其正確的視差值，每個樣本還有一個正負標籤，表示按照勝者為王(WTA)算法得到的預估視差值是否正確；基於匹配代價的曲線的可靠性特徵，利用機器學習的算法來學習一個分類器，以預測一個預估的視差值是否可靠。
當然，計算預估的視差值和相應的可靠度的方法不限於上述，本領域技術人員還可以採用已知的其他方法。
在本文中，用像素點作為單位來進行初始視差值的預估和可靠度的計算以及後續的能量傳播係數和傳播模型的建立，這是考慮到精細度，利用像素點可以獲得精細的視差值。然而，在追求速度而不太考慮精細度的情況下，也可以採用比像素點更大的圖像塊作為單位，例如具有相同或類似視覺特徵(顏色/灰度)的超像素塊等等。
如此，可以通過根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數，從而考慮每個像素的預估視差值的可靠程度(即正確的概率)來獲得更準確的能量傳播係數，從而獲得更準確的置信傳播模型，來得到更準確的視差值。
下面結合圖3A-3C和圖4詳細介紹步驟203的根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數的原理。
圖3A示出了置信傳播算法的傳播示意圖。
置信傳播算法通常首先利用局部匹配實現粗匹配，找出其中正確的匹配點對(種子點)，用這些匹配點對進行全局匹配處理，以計算其他像素點的視差值，最終獲得精度更高的稠密視差圖。這種方法的最基本的步驟就是計算像素點之間的關係，即如何將種子點的信息傳播到其他點，將多少種子點的信息來進行置信傳播。如圖3A所示，用能量傳播係數來表徵在置信傳播算 法中從種子點向其他像素點的信息傳播的能量的多少，即種子點能將多少信息能量傳播到其他像素點。
圖3B示出了根據本發明的實施例的考慮種子點的可靠度來進行置信傳播算法的示意圖。
不同於其中相同地對待任何種子點的傳統置信傳播算法，根據本發明的實施例，可以考慮不同種子點的各自的可靠度來區別對待不同種子點以進行置信傳播算法。如圖3B所示，從種子點1向像素點3的能量傳播係數由於種子點1和2的可靠度不同而不同於從種子點2向像素點3的能量傳播係數。
圖3C示出了根據本發明的實施例的考慮兩個像素點之間的傳播是非對稱的方式來進行置信傳播算法的示意圖。
不同於其中兩個像素點之間的能量傳播係數對稱的傳統置信傳播算法，根據本發明的實施例，兩個像素點之間的能量傳播係數由於該兩個像素點各自的可靠度而可以是非對稱的。如圖3C所示，從種子點1向像素點2的能量傳播係數由於種子點1和2的可靠度不同而可能不同於從種子點2向像素點1的能量傳播係數。因此，在本發明的實施例中，有方向的能量傳播係數意味著由於傳播方向(例如，像素點1到像素點2和像素點2到像素點1的方向)不同而使得能量傳播係數也不同。
圖4示出了根據本發明的實施例的基於可靠度的置信傳播算法的立體匹配過程的示意圖。
如圖4所示，a，b，c，...，i表示9個像素點，在傳統的置信傳播算法中，像素b到e(b→e)，和e到b(e→b)的能量傳播係數是相同的。而在本發明的實施例中，因為像素b和e在預估初始視差值的時候的可靠度是不相同的，所以b→e和e→b的能量傳播係數也可以是不同的。從而將不相同的能量傳播係數加載到有向的圖模型中，得到最終的視差值。
具體地，在步驟203中，根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數。基本的規則可以是：兩個像素之間的所述視覺特徵的差異度越小，能量傳播係數越大；兩個像素之間的距離越小，能量傳播係數越大；且兩個像素對應的可靠度越高，能量傳播係數越大。以下列舉具體的公式來表示能量傳播係數和兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和兩個像素對應的可靠度之間的關係，但本發 明不限於該具體的公式，而是其他滿足上述基本規則的公式都是可以構思的。
在一個實施例中，基於圖像像素的視覺特徵、空間位置，以及上述得到的可靠度得分，計算能量傳播係數。在此，視覺特徵可以包括灰度、顏色等視覺信息，空間位置可以包括歐式距離等距離度量。在一個實施例中，用wij表示像素i和像素j之間的初始能量傳播係數，其可以被定義為：
這裡Δc(i，j)＝||I(i)-I(j)||和Δg(i，j)＝||i-j||分別代表像素i和像素j之間的顏色/灰度等的差異度和在圖像坐標中的歐式距離。該差異度也反映了兩個像素在視覺特徵上的相似度，即差異度越小，相似度越高。λc和λg是兩個平衡參數。
另一方面，用ri表示像素i的可靠度得分，表示該像素的預估視差值的正確的概率。即，可靠度得分越高，表示預估的視差值越有可能是正確的。能量傳播係數pij則可被定義為如下內積形式：
pij＝
其中表示可靠度的得分ri和初始能量傳播係數wij的內積。
也就是說，在本實施例中，能量傳播係數考慮了像素的初始視差值的可靠度得分。另外，由於考慮的傳播起始的像素點的可靠度得分，因此，從傳播起始的像素點到其他像素點的能量傳播係數與從其他像素點到該像素點的能量傳播係數可能是不同的、非對稱的，因此可以理解為該能量傳播係數是有方向的。
另外，在此，由於可以利用每個像素的初始視差值及其可靠度得分，因此，可以更準確地使得每個像素都可以作為種子點(而非傳統技術中的僅一部分像素作為種子點)以及考慮其對能量傳播係數的影響，因此可以得到更準確的能量傳播係數，從而之後得到更準確的視差值和立體匹配結果。
當然，上述具體的能量傳播係數的計算公式僅是示例，而事實上，可以構思其他公式，只要使得能量傳播係數考慮像素的初始視差值的可靠度得分，使得可靠度得分越高，從該像素傳播出去的能量傳播係數越大。
在步驟204中，基於所述有方向的能量傳播係數來實施置信傳播算法以獲得像素的更新的視差值。
具體地，首先，建立一個有方向的圖模型G＝(V，E)，這裡V是圖模型的 節點，也就是參考圖像的像素，圖模型中的節點之間的邊的權值用能量傳播係數pij表示。圖模型的每條邊是一個有方向的點對[i，j]，表示從像素i到像素j的有向邊。這裡暫不考慮自循環(selfloop)，即對所有的節點v∈V，在此，有方向的圖模型是為了體現節點和節點之間的有方向且有權值的傳播關係，事實上，其他類型的模型——只要體現了這種關係——也是可以使用的。
然後，在該圖模型上實施置信傳播算法以獲得像素的更新的視差值。
具體地，基於構建的有向圖模型和能量傳播係數矩陣，可以定義一個隨機遊走模型，使得該模型有唯一的穩定分布，例如傳送隨機遊走(teleporting random walk)模型。用П表示一個對角矩陣，該對角矩陣的對角元素是隨機遊走的穩定分布，計算傳播概率矩陣Θ＝(П1/2 PП-1/2+П-1/2 PП1/2)/2其中P是能量傳播係數矩陣。用y(i)表示像素i的所述的視差值預估的計算函數，那麼像素最終的視差計算函數為f(i)＝(I-αΘ)-1y(i)，這裡α是範圍為[0，1]的參數。注意，此處f(i)、y(i)可以是矩陣形式，即豎向量式的矩陣。
上述隨機遊走模型可以從例如文獻D.Zhou，J.Huang，and B.Scholkopf，Learning from Labeled and Unlabeled Data on a Directed Graph，in ICML，2005中找到。但是，除了隨機遊走模型以外，還可以使用其他模型來在所述圖模型上實施置信傳播算法。
總的來說，通過利用可靠度得分，該立體匹配算法不需要如傳統算法那樣，僅單獨地檢測種子點，而是所有像素的視差值在考慮可靠度的同時進行置信傳播。像素對的初始預估的視差值如果具有較高的可靠度得分，則說明該像素對越有可能是正確的匹配對，將會更容易影響其他像素的視差更新，從而將減輕從不太可靠的像素出發的誤傳播帶來的影響，從而得到更準確的視差值。從而，本發明的實施例的改進的全局立體匹配算法更容易取得更高精度的視差圖像。
圖5示出了根據本發明的實施例的立體匹配控制器500的方框圖。
圖5所示的立體匹配控制器500包括：匹配代價計算裝置501，被配置為計算第一圖的像素和第二圖的像素之間的匹配代價；預估裝置502，被配置為預估作為參考圖像的、第一圖和第二圖之一中的像素的視差值和對應的可靠度，其中，所述可靠度表示該像素的預估的視差值的正確的概率；能量傳播係數計算裝置503，被配置為根據所述參考圖像中的兩個像素之間的所 述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數；視差值獲得裝置504，被配置為基於所述有方向的能量傳播係數來實施置信傳播算法以獲得像素的更新的視差值。
例如左圖的第一圖和例如右圖的第二圖可以是極線校正過的，使得左圖和右圖可以位於同一極線上，以便更準確地計算左圖的各個像素和右圖的各個像素之間的匹配代價。匹配代價可以用任意一種已知的匹配代價函數來計算，例如絕對差和(Sum of Absolute Differences，SAD)，平方差和(Sum of Squared Differences，SSD)，絕對差零均值和(Zeromean Sum of Absolute Differences，ZSAD)，平方差零均值和(Zeromean Sum of Squared Differences，ZSSD)，伯奇和託馬西(Birchfield and Tomasi，BT)，互信息(Mutual Information，MI)，Census等等。為了提高初始視差圖的精度，也可進一步利用多種匹配代價函數融合得到更高精度的匹配代價函數。同時，通過一定大小的窗口中，利用窗口疊加來增強匹配代價的可靠性也是一種提高精度的常見方法。
這裡，左圖和右圖中取一個作為參考圖像，並計算該參考圖像中的每個像素的視差值和對應的可靠度。另外，這裡可以僅得到初步的粗略的視差值，為了提高計算效率而不太考慮準確度的話，可以採用簡單有效的方法來計算，例如勝者為王(Winner Takes All，WTA)算法。
優選地，在得到初始的視差值的同時，也相應地求出該初始的視差值的可靠度的得分。可靠度可以表示該像素的預估的視差值的正確的概率。例如，可靠度的計算可以採用基於規則的算法或者學習預測算法來完成。
如果採用基於規則的算法可以包括以下步驟：基於每個像素點及其相鄰的像素，提取匹配代價的曲線的可靠性特徵；對每個像素點進行投票，其中，fin是像素i的第n個可靠性特性，fin的值越大表示像素i的初始的預估視差值在第n個可靠性特性上表現出更高的可靠性，如果fin的值大於預定閾值，則像素i得到投票；將像素i的總投票Σn fin作為像素i的初始的預估視差值的可靠度得分。如果採用學習預測的算法可以包括以下步驟：收集包括多個樣本的訓練集，每一個樣本包括匹配的像素對及其正確的視差值，每個樣本還有一個正負標籤，表示按照勝者為王(WTA)算法得到的預估視差值是否正確；基於匹配代價的曲線的可靠性特徵，利用機器學習的算法來學習一個分類器， 以預測一個預估的視差值是否可靠。
當然，計算預估的視差值和相應的可靠度的方法不限於上述，本領域技術人員還可以採用已知的其他方法。
如此，可以通過根據所述參考圖像中的兩個像素之間的所述視覺特徵的差異度和在圖像坐標中的距離和該兩個像素對應的可靠度來計算該兩個像素之間的有方向的能量傳播係數，從而考慮每個像素的預估視差值的可靠程度(即正確的概率)來獲得更準確的能量傳播係數，從而獲得更準確的置信傳播模型，來得到更準確的視差值。
當然，上述的具體實施例僅是例子而非限制，且本領域技術人員可以根據本發明的構思從上述分開描述的各個實施例中合併和組合一些步驟和裝置來實現本發明的效果，這種合併和組合而成的實施例也被包括在本發明中，在此不一一描述這種合併和組合。
注意，在本公開中提及的優點、優勢、效果等僅是示例而非限制，不能認為這些優點、優勢、效果等是本發明的各個實施例必須具備的。另外，上述公開的具體細節僅是為了示例的作用和便於理解的作用，而非限制，上述細節並不限制本發明為必須採用上述具體的細節來實現。
本公開中涉及的器件、裝置、設備、系統的方框圖僅作為例示性的例子並且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領域技術人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設備、系統。諸如「包括」、「包含」、「具有」等等的詞語是開放性詞彙，指「包括但不限於」，且可與其互換使用。這裡所使用的詞彙「或」和「和」指詞彙「和/或」，且可與其互換使用，除非上下文明確指示不是如此。這裡所使用的詞彙「諸如」指詞組「諸如但不限於」，且可與其互換使用。
本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子並且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟。如本領域技術人員將認識到的，可以按任意順序進行以上實施例中的步驟的順序。諸如「其後」、「然後」、「接下來」等等的詞語不意圖限制步驟的順序；這些詞語僅用於引導讀者通讀這些方法的描述。此外，例如使用冠詞「一個」、「一」或者「該」對於單數的要素的任何引用不被解釋為將該要素限制為單數。
另外，本文中的各個實施例中的步驟和裝置並非僅限定於某個實施例中實行，事實上，可以根據本發明的概念來結合本文中的各個實施例中相關的 部分步驟和部分裝置以構思新的實施例，而這些新的實施例也包括在本發明的範圍內。
以上所述的方法的各個操作可以通過能夠進行相應的功能的任何適當的手段而進行。該手段可以包括各種硬體和/或軟體組件和/或模塊，包括但不限於硬體的電路、專用集成電路(ASIC)或處理器。
可以利用被設計用於進行在此所述的功能的通用處理器、數位訊號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、離散門或電晶體邏輯、離散的硬體組件或者其任意組合而實現或進行所述的各個例示的邏輯塊、模塊和電路。通用處理器可以是微處理器，但是作為替換，該處理器可以是任何商業上可獲得的處理器、控制器、微控制器或狀態機。處理器還可以實現為計算設備的組合，例如DSP和微處理器的組合，多個微處理器、與DSP核協作的一個或多個微處理器或任何其他這樣的配置。
結合本公開描述的方法或算法的步驟可以直接嵌入在硬體中、處理器執行的軟體模塊中或者這兩種的組合中。軟體模塊可以存在於任何形式的有形存儲介質中。可以使用的存儲介質的一些例子包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、快閃記憶體、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可移動碟、CD-ROM等。存儲介質可以耦接到處理器以便該處理器可以從該存儲介質讀取信息以及向該存儲介質寫信息。在替換方式中，存儲介質可以與處理器是整體的。軟體模塊可以是單個指令或者許多指令，並且可以分布在幾個不同的代碼段上、不同的程序之間以及跨過多個存儲介質。
在此公開的方法包括用於實現所述的方法的一個或多個動作。方法和/或動作可以彼此互換而不脫離權利要求的範圍。換句話說，除非指定了動作的具體順序，否則可以修改具體動作的順序和/或使用而不脫離權利要求的範圍。
所述的功能可以按硬體、軟體、固件或其任意組合而實現。如果以軟體實現，功能可以作為一個或多個指令存儲在切實的計算機可讀介質上。存儲介質可以是可以由計算機訪問的任何可用的切實介質。通過例子而不是限制，這樣的計算機可讀介質可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存儲、磁碟存儲或其他磁存儲器件或者可以用於攜帶或存儲指令或數據結構形式的期望的程序代碼並且可以由計算機訪問的任何其他切實介質。如在此使用的，碟(disk)和盤(disc)包括緊湊盤(CD)、雷射盤、光碟、數 字通用盤(DVD)、軟碟和藍光碟，其中碟通常磁地再現數據，而盤利用雷射光學地再現數據。
因此，電腦程式產品可以進行在此給出的操作。例如，這樣的電腦程式產品可以是具有有形存儲(和/或編碼)在其上的指令的計算機可讀的有形介質，該指令可由一個或多個處理器執行以進行在此所述的操作。電腦程式產品可以包括包裝的材料。
軟體或指令也可以通過傳輸介質而傳輸。例如，可以使用諸如同軸電纜、光纖光纜、雙絞線、數字訂戶線(DSL)或諸如紅外、無線電或微波的無線技術的傳輸介質從網站、伺服器或者其他遠程源傳輸軟體。
此外，用於進行在此所述的方法和技術的模塊和/或其他適當的手段可以在適當時由用戶終端和/或基站下載和/或其他方式獲得。例如，這樣的設備可以耦接到伺服器以促進用於進行在此所述的方法的手段的傳送。或者，在此所述的各種方法可以經由存儲部件(例如RAM、ROM、諸如CD或軟碟等的物理存儲介質)提供，以便用戶終端和/或基站可以在耦接到該設備或者向該設備提供存儲部件時獲得各種方法。此外，可以利用用於將在此所述的方法和技術提供給設備的任何其他適當的技術。
其他例子和實現方式在本公開和所附權利要求的範圍和精神內。例如，由於軟體的本質，以上所述的功能可以使用由處理器、硬體、固件、硬連線或這些的任意的組合執行的軟體實現。實現功能的特徵也可以物理地位於各個位置，包括被分發以便功能的部分在不同的物理位置處實現。而且，如在此使用的，包括在權利要求中使用的，在以「至少一個」開始的項的列舉中使用的「或」指示分離的列舉，以便例如「A、B或C的至少一個」的列舉意味著A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辭「示例的」不意味著描述的例子是優選的或者比其他例子更好。
可以不脫離由所附權利要求定義的教導的技術而進行對在此所述的技術的各種改變、替換和更改。此外，本公開的權利要求的範圍不限於以上所述的處理、機器、製造、事件的組成、手段、方法和動作的具體方面。可以利用與在此所述的相應方面進行基本相同的功能或者實現基本相同的結果的當前存在的或者稍後要開發的處理、機器、製造、事件的組成、手段、方法或動作。因而，所附權利要求包括在其範圍內的這樣的處理、機器、製造、事件的組成、手段、方法或動作。
提供所公開的方面的以上描述以使本領域的任何技術人員能夠做出或者使用本發明。對這些方面的各種修改對於本領域技術人員而言是非常顯而易見的，並且在此定義的一般原理可以應用於其他方面而不脫離本發明的範圍。因此，本發明不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特徵一致的最寬範圍。
為了例示和描述的目的已經給出了以上描述。此外，此描述不意圖將本發明的實施例限制到在此公開的形式。儘管以上已經討論了多個示例方面和實施例，但是本領域技術人員將認識到其某些變型、修改、改變、添加和子組合。