帶寬優化方法和帶寬優化裝置製造方法

2023-10-09 16:52:09 2

帶寬優化方法和帶寬優化裝置製造方法
【專利摘要】本發明提供了一種帶寬優化方法和帶寬優化裝置，其中，帶寬優化方法，包括：根據圖像的參數信息和圖像處理裝置的硬體參數信息確定所述圖像的參數範圍信息，其中，所述參數範圍信息包括視差範圍、圖像的寬度、內存位數和/或異常視差值的權值；根據所述參數範圍信息和預設的計算規則，計算出正常視差值的權值；根據所述正常視差值的權值和所述異常視差值的權值構建出所述圖像的基本數據結構信息，其中，所述基本數據結構信息的形式為整型。通過本發明的技術方案，可以優化帶寬。
【專利說明】帶寬優化方法和帶寬優化裝置
【技術領域】
[0001]本發明涉及圖像顯示【技術領域】，具體而言，涉及到一種帶寬優化方法和帶寬優化
>J-U ρ?α裝直。
【背景技術】
[0002]目前能夠較為準確計算視差的方法大部分都包含聚合和掃描線優化模塊，但是在聚合和掃描線優化等模塊中由於算法涉及大量的內存讀寫因而需要很高的帶寬。帶寬大，阻礙了視差的實時計算。不能實時的計算視差導致大量的應用無法推廣使用，如裸眼觀看3D視頻、實時三維重建。
[0003]為了降低視差計算方法的帶寬，人們進行了大量的探索。例如，不進行聚合處理或掃描線優化，這種方法使得視差計算錯誤率上升，觀察發現有明顯的視差計算錯誤，算法失效；通過增加額外的硬體來實現視差計算，增加硬體後使得成本和設備散熱量都急劇上升，無法推廣使用；降低視差範圍，要求拍攝過程中相機之間只能有很小的夾角，只能適應個別情況的視差計算，應用範圍小，無法推 廣使用；在數據讀取之前通過數據壓縮的方法減少帶寬，此時需要額外的空間，且邏輯複雜，帶寬優化空間小，算法仍然無法推廣使用。
[0004]因此，如何優化視差帶寬，成為目前亟待解決的技術問題。

【發明內容】

[0005]本發明旨在至少解決現有技術或相關技術中存在的技術問題之一。
[0006]為此，本發明的一個目的在於提出了一種帶寬優化方法。
[0007]本發明的另一個目的在於提出了一種帶寬優化裝置。
[0008]為實現上述目的，根據本發明的第一方面的實施例，提出了一種帶寬優化方法，包括:根據圖像的參數信息和圖像處理裝置的硬體參數信息確定所述圖像的參數範圍信息，其中，所述參數範圍信息包括視差範圍、圖像的寬度、內存位數和/或異常視差值的權值；根據所述參數範圍信息和預設的計算規則，計算出正常視差值的權值；根據所述正常視差值的權值和所述異常視差值的權值構建出所述圖像的基本數據結構信息，其中，所述基本數據結構信息的形式為無符號8位整型。
[0009]在該技術方案中，將基本數據結構信息構建成無符號8位整型，並根據預設的計算規則，合理計算出基本數據結構信息中的正常視差值的權值和異常視差值的權值，從而可以減少數據的存儲空間以及存儲器的訪問帶寬。
[0010]在上述技術方案中，優選地，所述預設的計算規則包括以下公式:dV+X(w-d)〈(2b-l),其中，d為所述視差範圍，V為所述異常視差值的權值，X為所述正常視差值的權值，w為所述圖像寬度，b為所述內存位數。
[0011]在該技術方案中，聚合優化過程中可以將正常視差值的權值和異常視差值的權值共同存在無符號8位整型的數據結構中，將異常視差值的權值設置為I個字節的無符號8位整型數據類型，該數據類型可以存儲的最大值255，設正常視差值的權值可以設置為O到X，其中X為正常視差值的權值的最大值。由於聚合的過程涉及到沿水平方向和垂直方向進行一維積分，為了在一維積分過程中使用2個字節的無符號16位整型存儲積分結果而不會發生數據溢出，X需要滿足條件:dV+X (w-d) < (2b-l)，式中，d表示視差範圍，V表示異常視差值的權值，w表示行或列包含像素個數的最大值，b表示每一個一維積分結果用多少位內存來存儲。上述公式可以用來計算不同視差計算方案中正常視差權值與異常視差權值如何分配數值範圍。
[0012]在上述技術方案中，優選地，還包括:按照預設的提取規則從所述基本數據結構信息對應的所有像素點中，提取出目標像素點，並對所述目標像素點進行聚合處理。
[0013]在上述技術方案中，優選地，所述預設的計算提取規則包括:從所述所有像素點對應的所有行中，按照目標像素點的行數和其他像素點的行數比例為N:1進行提取。
[0014]其中，聚合是一種應用廣泛的技術，該技術主要思想是圖像中一個像素點的特徵或特徵值可以通過該像素點周邊區域的特徵或特徵值來表示。聚合體現了圖像在局部的連續性，在視差計算等大量視覺應用中有著重要的應用，然而由於對任意一個像素點進行聚合都需要對該像素點周圍區域內的像素點進行計算，因而聚合過程中需要多次讀取圖像。例如,對於一幅MXN的圖像，如果聚合過程中一個像素點對應的周邊區域大小為A，則一次聚合過程中需要讀取大約MXNXA次圖像，因而佔用大量的帶寬，影響每秒能處理圖像的數量，進而影響視差相關應用的實時性。本發明在保持視差計算的準確性基本不變的前提下，考慮圖像在局部顏色連續變化，對聚合過程進行了優化，不在將圖像中所有行(或者是列)都進行聚合，而是對一部分行(或者是列)進行聚合，例如，每對N行進行聚合，之後就有I行不進行聚合，這樣，由於聚合的像素點減少，因此聚合過程中需要的帶寬就相應地減少了，優化了帶寬。
[0015]在上述技術方案中，優選地，所述聚合處理的處理過程包括:按行積分、結合聚合區域計算所述目標像素點中每個像素點的平均值、按列積分和重新結合所述聚合區域計算所述目標像素點中每個像素點的新的平均值。
[0016]在聚合的優化實現方法是通過積分圖來計算，積分圖計算聚合的過程分為兩步，第一步是先按行積分，再按列積分，第二步是通過積分結果計算某個區域包含像素的權值總和。在該技術方案中，視差計算過程中聚合的區域是十字型區域，此時計算聚合的方法略有變化，一般細分為四步。首先，按行積分(稱為HI)，按行積分是一個權值累加的過程，經過該步驟以後，每一個像素點的權值是該像素點及所有在同一行且在該像素點之前像素點權值之和。其次，結合聚合區域求得每個像素點的平均值(稱為HC)。聚合區域給出了一個像素點在所在行的區域最左邊像素點和區域最右邊像素點，這就可以利用HI的結果求平均。然後，按列積分(稱為VI)，與按行積分相似，不同的是一個按行一個按列進行積分。最後，結合區域求得每個像素新的平均值作為聚合結果(稱為VC)，此過程與HC相似。部分聚合在H1、HC、V1、VC四步中具體做法如下:H1:每隔N行就有一行不進行積分，N的取值太大對帶寬優化效果不大，實驗顯示N = 3、4、5時有較好的實驗效果；HC:對HI沒有積分的行不進行求平均:ΗΙ中沒有進行積分的像素點設置其權值為0，不對這些像素點進行讀寫；VC:僅對VI中處理過的像素點求平均。
[0017]在上述技術方案中，優選地，還包括:從所述所有像素點中，提取出除所述目標像素點外的其他像素點，並對所述其他像素點進行插值處理。[0018]在上述技術方案中，優選地，所述插值處理包括:將所述其他像素點中每個像素點的權值設置為該像素點在垂直方向上下兩個像素點的均值。
[0019]在該技術方案中，在將像素點部分聚合之後，為了保證聚合結果的準確性，將聚合過程中沒有進行聚合的像素點進行插值處理，即對於在聚合處理過程中未進行聚合的像素點，將該像素點的權值設置為該點在垂直方向上下兩個像素點的均值。此方法的依據是圖像在局部具有一定的連續性，因此可以通過插值修復。
[0020]根據本發明的另一方面，還提供了一種帶寬優化裝置，包括:信息確定單元，根據圖像的參數信息和圖像處理裝置的硬體參數信息確定所述圖像的參數範圍信息，其中，所述參數範圍信息包括視差範圍、圖像的寬度、內存位數和/或異常視差值的權值；計算單元，根據所述參數範圍信息和預設的計算規則，計算出正常視差值的權值；信息構建單元，根據所述正常視差值的權值和所述異常視差值的權值構建出所述圖像的基本數據結構信息，其中，所述基本數據結構信息的形式為無符號8位整型。
[0021]在該技術方案中，將基本數據結構信息構建成整型，並根據預設的計算規則，合理計算出基本數據結構信息中的正常視差值的權值和異常視差值的權值，從而可以減少數據的存儲空間以及存儲器的訪問帶寬。
[0022]在上述技術方案中，優選地，所述預設的計算規則包括以下公式:dV+X(w-d)〈(2b-l),其中，d為所述視差範圍，V為所述異常視差值的權值，X為所述正常視差值的權值，w為所述圖像寬度，b為所述內存位數。
[0023]在該技術方案中，聚合優化過程中可以將正常視差值的權值和異常視差值的權值共同存在無符號8位整型的數據結構中，將異常視差值的權值設置為I個字節的無符號8位整型數據類型，該數據類型可以存儲的最大值255，設正常視差值的權值可以設置為O到X，其中X為正常視差值的權值的最大值。由於聚合的過程涉及到沿水平方向和垂直方向進行一維積分，為了在一維積分過程中使用2個字節的無符號16位整型存儲積分結果而不會發生數據溢出，X需要滿足條件:dV+X (w-d) < (2b-l)，式中，d表示視差範圍，V表示異常視差值的權值，w表示行或列包含像素個數的最大值，b表示每一個一維積分結果用多少位內存來存儲。上述公式可以用來計算不同視差計算方案中正常視差權值與異常視差權值如何分配數值範圍。
[0024]在上述技術方案中，優選地，還包括:聚合單元，按照預設的提取規則從所述基本數據結構信息對應的所有像素點中，提取出目標像素點，並對所述目標像素點進行聚合處理。
[0025]在上述技術方案中，優選地，所述預設的計算提取規則包括:從所述所有像素點對應的所有行中，按照目標像素點的行數和其他像素點的行數比例為N:1進行提取。
[0026]其中，聚合是一種應用廣泛的技術，該技術主要思想是圖像中一個像素點的特徵或特徵值可以通過該像素點周邊區域的特徵或特徵值來表示。聚合體現了圖像在局部的連續性，在視差計算等大量視覺應用中有著重要的應用，然而由於對任意一個像素點進行聚合都需要對該像素點周圍區域內的像素點進行計算，因而聚合過程中需要多次讀取圖像。例如,對於一幅MXN的圖像，如果聚合過程中一個像素點對應的周邊區域大小為A，則一次聚合過程中需要讀取大約MXNXA次圖像，因而佔用大量的帶寬，影響每秒能處理圖像的數量，進而影響視差相關應用的實時性。本發明在保持視差計算的準確性基本不變的前提下，考慮圖像在局部顏色連續變化，對聚合過程進行了優化，不在將圖像中所有行(或者是列)都進行聚合，而是對一部分行(或者是列)進行聚合，例如，每對N行進行聚合，之後就有I行不進行聚合，這樣，由於聚合的像素點減少，因此聚合過程中需要的帶寬就相應地減少了，優化了帶寬。
[0027]在上述技術方案中，優選地，所述聚合處理的處理過程包括:按行積分、結合聚合區域計算所述目標像素點中每個像素點的平均值、按列積分和重新結合所述聚合區域計算所述目標像素點中每個像素點的新的平均值。
[0028]在聚合的優化實現方法是通過積分圖來計算，積分圖計算聚合的過程分為兩步，第一步是先按行積分，再按列積分，第二步是通過積分結果計算某個區域包含像素的權值總和。在該技術方案中，視差計算過程中聚合的區域是十字型區域，此時計算聚合的方法略有變化，一般細分為四步。首先，按行積分(稱為HI)，按行積分是一個權值累加的過程，經過該步驟以後，每一個像素點的權值是該像素點及所有在同一行且在該像素點之前像素點權值之和。其次，結合聚合區域求得每個像素點的平均值(稱為HC)。聚合區域給出了一個像素點在所在行的區域最左邊像素點和區域最右邊像素點，這就可以利用HI的結果求平均。然後，按列積分(稱為VI)，與按行積分相似，不同的是一個按行一個按列進行積分。最後，結合區域求得每個像素新的平均值作為聚合結果(稱為VC)，此過程與HC相似。部分聚合在H1、HC、V1、VC四步中具體做法如下:H1:每隔N行就有一行不進行積分，N的取值太大對帶寬優化效果不大，實驗顯示N = 3、4、5時有較好的實驗效果；HC:對HI沒有積分的行不進行求平均:ΗΙ中沒有進行積分的像素點設置其權值為0，不對這些像素點進行讀寫；VC:僅對VI中處理過的像素點求平均。
[0029]在上述技術方案中，優選地，還包括:插值單元，從所述所有像素點中，提取出除所述目標像素點外的其他像素點，並對所述其他像素點進行插值處理。
[0030]在上述技術方案中，優選地，所述插值處理包括:將所述其他像素點中每個像素點的權值設置為該像素點在垂直方向上下兩個像素點的均值。
[0031]在該技術方案中，在將像素點部分聚合之後，為了保證聚合結果的準確性，將聚合過程中沒有進行聚合的像素點進行插值處理，即對於在聚合處理過程中未進行聚合的像素點，將該像素點的權值設置為該點在垂直方向上下兩個像素點的均值。此方法的依據是圖像在局部具有一定的連續性，因此可以通過插值修復。通過本發明的技術方案，能夠優化視
差帶寬。
[0032]本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
【專利附圖】

【附圖說明】
[0033]本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中:
[0034]圖1示出了根據本發明的實施例的帶寬優化方法的示意流程圖；
[0035]圖2示出了根據本發明的實施例的帶寬優化裝置的結構示意圖；
[0036]圖3示出了根據本發明的實施例的聚合處理過程的示意流程圖。【具體實施方式】
[0037]為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和【具體實施方式】對本發明進行進一步的詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
[0038]在下面的描述中闡述了很多具體細節以便於充分理解本發明，但是，本發明還可以採用其他不同於在此描述的其他方式來實施，因此，本發明的保護範圍並不限於下面公開的具體實施例的限制。
[0039]其中，視差計算也就是計算兩個攝像機同時拍攝時場景中同一個點對應的兩個像點之間的像素距離。視差計算過程中普遍存在的問題是需要較大空間存儲兩幅圖像像素之間的特徵值，將存儲兩幅圖像像素之間的特徵值的數據結構稱為COST。
[0040]視差計算過程中發現COST佔用內存空間大，讀寫頻繁，造成了計算平臺內存帶寬不足，進而不能進行實時計算，影響3D相關應用。目前，COST使用浮點數(float)或精度更高的數據類型，其中存儲的數據分為兩類，一類是用於計算視差的正常權值，一類是異常權值，異常權值的出現是由於某一個像素在相應的視差值下沒有對應的像素點造成的。COST使用的數據類型一般為浮點數，使用浮點數的主要原因是因為COST中既要存儲正常權值又要存儲異常權值，同時還要確保在通過權值大小選擇視差值的時候，權值有足夠的精度。除此之外，COST中每個像素都需要d個浮點數的數據結構來存儲數據，其中d是視差範圍。因此，浮點數類型的COST需要相對較大的存儲空間。對COST分析後發現:
[0041]1、COST中每行最多包含異常權值的個數為視差變化範圍d，因為異常值的成因決定了異常值最多有d個。
[0042]2、正常權值的個數至少為w-d,其中w是圖像的寬度，d是視差變化範圍。
[0043]3、如果合理設計COST中正常權值和異常權值的分布範圍，COST可以使用I個字節的無符號8位整型表示，且能夠滿足目前精度的要求。
[0044]4、如果COST使用無符號8位整型表示，不僅COST自身的存儲空間減少四分之三，而且在對COST進行行積分時，在確保數據不溢出的情況下，積分結果現在可以存儲在2個字節的無符號16位整型的數據結構中，存儲空間可以減少二分之一。根據以上發現，可以對COST進行存儲結構的優化。由於聚合模塊涉及一維積分結果的存儲，其他模塊只是涉及COST在已知範圍內的賦值，因此只要COST能夠滿足聚合模塊中的要求，設計好的COST也能夠適用於整個視差計算。
[0045]圖1示出了根據本發明的實施例的帶寬優化方法的示意流程圖。
[0046]如圖1所示，根據本發明提出了一種帶寬優化方法，包括:步驟102，根據圖像的參數信息和圖像處理裝置的硬體參數信息確定所述圖像的參數範圍信息，其中，所述參數範圍信息包括視差範圍、圖像的寬度、內存位數和/或異常視差值的權值；步驟104，根據所述參數範圍信息和預設的計算規則，計算出正常視差值的權值；步驟106，根據所述正常視差值的權值和所述異常視差值的權值構建出所述圖像的基本數據結構信息，其中，所述基本數據結構信息的形式為無符號8位整型。
[0047]在該技術方案中，將基本數據結構信息構建成無符號8位整型，並根據預設的計算規則，合理計算出基本數據結構信息中的正常視差值的權值和異常視差值的權值，從而可以減少數據的存儲空間以及存儲器的訪問帶寬。[0048]在上述技術方案中，優選地，所述預設的計算規則包括以下公式:dV+X(w-d)〈(2b-l),其中，d為所述視差範圍，V為所述異常視差值的權值，X為所述正常視差值的權值，w為所述圖像寬度，b為所述內存位數。
[0049]在該技術方案中，聚合優化過程中可以將正常視差值的權值和異常視差值的權值共同存在無符號8位整型的數據結構中，將異常視差值的權值設置為無符號8位整型數據類型能表示的最大值255，設正常視差值的權值可以設置為O到X，其中X為正常視差值的權值的最大值。由於聚合的過程涉及到沿水平方向和垂直方向進行一維積分，為了在一維積分過程中使用2個字節的無符號16位整型存儲積分結果而不會發生數據溢出，X需要滿足條件:dV+X (w_d) < (2b-l)，式中，d表不視差範圍，V表不異常視差值的權值，w表不行或列包含像素個數的最大值，b表示每一個一維積分結果用多少位內存來存儲。上述公式可以用來計算不同視差計算方案中正常視差權值與異常視差權值如何分配數值範圍。
[0050]在上述技術方案中，優選地，還包括:步驟108，按照預設的提取規則從所述基本數據結構信息對應的所有像素點中，提取出目標像素點，並對所述目標像素點進行聚合處理。
[0051]在上述技術方案中，優選地，所述預設的計算提取規則包括:從所述所有像素點對應的所有行中，按照目標像素點的行數和其他像素點的行數比例為N:1進行提取。
[0052]其中，聚合是一種應用廣泛的技術，該技術主要思想是圖像中一個像素點的特徵或特徵值可以通過該像素點周邊區域的特徵或特徵值來表示。聚合體現了圖像在局部的連續性，在視差計算等大量視覺應用中有著重要的應用，然而由於對任意一個像素點進行聚合都需要對該像素點周圍區域內的像素點進行計算，因而聚合過程中需要多次讀取圖像。例如,對於一幅MXN的圖像，如果聚合過程中一個像素點對應的周邊區域大小為A，則一次聚合過程中需要讀取大約MXNXA次圖像，因而佔用大量的帶寬，影響每秒能處理圖像的數量，進而影響視差相關應用的實時性。本發明在保持視差計算的準確性基本不變的前提下，考慮圖像在局部顏色連續變化，對聚合過程進行了優化，不在將圖像中所有行(或者是列)都進行聚合，而是對一部分行(或者是列)進行聚合，例如，每對N行進行聚合，之後就有I行不進行聚合，這樣，由於聚合的像素點減少，因此聚合過程中需要的帶寬就相應地減少了，優化了帶寬。
[0053]在上述技術方案中，優選地，所述聚合處理的處理過程包括:按行積分、結合聚合區域計算所述目標像素點中每個像素點的平均值、按列積分和重新結合所述聚合區域計算所述目標像素點中每個像素點的新的平均值。
[0054]在聚合的優化實現方法是通過積分圖來計算，積分圖計算聚合的過程分為兩步，第一步是先按行積分，再按列積分，第二步是通過積分結果計算某個區域包含像素的權值總和。在該技術方案中，視差計算過程中聚合的區域是十字型區域，此時計算聚合的方法略有變化，一般細分為四步。首先，按行積分(稱為HI)，按行積分是一個權值累加的過程，經過該步驟以後，每一個像素點的權值是該像素點及所有在同一行且在該像素點之前像素點權值之和。其次，結合聚合區域求得每個像素點的平均值(稱為HC)。聚合區域給出了一個像素點在所在行的區域最左邊像素點和區域最右邊像素點，這就可以利用HI的結果求平均。然後，按列積分(稱為VI)，與按行積分相似，不同的是一個按行一個按列進行積分。最後，結合區域求得每個像素新的平均值作為聚合結果(稱為VC)，此過程與HC相似。部分聚合在H1、HC、V1、VC四步中具體做法如下:H1:每隔N行就有一行不進行積分，N的取值太大對帶寬優化效果不大，實驗顯示N = 3、4、5時有較好的實驗效果；HC:對HI沒有積分的行不進行求平均:ΗΙ中沒有進行積分的像素點設置其權值為O，不對這些像素點進行讀寫；VC:僅對VI中處理過的像素點求平均。
[0055]在上述技術方案中，優選地，還包括:步驟110，從所述所有像素點中，提取出除所述目標像素點外的其他像素點，並對所述其他像素點進行插值處理。
[0056]在上述技術方案中，優選地，所述插值處理包括:將所述其他像素點中每個像素點的權值設置為該像素點在垂直方向上下兩個像素點的均值。
[0057]在該技術方案中，在將像素點部分聚合之後，為了保證聚合結果的準確性，將聚合過程中沒有進行聚合的像素點進行插值處理，即對於在聚合處理過程中未進行聚合的像素點，將該像素點的權值設置為該點在垂直方向上下兩個像素點的均值。此方法的依據是圖像在局部具有一定的連續性，因此可以通過插值修復。
[0058]將設計好的C0ST(即基礎數據信息)存儲方法應用於整個視差計算方案，能夠明顯的降低視差計算需要的帶寬。其能達到的效果為:優化前視差計算方案的帶寬為:6.9GB/S。優化視差計算方案的帶寬為:4.4GB/s。
[0059]圖2示出了根據本發明的實施例的帶寬優化裝置的結構示意圖。
[0060]如圖2所示，根據本發明的實施例的帶寬優化裝置200，包括:信息確定單元202，根據圖像的參數信息和圖像處理裝置的硬體參數信息確定所述圖像的參數範圍信息，其中，所述參數範圍信息包括視差範圍、圖像的寬度、內存位數和/或異常視差值的權值；計算單元204，根據所述參數範圍信息和預設的計算規則，計算出正常視差值的權值；信息構建單元206，根據所述正常視差值的權值和所述異常視差值的權值構建出所述圖像的基本數據結構信息，其中，所述基本數據結構信息的形式為無符號8位整型。
[0061]在該技術方案中，將基本數據結構信息構建成無符號8位整型，並根據預設的計算規則，合理計算出基本數據結構信息中的正常視差值的權值和異常視差值的權值，從而可以減少數據的存儲空間以及存儲器的訪問帶寬。
[0062]在上述技術方案中，優選地，所述預設的計算規則包括以下公式:dV+X(w-d)〈(2b-l),其中，d為所述視差範圍，V為所述異常視差值的權值，X為所述正常視差值的權值，w為所述圖像寬度，b為所述內存位數。
[0063]在該技術方案中，聚合優化過程中可以將正常視差值的權值和異常視差值的權值共同存在無符號8位整型的數據結構中，將異常視差值的權值設置為I個字節的無符號8位整型數據類型，該數據類型可以存儲的最大值255，設正常視差值的權值可以設置為O到X，其中X為正常視差值的權值的最大值。由於聚合的過程涉及到沿水平方向和垂直方向進行一維積分，為了在一維積分過程中使用2個字節的無符號16位整型存儲積分結果而不會發生數據溢出，X需要滿足條件:dV+X (w-d) < (2b-l)，式中，d表示視差範圍，V表示異常視差值的權值，w表示行或列包含像素個數的最大值，b表示每一個一維積分結果用多少位內存來存儲。上述公式可以用來計算不同視差計算方案中正常視差權值與異常視差權值如何分配數值範圍。
[0064]在上述技術方案中，優選地，還包括:聚合單元208，按照預設的提取規則從所述基本數據結構信息對應的所有像素點中，提取出目標像素點，並對所述目標像素點進行聚合處理。
[0065]在上述技術方案中，優選地，所述預設的計算提取規則包括:從所述所有像素點對應的所有行中，按照目標像素點的行數和其他像素點的行數比例為N:1進行提取。
[0066]其中，聚合是一種應用廣泛的技術，該技術主要思想是圖像中一個像素點的特徵或特徵值可以通過該像素點周邊區域的特徵或特徵值來表示。聚合體現了圖像在局部的連續性，在視差計算等大量視覺應用中有著重要的應用，然而由於對任意一個像素點進行聚合都需要對該像素點周圍區域內的像素點進行計算，因而聚合過程中需要多次讀取圖像。例如,對於一幅MXN的圖像，如果聚合過程中一個像素點對應的周邊區域大小為A，則一次聚合過程中需要讀取大約MXNXA次圖像，因而佔用大量的帶寬，影響每秒能處理圖像的數量，進而影響視差相關應用的實時性。本發明在保持視差計算的準確性基本不變的前提下，考慮圖像在局部顏色連續變化，對聚合過程進行了優化，不在將圖像中所有行(或者是列)都進行聚合，而是對一部分行(或者是列)進行聚合，例如，每對N行進行聚合，之後就有I行不進行聚合，這樣，由於聚合的像素點減少，因此聚合過程中需要的帶寬就相應地減少了，優化了帶寬。
[0067]在上述技術方案中，優選地，所述聚合處理的處理過程包括:按行積分、結合聚合區域計算所述目標像素點中每個像素點的平均值、按列積分和重新結合所述聚合區域計算所述目標像素點中 每個像素點的新的平均值。
[0068]在聚合的優化實現方法是通過積分圖來計算，積分圖計算聚合的過程分為兩步，第一步是先按行積分，再按列積分，第二步是通過積分結果計算某個區域包含像素的權值總和。在該技術方案中，視差計算過程中聚合的區域是十字型區域，此時計算聚合的方法略有變化，一般細分為四步。首先，按行積分(稱為HI)，按行積分是一個權值累加的過程，經過該步驟以後，每一個像素點的權值是該像素點及所有在同一行且在該像素點之前像素點權值之和。其次，結合聚合區域求得每個像素點的平均值(稱為HC)。聚合區域給出了一個像素點在所在行的區域最左邊像素點和區域最右邊像素點，這就可以利用HI的結果求平均。然後，按列積分(稱為VI)，與按行積分相似，不同的是一個按行一個按列進行積分。最後，結合區域求得每個像素新的平均值作為聚合結果(稱為VC)，此過程與HC相似。部分聚合在111、!01、￥(:四步中具體做法如下:H1:每隔N行就有一行不進行積分，N的取值太大對帶寬優化效果不大，實驗顯示N = 3、4、5時有較好的實驗效果；HC:對HI沒有積分的行不進行求平均:ΗΙ中沒有進行積分的像素點設置其權值為0，不對這些像素點進行讀寫；VC:僅對VI中處理過的像素點求平均。
[0069]在上述技術方案中，優選地，還包括:插值單元210，從所述所有像素點中，提取出除所述目標像素點外的其他像素點，並對所述其他像素點進行插值處理。
[0070]在上述技術方案中，優選地，所述插值處理包括:將所述其他像素點中每個像素點的權值設置為該像素點在垂直方向上下兩個像素點的均值。
[0071]在該技術方案中，在將像素點部分聚合之後，為了保證聚合結果的準確性，將聚合過程中沒有進行聚合的像素點進行插值處理，即對於在聚合處理過程中未進行聚合的像素點，將該像素點的權值設置為該點在垂直方向上下兩個像素點的均值。此方法的依據是圖像在局部具有一定的連續性，因此可以通過插值修復。
[0072]上述的先進行部分聚合再進行插值計算的方案對帶寬的影響為:減少帶寬=實時要求處理的圖像幀數X (左圖和右圖兩幅圖像)X (每幅圖像不處理的行數)X (每行像素個數)X (每個像素有d個視差值)X (每個視差值在HI的讀寫次數+HC的讀寫次數+VI的讀寫次數+VC的讀寫次數一補空值的讀寫次數)。
[0073]並且該方案不僅能夠適用於聚合操作，還可以用在大部分圖像處理上，如在掃描線優化過程中也可以使用。除此之外，部分聚合後插值的方法對圖像大小、視差範圍變化有很好的魯棒性。當圖像大小為360 X 320，視差範圍為32，每5行圖像有I行不進行聚合處理時，帶寬減少310Mb/s,計算過程如下:
[0074]310Mb/s = 30 X 2 X (360/5) X 320 X 32 X (2+3+2+3-3)。
[0075]當圖像大小為540 X 480，視差範圍為40，每4行圖像有I行不進行聚合處理時，帶寬減少1089Mb/s，計算過程如下:
[0076]1089Mb/s = 30 X 2 X (540/4) X 480 X 40 X (2+3+2+3-3)。
[0077]在上述技術方案中，優選地，所述聚合處理的處理過程包括:按行積分、結合聚合區域計算所述目標像素點中每個像素點的平均值、按列積分和重新結合所述聚合區域計算所述目標像素點中每個像素點的新的平均值。
[0078]在聚合的優化實現方法是通過積分圖來計算，積分圖計算聚合的過程分為兩步，第一步是先按行積分，再按列積分，第二步是通過積分結果計算某個區域包含像素的權值總和。在該技術方案中，視差計算過程中聚合的區域是十字型區域，此時計算聚合的方法略有變化，一般細分為四步，如圖3所示，其步驟如下:
[0079]步驟302，按行積分(稱為HI)，按行積分是一個權值累加的過程，經過該步驟以後，每一個像素點的權值是該像素點及所有在同一行且在該像素點之前像素點權值之和。
[0080]步驟304，結合聚合區域求得每個像素點的平均值(稱為HC)。聚合區域給出了一個像素點在所在行的區域最左邊像素點和區域最右邊像素點，這就可以利用HI的結果求平均。
[0081]步驟306，按列積分(稱為VI)，與按行積分相似，不同的是一個按行一個按列進行積分。
[0082]步驟308，結合區域求得每個像素新的平均值作為聚合結果(稱為VC)，此過程與HC相似。部分聚合在H1、HC、V1、VC四步中具體做法如下。H1:每隔N行就有一行不進行積分，N的取值太大對帶寬優化效果不大，實驗顯示N = 3、4、5時有較好的實驗效果；HC:對HI沒有積分的行不進行求平均；VI:HI中沒有進行積分的像素點設置其權值為0，不對這些像素點進行讀寫；VC:僅對VI中處理過的像素點求平均。
[0083]下面以具體實施例詳細說明本發明的技術方案。
[0084]在具體實現過程中，公式:dV+X(w-d)〈(2b-l)中視差範圍d = 32，異常值的權值V設置為無符號8位整型能表示的最大值255，w取圖像行數或列數最大值360，b取16，也就是無符號16位整型數據類型包含的比特(bit)的個數。求得X可以取得的最大整數為174。因此，在聚合部分，可以將COST從浮點型變為無符號8位整型，其中異常權值賦值255，正常權值在O到174之間。於此同時，聚合過程中的行積分HI或列積分VI可以用2個字節的無符號16位整型來存儲，行聚合HC或列聚合VC可以用I個字節的無符號8位整型來存儲。相關數據結構類型變化如下:
[0085]COST:4個字節的浮點型一>1個字節的無符號8位整型；[0086]HI:4個字節的浮點型一>1個字節的無符號16位整型；
[0087]HC:4個字節的浮點型一>1個字節的無符號8位整型；
[0088]VI:4個字節的浮點型一>1個字節的無符號16位整型；
[0089]VC:4個字節的浮點型一>1個字節的無符號8位整型；
[0090]聚合優化效果分析:
[0091]優化前聚合部分的帶寬為:11.8GB/s。
[0092]優化後聚合部分的帶寬為:5.lGB/s。
[0093]在視差計算結果幾乎保持基本不變的前提下，修改COST、SH、Edh、SV、VC數據結構，使帶寬下降6.7GB/s。
[0094]其中，在不同的實現方案中，圖像大小、視差範圍可能有所不同，例如當圖像行數或列數最大值w為480，視差範圍d為34，其他變量不變時，通過公式dV+X(w-d)〈(2b-l)計算得到X可以取得的最大整數為127。因此，當異常權值為255時，可以將COST中正常權值範圍限定在O到127之間，此時雖然圖像大小、視差範圍有所不同，但帶寬仍然能夠下降
6.7GB/s。利用公式dV+X(w-d)〈(2b-l)合理計算COST中正常權值和異常權值，可以減少數據的存儲空間以及存儲器的訪問帶寬。
[0095]另外，掃描線優化模塊是除聚合模塊之外佔用帶寬最多的模塊。一般的視差計算方案中，掃描線優化都是通過作為錨點像素上下左右四個方向進行優化，為了減少掃描線優化模塊的帶寬，通過實驗驗證了只在作為錨點像素的左上或右下兩個方向進行同樣可以達到滿意的結果。四個方向進行掃描線優化需要帶寬是:2.15GB/S。兩個方向進行掃描線優化需要帶寬是:1.07GB/s。
[0096]以上結合附圖詳細說明了本發明的技術方案，通過本發明的技術方案，能夠優化視差帶寬。
[0097]以上所述僅為本發明的優選實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
【權利要求】
1.一種帶寬優化方法，其特徵在於，包括: 根據圖像的參數信息和圖像處理裝置的硬體參數信息確定所述圖像的參數範圍信息，其中，所述參數範圍信息包括視差範圍、圖像的寬度、內存位數和/或異常視差值的權值； 根據所述參數範圍信息和預設的計算規則，計算出正常視差值的權值； 根據所述正常視差值的權值和所述異常視差值的權值構建出所述圖像的基本數據結構信息。
2.根據權利要求1所述的帶寬優化方法，其特徵在於，所述基本數據結構信息的形式為無符號8位整型。
3.根據權利要求1所述的帶寬優化方法，其特徵在於，所述預設的計算規則包括以下公式: dV+X (w_d)〈 (2b_l),其中，d為所述視差範圍，V為所述異常視差值的權值，X為所述正常視差值的權值，w為所述圖像寬度，b為所述內存位數。
4.根據權利要求1所述的帶寬優化方法，其特徵在於，還包括: 按照預設的計算提取規則從所述基本數據結構信息對應的所有像素點中，提取出目標像素點，並對所述目標像素點進行聚合處理。
5.根據權利要求4所述的帶寬優化方法，其特徵在於，所述聚合處理的處理過程包括: 按行積分、結合聚合區域計算所述目標像素點中每個像素點的平均值、按列積分和重新結合所述聚合區域計算所述目標像素點中每個像素點的新的平均值。
6.根據權利要求5所述的帶寬優化方法，其特徵在於，所述預設的計算提取規則包括:從所述所有像素點對應的所有行中，按照目標像素點的行數和其他像素點的行數比例為N:1進行提取。
7.根據權利要求5所述的帶寬優化方法，其特徵在於，還包括: 從所述所有像素點中，提取出除所述目標像素點外的其他像素點，並對所述其他像素點進行插值處理。
8.根據權利要求7所述的帶寬優化方法，其特徵在於，所述插值處理包括:將所述其他像素點中每個像素點的權值設置為該像素點在垂直方向上下兩個像素點的均值。
9.一種帶寬優化裝置，其特徵在於，包括: 信息確定單元，根據圖像的參數信息和圖像處理裝置的硬體參數信息確定所述圖像的參數範圍信息，其中，所述參數範圍信息包括視差範圍、圖像的寬度、內存位數和/或異常視差值的權值； 計算單元，根據所述參數範圍信息和預設的計算規則，計算出正常視差值的權值； 信息構建單元，根據所述正常視差值的權值和所述異常視差值的權值構建出所述圖像的基本數據結構信息，其中，所述基本數據結構信息的形式為整型。
10.根據權利要求9所述的帶寬優化裝置，其特徵在於，所述基本數據結構信息的形式為無符號8位整型。
11.根據權利要求9所述的帶寬優化裝置，其特徵在於，所述預設的計算規則包括以下公式: dV+X (w_d)〈 (2b_l),其中，d為所述視差範圍，V為所述異常視差值的權值，X為所述正常視差值的權值，w為所述圖像寬度，b為所述內存位數。
12.根據權利要求9所述的帶寬優化裝置，其特徵在於，還包括: 聚合單元，按照預設的提取規則從所述基本數據結構信息對應的所有像素點中，提取出目標像素點，並對所述目標像素點進行聚合處理。
13.根據權利要求12所述的帶寬優化裝置法，其特徵在於，所述聚合處理的處理過程包括: 按行積分、結合聚合區域計算所述目標像素點中每個像素點的平均值、按列積分和重新結合所述聚合區域計算所述目標像素點中每個像素點的新的平均值。
14.根據權利要求13所述的帶寬優化方法，其特徵在於，所述預設的計算提取規則包括:從所述所有像素點對應的所有行中，按照目標像素點的行數和其他像素點的行數比例為N:1進行提取。
15.根據權利要求13所述的帶寬優化裝置，其特徵在於，還包括: 插值單元，從所述所有像素點中，提取出除所述目標像素點外的其他像素點，並對所述其他像素點進行插值處理。
16.根據權利要求8所述的帶寬優化裝置，其特徵在於，所述插值處理包括:將所述其他像素點中每個像素點的 權值設置為該像素點在垂直方向上下兩個像素點的均值。
【文檔編號】H04N13/04GK103997640SQ201410201520
【公開日】2014年8月20日 申請日期:2014年5月13日 優先權日:2014年5月13日
【發明者】羅豔青, 簡培雲 申請人:深圳超多維光電子有限公司