一種畸變圖像復原的補償方法及裝置與流程
2024-03-30 07:16:05
本發明屬於計算機技術領域，尤其涉及一種畸變圖像復原的補償方法及裝置。
背景技術：
廣角鏡頭拍攝的廣角圖像雖然存在較為明顯的畸變(例如桶形畸變和枕形畸變)，卻具有寬廣的視角，將畸變校正後的廣角圖像通過圖像拼接技術用於虛擬實境應用中，可以大大地降低圖像拼接的工作量。然而，畸變圖像通過畸變校正進行復原的過程中存在較大的圖像質量損失，包括廣角鏡頭成像時畸變過程中的圖像質量損失和畸變圖像進行畸變校正時的圖像質量損失。
目前，有兩類方法可以提高畸變圖像復原後的圖像質量，第一類採用較複雜的相機畸變模型和較為精準的相機校正方法來降低畸變圖像進行畸變校正時的圖像質量損失，而忽略了廣角鏡頭成像時畸變過程中的圖像質量損失，第二類為提高廣角鏡頭所拍攝圖像的解析度的超解析度方法，該方法直接提高圖像解析度，並未考慮到畸變圖像復原過程的圖像質量損失。
技術實現要素：
本發明的目的在於提供一種畸變圖像復原的補償方法及裝置，旨在解決現有技術中的畸變圖像復原後圖像質量損失較大、圖像清晰度較低的問題。
一方面，本發明提供了一種畸變圖像復原的補償方法，所述方法包括下述步驟：
接收畸變圖像畸變校正後的校正圖像，將所述校正圖像分割為校正圖像塊；
根據訓練好的質心對所有校正圖像塊進行內容分類，並根據訓練好的內容濾波器對內容分類後的校正圖像塊進行補償，生成對應的第一圖像塊；
對所有第一圖像塊進行空間分類，並根據訓練好的空間濾波器對空間分類後的第一圖像塊進行補償，生成對應的第二圖像塊；
將所有第二圖像塊組合生成所述畸變圖像對應的校正復原圖像。
另一方面，本發明提供了一種畸變圖像復原的補償裝置，所述裝置包括：
圖像分割模塊，用於接收畸變圖像畸變校正後的校正圖像，將所述校正圖像分割為校正圖像塊；
初次補償模塊，用於根據訓練好的質心對所有校正圖像塊進行內容分類，並根據訓練好的內容濾波器對內容分類後的校正圖像塊進行補償，生成對應的第一圖像塊；
再次補償模塊，用於對所有第一圖像塊進行空間分類，並根據訓練好的空間濾波器對空間分類後的第一圖像塊進行補償，生成對應的第二圖像塊；以及
組合恢復模塊，用於將所有第二圖像塊組合生成所述畸變圖像對應的校正復原圖像。
本發明將畸變圖像畸變校正後的校正圖像分割為校正圖像塊，並將所有的校正圖像塊根據預先訓練好的質心進行內容分類，分類後的校正圖像塊通過訓練好的內容濾波器進行補償，生成每個校正圖像塊對應的第一圖像塊，再對所有的第一圖像塊進行空間分類，分類後的第一圖像塊通過訓練好的空間濾波器進行補償，生成每個第一圖像塊對應的第二圖像塊，將所有的第二圖像塊組合在一起，生成畸變圖像對應的校正復原圖像，從而通過對圖像塊進行內容分類和空間分類，並結合內容濾波器對內容分類後的圖像塊進行補償、空間濾波器對空間分類後的圖像塊進行補償，有效地對畸變圖像在校正復原過程中的圖像質量損失進行補償，有效地提高了畸變圖像校正復原後所得圖像的圖像質量和圖像清晰度。
附圖說明
圖1是本發明實施例一提供的畸變圖像復原的補償方法的實現流程圖；
圖2是本發明實施例二提供的畸變圖像復原的補償方法中質心、內容濾波器以及空間濾波器的訓練流程圖；
圖3是本發明實施例三提供的畸變圖像復原的補償裝置的結構示意圖；以及
圖4是本發明實施例四提供的畸變圖像復原的補償裝置的結構示意圖。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
以下結合具體實施例對本發明的具體實現進行詳細描述：
實施例一：
圖1示出了本發明實施例一提供的畸變圖像復原的補償方法的實現流程，為了便於說明，僅示出了與本發明實施例相關的部分，詳述如下：
在步驟s101中，接收畸變圖像畸變校正後的校正圖像，將校正圖像分割為校正圖像塊。
本發明適用於對廣角鏡頭拍攝的畸變圖像進行復原的系統或者平臺，對畸變圖像進行復原，即對畸變圖像進行畸變校正並對畸變校正後的圖像進行質量補償的過程。在本發明實施例中，將畸變圖像畸變校正後的校正圖像全部分割為大小相等的校正圖像塊，以提高對畸變圖像復原進行圖像質量補償的效率，這裡的校正圖像塊不一定是具體的圖像塊，還可為圖像特徵。作為示例地，可通過圖像網格化方法得到校正圖像塊，也可通過尺度不變特徵轉換(sift)提取校正圖像的圖像特徵。具體地，畸變圖像可包括桶形畸變圖像、枕形畸變圖像等。
在步驟s102中，根據訓練好的質心對所有校正圖像塊進行內容分類，並根據訓練好的內容濾波器對內容分類後的校正圖像塊進行補償，獲得對應的第一圖像塊。
在本發明實施例中，預先訓練好多個質心和多個內容濾波器，每個質心對應著一個類別、每個類別對應一個內容濾波器。根據訓練質心時所用的聚類算法確定每個校正圖像塊所屬的類別。在確定每個校正圖像塊所屬的類別後，通過每個類別的內容濾波器對相應類別中的校正圖像塊進行一一補償，得到每個校正圖像塊補償後對應的圖像塊，為了便於區分，將該圖像塊稱為第一圖像塊。
具體地，通過每個類別的內容濾波器對相應類別中的校正圖像塊進行一一補償的公式為：
yi″＝ciyi'，其中，yi″為第i個類別的第一圖像塊，ci為第i個類別的內容濾波器，yi'為第i個類別的校正圖像塊。
在步驟s103中，對所有第一圖像塊進行空間分類，並根據訓練好的空間濾波器對空間分類後的第一圖像塊進行補償，生成對應的第二圖像塊。
在本發明實施例中，可根據每個第一圖像塊中心點與校正圖像中心點的距離，對每個第一圖像塊進行空間上的分類，分類後的每個類別對應一個預先訓練好的空間濾波器。在確定每個第一圖像塊所屬的類別後，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償，得到每個第一圖像塊補償後對應的圖像塊，為了便於區分，將該圖像塊稱為第二圖像塊。
具體地，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償的公式為：
yj＝sjyj″，其中，yj為第j個類別中的第二圖像塊，sj為第j個類別的空間濾波器，yj″為第j個類別中的第一圖像塊。
在步驟s104中，將所有第二圖像塊組合生成畸變圖像對應的校正復原圖像。
在本發明實施例中，校正圖像塊經過內容濾波器和空間濾波器補償後生成第二圖像塊，由於內容濾波器和空間濾波器根據畸變過程的圖像質量損失和畸變校正過程的圖像質量損失訓練得到，可認為畸變圖像畸變過程和校正過程的圖像質量損失已在較大程度地得到了補償，因此由第二圖像塊組合構成畸變圖像對應的校正復原圖像。
具體地，質心、內容濾波器以及空間濾波器的訓練流程詳見實施例二。
在本發明實施例中，將畸變圖像畸變校正後的校正圖像分割為校正圖像塊，並結合訓練好的內容濾波器和空間濾波器對校正圖像塊進行兩次補償，有效地對畸變圖像復原過程中的圖像質量損失進行補償，有效地提高了畸變圖像復原後的圖像質量和圖像清晰度。
實施例二：
圖2示出了本發明實施例二提供的畸變圖像復原的補償方法中質心、內容濾波器以及空間濾波器的訓練流程，詳述如下：
在步驟s201中，接收訓練圖像並對訓練圖像進行畸變和畸變校正，生成校正訓練圖像，將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。
在本發明實施例中，可採用預設的相機畸變模型和相機校正方法對訓練圖像進行畸變和畸變校正(或反畸變)，生成校正訓練圖像。將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。作為示例地，採用ahmed和mallon等人提出的基於極坐標的多項式轉換的相機模型對訓練圖像進行畸變和畸變校正。
在步驟s202中，對所有校正訓練圖像塊進行聚類並獲取聚類後的所有質心，根據所有訓練圖像塊和聚類後的校正訓練圖像塊，訓練得到每個類別的內容濾波器。
在本發明實施例中，由於訓練圖像塊與校正訓練圖像塊之間的圖像質量差別包括訓練圖像塊畸變時損失的圖像質量和畸變後校正時損失的圖像質量，所以根據校正訓練圖像塊和該校正訓練圖像塊對應的訓練圖像塊訓練得到的內容濾波器有效地考慮到了這兩方面的圖像質量損失。
在本發明實施例中，通過預設的聚類算法(例如k-means算法)對校正訓練圖像塊進行聚類並獲取聚類後每個簇的質心，實現對校正圖像塊進行內容上的分類。在對所有校正訓練圖像塊進行分類後，根據每個類別的校正訓練圖像塊和該校正訓練圖像塊對應的訓練圖像塊，計算得到每個類別的內容濾波器。
具體地，根據內容濾波器的計算公式為：
其中，ci為第i個類別的內容濾波器，zi'為第i個類別中的校正訓練圖像塊，zi為第i個類別中的校正訓練圖像塊所對應的訓練圖像塊，α為預設的正則化參數。
在步驟s203中，通過每個類別的內容濾波器對相應的校正訓練圖像塊進行補償，生成對應的第三圖像塊。
在本發明實施例中，在訓練得到每個類別的內容濾波器後，通過每個類別的內容濾波器對該類別中的所有校正訓練圖像塊一一地進行補償，得到每個校正訓練圖像塊補償後的圖像塊，為了便於區別，將該圖像塊稱為第三圖像塊。
在步驟s204中，對所有第三圖像塊進行空間分類，根據所有訓練圖像塊和分類後的第三圖像塊，訓練得到每個類別的空間濾波器。
在本發明實施例中，可根據每個第三圖像塊中心點與校正訓練圖像中心點的距離，對每個第三圖像塊進行空間上的分類，分類後根據每個類別的第三圖像塊與該第三圖像塊對應的訓練圖像塊，計算得到每個類別的空間濾波器。
具體地，空間濾波器的計算公式為：
其中，sj為第j個類別的空間濾波器，zj″為第j個類別中的第三圖像塊，zj為第j個類別中的第三圖像塊對應的訓練圖像塊。
在本發明實施例中，根據訓練圖像的訓練圖像塊和校正訓練圖像的校正訓練圖像塊，訓練得到內容濾波器、空間濾波器以及質心，在訓練過程中考慮到畸變過程的圖像質量損失和校正過程的圖像質量損失，從而訓練得到的內容濾波器和空間濾波器能夠有效地補償畸變圖像復原時的圖像質量。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬體來完成，所述的程序可以存儲於一計算機可讀取存儲介質中，所述的存儲介質，如rom/ram、磁碟、光碟等。
實施例三：
圖3示出了本發明實施例四提供的畸變圖像復原的補償裝置的結構，為了便於說明，僅示出了與本發明實施例相關的部分，其中包括：
圖像分割模塊31，用於接收畸變圖像畸變校正後的校正圖像，將校正圖像分割為校正圖像塊。
在本發明實施例中，將畸變圖像畸變校正後的校正圖像全部分割為大小相等的校正圖像塊，從而有效提高對畸變圖像復原進行圖像質量補償的效率。
初次補償模塊32，用於根據訓練好的質心對所有校正圖像塊進行內容分類，並根據訓練好的內容濾波器對內容分類後的校正圖像塊進行補償，獲得對應的第一圖像塊。
在本發明實施例中，根據訓練質心時所用的聚類算法確定每個校正圖像塊所屬的類別。在確定每個校正圖像塊所屬的類別後，通過每個類別的內容濾波器對相應類別中的校正圖像塊進行一一補償，得到每個校正圖像塊補償後對應的圖像塊，為了便於區分，將該圖像塊稱為第一圖像塊。
具體地，通過每個類別的內容濾波器對相應類別中的校正圖像塊進行一一補償的公式為：
yi″＝ciyi'，其中，yi″為第i個類別的第一圖像塊，ci為第i個類別的內容濾波器，yi'為第i個類別的校正圖像塊。
再次補償模塊33，用於對所有第一圖像塊進行空間分類，並根據訓練好的空間濾波器對空間分類後的第一圖像塊進行補償，生成對應的第二圖像塊。
在本發明實施例中，可根據每個第一圖像塊中心點與校正圖像中心點的距離，對每個第一圖像塊進行空間上的分類，分類後的每個類別對應一個預先訓練好的空間濾波器。在確定每個第一圖像塊所屬的類別後，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償，得到每個第一圖像塊補償後對應的圖像塊，為了便於區分，將該圖像塊稱為第二圖像塊。
具體地，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償的公式為：
yj＝sjyj″，其中，yj為第j個類別中的第二圖像塊，sj為第j個類別的空間濾波器，yj″為第j個類別中的第一圖像塊。
組合恢復模塊34，用於將所有第二圖像塊組合生成畸變圖像對應的校正復原圖像。
在本發明實施例中，校正圖像塊經過內容濾波器和空間濾波器補償後生成第二圖像塊，由於內容濾波器和空間濾波器根據畸變過程的圖像質量損失和畸變校正過程的圖像質量損失訓練得到，可認為畸變圖像畸變過程和校正過程的圖像質量損失已在較大程度地得到了補償，因此由第二圖像塊組合構成畸變圖像對應的校正復原圖像。
在本發明實施例中，將畸變圖像畸變校正後的校正圖像分割為校正圖像塊，並結合訓練好的內容濾波器和空間濾波器對校正圖像塊進行兩次補償，有效地對畸變圖像復原過程中的圖像質量損失進行補償，有效地提高了畸變圖像復原後的圖像質量和圖像清晰度。
實施例四：
圖4示出了本發明實施例四提供的畸變圖像復原的補償裝置的結構，為了便於說明，僅示出了與本發明實施例相關的部分，其中包括：
訓練分割模塊41，用於接收訓練圖像並對訓練圖像進行畸變和畸變校正，生成校正訓練圖像，將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。
在本發明實施例中，可採用預設的相機畸變模型和相機校正方法對訓練圖像進行畸變和畸變校正(或反畸變)，生成校正訓練圖像。將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。
第一計算模塊42，用於對所有校正訓練圖像塊進行聚類並獲取聚類後的所有質心，根據所有訓練圖像塊和聚類後的校正訓練圖像塊，訓練得到每個類別的內容濾波器。
在本發明實施例中，通過預設的聚類算法(例如k-means算法)對校正訓練圖像塊進行聚類並獲取聚類後每個簇的質心，實現對校正圖像塊進行內容上的分類。根據每個類別的校正訓練圖像塊和該校正訓練圖像塊對應的訓練圖像塊，計算得到每個類別的內容濾波器。
具體地，根據內容濾波器的計算公式為：
其中，ci為第i個類別的內容濾波器，zi'為第i個類別中的校正訓練圖像塊，zi為第i個類別中的校正訓練圖像塊所對應的訓練圖像塊，α為預設的正則化參數。
訓練補償模塊43，用於通過每個類別的內容濾波器對相應的校正訓練圖像塊進行補償，生成對應的第三圖像塊。
在本發明實施例中，在訓練得到每個類別的內容濾波器後，通過每個類別的內容濾波器對該類別中的所有校正訓練圖像塊一一地進行補償，得到每個校正訓練圖像塊補償後的圖像塊，為了便於區別，將該圖像塊稱為第三圖像塊。
第二計算模塊44，用於對所有第三圖像塊進行空間分類，根據所有訓練圖像塊和分類後的第三圖像塊，訓練得到每個類別的空間濾波器。
在本發明實施例中，可根據每個第三圖像塊中心點與校正訓練圖像中心點的距離，對每個第三圖像塊進行空間上的分類，分類後根據每個類別的第三圖像塊與該第三圖像塊對應的訓練圖像塊，計算得到每個類別的空間濾波器。
具體地，空間濾波器的計算公式為：
其中，sj為第j個類別的空間濾波器，zj″為第j個類別中的第三圖像塊，zj為第j個類別中的第三圖像塊對應的訓練圖像塊。
圖像分割模塊45，用於接收畸變圖像畸變校正後的校正圖像，將校正圖像分割為校正圖像塊。
初次補償模塊46，用於根據訓練好的質心對所有校正圖像塊進行內容分類，並根據訓練好的內容濾波器對內容分類後的校正圖像塊進行補償，獲得對應的第一圖像塊。
再次補償模塊47，用於對所有第一圖像塊進行空間分類，並根據訓練好的空間濾波器對空間分類後的第一圖像塊進行補償，生成對應的第二圖像塊。
組合恢復模塊48，用於將所有第二圖像塊組合生成畸變圖像對應的校正復原圖像。
優選地，第一計算模塊42包括：
第一計算子模塊421，用於根據聚類後每個類別中的校正訓練圖像塊和每個類別中的校正訓練圖像塊所對應的訓練圖像塊。
優選地，第二計算模塊44包括：
第二計算子模塊441，用於根據分類後每個類別中的第三圖像塊和每個類別中的第三圖像塊所對應的訓練圖像塊，計算每個類別的空間濾波器。
優選地，再次補償模塊47包括：
空間分類模塊471，用於根據所有第一圖像塊的中心點和校正圖像的中心點的距離，對所有第一圖像塊進行分類；
空間補償模塊472，用於通過訓練好的每個類別的空間濾波器對相應類別的第一圖像塊進行補償，生成每個第一圖像塊對應的第二圖像塊。
在本發明實施例中，根據訓練圖像和校正訓練圖像塊，訓練出能夠對圖像在畸變過程和校正過程損失的圖像質量進行補償的內容濾波器和空間濾波器，並由內容濾波器和空間濾波器對校正後的畸變圖像進行兩次補償，從而有效地對畸變圖像復原過程中的圖像質量損失進行補償，有效地提高了畸變圖像復原後的圖像質量和圖像清晰度。
在本發明實施例中，畸變圖像復原的補償裝置的各模塊可由相應的硬體或軟體模塊實現，各模塊可以為獨立的軟、硬體模塊，也可以集成為一個軟、硬體模塊，在此不用以限制本發明。圖像分割模塊45至組合恢復模塊48的各模塊的具體實施方式可參考前述實施例一中各步驟的描述，在此不再贅述。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。