一種圖像重構方法、裝置、設備及介質
2023-05-15 14:17:38
1.本技術涉及圖像重構技術領域，尤其涉及一種圖像重構方法、裝置、設備及介質。
背景技術：
2.隨著移動通訊的發展，每天都有大量圖像信號需要傳輸，而對於有限的信道容量，就需要在這一類大容量信號傳輸前儘可能地壓縮和採樣，而壓縮感知（compressed sensing，cs）能利用線性降維框架同時對信號採樣和壓縮，其採樣率遠低於奈奎斯特定理的比率，並通過有效算法實現高精度的信號恢復，因此壓縮感知為圖像信號的傳輸和恢復提供了一個可行的框架。
3.現有的圖像壓縮感知方案通常採用深度非摺疊算法，該方法通過加入卷積網絡模塊，將傳統的壓縮感知迭代算法映射為一個迭代優化形式的神經網絡，不僅具有傳統迭代算法的強數學解釋性的優點，還能繼承神經網絡優秀的學習能力，利用訓練數據來獲得速度快、重構質量高的信號重構模型。但現有的重構模型中的重構層在迭代優化過程中，通常採用逐圖像塊重構的方式進行圖像重構，當圖像塊單獨進行重構時，會產生圖像區塊偽影，為了提高重構質量，需要在各個重構層後增加額外的去偽影層實現去偽影，增加了網絡參數量和重構時間，導致重構速度慢。
技術實現要素：
4.本技術提供了一種圖像重構方法、裝置、設備及介質，用於改善現有技術採用逐圖像塊重構的方式進行圖像重構，需要在各個重構層後增加額外的去偽影層實現去偽影，增加了網絡參數量和重構時間，導致重構速度慢的技術問題。
5.有鑑於此，本技術第一方面提供了一種圖像重構方法，包括：對原始圖像信號進行壓縮採樣，得到測量值；對所述測量值進行初始化，得到初始化信號；將所述初始化信號作為輸入信號輸入到迭代網絡進行迭代優化，得到重構圖像；基於所述重構圖像和所述原始圖像信號之間的誤差計算損失值，通過所述損失值更新所述迭代網絡的參數，得到訓練好的迭代網絡；通過所述訓練好的迭代網絡對待重構信號進行圖像重構；其中，所述迭代網絡包括多個串聯的迭代重構層，各迭代重構層的圖像重構過程為：對輸入信號進行圖像塊化和圖像塊拼接，得到拼接圖像；對所述拼接圖像進行多尺度卷積處理，以獲取當前迭代重構層的輸入信號與所述原始圖像信號之間的誤差值；對所述誤差值與輸入信號進行殘差連接後進行信號修正，得到當前迭代重構層的重構圖像。
6.可選的，所述對原始圖像信號進行壓縮採樣，得到測量值，包括：
將所述原始圖像信號分塊成多個不重疊的圖像子塊；將各圖像子塊轉換為一維信號；通過採樣矩陣對各一維信號進行壓縮採樣，得到各圖像子塊的測量值。
7.可選的，所述對所述測量值進行初始化，得到初始化信號，包括：基於採樣矩陣對所述測量值進行線性映射，得到初始化信號。
8.可選的，所述對所述拼接圖像進行多尺度卷積處理，以獲取當前迭代重構層的輸入信號與所述原始圖像信號之間的誤差值，包括：對所述拼接圖像分別進行多個尺度的卷積處理，得到多個尺度的卷積特徵；對所有所述卷積特徵進行通道拼接，得到拼接特徵；對所述拼接特徵進行多次卷積處理後與所述拼接圖像進行殘差連接，得到當前迭代重構層的輸入信號與所述原始圖像信號之間的誤差值。
9.可選的，信號修正過程為：；式中，為第q個圖像子塊在第k次迭代得到的重構子塊圖像，為第q個圖像子塊在第k-1次迭代得到的重構子塊圖像，為第q個圖像子塊對應的一維信號與第q個圖像子塊在第k-1次迭代得到的重構子塊圖像的誤差值，為第k個迭代重構層的步長，a為採樣矩陣，為第q個圖像子塊的測量值，i為單位矩陣。
10.可選的，所述損失值的計算公式為：；式中，l為損失值，xi為第i個原始圖像信號，為第i個原始圖像信號對應的重構圖像，nb為原始圖像信號的數量，h
×
w表示原始圖像信號的大小。
11.本技術第二方面提供了一種圖像重構裝置，包括：採樣單元，用於對原始圖像信號進行壓縮採樣，得到測量值；初始化單元，用於對所述測量值進行初始化，得到初始化信號；迭代優化單元，用於將所述初始化信號作為輸入信號輸入到迭代網絡進行迭代優化，得到重構圖像；參數更新單元，用於基於所述重構圖像和所述原始圖像信號之間的誤差計算損失值，通過所述損失值更新所述迭代網絡的參數，得到訓練好的迭代網絡；圖像重構單元，用於通過所述訓練好的迭代網絡對待重構信號進行圖像重構；其中，所述迭代網絡包括多個串聯的迭代重構層，各迭代重構層的圖像重構過程為：對輸入信號進行圖像塊化和圖像塊拼接，得到拼接圖像；對所述拼接圖像進行多尺度卷積處理，以獲取當前迭代重構層的輸入信號與所述原始圖像信號之間的誤差值；對所述誤差值與輸入信號進行殘差連接後進行信號修正，得到當前迭代重構層的重構圖像。
12.可選的，所述採樣單元，具體用於：
將所述原始圖像信號分塊成多個不重疊的圖像子塊；將各圖像子塊轉換為一維信號；通過採樣矩陣對各一維信號進行壓縮採樣，得到各圖像子塊的測量值。
13.本技術第三方面提供了一種圖像重構設備，所述設備包括處理器以及存儲器；所述存儲器用於存儲程序代碼，並將所述程序代碼傳輸給所述處理器；所述處理器用於根據所述程序代碼中的指令執行第一方面任一種所述的圖像重構方法。
14.本技術第四方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質用於存儲程序代碼，所述程序代碼被處理器執行時實現第一方面任一種所述的圖像重構方法。
15.從以上技術方案可以看出，本技術具有以下優點：本技術提供了一種圖像重構方法，包括：對原始圖像信號進行壓縮採樣，得到測量值；對測量值進行初始化，得到初始化信號；將初始化信號作為輸入信號輸入到迭代網絡進行迭代優化，得到重構圖像；基於重構圖像和原始圖像信號之間的誤差計算損失值，通過損失值更新迭代網絡的參數，得到訓練好的迭代網絡；通過訓練好的迭代網絡對待重構信號進行圖像重構；其中，迭代網絡包括多個串聯的迭代重構層，各迭代重構層的圖像重構過程為：對輸入信號進行圖像塊化和圖像塊拼接，得到拼接圖像；對拼接圖像進行多尺度卷積處理，以獲取當前迭代重構層的輸入信號與原始圖像信號之間的誤差值；對誤差值與輸入信號進行殘差連接後進行信號修正，得到當前迭代重構層的重構圖像。
16.本技術中，在迭代網絡進行迭代優化的過程中，各迭代重構層對輸入信號進行圖像塊化和圖像塊拼接，以獲取完整的圖像信息，通過完整的拼接圖像實現圖像塊之間的信息通訊，以便在逐塊重構的過程中充分利用整圖信息，避免在逐個圖像塊恢復的過程中產生偽影，從而免去額外的去偽影層，減少模型參數量和重構時間，加快重構速度，改善了現有技術採用逐圖像塊重構的方式進行圖像重構，需要在各個重構層後增加額外的去偽影層實現去偽影，增加了網絡參數量和重構時間，導致重構速度慢的技術問題。
附圖說明
17.為了更清楚地說明本技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本技術的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其它的附圖。
18.圖1為本技術實施例提供的一種圖像重構方法的一個流程示意圖；圖2為本技術實施例提供的一種圖像重構方法的框架圖；圖3為本技術實施例提供的迭代重構層的結構示意圖；圖4為本技術實施例提供的一種多尺度殘差卷積網絡的結構示意圖；圖5為本技術實施例提供的一種圖像重構裝置的一個結構示意圖。
具體實施方式
19.為了使本技術領域的人員更好地理解本技術方案，下面將結合本技術實施例中的附圖，對本技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本
申請一部分實施例，而不是全部的實施例。基於本技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本技術保護的範圍。
20.對於稀疏信號x∈rn，在編碼端可以利用一個線性映射對稀疏信號同時實現壓縮和採樣，獲得觀測值y∈rn，其中為採樣矩陣。然後，可以將極少量的觀測值y傳輸到解碼端，解碼端獲取到觀測值y後，就可以通過相應的算法精確重構出x。儘管現有的圖像壓縮感知重構方法能獲取較高的重構精度，但往往需要大量的模型參數，並不利於在資源受限的環境下重構信號，因此，就需要在保證重構精度的前提下使資源消耗儘可能低。
21.為了便於理解，請參閱圖1，本技術實施例提供了一種圖像重構方法，包括：步驟101、對原始圖像信號進行壓縮採樣，得到測量值。
22.採樣端可以先將原始圖像信號分成多個不重疊的圖像子塊，然後逐塊進行壓縮採樣。具體的，首先，可以通過分塊函數將原始圖像信號分成多個不重疊的圖像子塊，記為，q為圖像子塊的數量，各圖像子塊的大小為b
×
b；然後，通過向量化函數將各圖像子塊轉換為一維信號，其中，，q=1,2,...,q；圖像分塊和向量化的整體過程可以表示為x=sv(x)，其中，為q個一維向量的整合信號，即一維整合信號，sv(
·
)為圖像分塊和向量化函數。在完成分塊和向量化後，通過採樣矩陣a對各一維信號進行壓縮採樣，得到各圖像子塊的測量值，即。因此，圖像逐塊採樣的整體過程可以表示為y=ax，其中，，為原始圖像信號的測量值，y的每一列對應一個圖像子塊的測量值。
23.步驟102、對測量值進行初始化，得到初始化信號。
24.重構端在接收到測量值後，基於採樣矩陣a對測量值y進行線性映射，得到初始化信號x0，即x0=a
t
y，t為轉置。
25.步驟103、將初始化信號作為輸入信號輸入到迭代網絡進行迭代優化，得到重構圖像。
26.初始化信號為迭代網絡的初始輸入，迭代網絡通過一系列的迭代重構層進行迭代優化，得到重構圖像，本技術實施例中的圖像重構過程可以參考圖2，迭代網絡包括多個串聯的迭代重構層。在第q個圖像子塊的向量信號的第k次迭代優化過程中，一般的迭代過程可以表示為：(1)(2)式中，為第q個圖像子塊在第k-1次迭代得到的重構子塊圖像的測量誤差，a為採樣矩陣，為第q個圖像子塊的測量值，為第q個圖像子塊的第k-1次迭代得到的重構子塊圖像，為第k個迭代重構層的非線性函數，可以採用卷積網絡實現該非線性函數的映射過程，為第k個迭代重構層的步長。
27.將和代入式(2)中的，可以得到如下推導：(3)(4)上式為構建迭代重構層的關鍵，式中只有原信號和迭代信號的誤差是未知的，因此需要利用相關的誤差估值網絡來估值該誤差。可以採用一個普通的卷積網絡（如僅由卷積層和激活函數依次堆疊構成的卷積網絡）對該誤差進行估值，進而逐個對圖像子塊進行重構，即：(5)由於逐個圖像子塊進行重構會產生圖像區塊偽影，因此，需要在每次重構後構建一個去偽影層，通過去偽影層將各圖像子塊對應的重構子塊圖像進行拼接，再利用卷積網絡實現去偽影，即：(6)式中，為第k個去偽影層輸入的重構子塊圖像的拼接圖像，為第k個去偽影層輸出的去偽影后的拼接圖像。
28.上述方法構建的迭代重構層在迭代過程中，需要通過額外的去偽影層來去除圖像偽影，假設迭代網絡採用四個迭代重構層，為了去除偽影，每個迭代重構層後需要增加一個去偽影層，即最終的迭代網絡需要4個迭代重構層和4個去偽影層來交替處理，8層都需要進行卷積運算，這樣堆疊的卷積運算會使得迭代網絡的運行速度受限制，且會大大增加迭代網絡的參數量和訓練成本，會增加重構時間；並且，採用普通的卷積網絡結構作為誤差估值網絡，重構性能還有很大的提升空間。
29.為了改善上述問題，本技術實施例中構建的迭代重構層在逐塊重構的過程中，充分利用整圖信息，避免在逐個圖像子塊的恢復過程中產生偽影，從而免去額外的去偽影層，以減少迭代網絡的參數量和重構時間，提高重構速度；並且，改進了誤差估值網絡，使用多尺度殘差卷積網絡代替普通的卷積網絡，以實現更高的重構性能。
30.本技術實施例中，初始化信號作為迭代網絡的初始輸入，通過一系列的迭代重構層進行迭代優化，其中，第k個迭代重構層如圖3所示，各迭代重構層的圖像重構過程為：s1、對輸入信號進行圖像塊化和圖像塊拼接，得到拼接圖像；以第k個迭代重構層為例，第k個迭代重構層的輸入信號為（即上一個迭代重構層的輸出），可以理解的是，初始迭代重構層的輸入信號為初始化信號x0。可以通過整合圖像塊化和拼接函數bm(
·
)對第k個迭代重構層的輸入信號進行圖像塊化和圖像塊拼接，得到拼接圖像，即將輸入信號轉換為整張圖像的信號形式
。
31.s2、對拼接圖像進行多尺度卷積處理，以獲取當前迭代重構層的輸入信號與原始圖像信號之間的誤差值；為了進一步提高重構性能，更好的對當前迭代重構層的輸入信號與原始圖像信號之間的誤差值進行估值，本技術實施例改進了卷積網絡結構，採用多尺度殘差卷積網絡對拼接圖像進行多尺度卷積處理，獲取當前迭代重構層的輸入信號與原始圖像信號之間的誤差值，多尺度殘差卷積網絡的網絡結構可以參考圖4。具體的，對拼接圖像分別進行多個尺度的卷積處理，得到多個尺度的卷積特徵，可以採用1
×
1、3
×
3、5
×
5、7
×
7多個尺度的卷積核提取拼接圖像的低頻率、高頻率的圖像信息；再對所有卷積特徵進行通道拼接，得到拼接特徵，然後對拼接特徵進行多次卷積處理，以將多個頻率的圖像信息進行融合，再與拼接圖像進行殘差連接（即將卷積處理後的拼接特徵與拼接圖像相加，形成殘差網絡），得到當前迭代重構層的輸入信號與原始圖像信號之間的誤差值。通過本技術實施例中的多尺度殘差卷積網絡可以更好的擬合當前迭代重構層的輸入信號與原始圖像信號之間的誤差值，從而提升重構質量。
32.s3、對誤差值與輸入信號進行殘差連接後進行信號修正，得到當前迭代重構層的重構圖像。
33.迭代重構層在通過多尺度殘差卷積網絡估值得到誤差值後，對誤差值與輸入信號進行殘差連接，再進行信號修正，得到當前迭代重構層的重構圖像。由於多尺度殘差卷積網絡的輸入為整張圖像，為方便後續逐圖像塊修正，可以通過圖像分塊和向量化函數sv(
·
)對多尺度殘差卷積網絡的輸出進行分塊和向量化，從而得到各圖像子塊對應的誤差值，再將各圖像子塊對應的誤差值與各圖像子塊對應的輸入信號進行相加，再進行信號修正，得到各圖像子塊在當前迭代重構層的重構圖像。其中，信號修正過程為：(7)式中，為第q個圖像子塊在第k次迭代得到的重構子塊圖像，為第q個圖像子塊在第k-1次迭代得到的重構子塊圖像，為第q個圖像子塊對應的一維信號與第q個圖像子塊在第k-1次迭代得到的重構子塊圖像的誤差值，為第k個迭代重構層的步長，a為採樣矩陣，為第q個圖像子塊的測量值，i為單位矩陣。
34.通過上述過程可知，本技術實施例中的迭代重構層是圍繞公式(3)和(4)來構建的，但相比將逐塊重構和去偽影進行分開操作的方式，本技術實施例中將這兩個操作融合成同一步來實現。具體的，對於迭代式(3)和(4)，首先將和代入到式(3)和(4)中，可通過如下的推導獲得更低的矩陣運算量：(8)
其中，為第q個圖像子塊對應的一維信號與第q個圖像子塊在第k-1次迭代得到的重構子塊圖像的誤差值。
35.由於逐塊重構的過程中，圖像塊是單獨進行重構的，因此會產生圖像區塊偽影，本技術實施例在逐塊重構過程中，將各圖像子塊對應的重構子塊圖像進行拼接，將得到的拼接圖像作為誤差估值網絡的輸入，對於公式(8)中的誤差值，本技術採用多尺度殘差卷積網絡作為誤差估值網絡進行估值。因此，本技術實施例中的各迭代重構層的重構過程可以採用如下公式表示：(9)其中，為第k-1次迭代得到的各重構子塊圖像的一維整合信號，為第k-1次迭代得到的各重構子塊圖像拼接得到的拼接圖像，為多尺度殘差卷積網絡估算得到的拼接圖像與原始圖像信號之間的誤差值的一維整合信號，為中第q個重構子塊圖像對應的誤差值。
36.步驟104、基於重構圖像和原始圖像信號之間的誤差計算損失值，通過損失值更新迭代網絡的參數，得到訓練好的迭代網絡。
37.在經過各個迭代重構層的迭代優化後，獲取最後一層迭代重構層的輸出，並將其轉換為整張圖像的信號形式，得到最終的重構圖像，然後計算該重構圖像和對應的原始圖像信號之間的誤差，進而計算損失值l，通過損失值更新迭代網絡的參數，得到訓練好的迭代網絡。對於k層迭代重構層的迭代網絡，其需要學習的參數包括採樣矩陣a、步長、以及多尺度殘差卷積網絡的參數，為在訓練的過程中充分優化各個參數以降低原信號和重構信號之間的誤差，本技術實施例使用均方誤差作為損失函數，即：(10)式中，xi為第i個原始圖像信號，即第i張訓練圖像；為第i個原始圖像信號對應的重構圖像，nb為原始圖像信號的數量，h
×
w表示原始圖像信號的大小。
38.現有的壓縮感知重構方法需要假設圖像服從某個先驗信息，然後圍繞著先驗信息構建迭代網絡，但在實際應用中並不一定每類圖像都能很好地滿足先驗假設，從而導致部分圖像重構效果差。而本技術實施例利用基於原始圖像信號的無損表達式（即式（8））來構建迭代網絡，使得圖像的重構精度僅取決於各迭代重構層的輸入信號和原圖像信號之間的誤差值，不需要專門設計圖像的先驗信息，通過網絡訓練，使得卷積網絡估計出與輸入信號和原圖像信號之間的誤差值非常接近的值，從而逐步逼近原始圖像信號，提高圖像重構質量；並且，本技術採用多尺度殘差卷積網絡替換普通的卷積網絡，以更好的擬合各迭代重構層的輸入信號與原始圖像信號之間的誤差值，進一步提升重構質量，重構圖像細節更豐富。
39.步驟105、通過訓練好的迭代網絡對待重構信號進行圖像重構。
40.在訓練好的迭代網絡後，重構端通過訓練好的迭代網絡對待重構信號進行圖像重構，以獲取重構圖像。
41.本技術實施例中，在迭代網絡進行迭代優化的過程中，各迭代重構層對輸入信號進行圖像塊化和圖像塊拼接，以獲取完整的圖像信息，通過完整的拼接圖像實現圖像塊之間的信息通訊，以便在逐塊重構的過程中充分利用整圖信息，避免在逐個圖像塊恢復的過程中產生偽影，從而免去額外的去偽影層，減少模型參數量和重構時間，加快重構速度，改善了現有技術採用逐圖像塊重構的方式進行圖像重構，需要在各個重構層後增加額外的去偽影層實現去偽影，增加了網絡參數量和重構時間，導致重構速度慢的技術問題。
42.以上為本技術提供的一種圖像重構方法的一個實施例，以下為本技術提供的一種圖像重構裝置的一個實施例。
43.請參考圖5，本技術實施例提供的一種圖像重構裝置，包括：採樣單元，用於對原始圖像信號進行壓縮採樣，得到測量值；初始化單元，用於對測量值進行初始化，得到初始化信號；迭代優化單元，用於將初始化信號作為輸入信號輸入到迭代網絡進行迭代優化，得到重構圖像；參數更新單元，用於基於重構圖像和原始圖像信號之間的誤差計算損失值，通過損失值更新迭代網絡的參數，得到訓練好的迭代網絡；圖像重構單元，用於通過訓練好的迭代網絡對待重構信號進行圖像重構；其中，迭代網絡包括多個串聯的迭代重構層，各迭代重構層的圖像重構過程為：對輸入信號進行圖像塊化和圖像塊拼接，得到拼接圖像；對拼接圖像進行多尺度卷積處理，以獲取當前迭代重構層的輸入信號與原始圖像信號之間的誤差值；對誤差值與輸入信號進行殘差連接後進行信號修正，得到當前迭代重構層的重構圖像。
44.作為進一步地改進，採樣單元，具體用於：將原始圖像信號分塊成多個不重疊的圖像子塊；將各圖像子塊轉換為一維信號；通過採樣矩陣對各一維信號進行壓縮採樣，得到各圖像子塊的測量值。
45.作為進一步地改進，初始化單元，具體用於：基於採樣矩陣對測量值進行線性映射，得到初始化信號。
46.本技術實施例中，在迭代網絡進行迭代優化的過程中，各迭代重構層對輸入信號進行圖像塊化和圖像塊拼接，以獲取完整的圖像信息，通過完整的拼接圖像實現圖像塊之間的信息通訊，以便在逐塊重構的過程中充分利用整圖信息，避免在逐個圖像塊恢復的過程中產生偽影，從而免去額外的去偽影層，減少模型參數量和重構時間，加快重構速度，改善了現有技術採用逐圖像塊重構的方式進行圖像重構，需要在各個重構層後增加額外的去偽影層實現去偽影，增加了網絡參數量和重構時間，導致重構速度慢的技術問題。
47.本技術實施例還提供了一種圖像重構設備，設備包括處理器以及存儲器；存儲器用於存儲程序代碼，並將程序代碼傳輸給處理器；
處理器用於根據程序代碼中的指令執行前述方法實施例中的圖像重構方法。
48.本技術實施例還提供了一種計算機可讀存儲介質，計算機可讀存儲介質用於存儲程序代碼，程序代碼被處理器執行時實現前述方法實施例中的圖像重構方法。
49.所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，上述描述的裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
50.本技術的說明書及上述附圖中的術語「第一」、「第二」、「第三」、「第四」等（如果存在）是用於區別類似的對象，而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換，以便這裡描述的本技術的實施例例如能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語「包括」和「具有」以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
51.應當理解，在本技術中，「至少一個（項）」是指一個或者多個，「多個」是指兩個或兩個以上。「和/或」，用於描述關聯對象的關聯關係，表示可以存在三種關係，例如，「a和/或b」可以表示：只存在a，只存在b以及同時存在a和b三種情況，其中a，b可以是單數或者複數。字符「/」一般表示前後關聯對象是一種「或」的關係。「以下至少一項(個)」或其類似表達，是指這些項中的任意組合，包括單項（個）或複數項（個）的任意組合。例如，a，b或c中的至少一項（個），可以表示：a，b，c，「a和b」，「a和c」，「b和c」，或「a和b和c」，其中a，b，c可以是單個，也可以是多個。
52.在本技術所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
53.所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
54.另外，在本技術各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
55.所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本技術的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以通過一臺計算機設備（可以是個人計算機，伺服器，或者網絡設備等）執行本技術各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、只讀存儲器（英文全稱：read-only memory，英文縮寫：rom）、隨機存取存儲器（英文全稱：random access memory，英文縮寫：
ram）、磁碟或者光碟等各種可以存儲程序代碼的介質。
56.以上所述，以上實施例僅用以說明本技術的技術方案，而非對其限制；儘管參照前述實施例對本技術進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本技術各實施例技術方案的精神和範圍。