一種圖像數據的處理方法和移動終端與流程
2023-06-27 06:10:16
本發明涉及通信技術領域，特別是涉及一種圖像數據的處理方法和移動終端。
背景技術：
現有的移動終端越來越看重相機拍照成像效果、圖像的噪點和清晰度的表現，這些因素也越來越成為商家的主要競爭因素。
圖像降噪技術已經有了很大的發展。對於模擬信號的圖像，通常經過數位化後採用數字圖像處理技術進行降噪處理。數字降噪通常分為單幀降噪和多幀降噪。
單幀降噪是利用同一幀圖像內每一個像素的信號和周圍信號的強相關、與噪聲的弱相關或非相關特性進行的降噪處理方法。例如，一個常用的單幀降噪方法是通過各種濾波技術來實現，但是單幅圖像降噪濾波總是會導致圖像銳度的劇烈下降，因此單幅圖像的降噪效果難以令人滿意，相關技術成為了瓶頸。而突破瓶頸的方法之一就是利用多幅圖像作為降噪的輸入數據，即多幀降噪。
多幀降噪是利用多幅圖像在對應像素點上與信號的強相關和噪聲的非相關特性而進行的降噪方法。一種經典的多幀降噪方法是通過對連續圖像幀進行加權平均值，使距離當前幀越近的幀權值越大，可以在比較好的保留圖像中的邊緣的情況下有效改善圖像信噪比。
由於多幀降噪是先抓取多幀圖像，再基於像素點上的信號做加權平均處理。所以，在算法穩定的情況下，每張輸入圖像對應像素點的信噪比很大程度上決定了經過算法加權平均後，得到的融合圖像的信噪比，也就是清晰度。
手機等移動終端中使用的多幀去噪方案，是直接抓取拍照鍵抬起前連續的幾幀數據送給ap(applicationprocessor，應用處理器)的isp(imagesignalprocessing，圖像信號處理)算法處理。通常拍照時，從按下拍照鍵到抬起拍照鍵的時間內會發生較大抖動，會導致採集的圖像模糊，也即是說，輸入到isp處理的圖像就發生模糊，進而影響算法最終輸出圖像的清晰度。
技術實現要素：
本發明實施例提供一種圖像數據的方法和移動終端，以解決在isp進行多幀處理時，由於輸入圖像數據模糊而導致影響最終輸出圖像清晰度的問題。
第一方面，提供了一種圖像數據的處理方法，應用於移動終端，所述移動終端包括與攝像頭和圖像信號處理器isp相連接的數位訊號處理器dsp，所述方法包括：
所述dsp循環接收所述攝像頭輸出的第一圖像數據；
在接收到拍照鍵按下的消息時，計算所述第一圖像數據的第一清晰度；
在接收到拍照鍵按下的消息後並且尚未接收到拍照鍵抬起的消息時，繼續接收所述攝像頭輸出的第二圖像數據；
計算所述第二圖像數據的第二清晰度；
基於所述第一清晰度和所述第二清晰度，從所述第一圖像數據和第二圖像數據篩選出清晰度排序在前n位的圖像數據；
在接收到拍照鍵抬起的消息時，將所述排序在前n位的圖像數據輸出至所述isp以在所述isp進行圖像處理。
第二方面，提供了一種移動終端，所述移動終端包括與攝像頭和圖像信號處理器isp相連接的數位訊號處理器dsp，所述移動終端包括：
第一圖像數據接收模塊，用於所述dsp循環接收所述攝像頭輸出的第一圖像數據；
第一清晰度計算模塊，用於在接收到拍照鍵按下的消息時，計算所述第一圖像數據的第一清晰度；
第二圖像數據接收模塊，用於在接收到拍照鍵按下的消息後並且尚未接收到拍照鍵抬起的消息時，繼續接收所述攝像頭輸出的第二圖像數據；
第二清晰度計算模塊，用於計算所述第二圖像數據的第二清晰度；
清晰度對比模塊，用於基於所述第一清晰度和所述第二清晰度，從所述第一圖像數據和第二圖像數據篩選出清晰度排序在前n位的圖像數據；
圖像數據輸出模塊，用於在接收到拍照鍵抬起的消息時，將所述排序在前n位的圖像數據輸出至所述isp以在所述isp進行圖像處理。
這樣，本發明實施例中，通過在移動終端原有的硬體框架上增加dsp硬體模塊，使得本發明實施例可以在圖像數據進入isp之前，可以先一步進行前端進行圖像數據的圖像處理，具體地，在本發明實施例中，隔離按下拍照鍵前後的圖像數據，通過在dsp利用新的緩存與優選機制，來實現多幀去噪時輸入到isp的圖像數據的緩存與優選，通過優化多幀合成時輸入圖的清晰度，進而提高多幀融合後圖像數據的清晰度，更好的體現多幀去噪相對於單幀去噪的優勢，最終可以得到更好質量的圖像數據，提升用戶體驗。
附圖說明
為了更清楚地說明本發明實施例的技術方案，下面將對本發明實施例的描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
圖1是本發明實施例一的一種圖像數據的處理方法實施例的步驟流程圖；
圖2是本發明的一種多幀去噪算法輸入圖像數據的改善流程圖；
圖3是本發明的一種加入外置dsp後拍照時數據流示意圖；
圖4是本發明的一種dsp暫停抓幀的示意圖；
圖5是本發明的一種dsp進行清晰度排序的示意圖；
圖6是本發明的一種dsp接收圖像數據並進行優選的流程圖；
圖7是本發明實施例二的一種移動終端實施例的結構框圖；
圖8是本發明另一個實施例的移動終端的框圖；
圖9是本發明又一個實施例的移動終端的結構示意圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
實施例一
參照圖1，示出了本發明的一種圖像數據的處理方法實施例的步驟流程圖，應用於移動終端，所述移動終端包括與攝像頭和圖像信號處理器isp相連接的數位訊號處理器dsp，所述方法具體可以包括如下步驟：
步驟101，所述dsp循環接收所述攝像頭輸出的第一圖像數據；
在具體實現中，在移動終端上具有攝像頭，攝像頭的數量可以是一個或者兩個，當然也可以是三個或者三個以上。本發明實施例在原有的移動終端的硬體框架基礎上，添加dsp(digitalsignalprocessing，數位訊號處理器)，使得圖像數據在進入isp之前，能夠進行更多的圖像處理，提升圖像數據的圖像質量。
需要說明的是，本發明實施例在原有的移動終端的硬體框架基礎上，添加dsp(digitalsignalprocessing，數位訊號處理器)，使得圖像數據在進入isp(imagesignalprocessing，圖像信號處理)之前，能夠實現更多的圖像處理功能，提升圖像數據的圖像質量。具體地，攝像頭的攝像模組中具有sensor(傳感器)，在移動終端設置有與攝像頭的sensor和isp相連的dsp。通常，isp在移動終端中作為攝像頭的sensor輸出信號處理的單元，以匹配不同廠商的sensor。
其中，dsp，sensor和isp之間，可以通過mipi(mobileindustryprocessorinterface，移動產業處理器接口)連接，mipi將手機內部的接口如攝像頭、顯示屏接口、射頻/基帶接口等標準化，可以減少手機設計的複雜程度和增加設計靈活性。當然，dsp，sensor和isp之間還可以通過其他接口進行連接，本發明實施例對此無需加以限制。
本發明實施例的dsp硬體模塊，是在raw區間(例如對為bayer格式等格式的raw圖像進行處理，raw圖像由於未在isp進行轉換成為yuv等格式，因此數據量更多，細節信息豐富)的圖像數據進行去噪等操作，讓圖像數據在進入isp之前，就有比較好的噪聲表現，並且通過dsp來處理圖像數據，相對於在isp處理而言速度快，且在dsp還能使用多種算法實現多種功能。通過在dsp對於圖像數據進行預處理，減少在isp處理過程中，降低後端處理難度，最終得到更好的圖像品質。
isp是可以集成於ap(applicationprocessor，應用處理器)中，也可以是獨立的晶片，本發明實施例對此無需加以限制，在dsp得到結果的raw圖像之後再發送進行isp處理，使得圖像數據更加清晰、自然和美觀。
在本發明實施例中，dsp會循環獲取攝像頭輸出的圖像數據。進一步地，對於接收到的圖像數據，可以緩存到dsp的緩存隊列中。在一種實現方案中，緩存隊列可以緩存8幀圖像數據。
步驟102，在接收到拍照鍵按下的消息時，計算所述第一圖像數據的第一清晰度；
在用戶按下拍照鍵時會生成拍照鍵按下的消息，此時可以計算在緩存隊列中的圖像數據的清晰度。
此外，在所述在接收到拍照鍵按下的消息時，本發明實施例還會暫停在所述緩存隊列中緩存所述攝像頭輸出的圖像數據，然後按照計算出的清晰度按照由高到低對圖像數據進行排序。
步驟103，在接收到拍照鍵按下的消息後並且尚未接收到拍照鍵抬起的消息時，繼續接收所述攝像頭輸出的第二圖像數據；
在用戶按下拍照鍵後但是尚未將拍照鍵抬起之前，本發明實施例可以繼續接收攝像頭輸出的新圖像數據。需要說明的是，在完成了對於緩存隊列中的圖像數據的排序後，就可以繼續在緩存隊列中更新圖像數據了。
步驟104，計算所述第二圖像數據的第二清晰度；
對於新接收到的新圖像數據，在dsp會計算這些新圖像數據的清晰度。
步驟105，基於所述第一清晰度和所述第二清晰度，從所述第一圖像數據和第二圖像數據篩選出清晰度排序在前n位的圖像數據；
在本發明實施例中，會比對緩存隊列中的圖像數據與新接收到的圖像數據的清晰度，並根據兩者清晰度去判斷是否需要對於緩存隊列中的數據進行替換。使得最終保留在緩存隊列中的圖像數據的清晰度都是比較高的。
在本發明的一種優選實施例中，所述步驟105可以包括：
對比所述第一清晰度和所述第二清晰度；
若所述緩存隊列中存在所述第一清晰度低於所述第二清晰度的第一圖像數據，則在所述緩存隊列中採用所述第二圖像數據替換所述第一清晰度排序在最低的第一圖像數據；
將所述替換後的第二圖像數據作為第一圖像數據。
在具體實現中，通過比對緩存中圖像數據的清晰度和新圖像數據的清晰度，確定是否需要使用新圖像數據替換掉緩存隊列中的圖像數據。具體地，如果新圖像數據的清晰度高於緩存中清晰度最差的圖像數據，則可以使用新圖像數據放入dsp緩存，即替換原緩存中清晰度最差的圖像數據。
步驟106，在接收到拍照鍵抬起的消息時，將所述排序在前n位的圖像數據輸出至所述isp以在所述isp進行圖像處理。
通過前述處理，使得在緩存隊列中保留了清晰度高的n幀圖像數據，也就是說，本發明實施例保留了所接收的圖像數據中，清晰度排序在前n位的圖像數據。其中，n可以是8。
在本發明實施例中，在接收到拍照鍵抬起的消息時，也即是說明此時已經完成了對於圖像數據的採集，已經可以將圖像數據輸出到isp進行進一步處理了，故而會停止在所述緩存隊列中採用所述攝像頭輸出的第二圖像數據替換所述第一圖像數據的運行，不浪費系統資源。
這樣，本發明實施例中，通過在移動終端原有的硬體框架上增加dsp硬體模塊，使得本發明實施例可以在圖像數據進入isp之前，可以先一步進行前端進行圖像數據的圖像處理，具體地，在本發明實施例中，隔離按下拍照鍵前後的圖像數據，通過在dsp利用新的緩存與優選機制，來實現多幀去噪時輸入到isp的圖像數據的緩存與優選，通過優化多幀合成時輸入圖的清晰度，進而提高多幀融合後圖像數據的清晰度，更好的體現多幀去噪相對於單幀去噪的優勢，最終可以得到更好質量的圖像數據，提升用戶體驗。
為了使本領域技術人員更好地理解本發明實施例，以下採用一個完整的示例對於本發明實施例實現多幀降噪的過程。本實施方式通過新的緩存與優選機制，結合外掛dsp，來實現多幀去噪時輸入圖像的緩存與優選。
參照圖2所示的本示例的一種多幀去噪算法輸入改善流程圖，具體可以包括如下步驟：
步驟s101：外置dsp緩存多幀圖像數據。
在相機開啟預覽之後，dsp按照預定規則構建緩存隊列並進行圖像數據緩存。加入外置dsp晶片後拍照時的數據流如圖3所示，本示例中的dsp可以緩存8幀數據。
預覽圖像數據通過dsp時，會保存一份到dsp的ddr(dualdatarate，雙倍速率同步動態隨機存儲器)中的緩存隊列的buffer(緩存區)a～h。在沒有拍照的情況下，a～h循環更新。具體地，所謂循環更新是指，來了一幀圖像數據，按照從a～h的順序依次填充各個buffer，時刻保持8個buffer中的圖像數據順序更新。
在以前的常規方案中，收到拍照指令後，dsp直接抓取緩存隊列中的8幀圖像數據，送給算法做多幀合成降噪。此種常規方案，並不會檢查每個buffer中圖像數據是否清晰，使用了不清晰的輸入圖像，也就不能最大限度的保證在isp經過算法加權平均後，輸出的圖像也是清晰的。故而本發明實施例提出了改善步驟，即本示例的步驟s102～s104。
步驟s102：接收「按下拍照鍵」消息。
在軟體設計上，按鍵的操作都可以分為「按下/抬起」兩個環節。此步驟，是指dsp接收「拍照鍵」按下的這個消息。
如步驟s101描述，相機預覽時，dsp的緩存隊列中不斷更新圖像數據，從a～h依次循環。當dsp接收到「按下拍照鍵」的消息後，緩存中的圖像數據更新會短暫停止，此時先記錄dsp緩存a～h中的保存的圖像數據依次為a～h，如圖4所示。
步驟s103：dsp進行清晰度排序。
此步驟是dsp對緩存中的圖像數據，進行清晰度的計算，並根據清晰度由高到低對緩存中的圖像數據進行排序。其中，清晰度是通過計算緩存中圖像數據的灰度圖的梯度來衡量的，梯度越大，清晰度越高。
經過此步驟後，緩存a～h中圖像數據的清晰度依次增高。假定圖像清晰度由高到低依次為：abfgdhce，則經過dsp排序後，緩存中的輸入排列如圖5所示。
以上步驟s102及s103發生的時間點是：dsp接收到拍照鍵按下的消息的瞬間，處理的緩存內容是收到按鍵消息之前的緩存內容，此時的緩存內容，一般不受「按下拍照鍵」帶來的抖動影響，是比較清晰的。這兩個環節，即步驟s102及s103可以在10ms之內完成。
把這兩個環節獨立出來，是考慮相比按下拍照鍵後的時間段，在用戶按下拍照鍵之前，手機更容易保持穩定，使得輸入圖像數據更清晰。
步驟s104：dsp繼續接收圖像數據並實時進行優選。
從按下拍照鍵到抬起拍照鍵，這個時間段的長短因人而異，範圍主要在50ms～200ms之間，平均可以輸入到1～4幀新的圖像數據。這個時間段，因為有按壓按鍵的操作，對於大多數消費者來說，比較容易引入抖動，所以，此改善方案把這個環節單獨處理。
在步驟s103完成清晰度排序後，進入步驟s104，dsp繼續接收新的圖像數據，但此步驟與s101不同，此時接收到的新圖像數據，並不再依次放入緩存a～h；相對的，dsp在接收到新圖像數據後，先對收到的圖像數據進行灰度圖的梯度計算，確定是否要把新收到的數據放入緩存。具體如流程圖6所示：
執行步驟s104-1：dsp繼續接收新的圖像數據並進行清晰度的計算。
執行步驟s104-2：新圖像數據x清晰度與緩存中圖像數據a～h進行對比。若x清晰度低於a，則執行步驟s104-3：將圖像x捨棄，不放入dsp緩存；若x清晰度高於a，則執行步驟s104-4：使用圖像x替換圖像a，放入dsp緩存。
執行步驟s104-5：是否收到「拍照鍵抬起」的指令。若已經收到，則退出步驟s104，進入步驟s105；若沒有收到，則繼續接收新的圖像數據，重複執行步驟s104。
步驟s105：dsp接收拍照鍵抬起的指令。
dsp接收「拍照鍵抬起」的指令，此時dsp緩存不再繼續接收新的圖像數據，對應的，dsp緩存中的數據，是經過步驟s102～s104之後，經過排序優選的圖像數據。
步驟s106：dsp輸出8幀最清晰的圖像數據。
經過步驟s102～s104，dsp緩存中圖像數據已經經過排序優選，此步驟即是將dsp緩存中的數據輸出給isp，進行多幀合成降噪處理。
在本示例中，通過在dsp進行圖像數據的排序及優選，提高多幀合成降噪算法輸入圖像的清晰度，進而提高算法輸出圖像的品質，極大提升用戶體驗。經多人綜合測試，改善後圖像清晰度可以提升10％。
這樣，本發明實施例中，通過在移動終端原有的硬體框架上增加dsp硬體模塊，使得本發明實施例可以在圖像數據進入isp之前，可以先一步進行前端進行圖像數據的圖像處理，得到更好品質的初始圖像數據後再發送給後端isp進行進一步處理，可以從而最大限度降低後端isp處理引入的噪點結構形態的惡化，最終可以得到更好質量的圖像數據。
需要說明的是，對於方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明實施例並不受所描述的動作順序的限制，因為依據本發明實施例，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作並不一定是本發明實施例所必須的。
實施例二
參照圖7，示出了本發明的一種移動終端實施例的結構框圖，所述移動終端包括與攝像頭和圖像信號處理器isp相連接的數位訊號處理器dsp，所述移動終端具體可以包括如下模塊：
第一圖像數據接收模塊201，用於所述dsp循環接收所述攝像頭輸出的第一圖像數據；
第一清晰度計算模塊202，用於在接收到拍照鍵按下的消息時，計算所述第一圖像數據的第一清晰度；
第二圖像數據接收模塊203，用於在接收到拍照鍵按下的消息後並且尚未接收到拍照鍵抬起的消息時，繼續接收所述攝像頭輸出的第二圖像數據；
第二清晰度計算模塊204，用於計算所述第二圖像數據的第二清晰度；
清晰度對比模塊205，用於基於所述第一清晰度和所述第二清晰度，從所述第一圖像數據和第二圖像數據篩選出清晰度排序在前n位的圖像數據；
圖像數據輸出模塊206，用於在接收到拍照鍵抬起的消息時，將所述排序在前n位的圖像數據輸出至所述isp以在所述isp進行圖像處理。
在本發明的一種優選實施例中，還包括：
第一圖像數據緩存模塊，用於將所述第一圖像數據緩存到所述dsp的緩存隊列中。
在本發明的一種優選實施例中，在所述在接收到拍照鍵按下的消息時，所述移動終端還包括：
緩存隊列暫停緩存模塊，用於暫停在所述緩存隊列中緩存所述攝像頭輸出的第一圖像數據；
清晰度排序模塊，用於按照所述第一清晰度由高到低對所述第一圖像數據進行排序。
在本發明的一種優選實施例中，所述緩存隊列緩存有n個第一圖像數據，所述清晰度對比模塊包括：
清晰度比對子模塊，用於對比所述第一清晰度和所述第二清晰度；
圖像數據替換子模塊，用於若在所述緩存隊列中存在所述第一清晰度低於所述第二清晰度的第一圖像數據，則在所述緩存隊列中採用所述第二圖像數據替換所述第一清晰度排序在最低第一圖像數據；
圖像數據處理子模塊，用於將所述替換後第二圖像數據作為第一圖像數據。
在本發明的一種優選實施例中，所述移動終端還包括：
圖像數據捨棄子模塊，用於若在所述緩存隊列中不存在所述第一清晰度低於所述第二清晰度的第一圖像數據，則捨棄所述第二圖像數據。
在本發明的一種優選實施例中，在接收到拍照鍵抬起的消息時，所述移動終端還包括：
緩存隊列停止緩存子模塊，用於停止在所述緩存隊列中採用所述攝像頭輸出的第二圖像數據替換所述第一圖像數據。
對於移動終端實施例而言，由於其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
這樣，本發明實施例中，通過在移動終端原有的硬體框架上增加dsp硬體模塊，使得本發明實施例可以在圖像數據進入isp之前，可以先一步進行前端進行圖像數據的圖像處理，具體地，在本發明實施例中，隔離按下拍照鍵前後的圖像數據，通過在dsp利用新的緩存與優選機制，來實現多幀去噪時輸入到isp的圖像數據的緩存與優選，通過優化多幀合成時輸入圖的清晰度，進而提高多幀融合後圖像數據的清晰度，更好的體現多幀去噪相對於單幀去噪的優勢，最終可以得到更好質量的圖像數據，提升用戶體驗。
實施例三
圖8是本發明另一個實施例的移動終端的框圖。圖8所示的移動終端700包括：至少一個處理器701、存儲器702、至少一個網絡接口704和其他用戶接口703。移動終端700中的各個組件通過總線系統705耦合在一起。可理解，總線系統705用於實現這些組件之間的連接通信。總線系統705除包括數據總線之外，還包括電源總線、控制總線和狀態信號總線。但是為了清楚說明起見，在圖8中將各種總線都標為總線系統705。
其中，用戶接口703可以包括顯示器、鍵盤或者點擊設備(例如，滑鼠，軌跡球(trackball)、觸感板或者觸控螢幕等。
可以理解，本發明實施例中的存儲器702可以是易失性存儲器或非易失性存儲器，或可包括易失性和非易失性存儲器兩者。其中，非易失性存儲器可以是只讀存儲器(read-onlymemory，rom)、可編程只讀存儲器(programmablerom，prom)、可擦除可編程只讀存儲器(erasableprom，eprom)、電可擦除可編程只讀存儲器(electricallyeprom，eeprom)或快閃記憶體。易失性存儲器可以是隨機存取存儲器(randomaccessmemory，ram)，其用作外部高速緩存。通過示例性但不是限制性說明，許多形式的ram可用，例如靜態隨機存取存儲器(staticram，sram)、動態隨機存取存儲器(dynamicram，dram)、同步動態隨機存取存儲器(synchronousdram，sdram)、雙倍數據速率同步動態隨機存取存儲器(doubledataratesdram，ddrsdram)、增強型同步動態隨機存取存儲器(enhancedsdram，esdram)、同步連接動態隨機存取存儲器(synchlinkdram，sldram)和直接內存總線隨機存取存儲器(directrambusram，drram)。本發明實施例描述的系統和方法的存儲器702旨在包括但不限於這些和任意其它適合類型的存儲器。
在一些實施方式中，存儲器702存儲了如下的元素，可執行模塊或者數據結構，或者他們的子集，或者他們的擴展集：作業系統7021和應用程式7022。
其中，作業系統7021，包含各種系統程序，例如框架層、核心庫層、驅動層等，用於實現各種基礎業務以及處理基於硬體的任務。應用程式7022，包含各種應用程式，例如媒體播放器(mediaplayer)、瀏覽器(browser)等，用於實現各種應用業務。實現本發明實施例方法的程序可以包含在應用程式7022中。
在本發明實施例中，通過調用存儲器702存儲的程序或指令，具體的，可以是應用程式7022中存儲的程序或指令，處理器701用於在所述dsp循環接收所述攝像頭輸出的第一圖像數據；在接收到拍照鍵按下的消息時，計算所述第一圖像數據的第一清晰度；在接收到拍照鍵按下的消息後並且尚未接收到拍照鍵抬起的消息時，繼續接收所述攝像頭輸出的第二圖像數據；計算所述第二圖像數據的第二清晰度；基於所述第一清晰度和所述第二清晰度，從所述第一圖像數據和第二圖像數據篩選出清晰度排序在前n位的圖像數據；在接收到拍照鍵抬起的消息時，將所述排序在前n位的圖像數據輸出至所述isp以在所述isp進行圖像處理。
上述本發明實施例揭示的方法可以應用於處理器701中，或者由處理器701實現。處理器701可能是一種集成電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以通過處理器701中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器701可以是通用處理器、數位訊號處理器(digitalsignalprocessor，dsp)、專用集成電路(applicationspecificintegratedcircuit，asic)、現成可編程門陣列(fieldprogrammablegatearray，fpga)或者其他可編程邏輯器件、分立門或者電晶體邏輯器件、分立硬體組件。可以實現或者執行本發明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本發明實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模塊組合執行完成。軟體模塊可以位於隨機存儲器，快閃記憶體、只讀存儲器，可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領域成熟的存儲介質中。該存儲介質位於存儲器702，處理器701讀取存儲器702中的信息，結合其硬體完成上述方法的步驟。
可以理解的是，本發明實施例描述的這些實施例可以用硬體、軟體、固件、中間件、微碼或其組合來實現。對於硬體實現，處理單元可以實現在一個或多個專用集成電路(applicationspecificintegratedcircuits，asic)、數位訊號處理器(digitalsignalprocessing，dsp)、數位訊號處理設備(dspdevice，dspd)、可編程邏輯設備(programmablelogicdevice，pld)、現場可編程門陣列(field-programmablegatearray，fpga)、通用處理器、控制器、微控制器、微處理器、用於執行本申請所述功能的其它電子單元或其組合中。
對於軟體實現，可通過執行本發明實施例所述功能的模塊(例如過程、函數等)來實現本發明實施例所述的技術。軟體代碼可存儲在存儲器中並通過處理器執行。存儲器可以在處理器中或在處理器外部實現。
可選地，處理器701還用於：將所述第一圖像數據緩存到所述dsp的緩存隊列中。
可選地，處理器701還用於：暫停在所述緩存隊列中緩存所述攝像頭輸出的第一圖像數據；按照所述第一清晰度由高到低對所述第一圖像數據進行排序。
可選地，處理器701還用於：對比所述第一清晰度和所述第二清晰度；若在所述緩存隊列中存在所述第一清晰度低於所述第二清晰度的第一圖像數據，則在所述緩存隊列中採用所述第二圖像數據替換所述第一清晰度排序在最低第一圖像數據；將所述替換後第二圖像數據作為第一圖像數據。
可選地，處理器701還用於：停止在所述緩存隊列中採用所述攝像頭輸出的第二圖像數據替換所述第一圖像數據。
移動終端700能夠實現前述實施例中移動終端實現的各個過程，為避免重複，這裡不再贅述。
這樣，本發明實施例中，通過在移動終端原有的硬體框架上增加dsp硬體模塊，使得本發明實施例可以在圖像數據進入isp之前，可以先一步進行前端進行圖像數據的圖像處理，具體地，在本發明實施例中，隔離按下拍照鍵前後的圖像數據，通過在dsp利用新的緩存與優選機制，來實現多幀去噪時輸入到isp的圖像數據的緩存與優選，通過優化多幀合成時輸入圖的清晰度，進而提高多幀融合後圖像數據的清晰度，更好的體現多幀去噪相對於單幀去噪的優勢，最終可以得到更好質量的圖像數據，提升用戶體驗。
實施例四
圖9是本發明另一個實施例的移動終端的結構示意圖。具體地，圖9中的移動終端800可以為手機、平板電腦、個人數字助理(personaldigitalassistant，pda)、或車載電腦等。
圖9中的移動終端800包括射頻(radiofrequency，rf)電路810、存儲器820、輸入單元830、顯示單元840、處理器860、音頻電路870、wifi(wirelessfidelity)模塊880和電源890。
其中，輸入單元830可用於接收用戶輸入的數字或字符信息，以及產生與移動終端800的用戶設置以及功能控制有關的信號輸入。具體地，本發明實施例中，該輸入單元830可以包括觸控面板831。觸控面板831，也稱為觸控螢幕，可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板831上的操作)，並根據預先設定的程式驅動相應的連接裝置。可選的，觸控面板831可包括觸摸檢測裝置和觸摸控制器兩個部分。其中，觸摸檢測裝置檢測用戶的觸摸方位，並檢測觸摸操作帶來的信號，將信號傳送給觸摸控制器；觸摸控制器從觸摸檢測裝置上接收觸摸信息，並將它轉換成觸點坐標，再送給該處理器860，並能接收處理器860發來的命令並加以執行。此外，可以採用電阻式、電容式、紅外線以及表面聲波等多種類型實現觸控面板831。除了觸控面板831，輸入單元830還可以包括其他輸入設備832，其他輸入設備832可以包括但不限於物理鍵盤、功能鍵(比如音量控制按鍵、開關按鍵等)、軌跡球、滑鼠、操作杆等中的一種或多種。
其中，顯示單元840可用於顯示由用戶輸入的信息或提供給用戶的信息以及移動終端800的各種菜單界面。顯示單元840可包括顯示面板841，可選的，可以採用lcd或有機發光二極體(organiclight-emittingdiode，oled)等形式來配置顯示面板841。
應注意，觸控面板831可以覆蓋顯示面板841，形成觸摸顯示屏，當該觸摸顯示屏檢測到在其上或附近的觸摸操作後，傳送給處理器860以確定觸摸事件的類型，隨後處理器860根據觸摸事件的類型在觸摸顯示屏上提供相應的視覺輸出。
觸摸顯示屏包括應用程式界面顯示區及常用控制項顯示區。該應用程式界面顯示區及該常用控制項顯示區的排列方式並不限定，可以為上下排列、左右排列等可以區分兩個顯示區的排列方式。該應用程式界面顯示區可以用於顯示應用程式的界面。每一個界面可以包含至少一個應用程式的圖標和/或widget桌面控制項等界面元素。該應用程式界面顯示區也可以為不包含任何內容的空界面。該常用控制項顯示區用於顯示使用率較高的控制項，例如，設置按鈕、界面編號、滾動條、電話本圖標等應用程式圖標等。
其中處理器860是移動終端800的控制中心，利用各種接口和線路連接整個手機的各個部分，通過運行或執行存儲在第一存儲器821內的軟體程序和/或模塊，以及調用存儲在第二存儲器822內的數據，執行移動終端800的各種功能和處理數據，從而對移動終端800進行整體監控。可選的，處理器860可包括一個或多個處理單元。
在本發明實施例中，通過調用存儲該第一存儲器821內的軟體程序和/或模塊和/或該第二存儲器822內的數據，處理器860用於在所述dsp循環接收所述攝像頭輸出的第一圖像數據；在接收到拍照鍵按下的消息時，計算所述第一圖像數據的第一清晰度；在接收到拍照鍵按下的消息後並且尚未接收到拍照鍵抬起的消息時，繼續接收所述攝像頭輸出的第二圖像數據；計算所述第二圖像數據的第二清晰度；基於所述第一清晰度和所述第二清晰度，從所述第一圖像數據和第二圖像數據篩選出清晰度排序在前n位的圖像數據；在接收到拍照鍵抬起的消息時，將所述排序在前n位的圖像數據輸出至所述isp以在所述isp進行圖像處理。
可選地，所述處理器860還用於，將所述第一圖像數據緩存到所述dsp的緩存隊列中。
可選地，所述處理器860還用於：暫停在所述緩存隊列中緩存所述攝像頭輸出的第一圖像數據；按照所述第一清晰度由高到低對所述第一圖像數據進行排序。
可選地，所述處理器860還用於：對比所述第一清晰度和所述第二清晰度；若在所述緩存隊列中存在所述第一清晰度低於所述第二清晰度的第一圖像數據，則在所述緩存隊列中採用所述第二圖像數據替換所述第一清晰度排序在最低第一圖像數據；將所述替換後第二圖像數據作為第一圖像數據。
可選地，所述處理器860還用於：停止在所述緩存隊列中採用所述攝像頭輸出的第二圖像數據替換所述第一圖像數據。
對於移動終端800實施例而言，由於其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
這樣，本發明實施例中，通過在移動終端原有的硬體框架上增加dsp硬體模塊，使得本發明實施例可以在圖像數據進入isp之前，可以先一步進行前端進行圖像數據的圖像處理，具體地，在本發明實施例中，隔離按下拍照鍵前後的圖像數據，通過在dsp利用新的緩存與優選機制，來實現多幀去噪時輸入到isp的圖像數據的緩存與優選，通過優化多幀合成時輸入圖的清晰度，進而提高多幀融合後圖像數據的清晰度，更好的體現多幀去噪相對於單幀去噪的優勢，最終可以得到更好質量的圖像數據，提升用戶體驗。
本領域普通技術人員可以意識到，結合本發明實施例中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、或者計算機軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
在本申請所提供的實施例中，應該理解到，所揭露的裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、rom、ram、磁碟或者光碟等各種可以存儲程序代碼的介質。
以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以權利要求的保護範圍為準。