圖像處理設備和方法與流程
2023-08-01 20:57:31
技術領域
本發明構思涉及一種圖像處理設備，更具體地，涉及一種根據操作模式動態確定數據輸入/輸出模式的圖像處理設備及圖像處理方法。
背景技術：
圖像傳感器是檢測和傳達構成圖像的信息的傳感器。圖像傳感器通過隨著波的傳播或從物體的反射將波的可變衰減轉換成信號來實現所述檢測和傳達。波可以是光或其它電磁輻射。圖像傳感器在模擬和數字兩種類型的電子圖像裝置中使用。圖像傳感器將光圖像轉換成電信號，並且圖像處理裝置處理從圖像傳感器獲得的圖像數據。
圖像傳感器和圖像處理設備被應用於可攜式電子裝置，諸如智慧型電話和數位相機。然而，由於這些裝置是可攜式的，因此它們具有有限的操作它們的圖像傳感器的電力。
技術實現要素：
根據本發明構思的示例性實施例，提供一種圖像處理設備，所述圖像處理設備包括：存儲器；第一圖像處理器，被配置為對圖像數據執行第一圖像處理操作以生成第一數據；第二圖像處理器，被配置為對第一數據執行第二圖像處理操作以生成第二數據。當操作模式被設置為第一操作模式時，圖像處理設備將第一數據從第一圖像處理器直接傳送到第二圖像處理器。當操作模式被設置為第二操作模式時，圖像處理設備經由存儲器將第一數據從第一圖像處理器傳送到第二圖像處理器。
根據本發明構思的示例性實施例，提供一種應用處理器，所述應用處理器包括：第一圖像處理器，被配置為對圖像數據執行第一圖像處理操作以生成第一數據；第二圖像處理器，被配置為對第一數據執行第二圖像處理操作以生成第二數據。當操作模式被設置為第一操作模式時，應用處理器將第一數據從第一圖像處理器直接傳送到第二圖像處理器。當操作模式被設置為第二操作模式時，應用處理器經由存儲器將第一數據從第一圖像處理器傳送到第二圖像處理器。
根據本發明構思的示例性實施例，提供一種圖像處理設備執行的圖像處理方法，所述圖像處理方法包括：由第一圖像處理器對圖像數據執行第一圖像處理操作以生成第一數據；由第一圖像處理器根據第一數據的輸入/輸出(I/O)模式將第一數據輸出到第二圖像處理器和存儲器之一；由第二圖像處理器根據第一數據的I/O模式從第一圖像處理器和存儲器之一接收第一數據；由第二圖像處理器對第一數據執行第二圖像處理操作以生成第二數據。
根據本發明構思的示例性實施例，一種圖像處理設備包括：存儲器控制器；第一圖像處理器，被配置為對圖像數據執行第一圖像處理操作以生成第一數據；第二圖像處理器，被配置為對第一數據執行第二圖像處理操作以生成第二數據。當操作模式被設置為第一操作模式時，圖像處理設備將第一數據從第一圖像處理器直接傳送到第二圖像處理器。當操作模式被設置為第二操作模式時，圖像處理設備經由存儲器控制器將第一數據從第一圖像處理器傳送到第二圖像處理器。
附圖說明
通過下面結合附圖的詳細描述，本發明構思的實施例將變得更加容易理解，在附圖中：
圖1是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖2A示出當圖像處理設備的操作模式是正常模式時由第一圖像處理單元和第二圖像處理單元通過處理獲得的圖像；
圖2B示出當圖像處理設備的操作模式是縮放模式時由第一圖像處理單元和第二圖像處理單元通過處理獲得的圖像；
圖3示出根據本發明構思的示例性實施例的圖像處理設備的基於操作模式的數據輸入/輸出模式；
圖4A是示出根據本發明構思的示例性實施例的第一輸入/輸出模式的框圖；
圖4B是示出根據本發明構思的示例性實施例的在第一輸入/輸出模式下第一圖像處理單元和第二圖像處理單元的操作的時序圖；
圖5A是示出根據本發明構思的示例性實施例的第二輸入/輸出模式的框圖；
圖5B是示出根據本發明構思的示例性實施例的在第二輸入/輸出模式下第一圖像處理單元和第二圖像處理單元的操作的時序圖；
圖6是示出當圖像處理設備的操作模式是縮放模式時在第一輸入/輸出模式下發送數據的情況下第一圖像處理單元和第二圖像處理單元的操作的示例的時序圖；
圖7是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖8是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖9示出輸入到圖8的圖像處理設備的圖像數據；
圖10是示出根據本發明構思的示例性實施例的圖像處理設備中的第一圖像處理單元和第二圖像處理單元的操作的示例的時序圖；
圖11是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖12是更加詳細地示出圖11的第一存儲器控制器和第二存儲器控制器的框圖；
圖13是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖14是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖；
圖15示出根據本發明構思的示例性實施例的圖像處理設備中的模式改變控制邏輯的示例；
圖16是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖17是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖18是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖；
圖19示出根據本發明構思的示例性實施例的圖像處理設備中的模式改變控制邏輯的示例；
圖20是示出根據本發明構思的示例性實施例的圖像處理設備的框圖；
圖21是示出根據本發明構思的示例性實施例的根據圖20的時鐘模塊的控制的第一圖像處理單元和第二圖像處理單元的操作的時序圖；
圖22是示出根據本發明構思的示例性實施例的圖像處理設備中的第一圖像處理單元和第二圖像處理單元的操作的時序圖；
圖23是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖；
圖24是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖；
圖25是示出根據本發明構思的示例性實施例的應用處理器的框圖；
圖26是示出根據本發明構思的示例性實施例的電子裝置的框圖；
圖27是示出根據本發明構思的示例性實施例的電子系統和接口的框圖。
具體實施方式
在下文中，將參照附圖詳細描述本發明構思的示例性實施例。提供本發明構思的實施例使得本公開將是徹底和完整的，並且將本發明構思的構思充分地傳達給本領域普通技術人員。然而，應當理解，本發明構思涵蓋本發明構思的技術範圍內的所有修改、等同物和替代物。相同的參考標號表示相同的元件。除非相反指出，否則單數形式的術語可以包括複數形式。
圖1是示出根據本發明構思的示例性實施例的圖像處理設備10的框圖。
參照圖1，圖像處理設備10包括圖像信號處理器100和存儲器MEM。圖像信號處理器100可以包括第一圖像處理單元110(例如，圖像處理器，諸如圖形處理器或圖形處理單元(GPU))、第二圖像處理單元120(例如，圖像處理器)和數據輸入/輸出(I/O)控制單元130(例如，I/O控制器)。根據實施例的圖像處理設備10是數位相機或配有數位相機的電子裝置。例如，圖像處理設備10可以是行動電話、智慧型電話或平板個人計算機(PC)。在實施例中，圖像信號處理器100位於電子裝置的應用處理器內。
在示例性實施例中，存儲器MEM包括易失性存儲器。例如，易失性存儲器可以是動態隨機存取存儲器(DRAM)，但不限於此。在實施例中，存儲器MEM包括非易失性存儲裝置。例如，非易失性存儲裝置可以是NAND快閃記憶體存儲器、NOR快閃記憶體存儲器、磁阻隨機存取存儲器(MRAM)、相變隨機存取存儲器(PRAM)或電阻式隨機存取存儲器(ReRAM)，但並不限於此。在實施例中，存儲器MEM是硬碟驅動器或磁存儲裝置。
在實施例中，第一圖像處理單元110和第二圖像處理單元120以及數據I/O控制單元130均被實現為晶片上系統(SoC)。在此，SoC可以使用具有各種功能的系統實現，並且SoC可以被集成到單個半導體晶片中，多個智慧財產權(IP)被集成到SoC。每個IP可以在SoC中被提供，並且可以執行特定功能。在此，每個IP可以表示電路、邏輯(例如，軟體)或它們的組合，每個IP可以被集成到SoC。在本實施例中，第一圖像處理單元110可以被稱為第一IP IP1，第二圖像處理單元120可以被稱為第二IP IP2。此外，在示例性實施例中，第一圖像處理單元110和第二圖像處理單元120、數據I/O控制單元130和存儲器MEM被實現為SoC。
第一圖像處理單元110接收圖像數據ID並對接收的圖像數據ID執行第一圖像處理操作以生成第一數據D1。第一圖像處理單元110可以被稱為預處理單元、預IP或預鏈。在一個實施例中，從圖像傳感器(諸如CMOS圖像傳感器)接收圖像數據ID。在一個實施例中，從包括在圖像信號處理器100中的另一圖像處理單元或IP接收圖像數據ID。
第二圖像處理單元120接收第一數據D1並對接收的第一數據D1執行第二圖像處理操作以生成第二數據D2。第二圖像處理單元120可以被稱為後處理單元、後IP或後鏈。在一個實施例中，從第一圖像處理單元110接收第一數據D1。在一個實施例中，從存儲器MEM接收第一數據D1。
例如，第一圖像處理單元110和第二圖像處理單元120可以分別對應於對圖像數據執行信號處理操作(諸如顏色插值、顏色校正、自動白平衡、伽馬校正、顏色飽和度校正、格式校正、壞像素校正、色度校正、自動曝光、自動對焦、相位檢測自動對焦(PDAF)、旋轉、縮放和去馬賽克)的多個邏輯塊。在實施例中，去馬賽克是對圖像數據執行的從由覆蓋有顏色濾波器陣列的圖像傳感器輸出的不完全顏色樣本重建全色圖像的功能。例如，第一圖像處理單元110可以是執行自動曝光、自動對焦、自動白平衡或旋轉的IP，但不限於此。例如，第二圖像處理單元120可以是執行縮放或去馬賽克的IP，但不限於此。縮放操作可以包括縮小或放大圖像的大小。
在實施例中，I/O控制單元130被配置為基於圖像處理設備10的操作模式將數據I/O模式動態確定為第一I/O模式MD1或第二I/O模式MD2。根據實施例，當操作模式被改變時，數據I/O控制單元130將第一I/O模式MD1改變為第二I/O模式MD2或將第二I/O模式MD2改變為第一I/O模式MD1。
此外，數據I/O控制單元130可以將確定的I/O模式提供到第一圖像處理單元110和第二圖像處理單元120作為模式信號MD。這裡，圖像處理設備10的操作模式可以是正常模式或縮放模式。在示例性實施例中，在縮放模式期間，由圖像處理設備10對圖像執行操作以放大圖像，使得可以向用戶呈現圖像的放大視圖。在示例性實施例中，在縮放模式期間，由圖像處理裝置10對圖像執行操作以縮小圖像，使得可以向用戶呈現圖像的縮小視圖。然而，本實施例不限於此，並且圖像處理設備10的操作模式可以根據實施例進行各種修改。數據I/O控制單元130可以基於圖像處理設備10的各種操作模式動態地確定數據I/O模式為第一I/O模式MD1或第二I/O模式MD2。
圖像處理設備10可以基於通過觸摸、按鈕、滑鼠或遙控器接收的用戶輸入確定操作模式為縮放模式。在實施例中，數據I/O控制單元130從外部源接收指示操作模式的操作模式信號。例如，當操作模式信號指示正常模式時，操作模式信號可以具有第一邏輯電平，當操作模式信號指示縮放模式，操作模式信號可以具有第二邏輯電平。在實施例中，當接收到縮放開始命令時，數據I/O控制單元130將圖像處理設備10的操作模式確定為縮放模式，當接收到縮放結束命令時，數據I/O控制單元130將圖像處理設備10的操作模式確定為正常模式。
在本實施例中，數據I/O控制單元130位於第一圖像處理單元110和第二圖像處理單元120外部。然而，本發明構思的實施例不限於此。在其它實施例中，數據I/O控制單元130位於第一圖像處理單元110和第二圖像處理單元120中的至少一個的內部。
圖2A示出當圖像處理設備的操作模式10是正常模式時由第一圖像處理單元110和第二圖像處理單元120通過處理獲得的圖像。
參照圖1和圖2A，除非接收到用於指示改變操作模式的用戶輸入，否則圖像處理設備10在正常模式下操作，因此正常模式可被稱為默認模式。這裡，正常模式可以是對從圖像傳感器獲得的整個圖像執行圖像處理以輸出對應於整個圖像的圖像處理結果的操作模式，並且可以被稱為1:1模式。
第一圖像處理單元110可以接收對應於第一圖像IMG1a的圖像數據ID，以輸出對應於第一圖像IMG1a的第一數據D1。這裡，第一圖像IMG1a在大小方面具有第一寬度W和第一高度H。
第二圖像處理單元120可以接收對應於第一圖像IMG1a的第一數據D1，以輸出對應於第二圖像IMG2a的第二數據D2。在此，第二圖像IMG2a在大小方面具有第一寬度W和第一高度H。當圖像處理設備10在正常模式下操作時，輸入到第一圖像處理單元110和第二圖像處理單元120的圖像大小與從第一圖像處理單元110和第二圖像處理單元120輸出的圖像大小是1:1。
圖2B示出當圖像處理設備10的操作模式是縮放模式時由第一圖像處理單元110和第二圖像處理單元120通過處理獲得的圖像IMG1b和IMG2b。
參照圖1和圖2B，當接收到用於指示縮放操作的用戶輸入時，圖像處理設備10在縮放模式下操作。這裡，縮放模式可以是放大從圖像傳感器獲得的整個圖像的一部分以輸出對應於部分圖像的圖像處理結果的操作模式。例如，放大圖像可以被稱作放大。在圖像被放大之後，縮放模式可以用於縮小，使得之前放大的圖像大小減小，但是不必減小到整個圖像的原始大小。然而，在此示例中縮小的圖像將仍然被認為是相對於原始圖像放大的。例如，圖像處理設備10可以接收用於指示四倍縮放操作的用戶輸入。以下，將描述圖像處理設備10執行四倍縮放操作的情況。
例如，第一圖像處理單元110可以執行裁切操作，並且詳細地，第一圖像處理單元110可以接收對應於第一圖像IMG1b的圖像數據ID以輸出對應於縮放區域IMGz的第一數據D1。這裡，第一圖像IMG1b在大小方面具有第一寬度W和第一高度H，縮放區域IMGz在大小方面具有第二寬度W/4和第二高度H/4。
例如，第二圖像處理單元120可以執行放大操作。例如，第二圖像處理單元120可以接收對應於縮放區域IMGz的第一圖像數據ID1以輸出對應於第二圖像IMG2b的第二數據D2。這裡，縮放區域IMGz在大小方面具有第二寬度W/4和第二高度H/4，第二圖像IMG2b在大小方面具有第一寬度W和第一高度H。當圖像處理設備10在縮放模式下操作時，輸入到第一圖像處理單元110和第二圖像處理單元120的圖像大小與從第一圖像處理單元110和第二圖像處理單元120輸出的圖像大小可以不同。
圖3示出根據本發明構思的示例性實施例的圖像處理設備10的基於操作模式的數據I/O模式。
參照圖3，在第一操作模式下，數據I/O控制單元130將數據I/O模式確定為第一I/O模式MD1，在第二操作模式下，數據I/O控制單元130將數據I/O模式確定為第二個I/O模式MD2。在實施例中，第一I/O模式MD1是直接模式，第二I/O模式MD2是直接存儲器訪問(DMA)模式。在本實施例中，直接模式是默認模式，DMA模式是僅在縮放操作下執行的模式。此後，將描述第一I/O模式MD1是直接模式和第二I/O模式MD2是DMA模式的情況。然而，本發明構思的實施例不限於此。
圖4A是示出根據示例性實施例的第一I/O模式MD1的框圖。圖4B是示出根據示例性實施例的在第一I/O模式MD1下第一圖像處理單元110和第二圖像處理單元120的操作的時序圖。以下，將參照圖1、圖4A和圖4B詳細描述根據示例性實施例的第一I/O模式MD1。
參照圖4A和圖4B，在第一I/O模式MD1下，由第一圖像處理單元110生成的第一數據D1被直接傳送到第二處理單元120。換句話說，在第一I/O模式MD1下，第一處理單元110將第一數據D1輸出到第二處理單元120，並且第二處理單元120從第一處理單元110接收第一數據D1。在實施例中，在第一I/O模式MD1下，信號線將第一處理單元110直接連接到第二處理單元120，沿信號線發送第一數據D1。
在第一I/O模式MD1期間，第一數據D1直接從第一圖像處理單元110傳送到第二圖像處理單元120，並且因此，在第一圖像處理單元110和第二圖像處理單元120的操作中幾乎不發生延遲。在示例性實施例中，在第一I/O模式MD1期間，不執行訪問存儲器MEM的操作，從而降低功耗。圖4B示出當延遲基本為0時，從而由第二圖像處理單元120處理的幀針對由第一圖像處理單元110處理的幀沒有延遲。
圖5A是示出根據示例性實施例的第二I/O模式MD2的框圖。圖5B是示出根據示例性實施例的在第二I/O模式MD2下第一圖像處理單元110和第二圖像處理單元120的操作的時序圖。以下，將參照圖1、圖5A和圖5B詳細描述根據示例性實施例的第二I/O模式MD2。
參照圖5A和圖5B，在第二I/O模式MD2下，由第一圖像處理單元110生成的第一數據D1經由存儲器MEM傳送到第二處理單元120。換句話說，在第一I/O模式MD1下，第一處理單元110將第一數據D1輸出到存儲器MEM，第二處理單元120從存儲器MEM接收第一數據D1。
在第二I/O模式MD2期間，第一數據D1經由存儲器MEM從第一圖像處理單元110傳送到第二圖像處理單元120，並且因為這個原因，在第一圖像處理單元110和第二圖像處理單元120的操作中發生延遲。例如，在第一圖像處理單元110對第二幀執行第一圖像處理操作時，第二圖像處理單元120對第一幀執行第二圖像處理操作。圖5B示出延遲是圖像處理單元在接收的圖像數據的單幀上操作花費的時間量的示例。因此，圖5B示出由第二圖像處理單元120處理的幀針對由第一圖像處理單元110處理的幀延遲單幀周期。
圖6是示出當圖像處理設備10的操作模式是縮放模式時在第一I/O模式MD1下發送數據的情況下第一圖像處理單元110和第二圖像處理單元120的操作的示例的時序圖。
參照圖1和6，在第一圖像處理單元110對第四幀執行第一圖像處理操作時，圖像處理設備10接收縮放開始命令ZS。因此，圖像處理設備10的操作模式從正常模式改變為縮放模式。在縮放模式下，當使用第一I/O模式MD1(即，直接模式)時，第一圖像處理單元110在對應於縮放區域(例如，圖2B的IMG1b)的裁切時間段CR期間將第一數據D1輸出到第二圖像處理單元120，第二圖像處理單元120在裁切時間段CR期間接收第一數據D1，以生成對應於第二圖像(例如，圖2B的IMG2b)的第二數據D2。
在其期間第二圖像處理單元120能夠執行第二圖像處理操作的時間被限制到裁切時間段CR。因此，第二圖像處理單元120是在總的可處理時間的大部分處於空閒狀態，並且在總的可處理時間的裁切時間段CR期間執行對應於一幀的第二圖像處理操作。在示例性實施例中，第二圖像處理單元120在有限時間執行第二圖像處理操作，以提高第二圖像處理單元120的性能。
例如，第二圖像處理單元120的時鐘頻率可被提高，或第二圖像處理單元120的內部緩衝器的容量可被提高。然而，這些提高可能增加圖像處理設備10的面積和功耗。圖像處理設備10可能在大部分時間在正常模式下操作，並且可能在特定時間在縮放模式下操作。因此，在很大程度上改善用於在縮放模式下支持第二圖像處理單元120的第二圖像處理操作的第二圖像處理單元120的硬體性能的情況在效率上變差。
然而，如上面參照圖1至5B的描述，在正常模式下，根據本發明構思的實施例的圖像處理設備10將數據I/O模式確定為第一I/O模式MD1(即，直接模式)，並且在縮放模式下，圖像處理設備10將數據的I/O模式確定為第二I/O模式MD2(即，DMA模式)。因此，在縮放模式下，第一圖像處理單元110經由存儲器MEM將第一數據D1傳送到第二圖像處理單元120。因此，沒有必要改善用於在縮放模式下支持第二圖像處理單元120的第二圖像處理操作的第二圖像處理單元120的硬體性能，並且圖像處理設備10可以在不增加圖像處理設備10的面積和功耗的情況下有效地操作。
圖7是示出根據本發明構思的示例性實施例的圖像處理設備20的框圖。
參照圖7，圖像處理設備20包括圖像信號處理器200和存儲器MEM。圖像信號處理器200包括第一圖像處理單元210和第二圖像處理單元220。在本實施例中，第一圖像處理單元210包括數據輸出控制單元(D_OUT CU)211(例如，第一數據輸出控制器)，第二圖像處理單元220包括數據輸入控制單元(D_IN CU)221(例如，第二數據輸出控制器)。可以參照圖1的以上描述實現存儲器MEM。以下，將主要描述本實施例和圖1的實施例之間的差異以避免重複。
第一圖像處理單元210接收圖像數據ID，並且對接收的圖像數據ID執行第一圖像處理操作以生成第一數據D1。第二圖像處理單元220接收第一數據D1，並且對接收的第一數據D1執行第二圖像處理操作以生成第二數據D2。
數據輸出控制單元211控制第一數據D1的輸出，以在第一輸出模式下將第一數據D1提供到第二圖像處理單元220，或者在第二輸出模式下將第一數據D1提供到存儲器MEM。這裡，第一輸出模式可以是第一圖像處理單元210將第一數據D1輸出到第二圖像處理單元220的直接模式，並且可以對應於上述第一I/O模式。此外，第二輸出模式可以是第一圖像處理單元210將第一數據D1輸出到存儲器MEM的DMA模式，並且可以對應於上述第二I/O模式。
在實施例中，數據輸出控制單元211基於圖像處理設備20的操作模式將第一數據D1的輸出模式確定為第一輸出模式和第二輸出模式中的一個，並且基於確定的輸出模式控制第一數據D1的輸出。在實施例中，數據輸出控制單元211從外部源接收指示第一數據D1的輸出模式的第一模式信號，並且根據接收的第一模式信號控制第一數據D1的輸出。例如，數據輸出控制單元211可以是在它的數據輸入接收第一數據D1、在它的選擇輸入接收第一模式信號並且具有連接到第二圖像處理單元220的第一輸出和連接到存儲器MEM的第二輸出的解復用器。
數據輸入控制單元221控制第一數據D1的輸入，以在第一輸入模式下從第一圖像處理單元210接收第一數據D1且在第二輸入模式下從存儲器MEM接收第一數據D1。這裡，第一輸入模式可以是從第一圖像處理單元210接收第一數據D1的直接模式，並且可以對應於上述第一I/O模式。此外，第二輸入模式可以是從第一存儲器MEM接收第一數據D1的DMA模式，並且可以對應於上述第二I/O模式。
在實施例中，數據輸入控制單元221基於圖像處理設備20的操作模式將第一數據D1的輸入模式確定為第一輸入模式和第二輸入模式中的一個，並且基於確定的輸入模式控制第一數據D1的輸出。在實施例中，數據輸入控制單元221從外部源接收指示第一數據D1的輸入模式的第二模式信號，並且根據接收的模式信號控制第一數據D1的輸入。例如，數據輸入控制單元221可以是具有連接到第一圖像處理單元210的第一數據輸入、連接到存儲器MEM的第二數據輸入和接收第二模式信號的選擇輸入的復用器。
圖8是示出根據本發明構思的示例性實施例的圖像處理設備30的框圖。
參照圖8，圖像處理設備30包括圖像信號處理器300和存儲器MEM。圖像信號處理器300包括第一圖像處理單元310、第二圖像處理單元320、數據I/O控制單元330(例如，數據I/O控制器)和存儲器控制器340。可以參照圖1的以上描述實現存儲器MEM。以下，將主要描述圖8的實施例和圖1的實施例之間的差異以避免重複。
在實施例中，第一圖像處理單元310和第二圖像處理單元320、數據I/O控制單元330和存儲器控制器340均被實現為SoC。在實施例中，第一圖像處理單元310和第二圖像處理單元320、數據I/O控制單元330和存儲器控制器340位於應用處理器內。
在實施例中，第一圖像處理單元310和第二圖像處理單元320以及數據I/O控制單元330均被實現為SoC。在實施例中，第一圖像處理單元310和第二圖像處理單元320以及數據I/O控制單元330位於應用處理器內。
第一圖像處理單元310接收圖像數據ID，並且對接收的圖像數據ID執行第一圖像處理操作以生成第一數據D1。在本實施例中，圖像數據ID包括第一子圖像數據SID1和第二子圖像數據SID2。在實施例中，第一子圖像數據SID1包括圖像數據ID的第一像素組數據，第二子圖像數據SID2包括圖像數據ID的第二像素組數據。例如，第一像素組數據可以包括顯示器的一行或多行像素的圖像數據，第二像素組數據可以包括顯示器的其他一行或多行像素的圖像數據，其中，行是連續的。
圖9示出輸入到圖8的圖像處理設備30的圖像數據ID。
參照圖9，圖像數據ID包括多個像素組數據PG1至PG10。在圖9中，為了便於描述，對應於一幀的圖像數據ID被示出為對應於10×10像素。然而，這僅是示例，並且本實施例不限於此。以下，將參照圖8和圖9詳細描述圖像數據ID。
在實施例中，第一子圖像數據SID1包括排列在圖像數據ID的第一行的像素組數據PG1，第二子圖像數據SID2包括排列在位於第一行下面的第二行的像素組數據PG2。在實施例中，第一子圖像數據SID1包括分別排列在圖像數據ID的第一行和第二行的像素組數據PG1和PG2，並且第二子圖像數據SID2包括分別布置在第一行和第二行下面的第三和第四行的像素組數據PG3和PG4。
在一些實施例中，第一子圖像數據SID1可以包括分別排列在圖像數據ID的第一行至第五行的像素組數據PG1至PG5，第二子圖像數據SID2可以包括分別排列在第一行至第五行下面的第六行至第十行的像素組數據PG6至PG10。在本實施例中，第一子圖像數據SID1和第二子圖像數據SID2中的每一個是構成圖像數據ID的子圖像數據，並且可以根據實施例對從圖像數據ID區分第一子圖像數據SID1與第二子圖像數據SID2的方法進行各種修改。
參照回圖8，數據I/O控制單元330在第一操作模式下將數據I/O模式確定為第一I/O模式，並且在第二操作模式下將數據I/O模式確定為第二I/O模式。此外，數據I/O控制單元330將確定的I/O模式提供到第一圖像處理單元310和第二圖像處理單元320作為模式信號MD。在實施例中，第一操作模式可以是正常模式，第二操作模式可以是縮放模式。在實施例中，第一I/O模式是直接模式，第二I/O模式是DMA模式。上面參照圖2A至圖5B描述的細節可以應用於本實施例，因此不提供重複描述。
第一圖像處理單元310對包括第一子圖像數據SID1和第二子圖像數據SID2的圖像數據ID執行第一圖像處理操作以生成包括第一子數據SD1和第二子數據SD2的第一數據D1。在實施例中，第一圖像處理單元310首先對第一子圖像數據SID1執行第一圖像處理操作，然後對第二子圖像數據SID2執行第一圖像處理操作。第一圖像處理單元310在第一I/O模式下將包括第一子數據SD1和的第二子數據SD2的第一數據D1輸出到第二圖像處理單元320，並且第一圖像處理單元310在第二I/O模式下將包括第一子數據SD1和第二子數據SD2的第一數據D1輸出到存儲器MEM。
第二圖像處理單元320對包括第一子數據SD1和第二子數據SD2的第一數據D1執行第二圖像處理操作以生成第二數據D2。在實施例中，第二圖像處理單元320首先對第一子數據SD1執行第二圖像處理操作，然後對第二子數據SD2執行第二圖像處理操作。第二圖像處理單元320在第一I/O模式下從第一圖像處理單元310接收包括第一子數據SD1和第二子數據SD2的第一數據D1，並且第二圖像處理單元320在第二I/O模式下從存儲器MEM接收包括在第一子數據SD1和第二子數據SD2的第一數據D1。
在實施例中，當第一數據D1的I/O模式是第二I/O模式時存儲器控制器340被激活，並且當第一數據D1的I/O模式是第一I/O模式時存儲器控制器340被去激活。以下，將描述當第一數據D1的I/O模式是第二I/O模式時存儲器控制器340的操作。
在實施例中，存儲器控制器340控制存儲器MEM，以使第二圖像處理單元320能夠在第一子數據SD1被寫入存儲器MEM之後在第二子數據SD2被寫入存儲器MEM之前從存儲器MEM讀取第一子數據SD1。在實施例中，存儲器控制器340通過存儲器總線控制存儲器MEM。在實施例中，存儲器控制器340將寫入命令WCMD提供到存儲器總線，以將第一數據D1寫入存儲器MEM，並且存儲器控制器340將讀取命令RCMD提供到存儲器總線，以將存儲在存儲器MEM中的第一數據D1提供到第二圖像處理單元320。
將描述當圖像處理設備30是縮放模式且第一數據D1的I/O模式是第二I/O模式時存儲器控制器340的操作。首先，當第一圖像處理單元310完成對第一子圖像數據SID1的第一圖像處理操作時，存儲器控制器340向存儲器總線提供用於將第一圖像處理的第一子圖像數據(即，第一子數據SD1)寫入存儲器MEM的寫入命令WCMD。隨後，當從存儲器MEM接收到指示第一子數據SD1已寫入的響應時，存儲器控制器340將讀取命令RCMD提供到存儲器總線，以將第一子數據SD1提供到第二圖像處理單元320。隨後，當從存儲器MEM接收第一子數據SD1時，存儲器控制器340將第一子數據SD1提供到第二圖像處理單元320。因此，第二圖像處理單元320可以對第一子數據SD1執行第二圖像處理操作。
隨後，當第一圖像處理單元310完成對第二子圖像數據SID2的第一圖像處理操作時，存儲器控制器340向存儲器總線提供用於將第一圖像處理的第二子圖像數據(即，第二子數據SD2)寫入存儲器MEM的寫入命令WCMD。隨後，當從存儲器MEM接收到指示第二子數據SD2已寫入的響應時，存儲器控制器340將讀取命令RCMD提供到存儲器總線，以將第二子數據SD2提供到第二圖像處理單元320。隨後，當從存儲器MEM接收到第二子數據SD2時，存儲器控制器340將第二子數據SD2提供到第二圖像處理單元320。因此，第二圖像處理單元320對第二子數據SD2執行第二圖像處理操作。
如上所述，根據本實施例，存儲器控制器340在提供用於寫入第二子數據SD2的寫入命令WCMD之前向存儲器總線提供用於從存儲器MEM讀取第一子數據SD1的讀取命令RCMD。因此，在第一圖像處理單元310對第二子圖像數據SID2執行第一圖像處理操作時，第二圖像處理單元320對第一子數據SD1執行第二圖像處理操作。因此，儘管第一數據D1在第二I/O模式下被傳送，但是可以減小第一圖像處理單元310和第二圖像處理單元320之間的延遲，並且可以以與傳送第一數據D1的速度類似的速度向第二圖像處理單元320傳送第一數據D1。
在實施例中，第一圖像處理單元310和第二圖像處理單元320、數據I/O控制單元330和存儲器控制器340被集成到單晶片中。在實施例中，存儲器控制器340被集成到與第一圖像處理單元310和第二圖像處理單元320以及數據I/O控制單元330被集成到的晶片不同的單個晶片中。在實施例中，存儲器控制器320位於存儲器MEM內部。
圖10是示出根據本發明構思的示例性實施例的圖像處理設備30中的第一圖像處理單元310和第二圖像處理單元320的操作的示例的時序圖。
參照圖10，在第一圖像處理單元310正在處理第二幀時，圖像處理設備30接收縮放開始命令ZS。因此，圖像處理設備30的操作模式從正常模式改變為縮放模式。根據本實施例，在縮放模式下，數據I/O控制單元330將第一數據D1的I/O模式確定為第二I/O模式，即，DMA模式。因此，第一圖像處理單元310將第一數據D1輸出到存儲器MEM，第二圖像處理單元320從存儲器MEM接收第一數據D1。
IP2a是本實施例的比較示例，當圖像處理設備30不包括存儲器控制器340時，IP2a表示第二圖像處理單元320的操作。在這種情況下，第一圖像處理單元310完成對圖像數據ID的第一圖像處理操作，然後，第二圖像處理單元320執行對第一數據D1的第二圖像處理操作。例如，當第一圖像處理單元310對第四幀執行第一圖像處理操作時，第二圖像處理單元320對第三幀執行第二圖像處理操作。因此，在第一圖像處理單元310和第二圖像處理單元320之間發生幀延遲。
IP2b是本實施例，當圖像處理設備30包括存儲器控制器340時，IP2b表示第二圖像處理單元320的操作。在這種情況下，存儲器控制器340控制存儲器MEM，以使第二圖像處理單元320能夠在第一子數據SD1被寫入存儲器MEM之後在第二子數據SD2被寫入存儲器MEM之前從存儲器MEM讀取第一子數據SD1。因此，在第一圖像處理單元310和第二圖像處理單元320之間幾乎不發生延遲。如上所述，根據本實施例，即使當在縮放模式下使用第二I/O模式MD2(即，DMA模式)時，也類似於第一I/O模式MD1(即，直接模式)，在第一圖像處理單元310和第二圖像處理單元320之間幾乎不發生延遲。
圖11是示出根據本發明構思的示例性實施例的圖像處理設備40的框圖。
參照圖11，圖像處理設備40包括圖像信號處理器400和存儲器MEM。圖像信號處理器400包括第一圖像處理單元410、第二圖像處理單元420和數據I/O控制單元430。可以參照圖1的以上描述實現存儲器MEM。可以通過修改圖8的圖像處理設備30來實現根據本實施例的圖像處理設備40。以下，將主要描述圖11的實施例和圖8的實施例之間的差異以避免重複。
在本實施例中，第一圖像處理單元410包括第一存儲器控制器(MC1)411，第二圖像處理單元420包括第二存儲器控制器(MC2)421。在實施例中，在第一數據D1的第二I/O模式下(即，DMA模式)第一存儲器控制器411和第二存儲器控制器421被激活，並在第一數據D1的第一I/O模式下(即，直接模式)第一存儲器控制器411和第二存儲器控制器421被去激活。以下，將描述當第一數據D1的I/O模式是第二I/O模式時第一存儲器控制器411和第二存儲器控制器421的操作。
第一圖像處理單元410順序對第一子圖像數據SID1和第二子圖像數據SID2執行第一圖像處理操作以生成第一子數據SD1和第二子數據SD2。當生成第一子數據SD1時，第一存儲器控制器411將寫入命令和第一子數據SD1提供到存儲器MEM，以控制施加到第一子數據SD1的寫入操作。隨後，當生成第二子數據SD2時，第一存儲器控制器411將寫入命令和第二子數據SD2提供到存儲器MEM，以控制施加到第二子數據SD2的寫入操作。
第二圖像處理單元420順序對第一子數據SD1和第二子數據SD2執行第二圖像處理操作，以生成第二數據D2。當第一子數據SD1被寫入到存儲器MEM時，第二存儲器控制器421將讀取命令提供到存儲器MEM以讀取第一子數據SD1。隨後，當第二子數據SD2被寫入到存儲器MEM時，第二存儲器控制器421將讀取命令提供到存儲器MEM以讀取第二子數據SD2。
根據本實施例，第一存儲器控制器411和第二存儲器控制器421中的每一個控制存儲器MEM，以使第二圖像處理單元420能夠在第一子數據SD1被寫入存儲器MEM之後在第二子數據SD2被寫入存儲器MEM之前從存儲器MEM讀取第一子數據SD1並且對第一子數據SD1執行第二圖像處理操作。因此，根據本實施例，可以類似於圖10的IP2b實現第二圖像處理單元420的操作。
圖12是更加詳細地示出根據本發明構思的示例性實施例的圖11的第一存儲器控制器411和第二存儲器控制器421的框圖。
參照圖12，第一存儲器控制器411包括第一控制器4111和第一計數器4113，第二存儲器控制器421包括第二控制器4211、第二計數器4213和比較器4215。以下，將參照圖11和圖12描述第一存儲器控制器411和第二存儲器控制器421的操作。
當生成第一子數據SD1時，第一控制器4111將寫入命令WCMD提供到存儲器MEM。此外，在第一控制器4111將寫入命令WCMD提供到存儲器MEM之後，第一控制器4111增加第一計數器4113的計數值。第二計數器4213連接到第一計數器4113。在實施例中，在第一計數器4113的計數值增加的同時第二計數器4213的計數值增加。比較器4215將預定值與第二計數器4213的計數值進行比較，並且當預定值與第二計數器4213的計數值匹配時，比較器4215將預定輸出信號提供到第二控制器4211。第二控制器4211可以從比較器4215接收輸出信號，以將讀取命令RCMD提供到存儲器MEM。在實施例中，預定值是第二計數器4213的之前值，並且每當比較器4215確定計數器4213的當前值比之前值大一時，第二控制器4211將讀取命令RCMD提供到存儲器MEM以檢索存儲的子數據。
在本實施例中，第一計數器4113執行記錄第一子數據SD1被寫入存儲器MEM時的時間的記錄單元的功能，第二計數器4213和比較器均都執行感測第一子數據SD1被寫入存儲器MEM時的時間的感測單元的功能。然而，本實施例不限於此，並且可以根據實施例對記錄單元與感測單元的每一個的配置進行各種修改。
在本實施例中，第一存儲器控制器411和第二存儲器控制器421分別包括在第一圖像處理單元410和第二圖像處理單元420中，但是本實施例不限於此。在示例性實施例中，第一存儲器控制器411和第二存儲器控制器421位於第一圖像處理單元410和第二圖像處理單元420外部。在示例性實施例中，第一存儲器控制器411和第二存儲器控制器421被實現為位於第一圖像處理單元410或第二圖像處理單元420中的單個控制器。
圖13是示出根據本發明構思的示例性實施例的圖像處理設備50的框圖。
參照圖13，圖像處理設備50包括圖像信號處理器500和存儲器MEM。圖像信號處理器500包括第一圖像處理單元510、第二圖像處理單元520、數據I/O控制單元530和存儲器控制器540。可以參照圖1的以上描述實現存儲器MEM。可以通過修改圖8的圖像處理設備30來實現根據本實施例的圖像處理設備50。以下，將主要描述圖13的實施例和圖8的實施例之間的差異以避免重複。
當施加縮放結束命令時，數據I/O控制單元530將圖像處理設備50的操作模式確定為正常模式，並且將第一數據D1的I/O模式確定為第一I/O模式(例如，圖3的MD1)。此外，數據I/O控制單元530輸出第一I/O模式作為模式信號MD。然而，在施加縮放結束命令之前的縮放模式下，根據第二I/O模式(例如，圖2的MD2)經由存儲器MEM將第一數據D1輸入到第二圖像處理單元520，由於這個原因，在第一圖像處理單元510和第二圖像處理單元520之間發生延時。因此，第二圖像處理單元的操作可以比第一圖像處理單元510的操作慢。然而，當第一數據的D1的I/O模式根據模式信號MD立即改變為第一I/O模式時，發生尚未由第二圖像處理部520處理的幀的丟失。
根據本實施例，數據I/O控制單元530包括模式改變控制器(MC_CU)531(例如，控制器電路)。當施加縮放結束命令時，模式改變控制器531檢查第二圖像處理單元520的處理狀態，並且基於檢查結果改變第一數據D1的I/O模式。然而，本實施例不限於此。例如，模式改變控制器531可以位於數據I/O控制單元530外部。在實施例中，模式改變控制器531位於第一圖像處理單元510和第二圖像處理單元520中的至少一個的內部。
模式改變控制器531可以從存儲器控制器540接收寫入指針WP和讀取指針RP。在此，寫入指針WP可以指示已經由第一圖像處理單元510完成的寫入操作的存儲器MEM的位置。寫入指針WP可以指示存儲器MEM中已經完成寫入操作的區域的地址。此外，讀取指針RP可以指示已經由第二圖像處理單元520完成的讀取操作的存儲器MEM的位置。讀取指針RP可以指示存儲器MEM中已經完成讀取操作的區域的地址。
當施加縮放結束命令時，模式改變控制器531將寫入指針WP與讀取指針RP進行比較，並且當寫入指針WP與讀取指針RP匹配時，模式改變控制器531將第一數據D1的I/O模式從第二I/O模式改變為第一I/O模式。在本實施例中，模式改變控制器531在空閒時間段(例如，圖6的Vblank)執行將寫入指針WP與讀取指針RP進行比較的比較操作以及I/O模式改變操作。例如，初始將寫入指針WP和讀取指針RP設置在存儲器MEM內的相同位置，然後當第一數據D1的最後部分(例如，子數據SD2)被寫入到存儲器MEM時，寫入指針WP前進到下一個位置。如果隨後施加縮放結束命令，則在將I/O模式設置到第一I/O模式之前，模式改變控制器531可以等待直到讀取指針RP也前進到下一個位置為止。
圖14是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖。
參照圖14，根據實施例的圖像處理方法可以是由圖像處理設備在時間上連續執行的方法，例如，根據實施例的圖像處理方法可以包括由圖13的圖像處理設備50按時間順序執行的操作。詳細地，根據實施例的圖像處理方法可以包括由圖13的模式改變控制器531按時間順序執行的操作。以下，將參照圖13和圖14描述對應於模式改變控制器531的操作的圖像處理方法。
在操作S110，模式改變控制器531接收指示第一I/O模式的模式信號。這裡，第一I/O模式可以是直接模式。例如，數據I/O控制單元530生成模式信號MD並將生成的模式信號MD提供到模式改變控制器531。然而，本實施例不限於此，模式改變控制器531可以接收縮放結束命令以執行下面將描述的操作。
在操作S130，模式改變控制器531將寫入指針WP與讀取指針RP進行比較。模式改變控制器531可以在空閒周期將寫入指針WP與讀取指針RP進行比較。在操作S150，模式改變控制器531確定寫入指針WP與讀取指針RP是否匹配。當確定寫入指針WP與讀取指針RP匹配時，執行操作S170，並且當確定寫入指針WP與讀取指針RP不匹配時，執行操作S190。
在操作S170，模式改變控制器531將數據I/O式改變為第一I/O模式。當確定寫入指針WP與讀取指針RP匹配時，模式改變控制器531確定第二圖像處理單元520已經讀取由第一圖像處理單元510寫入存儲器MEM的相應幀的所有第一數據D1。換句話說，模式改變控制器531確定第二圖像處理單元520已經完成了讀取第一數據D1的讀取操作。因此，模式改變控制器531允許第一數據D1根據第一I/O模式在第一圖像處理單元510和第二圖像處理單元520之間傳送。
在操作S190，模式改變控制器531維持第二I/O模式。當確定寫入指針WP與讀取指針RP不匹配時，模式改變控制器531確定第二圖像處理單元520尚未讀取由第一圖像處理單元510寫入存儲器MEM的相應幀的所有第一數據D1。換句話說，模式改變控制器531確定第二圖像處理單元520尚未完成讀取第一數據D1的讀取操作。因此，模式改變控制器531允許第一數據D1繼續根據第二I/O模式在第一圖像處理單元510和第二圖像處理單元520之間傳送，從而防止幀丟失。
圖15示出根據本發明構思的示例性實施例的圖像處理設備50中的模式改變控制邏輯CL1的示例。
圖像處理設備50包括配備有圖15的模式改變控制邏輯CL1的任意硬體塊。例如，圖13的模式改變控制器531可以是配備有模式改變控制邏輯CL1的硬體塊。在當前時間段是垂直空閒時間段且I/O模式被設置為直接模式的情況下，當寫入指針與讀取指針匹配時，根據本實施例的模式改變控制邏輯CL1將I/O模式確定為直接模式，當寫入指針與讀取指針不匹配時，模式改變控制邏輯CL1將I/O模式確定為DMA模式。
圖16是示出根據本發明構思的示例性實施例的圖像處理設備60的框圖。
參照圖16，圖像處理設備60包括圖像信號處理器600和存儲器MEM。圖像信號處理器600包括第一圖像處理單元610、第二圖像處理單元620和數據I/O控制單元630。可以參照圖1的以上描述實現存儲器MEM。可以通過修改圖11的圖像處理設備40來實現根據本實施例的圖像處理設備60。以下，將主要描述圖16的實施例和圖11的實施例之間的差異以避免重複。
在本實施例中，第一圖像處理單元610包括第一存儲器控制器(MC1)611和第一模式改變控制器(MC_CU1)613，第二圖像處理單元620包括第二存儲器控制器(MC2)621和第二模式改變控制器(MC_CU2)623。第一存儲器控制器611和第二存儲器控制器621可以分別以基本上類似於圖11的第一存儲器控制器411和第二存儲器控制器421的方式被實現。
第一模式改變控制器613從第一存儲器控制器611接收寫入指針WP。此外，第一模式改變控制器613從第二存儲器控制器621或第二模式改變控制器623接收讀取指針RP。當施加縮放結束命令時，第一模式改變控制器613將接收的寫入指針WP與接收的讀取指針RP進行比較，並且當寫入指針WP與讀取指針RP匹配時，第一模式改變控制器613將第一數據D1的I/O模式從第二I/O模式(例如，圖3的MD2)改變為第一I/O模式(例如，圖3的MD1)。在本實施例中，第一模式改變控制器613在空閒時間段(例如，圖6的Vblank)執行將寫入指針WP與讀取指針RP進行比較的比較操作以及I/O模式改變操作。
第二模式改變控制器623從第二存儲器控制器621接收讀取指針RP。此外，第二模式改變控制器623從第一存儲器控制器611或第一模式改變控制器613接收寫入指針WP。當施加縮放結束命令時，第二模式改變控制器623將接收的寫入指針WP與接收的讀取指針RP進行比較，並且當寫入指針WP與讀取指針RP匹配時，第二模式改變控制器623將第一數據D1的I/O模式從第二I/O模式改變為第一I/O模式。在本實施例中，第二模式改變控制器623在空閒時間段(例如，圖6的Vblank)執行將寫入指針WP與讀取指針RP進行比較的比較操作以及I/O模式改變操作。
如上所述，根據本實施例，可以在第一模式改變控制器613和第二模式改變控制器623中的每一個中設置圖15所示的模式改變控制邏輯CL1。然而，本實施例不限於此。在其他實施例中，可以在第一模式改變控制器613或第二模式改變控制器623中設置圖15所示的模式改變控制邏輯CL1。
圖17是示出根據本發明構思的示例性實施例的圖像處理設備70的框圖。
參照圖17，圖像處理裝置70包括圖像信號處理器700和存儲器MEM。圖像信號處理器700包括第一圖像處理單元710、第二圖像處理單元720和數據I/O控制單元730。可以參照圖1的以上描述實現存儲器MEM。可以通過修改圖11的圖像處理設備40來實現根據本實施例的圖像處理設備70。以下，將主要描述圖17的實施例和圖11的實施例之間的差異以避免重複。
在本實施例中，第一圖像處理單元710包括第一存儲器控制器(MC1)711，第二圖像處理單元720包括第二存儲器控制器(MC2)721、模式改變控制器(MC_CU)723和內部緩衝器(I_BUF)725。內部緩衝器725可以任意地存儲從存儲器MEM讀取的第一數據D1。第一存儲器控制器711和第二存儲器控制器721可以分別以基本上類似於圖11的第一存儲器控制器411和第二存儲器控制器421的方式被實現。
模式改變控制器723從第二存儲器控制器721接收讀取指針RP。這裡，讀取指針RP可以指示已經由第二圖像處理單元720完成的讀取操作的存儲器MEM的位置。讀取指針RP可以指示存儲器MEM中已經完成讀取操作的區域的地址。因此，模式改變控制器723可以檢查針對存儲在存儲器MEM中的第一數據D1執行第二圖像處理單元720的讀取操作的範圍。詳細地，模式改變控制器723可以檢查讀取指針RP，以確定第二圖像處理單元720是否已經讀取對應於預定圖像大小(例如，縮放區)的所有第一數據D1。
此外，模式改變控制器723從內部緩衝器725接收緩衝器指針BP。這裡，緩衝器指針BP可以指示已經由第二圖像處理單元720完成對存儲在內部緩衝器725中的第一數據D1的第二圖像處理操作的位置。緩衝器指針BP可以指示內部緩衝器725中已經完成第二圖像處理操作的區域的地址。因此，模式改變控制器723可以確定內部緩衝器725是否為空，並且因此可以確定針對從存儲器MEM讀取的第一數據D1是否已經完成第二圖像處理操作。
當施加縮放結束命令時，模式改變控制器723基於讀取指針RP和緩衝器指針BP將第一數據D1的I/O模式從第二I/O模式改變為第一I/O模式。在實施例中，模式改變控制器723基於讀取指針RP確定針對第一數據D1是否已經完成讀取操作，並且基於緩衝器指針BP確定針對讀取的第一數據D1是否已經完成第二圖像處理操作。當確定針對第一數據D1已經完成讀取操作和第二圖像處理操作時，模式改變控制器723將第一數據D1的I/O模式從第二I/O模式改變為第一I/O模式。
圖18是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖。
參照圖18，根據實施例的圖像處理方法可以是由圖像處理設備按時間順序執行的方法，例如，可以包括由圖17的圖像處理設備70按時間順序執行的操作。詳細地，根據實施例的圖像處理方法可以包括由圖17的模式改變控制器723按時間順序執行的操作。以下，將參照圖17和圖18描述對應於模式改變控制器723的操作的圖像處理方法。
在操作S210，模式改變控制器723接收指示第一I/O模式的模式信號。這裡，第一I/O模式可以是直接模式。例如，數據I/O控制單元730生成模式信號MD，並且將生成的模式信號MD提供給模式改變控制器723。然而，本實施例不限於此，並且模式改變控制器723可以代替接收縮放結束命令以執行下面將要描述的操作。
在操作S220，模式改變控制器723檢查內部緩衝器725的緩衝器指針BP。在操作S230，模式改變控制器723基於緩衝器指針確定內部緩衝器725是否為空。當確定內部緩衝器725為空時，執行操作S260，並且當確定內部緩衝器725不為空時，執行操作S270。
在操作S240，模式改變控制器723檢查讀取指針RP。在操作S250，模式改變控制器723基於讀取指針RP確定第一數據D1是否已經被讀取。當確定第一數據D1已經被讀取時，執行操作S260，並且當確定第一數據D1尚未被完全讀取時，執行操作S270。
在操作S260，模式改變控制器723將第一數據D1的I/O模式從第二I/O模式改變為第一I/O模式。當內部緩衝器725為空且第一數據D1已經被讀取時，第一圖像處理單元710確定第二圖像處理單元720已經讀取由第一圖像處理單元710寫入存儲器MEM的相應幀的所有第一數據D1，並且還確定第二圖像處理單元720已經完成對第一數據D1的第二圖像處理操作。因此，模式改變控制器723允許第一數據D1根據第一I/O模式在第一圖像處理單元710和第二圖像處理單元720之間傳送。
在操作S270，模式改變控制器723維持第一數據D1的I/O模式為第二I/O模式。當內部緩衝器725不為空時，模式改變控制器723確定第二圖像處理單元720尚未完成對第一數據D1的第二圖像處理操作。因此，模式改變控制器723允許第一數據D1繼續根據第二I/O模式在第一圖像處理單元710和第二圖像處理單元720之間傳送，從而防止幀丟失。
圖19示出根據本發明構思的示例性實施例的圖17的圖像處理設備70中的模式改變控制邏輯CL2的示例。
圖像處理設備70包括配備有圖19的模式改變控制邏輯CL2的任意硬體塊。例如，圖18的模式改變控制器723可以是配備有模式改變控制邏輯CL2的硬體塊。在當前時間段是垂直空閒時間段且I/O模式被設置為直接模式的情況下，當第二圖像處理單元720的內部緩衝器725為空且第二圖像處理單元720已經讀取對應於預定圖像區的所有第一數據D1時，根據本實施例的模式改變控制邏輯CL2將I/O模式確定為直接模式，否則，模式改變控制邏輯CL2將I/O模式確定為DMA模式。
圖20是示出根據本發明構思的示例性實施例的圖像處理設備80的框圖。
參照圖20，圖像處理設備80包括圖像信號處理器800和存儲器MEM。圖像信號處理器800包括第一圖像處理單元810、第二圖像處理單元820、數據I/O控制單元830和時鐘模塊840。可以參照圖1的以上描述實現存儲器MEM。可以通過修改圖1的圖像處理設備10來實現根據本實施例的圖像處理設備80。以下，將主要描述圖12的實施例和圖1的實施例之間的差異以避免重複。
在實施例中，第一圖像處理單元810和第二圖像處理單元820、數據I/O控制單元830和時鐘模塊840均被實現為SoC。在實施例中，第一圖像處理單元810和第二圖像處理單元820、數據I/O控制單元830和時鐘模塊840位於應用處理器內。在實施例中，時鐘模塊840位於圖像信號處理器800外部。
時鐘模塊840(例如，時鐘電路)將時鐘信號提供到包括在在圖像信號處理器800中的多個IP。在實施例中，時鐘模塊840提高提供到第二圖像處理單元820的時鐘信號的頻率。在實施例中，當施加縮放結束命令時，時鐘模塊840提高提供到第二圖像處理單元820的時鐘信號的頻率。
圖21是示出根據本發明構思的示例性實施例的根據圖20的時鐘模塊840的控制第一圖像處理單元810和第二圖像處理單元820的操作的時序圖。
參照圖20和圖21，在第一圖像處理單元810對第四幀執行第一圖像處理操作時，圖像處理設備80接收縮放結束命令ZE。例如，當在對應於縮放模式的第二I/O模式(即，在DMA模式)下的第二圖像處理單元820的操作尚未完成的狀態下，在第五幀和第五幀之後的幀中第一數據D1的I/O模式被改變為第一I/O模式(即直接模式)時，第二圖像處理單元820不能對與已經由第一圖像處理單元810執行第一圖像處理操作的第四幀和第五幀對應的第一數據D1執行第二圖像處理操作。由於這個原因，在第四幀和第五幀中發生幀丟失。
IP2c表示當施加縮放結束命令ZE時在時鐘模塊840將具有第一時鐘頻率的時鐘信號提供到第二圖像處理單元820的情況下第二圖像處理單元820的操作。在這種情況下，第四幀到第六幀之間的空閒時間段被縮短，並且第二處理單元820的操作速度可提高。根據實施例，在第六幀和第七幀之間的空閒時間段檢查到第二圖像處理單元820已經對第六幀執行了第二圖像處理操作。因此，在第七幀和第七幀之後的幀中，第一數據D1在第一I/O模式下(即，直接模式)在第一圖像處理單元810和第二圖像處理單元820之間傳送。
IP2d表示當施加縮放結束命令ZE時在時鐘模塊840將具有高於第一時鐘頻率的第二時鐘頻率的時鐘信號提供到第二圖像處理單元820的情況下第二圖像處理單元820的操作。在這種情況下，第四幀和第五幀之間的空閒時間段被縮短，並且第二處理單元820的操作速度可能會進一步提高。根據實施例，在第五幀和第六幀之間的空閒時間段檢查到第二圖像處理單元820已經對第五幀執行了第二圖像處理操作。因此，在第六幀和第六幀之後的幀中，第一數據D1在第一I/O模式下(即，直接模式)在第一圖像處理單元810和第二圖像處理單元820之間傳送。
根據上述實施例，由於時鐘模塊840提高提供到第二圖像處理單元820的時鐘頻率，因此在施加縮放結束命令ZE之後第一數據D1的I/O模式被改變為第一I/O模式的時間變得更早。因此，總體考慮圖像處理設備80的操作狀態，時鐘模塊840可以確定提供到第二圖像處理單元820的時鐘頻率，並且可以將具有確定的時鐘頻率的時鐘信號提供到第二圖像處理單元820。
圖22是示出根據本發明構思的實施例的圖像處理設備中的第一和第二圖像處理單元的操作的時序圖。
參照圖22，根據實施例的圖像處理設備(例如，10至80)可以包括第一圖像處理單元IP1和第二圖像處理單元IP2，並且由第一圖像處理單元IP1生成的第一數據可以根據像處理設備的操作模式(例如，直接模式或DMA模式)被傳送到第二圖像處理單元IP2。
在正常模式下，第一圖像處理單元IP1根據直接模式將第一數據直接傳送到第二圖像處理單元IP2。因此，可以減小第一圖像處理單元IP1和第二圖像處理單元IP2之間的延遲和功耗。
在縮放模式下，第一圖像處理單元IP1根據DMA模式經由存儲器將第一數據傳送到第二圖像處理單元IP2。第一圖像處理單元IP1可以順序生成第一子數據和第二子數據。圖像處理設備可以控制存儲器，以使第二圖像處理單元IP2在第一子數據寫入到存儲器之後且在第二子數據寫入到存儲器之前讀取存儲在存儲器中的第一子數據。因此，類似於直接模式，在DMA模式下第一數據減小延遲，從而防止在正常模式改變為縮放模式的操作中幀被延遲。
例如，圖像處理設備可以包括配備有圖15或圖19的模式改變控制邏輯的硬體，因此可以防止當縮放模式改變為正常模式時發生的幀丟失。此外，圖像處理設備可以提高提供到第二圖像處理單元IP2的時鐘信號的頻率，從而在施加縮放結束命令之後提前第一數據的I/O模式從DMA模式改變為直接模式的時間。
如上所述，根據本實施例，由於基於圖像處理設備的操作模式動態確定包括在圖像處理設備中的IP之間的數據I/O模式，因此可以減少功耗，可以減少使用的存儲器的容量，並且可以減少延遲。此外，可以防止I/O模式從直接模式改變為DMA模式時的幀延遲，並且可以防止當I/O模式從DMA模式改變為直接模式時發生的幀丟失。
圖23是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖。
參照圖23，可以由根據上述實施例之一的圖像處理設備按時間順序執行根據實施例的圖像處理方法。因此，以上參照圖1至圖22描述的細節可以應用到本實施例。
在操作S310，通過對圖像數據執行第一圖像處理操作生成第一數據。在操作S330，基於第一數據的I/O模式，將第一數據輸出到第二圖像處理單元或存儲器。在操作S350，基於第一數據的I/O模式，從第一圖像處理單元或存儲器接收第一數據。在操作S370，通過對第一數據執行第二圖像處理操作生成第二數據。
圖24是示出根據本發明構思的示例性實施例的圖像處理方法的流程圖。
參照圖24，可以由根據上述實施例之一的圖像處理設備按時間順序執行根據實施例的圖像處理方法。因此，參照圖1至圖22描述的細節可以應用到本實施例。
在操作S410，基於圖像處理設備的操作模式確定第一數據的I/O模式。在操作S430，通過對圖像數據執行第一圖像處理操作生成第一數據，並且基於I/O模式輸出第一數據。在操作S450，基於I/O模式接收第一數據，並且通過對第一數據執行第二圖像處理操作生成第二數據。
圖25是示出根據本發明構思的示例性實施例的應用處理器900的框圖。
參照圖25，應用處理器900包括多級互連總線910、連接到多級互連總線910的中央處理器(CPU)920、多媒體單元930、存儲器裝置(DRAM)940和外圍電路950。應用處理器900可以由各種類型的處理器實現，並且例如，可以被實現為SoC。
可以使用應用基於總線標準的協議的總線實現多級互連總線910。例如，總線標準可以使用ARM的先進微控制器總線架構(AMBA)協議。AMBA協議的總線類型可以包括先進高性能總線(AHB)、先進外圍總線(APB)、先進可擴展接口(AXI)、AX14或AXI一致性擴展(ACE)。上述總線類型中的AXI是IP之間的接口協議，並且提供多個突出(outstanding)地址功能和數據交叉功能。此外，其它類型的協議也可以應用到多層互連總線910，諸如SONICs Inc.的nNetwork、IBM的CoreConnect和/或OCP-IP的開放核心協議。
圖25示出的多個IP中的每一個IP可以被實現為執行唯一操作的功能塊。例如，CPU 920可以對應於主IP，並且可以控制應用處理器900的整體操作。此外，多媒體單元930可以包括根據上述實施例之一的圖像信號處理器(例如，100、200、300、400、500、600、700或800)。此外，多媒體單元930可以根據上述實施例之一執行圖像處理方法。存儲器裝置940可以是用於臨時存儲關於應用處理器900的操作的各種信息的存儲器，例如，存儲器裝置940可以包括DRAM。此外，外圍電路950可以包括用於與外部源接口的各種接口，並且還可以包括用於實現應用處理器900的其他功能的各種外圍裝置。例如，外圍電路950可以包括除了DRAM之外的其他存儲器，或者可以包括用於訪問外部存儲裝置的元件。
圖26是示出根據本發明構思的示例性實施例的電子裝置1000的框圖。
參照圖26，電子裝置1000包括圖像傳感器1100、應用處理器1200、存儲器1300和顯示器1400。可以使用獨立的半導體晶片實現圖像傳感器1100，並且還可以使用與應用處理器1200組合的一個半導體晶片實現圖像傳感器1100。圖像傳感器1100可以是將光學像轉換成電信號的半導體裝置，例如，可以是CMOS圖像傳感器。
應用處理器1200包括CPU 1210、圖像信號處理器(ISP)1220和顯示控制器1230。ISP 1220可以是上述圖像信號處理器100、200、300、400、500、600、700和800中的一個。應用處理器1200可以包括在根據上述實施例之一的圖像信號處理器中(例如，100、200、300、400、500、600、700或800)。
顯示器1400可以根據顯示控制器1230的控制顯示圖像。可以使用液晶顯示器(LCD)、薄膜電晶體液晶顯示器(TFT-LCD)、發光二極體(LED)顯示器、有機發光二極體(OLED)顯示器、有源矩陣OLED(AMOLED)顯示器等實現顯示器1400。
圖27是示出根據本發明構思的示例性實施例的電子系統2000和接口的框圖。
參照圖27，可以使用能夠使用或支持移動行業處理器接口(MIPI)的數據處理裝置(例如，行動電話、個人數字助理(PDA)、可攜式多媒體播放器(PMP)或智慧型電話)實現電子系統2000。電子系統2000包括應用處理器2010、圖像傳感器2040和顯示器2050。可以根據參照圖1至圖26描述的實施例實現應用處理器2010。
應用處理器2010的相機串行接口(CSI)主機2012通過CSI與圖像傳感器2040的CSI裝置2041執行串行通信。在這種情況下，CSI主機2012可以包括解串器，CSI裝置2041可以包括光學串行器。光學串行器可以包括多個光學調製器。例如，每個光學調製器可以被配置為接收圖像數據的比特並且示出表示相應比特的值的光脈衝。
應用處理器2010的顯示器串行接口(DSI)主機2011可以通過DSI與顯示器2050的DSI裝置2051執行串行通信。在這種情況下，DSI主機2011可以包括光學串行器，DSI裝置2051可以包括光學解串器。
電子系統2000還可以包括用於與應用處理器2010執行通信的射頻(RF)晶片2060。電子系統2000的物理(PHY)2013和RF晶片2060的PHY 2061可以根據MIPI DigRF在其間發送或接收數據。電子系統2000還可以包括全球定位系統(GPS)2020、存儲裝置2070、麥克風2080、動態隨機存取存儲器(DRAM)2085和揚聲器2090。此外，電子系統2000可以通過使用用於微波接入(WiMAX)2030、無線區域網路(WLAN)2100和超寬帶(UWB)2110的全球互通執行通信。
可以使用各種類型的封裝實現根據上述實施例的應用處理器或圖像處理設備。例如，可以通過使用封裝(諸如疊層封裝(PoP)、球柵陣列(BGA)、晶片級封裝(CSP)、塑料有引線晶片載體(PLCC)、塑料雙列直插式封裝(PDIP)、以疊片包裝裸片(die)、以晶圓形成裸片、板上晶片(COB)、陶瓷雙列直插式封裝(CERDIP)、塑料度量四方扁平封裝(MQFP)、薄型四方扁平封裝(TQFP)、小外形(SOIC)、緊縮小型封裝(SSOP)、薄型小外形(TSOP)、系統級封裝(SIP)、多晶片封裝(MCP)、晶圓級製造的封裝(WFP)和/或晶圓級處理的堆疊封裝(WSP))安裝應用處理器或圖像處理設備中的至少一些元件。
儘管已經參照本發明構思的實施例具體示出和描述了本發明構思，但是將理解，在不脫離本發明構思的實施例的情況下，可以對其進行形式和細節的各種改變。