包括可配置的圖像處理管線的片上系統及包含其的系統的製作方法

2023-04-26 23:05:26 2

包括可配置的圖像處理管線的片上系統及包含其的系統的製作方法
【專利摘要】提供一種包括可配置的圖像處理管線的片上系統(SoC)以及包括該SoC的系統。所述SoC包括：總線；被配置為連接到總線並且處理圖像數據的第一圖像處理模塊；第一圖像處理階段，被配置為響應於第一控制信號通過第一旁路通路將第一圖像數據或從總線接收到的第二圖像數據發送到總線和第一圖像處理模塊中的至少一個；以及第二圖像處理階段，被配置為響應於第二控制信號通過第二旁路通路和第二縮放器通路中的一個將從第一圖像處理模塊接收到的第三圖像數據或從總線接收到的第四圖像數據發送到總線。
【專利說明】包括可配置的圖像處理管線的片上系統及包含其的系統
[0001] 相關申請的交叉引用
[0002] 此申請要求2013年10月2日提交的韓國專利申請No. 10-2013-0117682的優先 權，其通過引用全面合併在本文中。

【技術領域】
[0003] 本發明構思的實施例涉及一種片上系統（SoC)，並且更具體地，涉及一種包括可根 據使用目的被配置的圖像處理管線（pipeline)的SoC以及包括該SoC的系統。

【背景技術】
[0004] 為了將具有給定解析度的圖像數據轉換成為具有不同於該給定解析度的解析度 的圖像數據，需要執行用於改變解析度的方法，例如，圖像縮放方法。為了執行圖像縮放方 法，包括縮放器（scaler)的圖像處理設備需要從存儲了給定解析度的圖像數據的存儲器 中讀取圖像數據。因為每當執行圖像縮放方法時圖像處理設備需要從存儲器讀取圖像數 據，所以存儲器等待時間（latency)，S卩，圖像處理設備從存儲器讀取圖像數據花費的時間 是顯著的。此外，當諸如智慧型電話的移動通信設備包括圖像處理設備時，縮放器的功耗影響 移動通信設備的功耗。


【發明內容】

[0005] 根據本發明構思的一方面，提供一種片上系統（SoC)，包括：總線；被配置為連接 到總線並且處理圖像數據的第一圖像處理模塊；第一圖像處理階段，被配置為響應於第一 控制信號將第一圖像數據或從總線接收到的第二圖像數據（例如，通過第一旁路通路）發 送到總線和第一圖像處理模塊中的至少一個；以及第二圖像處理階段，被配置為響應於第 二控制信號通過第二旁路通路和第二縮放器通路中的一個將從第一圖像處理模塊接收到 的第三圖像數據或從總線接收到的第四圖像數據發送到總線。
[0006] 當第一圖像處理階段還包括第一縮放器通路時，第一圖像處理階段可以響應於包 括第一控制信號的第三控制信號通過第一旁路通路和第一縮放器中的一個將第一圖像數 據或第二圖像數據發送到總線和第一圖像處理模塊中的至少一個。
[0007] 第三圖像數據可以與從第一圖像處理階段輸出的圖像數據或通過總線接收到的 圖像數據有關。
[0008] 包括在第一縮放器通路中的第一縮放器的縮放比率（或第一預定輸出解析度）可 以不同於包括在第二縮放器通路中的第二縮放器的縮放比率（或第二預定輸出解析度）。
[0009] SoC可以還包括被配置為生成第二控制信號和第三控制信號的寄存器。可替換地， SoC可以還包括被配置為運行與第二控制信號和第三控制信號的生成有關的軟體的中央處 理單元（CPU)。
[0010] SoC可以還包括連接到總線的第二圖像處理模塊和第三圖像處理階段中的一個。 第二圖像處理階段可以使用開關將通過第二旁路通路和第二縮放器通路中的一個發送的 圖像數據發送到第二圖像處理模塊和第三圖像處理階段中的至少一個。
[0011] 根據本發明構思的一方面，提供一種SoC，包括：總線；被配置為連接到總線並且 處理圖像數據的第一圖像處理模塊；第一圖像處理階段，被配置為響應於第一控制信號通 過第一旁路通路和第一縮放器通路中的至少一個將第一圖像數據或從總線接收到的第二 圖像數據發送到總線和第一圖像處理模塊中的至少一個；以及第二圖像處理階段，被配置 為響應於第二控制信號通過第二旁路通路將從第一圖像處理模塊接收到的第三圖像數據 或從總線接收到的第四圖像數據發送到總線。
[0012] 當第二圖像處理階段還包括第二縮放器通路時，第二圖像處理階段可以響應於包 括第二控制信號的第三控制信號通過第二旁路通路和第二縮放器通路中的一個將第三圖 像數據或第四圖像數據發送到總線。
[0013] 包括在第一縮放器通路中的第一縮放器的縮放比率可以不同於包括在第二縮放 器通路中的第二縮放器的縮放比率。
[0014] SoC可以還包括被配置為生成第一控制信號和第三控制信號的寄存器。可替換地， SoC可以還包括被配置為運行與第一控制信號和第三控制信號的生成有關的軟體的CPU。
[0015] SoC可以還包括被配置為控制第一圖像處理模塊和總線之間的連接的開關。
[0016] 根據本發明構思的一方面，提供一種圖像處理系統，其包括多個圖像數據源以及 被配置為控制圖像數據源的操作的應用處理器。
[0017] 應用處理器可以包括：總線；被配置為連接到總線並且處理圖像數據的第一圖像 處理模塊；第一圖像處理階段，被配置為響應於第一控制信號（例如，通過第一旁路通路） 將從圖像數據源中的一個輸出的第一圖像數據或從總線接收到的第二圖像數據發送到總 線和第一圖像處理模塊中的至少一個；以及第二圖像處理階段，被配置為響應於第二控制 信號通過第二旁路通路和第二寄存器通路中的一個將從第一圖像處理模塊接收到的第三 圖像數據或從總線接收到的第四圖像數據發送到總線。
[0018] 當第一圖像處理階段還包括第一縮放器通路時，第一圖像處理階段可以響應於包 括第一控制信號的第三控制信號通過第一旁路通路和第一縮放器中的一個將第一圖像數 據或第二圖像數據發送到總線和第一圖像處理模塊中的至少一個。
[0019] 根據本發明構思的一方面，提供一種圖像處理系統，其包括多個圖像數據源以及 被配置為控制圖像數據源的操作的應用處理器。
[0020] 應用處理器可以包括：總線；被配置為連接到總線並且處理圖像數據的第一圖像 處理模塊；第一圖像處理階段，被配置為響應於第一控制信號通過第一旁路通路和第一縮 放器通路中的至少一個將第一圖像數據或從總線接收到的第二圖像數據發送到總線和第 一圖像處理模塊中的至少一個；以及第二圖像處理階段，被配置為響應於第二控制信號通 過第二旁路通路將從第一圖像處理模塊接收到的第三圖像數據或從總線接收到的第四圖 像數據發送到總線。
[0021] 當第二圖像處理階段還包括第二縮放器通路時，第二圖像處理階段可以響應於包 括第二控制信號的第三控制信號通過第二旁路通路和第二縮放器通路中的一個將第三圖 像數據或第四圖像數據發送到總線。

【專利附圖】

【附圖說明】
[0022] 通過參照附圖詳細描述本發明構思的示例性實施例，本發明構思的上述及其他特 徵將對所屬【技術領域】的專業人員變得更加清楚，附圖中：
[0023] 圖1是根據本發明構思的實施例的圖像處理系統的框圖；
[0024] 圖2是圖1中示出的可配置的圖像處理管線的框圖；
[0025] 圖3是根據本發明構思的實施例的圖像處理系統的框圖；
[0026] 圖4是圖3中示出的可配置的圖像處理管線的框圖；
[0027] 圖5到圖8是示出圖1或圖3中示出的可配置的圖像處理管線的配置操作的概念 圖；
[0028] 圖9是用於說明圖1或圖3中示出的可配置的圖像處理管線相對於使用目的的操 作模式的流程圖；以及
[0029] 圖10是示出圖1或圖3中示出的可配置的圖像處理管線的操作的流程圖。

【具體實施方式】
[0030] 現在將參照附圖更全面地描述本發明構思，附圖中示出了本發明構思的實施例。 然而，本發明構思可以以許多不同的形式來具體實現，不應被解釋為局限於此處闡述的實 施例。相反，提供這些實施例是為了使本公開全面和完整，並向本領域技術人員充分傳達本 發明構思的範圍。附圖中，為清楚起見，可能放大了層和區域的大小及相對大小。相同的參 考標記始終指代相同的元件。
[0031] 將會理解，當一個元件被稱為"連接"或"耦接"到另一元件時，它可以直接連接或 耦接到所述另一元件，或者也可以存在居間的元件。相反，當一個元件被稱為"直接連接"或 "直接耦接"到另一元件時，不均在居間的元件。此處使用的術語"和/或"包括相關列出項 目中的任何一個以及其中的一個或多個的所有組合，並且術語"和/或"可以縮寫為"/"。
[0032] 將會理解，儘管此處可能使用術語第一、第二等等來描述不同的元件，但這些元件 不應受到這些術語的限制。這些術語僅僅用於將一個元件與另一個元件區分開來。例如， 第一信號可以被稱為第二信號，類似地，第二信號也可以被稱為第一信號，這樣做不會偏離 本公開的教導。
[0033] 此處使用的術語僅僅是為了描述特定實施例，並非意圖限制本發明構思。與此處 使用的，單數形式"一"、"一個"和"該"意圖也包括複數形式，除非上下文明確給出相反指 示。還將理解，當在本說明書中使用詞語"包括"和/或"包含"時，表明存在所描述的特徵、 區域、整體、步驟、操作、元件和/或組件，但不排除存在或附加一個或多個其他特徵、區域、 整體、步驟、操作、元件、組件和/或它們的組合。
[0034] 除非另外定義，否則此處使用的所有術語（包括技術術語和科學術語）所具有的 含義與本發明構思所屬領域的普通技術人員通常理解的含義相同。
[0035] 圖1是根據本發明構思的實施例的圖像處理系統100-1的框圖。所述圖像處理系 統100-1可以處理（例如，縮放）圖像數據（例如，靜止圖像數據或運動圖像數據）。圖像 處理系統100-1包括處理器200-1、相機300、外部存儲器400和顯示器500。
[0036] 圖像處理系統100-1可以實現為行動電話、智慧型電話、平板個人計算機（PC)、移動 網際網路設備（MID)、數字相機、可穿戴計算機、物聯網（IoT)設備、萬物網（IoE)設備、或視頻 錄像機。圖像處理系統100-1可以支持用於計算攝影的計算平臺，例如，相機2. 0。
[0037] 處理器200-1可以處理（例如，縮放）通過至少一個圖像處理管線 (pipeline) 210-1A和/或210-1B從多個圖像數據源（例如，內部存儲器221、至少一個多 媒體硬體（H/W)智慧財產權（IP) 260-1和/或260-2 (通過260共同地表示）、無線接口 270、 相機300以及外部存儲器400)中的一個輸出的圖像數據，並且可以向內部存儲器221、至 少一個多媒體H/W IP 260、無線接口 270、外部存儲器400和/或顯示器500輸出處理（例 如，縮放）過的圖像數據。相機300可以是使用互補金屬氧化物半導體（CMOS)技術製造的 圖像傳感器。
[0038] 處理器200-1可以實現為集成電路（IC)或片上系統（SoC)。處理器200-1可以 是應用處理器或移動應用處理器。處理器200-1包括中央處理單元（CPU) 203、圖形處理單 元（6?扔205、相機接口 207、至少一個可配置的圖像處理管線210-認和/或210-18(通過 210-1共同地表示）、內部存儲器控制器220、內部存儲器221、存儲控制器230、寄存器240、 有限態自動機（FSM) 241、顯示控制器250、至少一個多媒體H/W IP 260以及無線接口 270。
[0039] CPU 203 可以通過總線 201 控制元件 205、210-1、220、230、240、241、250 和 260 中 的至少一個的操作。CPU 203可以運行為控制處理器200-1或至少一個應用所必需的操作 系統（OS)。CPU 203包括至少一個核並且可以包括多核。
[0040] CPU 203還可以控制接口 207和270。此外，CPU 203可以控制生成至少一個圖像 處理管線210-1所需的控制信號（例如，選擇信號和/或開關信號）的H/W組件（例如，寄 存器240或FSM 241)，和/或軟體（S/W)組件（例如，與控制信號的生成相關的S/W)。
[0041] 可以使用有限態自動機（FSM) 241生成選擇信號和/或開關信號。FSM 241可以在 多個替換實施例中通過電腦程式或通過應用專用順序邏輯電路實現。當FSM 241實現為 電腦程式時，FSM 241可以是通過處理器200-1，例如，CPU 203運行的程序。當FSM 241 實現為順序邏輯電路時，FSM 241可以實現在處理器200-1之內。
[0042] GPU 205可以處理從圖像源210-1、221、300、400和270輸出的圖像數據。
[0043] 相機接口 207可以將來自相機300的圖像數據發送到圖像處理管線210-1或發送 到其他元件，例如，205、220、230、250、260或270。相機接口 207可以支持低電壓差分信號 (LVDS)、移動工業處理器接口（ MIPI? )相機串行接口（CSI)、或高速串行接口。當相機 接口 207支持MIPI? CSI時，相機300和相機接口 207可以使用MIPI CSI相互通信。
[0044] 圖像處理管線210-1A和210-1B中的每一個可以使用選擇信號和開關信號來控制 (或動態地調整）將被用於縮放圖像數據的縮放器的有效數量（effective number)。圖像 處理管線210-1A和210-1B中的每一個可以響應於選擇信號和開關信號動態地串聯連接至 少一個縮放器。
[0045] 雖然為描述中的便利性起見在圖1中僅示出兩個圖像處理管線210-1A和210-1B， 但是這僅僅是示例。在處理器200-1中實現的圖像處理管線的數量和位置可以由設計者或 製造商不同地選擇。
[0046] 內部存儲器控制器220連接在總線201和內部存儲器221之間，並且內部存儲器 控制器220處理總線201和內部存儲器221之間的圖像數據。例如，內部存儲器221可以 通過靜態隨機存取存儲器（SRAM)或寄存器文件（register file)實現，並且內部存儲器221 可以根據內部存儲器控制器220的控制，存儲已經通過圖像處理管線210-1A和/或210-1B 處理過或將被處理的圖像數據。
[0047] 存儲控制器230可以控制處理器200-1和外部存儲器400之間的圖像數據的 發送。可以通過動態隨機存取存儲器（DRAM)、固態驅動器（SSD)、多媒體卡（MMC)、嵌入 MMC (eMMC)或通用快閃記憶體儲存器（UFS)實現外部存儲器400。
[0048] 寄存器240可以存儲生成選擇信號和/或開關信號所需的數據（例如，配置表）。 寄存器240是可通過CPU 203或通過在處理器200-1中實現的其他主機（未示出）編程的 存儲器的示例，並且能夠通過易失性存儲器或非易失性存儲器實現。在多個其他實施例中， 寄存器240可以是H/W組件或寄存器文件。
[0049] FSM 241生成與寄存器240相聯繫的選擇信號和/或開關信號。當通過運行在 CPU 203中的S/W控制選擇信號的生成時，處理器200-1不需要包括存儲為圖像處理管線 210- 1A和/或210-1B的重新配置所必需的信號的獨特的（distinct)寄存器240。
[0050] 顯示控制器250向顯示器500發送已經由處理器200-1處理的圖像數據。顯示控 制器250可以支持諸如LVDS、嵌入顯示埠（eDP)、MIPI?或高速串行接口之類的數字視 頻格式，或模擬視頻傳輸格式。當顯示控制器250支持MIPI?.顯示串行接口（DSI)時，顯 示控制器250和顯示器500可以使用MIPI? DSI相互通信。
[0051] 顯示器500可以通過薄膜電晶體液晶顯示器（TFT-IXD)、發光二極體（LED)陣列顯 示器、有機LED(OLED)顯示器、主動矩陣OLED(AMOLED)顯示器或柔性顯示器實現。控制器 220和230中的每一個可以執行直接存儲器訪問（DMA)控制器的功能。
[0052] 多媒體H/W IP 260-1和/或260-2可以通過視頻編解碼器實現。視頻編解碼器 是可以壓縮或解壓縮數字視頻數據的設備或S/W。多媒體H/W IP 260-1和/或260-2可以 通過支持諸如MPEG的聯合圖像專家組（JPEG)標準的設備或S/W實現。
[0053] 多媒體H/W IP 260-1和/或260-2可以實現為未包括在圖像處理管線210-1A和 /或210-1B中的縮放器，或實現為用於多媒體的H/W加速器。例如，多媒體H/W IP 260-1 和/或260-2可以處理將輸入到至少一個圖像處理管線210-1A和/或210-1B的圖像數據 或者從至少一個圖像處理管線210-1A和/或210-1B輸出的圖像數據。
[0054] 無線接口 270可以將通過無線連接外部地接收到的圖像數據轉換成為可以由處 理器200-1處理的圖像數據，或者可以將通過總線201接收到的圖像數據轉換成為將通過 無線連接發送的圖像數據。無線接口 270可以支持電氣和電子工程師學會（IEEE) 802. 11 標準、長期演進（LTEtm)、或無線網際網路。
[0055] 圖2是圖1中示出的可配置的圖像處理管線210-1A的框圖。參照圖1和圖2， 圖像處理管線210-1A包括連接到總線201的管線式（pipelined)圖像處理階段211-1到 211- 3。圖1中示出的兩個圖像處理管線210-1A和210-1B可以具有彼此相同的結構和功 能，或者可以具有彼此不同的結構和功能。
[0056] 圖像處理管線210-1A包括連接在圖像處理階段211-1到211-3當中的兩個鄰 近的圖像處理階段211-1和211-2和/或211-2和211-3之間的至少一個圖像處理模塊 219-1和/或219-2。在多個其他實施例中，圖像處理模塊219-1可以被包括在圖像處理階 段211-1和211-2中的任何一個中，並且圖像處理模塊219-2可以被包括在圖像處理階段 211-2和211-3中的任何一個中。
[0057] 為了描述中的便利性起見，三個圖像處理階段211-1到211-3被示出在圖2到圖 8中，但是這僅僅是示例。本發明構思不局限於示出的管線式圖像處理階段211-1到211-3 的數量或形式。
[0058] 第一電路塊OPl可選地實現在第一圖像處理階段211-1中。第二電路塊0P2可選 地實現在第二圖像處理階段222-2中。第三電路塊0P3可選地實現在第三圖像處理階段 211-3 中。
[0059] 生成選擇信號和/或開關信號的H/W組件或S/W組件的結構和/或操作可以根據 電路塊OPl到0P3是否分別實現在圖像處理階段211-1到211-3中而改變。此外，圖像處 理管線210-1A和210-1B的結構和操作可以根據電路塊OPl到0P3是否分別實現在圖像處 理階段211-1到211-3中而改變。
[0060] 在當前示例性實施例中，為描述中的便利性起見，電路塊OPl到0P3分別實現在圖 像處理階段211-1到211-3中。然而，本發明構思不局限於示例性實施例。
[0061] 如上所述，可以使用應用專用硬體（H/W)組件或軟體（S/W)和微處理器組件來生 成選擇信號SEl到SE6以及開關信號Sl到S8。圖像處理階段211-1到211-3可以分別包 括分別具有不同的縮放比率的縮放器SCl到SC3。縮放比率可以確定已處理的圖像數據的 解析度。
[0062] 連接控制電路使用選擇信號SEl到SE6以及開關信號Sl到S8串聯連接縮放器SCl 到SC3當中的至少一個縮放器以便控制用於縮放（例如，放大或縮小）圖像數據IM或BM 的縮放器的數量。連接控制電路包括多個選擇器（例如，多路復用器）213-1、213-2、215-1、 215-2、217-1和217-2以及分別相應於開關信號Sl到S8的開關，其中開關Sl和S2可以實 現第一解復用器或分路（branch)，並且開關S5和S6可以實現第二解復用器或分路。最初 的兩個圖像處理階段211-1和211-2包括第一解復用器/分離器（開關Sl和S2)以及第二 解復用器/分離器（開關S5和S6)，而最後的（末端）圖像處理階段211-N(例如，211-3， 其中N等於三）不包括這種解復用器/分離器功能。
[0063] 第一圖像處理階段211-1從兩個不同的圖像源中的一個接收圖像數據頂或 BM(響應於相應的選擇信號SE1)，並且可選地縮放它（SCl)或繞過（bypass)它（BPl)(響 應於選擇信號SE2)，並且向第一圖像處理模塊219-1和總線201中的至少一個（例如，向所 選擇的一個）輸出被可選地縮放的圖像數據（響應於開關信號Sl以及S2)。
[0064] 換句話說，第一圖像處理階段211-1可以響應於相應的選擇信號SEl和SE2以及 相應的開關信號Sl和S2從多個內部或本地通路當中選擇一個內部通路。內部通路或本地 通路是圖像數據頂或BM通過其被發送到和發送出圖像處理階段的通路。包括縮放器的內 部通路被稱為"縮放器通路"。
[0065] 總線201上的圖像數據BM可以是從圖像處理管線210-1A和/或210-1B中的每 一個輸出的圖像數據，從內部存儲器控制器220輸出的圖像數據，從存儲控制器230輸出的 圖像數據，從多媒體H/W IP 260輸出的圖像數據，或從無線接口 270輸出的圖像數據。
[0066] 第一選擇器213-1響應於第一選擇信號SEl選擇並輸出從總線201接收到的圖像 數據頂或圖像數據BM中的一個。例如，圖像數據頂可以是通過相機300和相機接口 207 接收到的圖像數據或從另一圖像數據源輸出的圖像數據。第一旁路通路BPl允許由第一選 擇器213-1輸出的被選擇的圖像數據頂或BM繞過第一縮放器SCl。
[0067] 第一縮放器SCl被配置為使用第一縮放比率縮放從第一選擇器213-1輸出的被選 擇的圖像數據頂或BM。第一縮放器SCl可以被實現為被配置為降低從第一選擇器213-1 輸出的被選擇的圖像數據IM或BM的解析度的縮小器（down-scaler)。
[0068] 第二選擇器213-2 (響應於第二選擇信號SE2)選擇和輸出通過第一旁路通路BPl 接收到的未縮放的圖像數據（頂或BM)或從第一縮放器SCl接收到的縮放的輸出圖像數據 (頂或BM)中的一個。從第二選擇器213-2輸出的圖像數據然後可以通過第一開關（其響 應於第一開關信號Sl而接通/關斷）和第二開關（其響應於第二開關信號S2而接通/關 斷）輸出到第一圖像處理模塊219-1和/或總線201中的一個或兩個。
[0069] 換句話說，從第二選擇器213-2輸出的圖像數據可以根據開關信號Sl和S2中的 每一個的電平，被輸出到第一圖像處理模塊219-1，輸出到總線201，或輸出到第一圖像處 理模塊219-1和總線201兩者。響應於開關信號Sl和S2操作的開關包含第一開關塊。
[0070] 第一圖像處理模塊219-1可以被配置為執行壞像素 （bad pixel)的校正、降噪和/ 或支持相機3A操作（例如，自動曝光、自動白平衡和自動對焦）。第一圖像處理模塊219-1 通過第三開關（響應於第三開關信號S3而接通/關斷）向總線201發送圖像數據並且通 過第四開關（響應於第四開關信號S4而接通/關斷）從總線201接收圖像數據。
[0071] 響應於開關信號S3和S4操作的開關包含第二開關塊。總線201的圖像數據BM 可以通過CPU 203、通過GPU 205、通過至少一個圖像處理管線210-1A和/或210-1B、通過 內部存儲器控制器220、通過存儲控制器230、通過顯示控制器250、通過至少一個多媒體H/ W IP 260-1和/或260-2、或通過無線接口 270被接收/處理。
[0072] 在多個其他實施例中，如果第一圖像處理模塊219-1未被實現在圖像處理管線 210- 1A之內，則第二選擇器213-2的輸出圖像數據可以（根據開關信號Sl和S2中的每一 個的電平）被輸出到第三選擇器215-1、輸出到總線201、或輸出到第三選擇器215-1和總 線201兩者。
[0073] 然而，如果第一圖像處理階段211-1不包括第一電路塊0P1，則第一圖像處理階段 211- 1可以（根據開關信號Sl和S2中的每一個的電平）向第一圖像處理模塊219-1、向總 線201、或向第一圖像處理模塊219-1和總線201兩者發送接收到的圖像數據（第一旁路通 路BPl上的IM或BM)。
[0074] 第二圖像處理階段211-2(響應於相應信號SI、S4、SE3)從三個不同的圖像源 211-U219-1和總線201中的一個接收圖像數據並且（響應於相應開關信號S5和S6)向第 二圖像處理模塊219-2和總線201中的至少一個輸出圖像數據。
[0075] 第二圖像處理階段211-2可以響應於選擇信號SE3和SE4以及相應的開關信號S5 和S6從多個本地通路當中選擇一個內部通路。第二圖像處理模塊219-2可以實現為圖像 信號處理器（ISP) IP核或實現為可以執行ISP的功能的圖像信號處理模塊。
[0076] 第三選擇器215-1可以（響應於第三選擇信號SE3)輸出從第一圖像處理模塊 219-1或從總線201中的任何一個接收到的圖像數據。第二旁路通路BP2可以被選擇以旁 路SC2,以便由第三選擇器215-1輸出的圖像數據未經改變地進入到第四選擇器215-2中。 第二縮放器SC2被配置為使用第二縮放比率（或第二預定解析度）縮放第三選擇器215-1 的輸出圖像數據。
[0077] 第四選擇器215-2(響應於第四選擇信號SE4)輸出通過第二旁路通路BP2接收到 的未改變的圖像數據或從第二縮放器SC2輸出的被縮放的圖像數據中的任何一個。由第四 選擇器215-2輸出的圖像數據可以通過第五開關（其響應於第五開關信號S5接通/關斷） 輸出到第二圖像處理模塊219-2和/或通過第六開關（其響應於第六開關信號S6接通/ 關斷）輸出到總線201。
[0078] 響應於開關信號S3和S4操作的開關包含第三開關塊。從第四選擇器215-2輸出 的圖像數據可以（根據開關信號S5和S6中的每一個的電平）輸出到第二圖像處理模塊 219-2,輸出到總線201，或輸出到第二圖像處理模塊219-2和總線201兩者。
[0079] 第二圖像處理模塊219-2可以將已接收到的Bayer格式的Bayer圖像數據轉換成 為以YUV格式的YUV數據或以RGB格式的RGB圖像數據。第二圖像處理模塊219-2可以通 過第八開關（其響應於第八開關信號S8而接通/關斷）從總線201接收圖像數據，並且可 以通過第七開關（其響應於第七開關信號S7接通/關斷）向總線201發送圖像數據。響 應於開關信號S7和S8操作的開關包含第四開關塊。
[0080] 如果第二圖像處理階段211-2不包括第二電路塊0P2,則第二圖像處理階段211-2 可以（根據開關信號S5和S6中的每一個的電平）通過第二旁路通路BP2向第二圖像處理 模塊219-2、向總線201、或向第二圖像處理模塊219-2和總線201兩者發送圖像數據。
[0081] 第三圖像處理階段211-3可以響應於選擇信號SE5從三個不同的圖像源211-2、 219-2和201中的任何一個接收圖像數據，並且可以響應於選擇信號SE6向所選擇的總線 201輸出圖像數據。因此第三圖像處理階段211-3可以響應於相應的選擇信號SE5和SE6 選擇多個本地通路當中的一個內部通路。
[0082] 第五選擇器217-1 (響應於第五選擇信號SE5)選擇和輸出從第二圖像處理模塊 219-2接收到的圖像數據或從總線201接收到的圖像數據。第三旁路通路BP3允許第五選 擇器217-1的輸出圖像數據繞過第三縮放器SC3。第三縮放器SC3使用第三縮放比率（或 第三預定解析度）縮放第五選擇器217-1的輸出圖像數據。第一縮放比率到第三縮放比率 (或第一預定輸出解析度到第三預定輸出解析度）可以彼此不同。
[0083] 第六選擇器217-2響應於第六選擇信號SE6將通過第三旁路通路BP3接收到的圖 像數據或第三縮放器SC3的被縮放的圖像數據輸出到總線201。然而，當第三圖像處理階 段211-3不包括第三電路塊0P3時，第三圖像處理階段211-3可以將第三旁路通路BP3中 的圖像數據直接發送到總線201。
[0084] 另一圖像處理模塊（或第四圖像處理階段）可以連接到第三圖像處理階段211-3 的輸出。在此情況下，第六選擇器217-2的輸出圖像數據可以通過開關被輸出到該圖像處 理模塊（或第四圖像處理階段）以及總線201中的至少一個。
[0085] 選擇器213-1、213-2、215-1、215-2、217-1和217-2中的每一個可以被實現為多路 復用器。開關中的每一個可以被實現為金屬氧化物半導體（MOS)電晶體。第一圖像處理階 段211-1可以是純Bayer域，第二圖像處理階段211-2可以是預處理Bayer域，並且第三圖 像處理階段211-3可以是YUV或RGB域。
[0086] 如圖1和圖2中示出的，圖像處理管線210-1A中的內部通路和/或圖像處理管線 210-1A和總線201之間的通路取決於通過選擇信號SEl到SE6以及開關信號Sl到S8控制 的開關的導電（即，開/關）狀態而確定。
[0087] 因此，選擇信號SEl到SE6以及開關信號Sl到S8可以控制從相機接口 207接收 圖像數據，從圖像處理管線210-1A和/或210-1B接收圖像數據，從內部存儲器控制器220 接收圖像數據，從存儲控制器230接收圖像數據，從多媒體H/W IP 260-1和/或260-2接 收圖像數據，和/或從無線接口 270接收圖像數據。
[0088] 圖像處理管線210-1A處理在內部通路中從圖像數據源203、205、207、210-1A、 210- 1B、220、230、260和/或270接收到的圖像數據，從而降低對存儲器221以及400的訪 問的數量。
[0089] 根據選擇信號SEl到SE6以及開關信號Sl到S8,從圖像處理階段211-U211-2和 211- 3中的每一個輸出的圖像數據可以通過總線201反饋到本身或其他階段。
[0090] 圖3是根據本發明構思的實施例的圖像處理系統100-2的框圖。除了圖像處理管 線210-2A和210-2B的結構，圖3中示出的處理器200-2的結構和操作與圖1中示出的處 理器200-1的結構和操作本質上相同。
[0091] 圖像處理管線210-2A和210-2B (通過210-2共同的表示）中的每一個包括內部 處理器202、寄存器240和FSM 241。內部處理器202控制圖像處理管線210-2A中的相應 操作。包括在圖像處理管線210-2A和210-2B中的每一個中的寄存器240和FSM 241的結 構和操作與已經參照圖1描述的寄存器240和FSM 241的結構和操作本質上相同。
[0092] 圖4是圖3中示出的可配置的圖像處理管線210-2A的框圖。除了內部處理器202、 寄存器240和FSM 241被包括在圖像處理管線210-2中之外，圖4中示出的圖像處理管線 210-2的結構和操作與圖2中示出的圖像處理管線210-1的結構和操作本質上相同。
[0093] 圖5到圖8是示出圖1或圖3中所示出的可配置的圖像處理管線的示例性配置和 操作的概念圖。將參照圖1、圖2、圖4和圖5描述處理高質量圖像數據。為描述中的便利 性起見，假定第二圖像處理階段211-2包括執行與第一圖像處理模塊219-1本質上相同功 能或類似功能的圖像增強模塊EM。
[0094] 在圖像處理管線210-1A、210-1B、210-2A和210-2B(通過210A共同地表示）中， 根據選擇信號SEl到SE6以及開關信號Sl到S8選擇用於處理圖像數據頂或BM的圖像數 據處理通路。
[0095] 例如，在圖5的示例中，在第一圖像處理階段211-1中通過選擇器213-1和213-2 選擇第一旁路通路BP1，在第二圖像處理階段211-2中通過選擇器215-1和215-2選擇第二 旁路通路BP2,並且在第三圖像處理階段211-3中通過選擇器217-1和217-2選擇第三縮放 器SC3。圖像數據頂或BM通過第一旁路通路BPl被發送到圖像增強模塊EM。圖像增強模 塊EM處理（例如,執行壞像素校正，降噪和/或相機3A操作）圖像數據IM或BM並且通過 第二旁路通路BP2將已處理圖像數據發送到第二圖像處理模塊219-2。
[0096] 第二圖像處理模塊219-2可以將Bayer圖像數據轉換成為YUV圖像數據或RGB圖 像數據。第三縮放器SC3縮放（例如，放大或縮小）從第二圖像處理模塊219-2輸出的YUV 或RGB圖像數據，並且將被縮放的圖像數據輸出到總線201。
[0097] 將參照圖1、圖2、圖3和圖6描述處理"預覽"圖像數據或錄像攝像機圖像數據。 例如，當相機300的解析度和顯示器500的解析度之間存在較大差別時，可以考慮功耗和畫 面質量兩者來使用多個縮放器SCl到SC3來記錄/顯示視頻數據。
[0098] 根據選擇信號SEl到SE6以及開關信號Sl到S8選擇用於在圖像處理管線210-1A、 210-1B、210-2A和210-2B (通過210B共同地表示）中處理圖像數據頂或BM的圖像數據處 理通路。
[0099] 如圖6的示例中所示，在第一圖像處理階段211-1中選擇第一縮放器SC1，在第二 圖像處理階段211-2中選擇第二縮放器SC2,並且在第三圖像處理階段211-3中選擇第三 縮放器SC3。從第一圖像處理階段211-1輸出的圖像數據通過響應於已經激活的開關信號 S2和S4被分別接通的開關發送到圖像增強模塊EM。從第二圖像處理階段211-2輸出的圖 像數據通過響應於已經激活的開關信號S6和S8被分別接通的開關發送到第二圖像處理模 塊219-2。從第三圖像處理階段211-3輸出的圖像數據通過第六選擇器217-2輸出到總線 201。從第一選擇器213-1輸出的圖像數據頂或BM被第一縮放器SCl縮放（例如，縮小）， 然後通過第二選擇器213-2和響應於第二開關信號S2被接通的開關輸出到總線201。圖像 數據通過響應於第四開關信號S4接通的開關從總線201發送到圖像增強模塊EM。從圖像 增強模塊EM輸出的圖像數據通過第三選擇器215-1發送到第二縮放器SC2。由第二縮放 器SC2縮放的圖像數據通過第四選擇器215-2和響應於第六開關信號S6接通的開關輸出 到總線201。圖像數據通過響應於第八開關信號S8接通的開關從總線201發送到第二圖像 處理模塊219-2。從第二圖像處理模塊219-2輸出的圖像數據通過第五選擇器217-1發送 到第三縮放器SC3。由第三縮放器SC3縮放的圖像數據通過第六選擇器217-2輸出到總線 201。
[0100] 將參照圖1、圖2、圖4和圖7描述處理低功率錄像攝像機圖像數據。當以低功率 執行攝像很長時間時，第一圖像處理階段211-1使用第一縮放器SCl縮小圖像數據IM或BM 以便降低功耗。
[0101] 根據選擇信號SEl到SE4以及開關信號Sl到S8選擇用於在圖像處理管線210-1A、 210-1B、210-2A和210-2B (通過210C共同地表示）中處理圖像數據頂或BM的圖像數據處 理通路。
[0102] 如圖7的示例中所示，在第一圖像處理階段211-1中選擇第一旁路通路SC1，在第 二圖像處理階段211-2中選擇第二旁路通路SC2,並且第三圖像處理階段211-3被禁用。 從第一選擇器213-1輸出的圖像數據頂或BM被第一縮放器SCl縮小。被縮小的圖像數 據通過第二選擇器213-2和響應於已經激活的第一開關信號Sl被接通的開關輸出到圖像 增強模塊EM。由圖像增強模塊EM處理的圖像數據通過第三選擇器215-1和第二旁路通路 BP2被發送到第四選擇器215-2。從第四選擇器215-2輸出的圖像數據通過響應於已經激 活的第五開關信號S5被接通的開關發送到第二圖像處理模塊219-2。由第二圖像處理模 塊219-2處理的圖像數據通過響應於已經激活的第七開關信號S7接通的開關發送到總線 201。此時，響應於已經停用的第八開關信號S8關斷的開關切斷總線201和第二圖像處理 模塊219-2之間的連接。將參照圖8描述處理低功率多輸出圖像數據。例如，圖像數據頂 或BM由第一到第三圖像處理階段211-U211-2和211-3處理，並且彼此具有不同解析度的 多個被縮放的圖像數據被同時輸出。因此，降低對存儲器221和400中的至少一個的訪問 的數量。結果，降低圖像處理管線210-1A、210-1B、210-2A和210-2B (通過210D共同地表 示）的功耗。
[0103] 根據選擇信號SEl到SE6以及開關信號Sl到S8選擇在圖像處理管線210D中處 理圖像數據頂或BM的圖像數據處理通路。
[0104] 參照圖2和圖8,在第一圖像處理階段211-1中選擇第一旁路通路SC1，在第二圖 像處理階段211-2中選擇第二旁路通路SC2,並且在第三圖像處理階段211-3中選擇第三 旁路通路SC3。從第一選擇器213-1輸出的圖像數據頂或BM通過第一旁路通路BPl輸出 到第二選擇器213-2。從第二選擇器213-2輸出的圖像數據通過響應於已經激活的第一開 關信號Sl接通的開關被發送到圖像增強模塊EM。由圖像增強模塊EM處理的圖像數據頂1 通過響應於已經激活的第三開關信號S3接通的開關輸出到總線201，並且還輸出到第三選 擇器215-1。由第二縮放器SC2縮放的圖像數據頂2通過第四選擇器215-2和響應於已經 激活的第六開關信號S6接通的開關輸出到總線201。總線201上的圖像數據通過響應於已 經激活的第八開關信號S8接通的開關發送到第二圖像處理模塊219-2。由第二圖像處理 模塊219-2處理的圖像數據通過第五選擇器217-1發送到第三縮放器SC3。由第三縮放器 SC3縮放的圖像數據頂3通過第六選擇器217-2輸出到總線201。
[0105] 當適當地設計元件EM、215-l，SC2,215-2、219-2、217-l、SC3和217-2中的每一個 的延遲並且相應地配置它們的互連時，多個圖像數據頂1、頂2和頂3同時輸出到總線201。
[0106] 圖9是用於說明圖1或圖3中示出的可配置的圖像處理管線210-1A和210-1B或 210-2A和210-2B (通過210共同地表示）相對於使用目的的三個操作模式的流程圖。參照 圖1到圖9,當在步驟SllO中在圖像處理管線210中需要低功率操作時，在步驟S112中通 過選擇信號SEl到SE6以及開關信號Sl到S8選擇第一模式MODEl。
[0107] 當在步驟SllO中在圖像處理管線210中不需要低功率操作時並且當在步驟S120 中需要高質量圖像數據時，在步驟S122中通過選擇信號SEl到SE6以及開關信號Sl到S8 選擇第二模式M0DE2。當在步驟SllO中在圖像處理管線210中不需要低功率操作時並且當 在步驟S120中不需要高質量圖像數據時，在步驟S124中通過選擇信號SEl到SE6以及開 關信號Sl到S8選擇第三模式M0DE3。
[0108] 如圖9中所示，用戶可以執行畫面質量和功耗之間的折衷。例如，圖像處理系統 100-1或100-2 (通過100共同地表示）可以為用戶提供圖形用戶界面（⑶I)，其指示或暗 示模式M0DEUM0DE2和M0DE3中的每一個，以便用戶通過⑶I選擇需要的模式。然後，H/W 或S/W組件可以生成與所選擇的模式相對應的選擇信號SEl到SE6以及開關信號Sl到S8。 在響應中，圖像處理管線210響應於已經生成的選擇信號SEl到SE6以及開關信號Sl到S8 控制處理圖像數據所需的縮放器的數量。
[0109] 因為S/W組件可以使用數據（或配置表）控制管線式圖像處理階段的組合，所述 數據（或配置表）被存儲在寄存器240中並且是生成選擇信號SEl到SE6以及開關信號Sl 到S8所需的，所以可以在短時間內設置寄存器240或配置表。換句話說，因為S/W組件可 以使用配置表控制處理圖像數據所需的縮放器的數量，所以圖像處理系統100可以降低S/ W組件的參與和使用時間。
[0110] 圖10是示出根據本發明構思的一些實施例的、圖1或圖3中示出的可配置的圖像 處理管線的操作的流程圖。參照圖1到圖10,在步驟S210中使用H/W或S/W組件生成控制 信號，例如，選擇信號SEl到SE6以及開關信號Sl到S8。
[0111] 圖像處理管線210響應於控制信號（即，選擇信號SEl到SE6以及開關信號Sl到 S8)串聯連接多個縮放器SCl到SC3(分別包括在管線式圖像處理階段211-1到211-3中並 且具有相互不同的縮放比率）當中的至少一個縮放器，從而在步驟S220中控制縮放圖像數 據頂或BM所需的縮放器的數量。在步驟S230中，圖像處理管線210使用至少一個選擇的 縮放器縮放圖像數據頂或BM並且向總線201輸出已經縮放的至少一個圖形數據組。
[0112] 如上所述，根據本發明構思的一些實施例，包括可配置的圖像處理管線的SoC響 應於控制信號串聯連接多個縮放器當中的至少一個縮放器，從而控制用於縮放圖像數據的 縮放器的數量。此外，SoC在內部通路中使用可配置的圖像處理管線處理圖像數據，從而降 低對與存儲圖像數據有關的存儲器的訪問的數量。此外，SoC根據使用目的在實現在SoC中 的管線式圖像處理階段中容易地重新配置內部通路。因為SoC可以使用配置表在管線式圖 像處理階段中重新配置內部通路，所以最小化在重新配置中的H/W組件和S/W組件的參與 並且迅速地設置配置表。
[0113] 儘管已經參照本發明構思的示例性實施例具體示出和描述了本發明構思，但本領 域普通技術人員將會理解，可以對其進行形式和細節上的各種改變而不脫離權利要求限定 的本發明構思的精神和範圍。
【權利要求】
1. 一種片上系統（SoC)，包括： 總線； 第一圖像處理模塊，可切換地連接到總線，並且被配置為將接收到的圖像數據處理成 為第三圖像數據； 第一圖像處理階段，被配置為響應於第一控制信號將第一圖像數據或從總線接收到的 第二圖像數據作為接收到的圖像數據發送到總線和第一圖像處理模塊中的至少一個；以及 第二圖像處理階段，被配置為響應於第二控制信號通過第二旁路通路和包括第二縮放 器的第二縮放器通路中的一個向總線發送從第一圖像處理模塊接收到的第三圖像數據或 從總線接收到的第四圖像數據。
2. 如權利要求1所述的SoC，其中第一圖像處理階段還包括第一縮放器通路，而且其中 所述第一圖像處理階段響應於包括第一控制信號的第三控制信號通過第一旁路通路和包 括第一縮放器的第一縮放器通路中的一個將第一圖像數據或第二圖像數據發送到總線和 第一圖像處理模塊中的至少一個。
3. 如權利要求2所述的SoC，其中第三圖像數據與從第一圖像處理階段輸出的圖像數 據或通過總線接收到的圖像數據有關。
4. 如權利要求2所述的SoC，其中第一縮放器的縮放比率不同於第二縮放器的縮放比 率。
5. 如權利要求2所述的SoC，還包括被配置為生成第二控制信號和第三控制信號的寄 存器。
6. 如權利要求2所述的SoC，還包括被配置為運行與第二控制信號和第三控制信號的 生成有關的軟體的中央處理單元（CPU)。
7. 如權利要求1所述的SoC，還包括連接到總線的第二圖像處理模塊和第三圖像處理 階段中的一個， 其中第二圖像處理階段使用開關將通過第二旁路通路和第二縮放器通路中的一個接 收到的圖像數據發送到第二圖像處理模塊和第三圖像處理階段中的至少一個。
8. 一種片上系統（SoC)，包括： 總線； 第一圖像處理模塊，可切換地連接到總線並且被配置為處理接收到的圖像數據； 第一圖像處理階段，被配置為響應於第一控制信號通過第一旁路通路和第一縮放器通 路中的一個將第一圖像數據或從總線接收到的第二圖像數據作為接收到的圖像數據發送 到總線和第一圖像處理模塊中的至少一個；以及 第二圖像處理階段，被配置為響應於第二控制信號將從第一圖像處理模塊接收到的第 三圖像數據或從總線接收到的第四圖像數據發送到總線。
9. 如權利要求8所述的SoC，其中第二圖像處理階段還包括 第二縮放器通路；以及 第二旁路通路， 並且其中第二圖像處理階段響應於包括第二控制信號的第三控制信號通過第二旁路 通路和第二縮放器通路中的一個將第三圖像數據或第四圖像數據發送到總線。
10. 如權利要求9所述的SoC，其中包含在第一縮放器通路中的第一縮放器的縮放比率 不同於包含在第二縮放器通路中的第二縮放器的縮放比率。
11. 如權利要求9所述的SoC，還包括被配置為生成第一控制信號和第三控制信號的寄 存器。
12. 如權利要求9所述的SoC，還包括被配置為運行與第一控制信號和第三控制信號的 生成有關的軟體的中央處理單元（CPU)。
13. 如權利要求9所述的SoC，還包括連接到總線的第二圖像處理模塊和第三圖像處理 階段中的一個， 其中第二圖像處理階段使用開關將通過第二旁路通路以及第二縮放器通路發送的圖 像數據發送到第二圖像處理模塊和第三圖像處理階段中的至少一個。
14. 如權利要求8所述的SoC，還包括被配置為控制第一圖像處理模塊和總線之間的連 接的開關。
15. -種用於處理來自多個圖像數據源的圖像數據的圖像處理系統，所述系統包括： 應用處理器，被配置為控制圖像數據源， 其中所述應用處理器包括： 總線； 第一圖像處理模塊，可切換地連接到總線並且被配置為處理接收到的圖像數據； 第一圖像處理階段，被配置為響應於第一控制信號將從圖像數據源中的一個輸出的第 一圖像數據或從總線接收到的第二圖像數據作為接收到的圖像數據發送到總線和第一圖 像處理模塊中的至少一個；以及 第二圖像處理階段，被配置為響應於第二控制信號通過第二旁路通路和第二縮放器通 路中的一個將從第一圖像處理模塊接收到的第三圖像數據或從總線接收到的第四圖像數 據發送到總線。
16. 如權利要求15所述的圖像處理系統，其中第一圖像處理階段還包括第一縮放器通 路，並且其中第一圖像處理階段響應於包括第一控制信號的第三控制信號通過第一旁路通 路和第一縮放器通路中的一個將第一圖像數據或第二圖像數據發送到總線和第一圖像處 理模塊中的至少一個。
17. 如權利要求16所述的圖像處理系統，其中包含在第一縮放器通路中的第一縮放器 的縮放比率不同於包含在第二縮放器通路中的第二縮放器的縮放比率。
18. 如權利要求16所述的圖像處理系統，還包括被配置為運行與第二控制信號和第三 控制信號的生成有關的軟體的中央處理單元（CPU)。
19. 一種用於處理多個圖像數據源的圖像處理系統，所述系統包括： 應用處理器，被配置為控制圖像數據源， 其中所述應用處理器包括： 總線； 第一圖像處理模塊，可切換地連接到總線並且被配置為處理接收到的圖像數據； 第一圖像處理階段，被配置為響應於第一控制信號通過第一旁路通路和第一縮放器通 路中的至少一個將第一圖像數據或從總線接收到的第二圖像數據作為接收到的圖像數據 發送到總線和第一圖像處理模塊中的至少一個；以及 第二圖像處理階段，被配置為響應於第二控制信號將從第一圖像處理模塊接收到的第 三圖像數據或從總線接收到的第四圖像數據發送到總線。
20. 如權利要求19所述的圖像處理系統，其中第二圖像處理階段還包括第二縮放器通 路，並且其中第二圖像處理階段響應於包括第二控制信號的第三控制信號通過第二旁路通 路和第二縮放器通路中的一個將第三圖像數據或第四圖像數據發送到總線。
21. 如權利要求20所述的圖像處理系統，其中包含在第一縮放器通路中的第一縮放器 的縮放比率不同於包含在第二縮放器通路中的第二縮放器的縮放比率。
22. 如權利要求20所述的圖像處理系統，還包括被配置為運行與第一控制信號和第三 控制信號的生成有關的軟體的中央處理單元（CPU)。
【文檔編號】G06F13/36GK104516841SQ201410513201
【公開日】2015年4月15日 申請日期:2014年9月29日 優先權日:2013年10月2日
【發明者】樸仙熙, 樸珍秀, 成樂佑 申請人:三星電子株式會社