在連續的圖像獲取之間具有降低的延遲的數字靜態照相機結構的製作方法

2023-06-09 10:42:41

專利名稱：：在連續的圖像獲取之間具有降低的延遲的數字靜態照相機結構的製作方法
技術領域：
：本發明通常涉及數位照相機，並且更具體地涉及具有改善性能的數位照相機結構。
背景技術：
：數位照相機是深受喜愛的消費者電子設備。與傳統的照相機不同，數位照相機使用稱作"圖像傳感器"的電子設備來捕獲圖像。然後對圖像傳感器捕獲的圖像進行數位化，並將其載入到存儲器設備中。數位照相機對存儲器設備中的數字圖像應用各種圖像處理技術，諸如噪聲抑制、色彩補償等。最後，處理過的圖像被壓縮成具有特定格式的文件，並被存儲在非易失性存儲設備中以供諸如個人計算機(PC)、個人數字助理(PDA)或者印表機之類的其他電子設備隨後使用。用於評價數位照相機性能的參數是兩次拍攝的時間間隔(click-to-clicktime)。該兩次拍攝的時間間隔測量了兩次連續按壓數位照相機的快門按鈕之間必須經過的最小時間量。兩次拍攝的時間間隔越短，在固定的周期內照相機能夠拍攝的圖片越多。具有短的兩次拍攝的時間間隔的數位照相機可以模仿高端電動膠片照相機的操作來快速連續地拍攝一系列圖片。影響數位照相機的兩次拍攝的時間間隔的因素包括存儲器的大小和對照相機的圖像傳感器所捕獲的圖像執行的各種圖像數據處理過程的速度。本發明的一個目的是提供一種兩次拍攝的時間間隔減小並因此性能得到改善的數位照相機。
發明內容提供了一種數位照相機，所述數位照相機通過以第一順序將圖像序列中的第一圖像的部分載入到數位照相機的統一存儲器空間並以第二順序對這些部分進行處理來獲取第一圖像。在第一圖像被完全處理之前，數位照相機開始獲取第二圖像並利用第二圖像的圖像數據來至少重寫統一存儲器空間中第一圖像的已處理部分。在一些實施例中，數位照相機利用圖像傳感器捕獲第一圖像和第二圖像。所述第一和第二圖像的圖像數據存儲在數位照相機內統一存儲器空間中。特別地，數位照相機在其完成第一圖像的處理之前，將第二圖像的圖像數據存儲在所述統一存儲空間中。因此，第二圖像的圖像數據至少部分地重寫了所述統一存儲器空間中的第一圖像的圖像數據。在一些實施例中，數位照相機利用圖像傳感器來獲取第一圖像，從圖像傳感器中將第一圖像的圖像數據讀取到數位照相機內的存儲器中，並將第一圖像的圖像數據轉換成數位照相機的輸出格式。在對第一圖像操作的同時，數位照相機同時開始利用圖像傳感器來獲取第二圖像。結果，兩次拍攝的時間間隔小於用以從圖像傳感器中讀出圖像的圖像數據的讀取時間間隔和將圖像的圖像數據轉換成數位照相機輸出格式的轉換時間間隔之和。在數位照相機操作期間的任何時刻，存儲在存儲器中的最大圖像數據量小於與第一和第二圖像相關聯的圖像數據的總量。圖1A示出了現有技術的數位照相機的操作的數據流圖表。圖1B示出了現有技術的數位照相機的操作的時線(timeline)圖。圖1C示出了通過現有技術的數位照相機進行的與圖像的捕獲相關聯的兩個不同順序的方框圖。圖2A示出了根據本發明第一實施例的數位照相機的數據流圖表。圖2B示出了根據本發明第一實施例的數位照相機中存儲器的空間分配圖。圖2C示出了根據本發明第一實施例的數位照相機的時線圖。圖2D示出了根據本發明第一實施例的數位照相機的存儲器使用快照圖。圖3A示出了根據本發明第二實施例的數位照相機的數據流圖表。圖3B示出了根據本發明第二實施例的數位照相機中存儲器的空間分配圖。圖3C示出了根據本發明第二實施例的數位照相機的時線圖；圖3D示出了根據本發明第二實施例的數位照相機的存儲器使用快照圖。圖4A和4B提供了根據本發明的一些實施例使得數位照相機中的不同部件並行操作的預定存儲器分配算法的實例。圖5為本發明替代實施例的方框圖。在整個附圖的若干視圖中，類似的附圖標記指示了相應的部分。具體實施方式圖1A示出了現有技術數位照相機的操作的數據流圖表。當用戶按壓快門按鈕時，光通過照相機的鏡頭進入，併到達圖像傳感器110。在完成曝光時間後，在圖像傳感器110中形成了原始圖像。在圖像傳感器110中形成的原始圖像通常在RGB色域。隨後的圖像處理過程需要將圖像從RGB色域轉換到YUV色域。通常對YUV圖像數據執行圖像處理和壓縮操作，這要求將來自圖像傳感器的RGB圖像數據轉換成YUV圖像數據。圖像預處理單元IPP120從圖像傳感器IIO讀出原始圖像數據，並將該數據存儲在圖像數據緩沖器140中。在一些實施例中，容納統一存儲器空間的存儲器130(包括圖像數據緩衝器140和JPEG緩沖器150)是單一的電子設備(例如32MB的DRAM)。在一些其他實施例中，存儲器130包括多個設備。在任一情況下，存儲器130都可以被當作是統一存儲器空間。正如將在下面更加詳細描述的那樣，統一存儲器空間還用來實現數位照相機內的其他緩衝器，諸如一個或更多YUV緩衝器和JPEG緩衝器。在將原始圖像數據全部存儲在圖像數據緩衝器140之後，圖像處理單元IPU160開始應用一系列的處理過程，以將原始圖傳4丈據轉換成適合於存儲和顯示的數位照相機輸出格式。對於數位照相機設計的技術人員而言，這些處理過程都是非常公知的。為了示例的目的，下面的討論局限於將圖像數據從RGB色域轉換到YUV色域的過程。然而本領域技術人員應當理解，本發明不依賴於數據照相機所實現的特定圖像處理過程。數位照相機輸出格式是存儲在與數位照相機關聯的非易失性存儲設備中的已處理數字圖像的數據格式。一個示例性的數位照相機輸出格式是JPEG圖像標準。然而，還可以使用包括私有格式在內的其他圖像格式。非易失性存儲設備可以採用FlashROM、光、磁、或者其他任何類型的數字存儲介質。非易失性存儲設備可以是可移動存儲器設備，諸如存儲器卡或者記憶棒，或者可以是數位照相機的集成部分。理想地，大圖像數據緩沖器能夠實現更好的數位照相機的性能。然而，對於圖像數據緩衝器140的大小存在有實際的限制。舉例來講，如果通過圖像傳感器生成的圖像具有8M像素，且每個像素對應於兩個字節，則圖像數據緩衝器的大小至少為16MB。在除去為其他用途而保留的存儲器空間之後，32MBDRAM中的剩餘的空閒空間僅僅可以容納一個圖像。儘管通過使用更大容量(例如，64MBDRAM)的存儲器設備來解決該空間限制在技術上也是可能的，但是這種存儲器設備的高成本仍使它在經濟上毫無吸引力。因此，YUV色域中的已處理圖像必須通過重寫RGB色域中的原始圖像而存儲在圖像緩衝器中。正如結合圖1B將在下面而會很清楚的那樣，該要求對於兩次拍攝的時間間隔的降低設置了重大的難題。對圖像進行了處理之後，數位照相機通常使用圖像壓縮單元CMP(有時稱為壓縮處理器)170來對已處理的圖像進行壓縮，以降低其在諸如快閃記憶體卡之類的非易失性存儲設備190上的大小。在相關領域中有許多公知的圖像壓縮技術。這些技術可以顯著地減小數字圖像的大小而幾乎沒有圖像質量損失。為了進行說明的目的，下面的討論將使用JPEG方案。然而，本領域技術人員應當理解，本發明不依賴於任何特定的數據壓縮技術。為了壓縮圖像，CMP170從圖像數據緩衝器140中取回已處理的圖像，將其轉換成JPEG-格式文件，並將該文件存儲在JPEG緩衝器150中。一些數位照相機具有固定的圖像壓縮比(例如4:1)，因此JPEG緩沖器的大小是個固定值。但是一些其他數位照相機允許用戶對於不同的圖像選擇不同的壓縮比。在這種情況下，JPEG緩衝器的大小是一個取決於用戶所選的壓縮比的動態值。最後，JPEG-格式文件形式的壓縮圖像通過接口180被存儲在存儲設備190中。隨後，數位照相機可以連接至諸如PC之類的另一設備，然後可以將JPEG-格式文件從數位照相機傳送到該設備。圖1B是從不同觀點示出了現有技術數位照相機的操作的時線圖。IPP120從圖像傳感器IIO獲取了一系列的原始圖像，然後將它們逐一載入到圖像數據緩沖器中。注意這兩個圖像N和N+1不必是圖像傳感器捕獲的兩個連續圖像。相反，圖像N和N+1代表將由IPU160連續處理的兩個圖像。用於獲取圖像N和N+1的圖像獲取間隔的開始時刻之間的時間間隔被定義為數位照相機的兩次拍攝的時間間隔。用於圖像獲取的時間間隔可以進一步分成用於圖像曝光的時間間隔，其後是用於從圖像傳感器至圖像數據緩衝器的圖像讀出的時間間隔。如圖1B所示，在圖像N被完全載入到圖像數據緩沖器中之後，IPU160開始處理圖像N。IPU160將原始圖像從RGB色域轉換到YUV色域。由於圖像數據緩衝器並沒有足夠的空間來同時容納原始圖像和已處理圖像兩者，因此已處理的圖像佔據了常由原始圖像佔據的相同空間(或者相同空間中的至少一些)。接著，CMP170開始逐個部分地壓縮新圖像N,並將每個壓縮過的部分移至JPEG緩沖器中。在圖像壓縮的末尾，在數位照相機中同時存在有圖像N的兩個複本，一個是圖像數據緩沖器中的未壓縮複本，一個是JEPG緩衝器中的已壓縮複本。僅在完成了圖像壓縮之後，才允許用戶再次按壓數位照相機的快門按鈕來獲取圖像N+l。換言之，現有技術數位照相機的兩次拍攝的時間間隔近似為獲取圖像N的時間間隔、處理圖像N的時間間隔和壓縮圖像N的時間間隔之和。圖像傳感器捕獲的圖像可以包括上百甚至上千條圖像線。為了說明的目的，圖1C中示出的原始圖像僅僅具有八條圖像線，線o-7。八條圖像線通常分成兩個域，例如對應於一個域的四條偶數線以及對應於另一域的四條奇數線。儘管，存在有設計成以漸進順序來讀取原始圖像線的圖像傳感器，但是現今可得到的許多圖像傳感器仍然設計成以交錯順序來讀取原始圖像線。換句話講，偶數圖像線0、2、4和6首先被分別讀出並載入到圖像數據緩沖器中的線0、2、4和6，然後奇數圖像線l、3、5和7被分別讀出並載入到圖像數據緩衝器中的線l、3、5和7。結果，原始圖像的八條圖像線以物理上漸進的順序存儲在圖像數據緩沖器中。這種布置的益處在於，它使得隨後的圖像處理和圖像壓縮過程更加容易，這是因為這些過程中有許多過程需要以漸進的順序進行。圖像傳感器不是理想的存儲設備。一旦原始圖像由圖像傳感器捕獲，就必須在預定的時間周期內將其載入到圖像數據緩沖器中，以避免丟失信息。如果數字照相才幾具有可以同時容納兩個或更多原始圖像的多圖像數據緩衝器，則處理原始圖像並將原始圖像轉換成數位照相機輸出格式的操作可以與捕獲原始圖像並從圖像傳感器中讀出原始圖像的操作去耦。在這種情況下，可以在仍正在處理先前捕獲的圖像的同時，將隨後獲取的原始圖像存儲在相同的圖像數據緩沖器中。正如上面所述，這個多圖像數據緩衝器會顯著增加數位照相機的成本。這就是為什麼許多數位照相機包括僅僅能夠容納單個原始圖像的圖像數據緩衝器並因此呈現出長的兩次拍攝的時間間隔的原因。再次參考圖1C,現有技術數位照相機的限制可以歸因於原始圖像的圖像線最好以物理漸進的順序存儲在圖像緩沖器中的不必要假設。現實中，圖像線以時間交錯的順序載入到圖像數據緩衝器中，而圖像數據緩衝器中的圖像線以物理漸進的順序進行處理(即，圖像線在圖像緩衝器中以與它們將被處理的順序相同的順序物理排序)。因此，在圖像~+1的第一奇數線(線1)的分配之前，圖像N+l的所有偶數線(0、2、4和6)必須已經分配到它們在圖像數據緩沖器中相應的位置。然而，在圖像緩衝器中的圖像N的最後一條偶數線已經被處理並轉換成數位照相機輸出格式並因此可被重寫之前，在圖像緩衝器中沒有用於圖像N+1的最後一條偶數圖像線的空間。結果，在用戶可以拍攝下張圖片之前，他或她必須等待直到完全處理和壓縮了圖像數據緩沖器中的圖像N的所有圖像線。正如將會在下面說明的那樣，如果圖像處理單元知道在圖像數據緩沖器中到何處以漸進的順序來找到原始圖像的圖像線，而不要求以物理漸進的順序來存儲圖像線，那麼相應的數位照相機的兩次拍攝的時間間隔可以得以降低。圖2A-圖2D示出了根據本發明的第一實施例的數位照相機的操作。具體來講，圖2A描述了數位照相機的數據流圖表。當與圖1中的數據流進行比較時，一個顯著區別在於圖像數據緩衝器140被分成兩個部分，原始數據緩沖器240和YUV緩沖器242。IPP220從圖像傳感器210中讀出原始圖像，並以交錯的順序逐域、逐線地將其載入到原始數據緩沖器240中。與圖1A不同，原始圖像線不必以物理漸進順序存儲在原始數據緩衝器中。相反，每個原始圖像線根據預定的存儲器分配算法被存儲在原始數據緩衝器中的特定位置處。相同算法還由IPU260來執行，以使得IPU260知道在原始數據緩衝器240中到何處找到原始圖像的線以及以邏輯漸進的順序對它們進行處理(即，從圖像的第一圖像線至最後圖像線，而不管那些圖像線在原始數據緩衝器240中的物理存儲位置)。另外，與其中已處理的圖像重寫原始圖像的現有技術數位照相機不同，根據第一實施例的數位照相機將已處理的圖像存儲在YUV緩沖器242中。CMP270從YUV緩衝器242中取回已處理的圖J象，將其壓縮成JPEG格式文件並將該文件存儲在JPEG緩衝器250中。注意，YUV緩衝器是存儲器230中的動態對象。其位置和大小依賴於存儲器230的總容量、原始數據緩衝器240的大小(其是圖像傳感器的圖像大小的函數)以及JPEG緩衝器的大小(其是圖像壓縮比的函數)。為了說明的目的，隨後的討論假設存儲器230是32MBDRAM，圖像傳感器的圖像大小為7M像素，並且每個像素對應於2個字節。因此原始圖像的大小大約為14MB。圖2B是適合於在圖像壓縮比為2:1時使用的32MBDRAM的實例性空間分配圖。具體來講，大約4MB的存儲器空間保留用於容納各種類型的軟體260,包括但並不局限於圖像處理程序。原始數據緩沖器240大約是14MB以容納一個原始圖像。由於圖像壓縮比是2:1,因此JPEG緩沖器大約為7MB。在一些實施例中，為了得到更優的性能，7MB存儲器空間被分割成兩半，A和B，每半具有約為3.5MB的存儲器空間。DRAM中剩餘的空閒空間大約為7MB,這7MB被分成兩個YUV緩衝器A和B,每個具有約為3.5MB的存儲空間圖2C示出了根據本發明第一實施例的數位照相機中不同的部件如何並行操作的時線圖。IPU260在將圖像N全部載入到原始數據緩衝器之後不久便開始處理圖像N。類似地，已壓縮的圖像在被完全載入到JPEG緩沖器之後不久便通過接口280被傳輸至存儲設備。然而，在圖2C中示出的數位照相機與圖1B中示出的現有技術的數位照相機之間存在若干重要的區別。值得注意的是，圖2C描述的是在獲取圖像N+1之前，圖像傳感器不需要一直等到圖像N由CMP270全部壓縮。針對該情況，甚至不必要等待圖像N由IPU260全部處理。兩個時間延遲243和245指示了在IPU260開始處理圖4象N之後並且甚至在CMP270開始壓縮圖像N之前圖像傳感器就立刻開始獲取圖像N+1。時間延遲243代表了從圖像傳感器中讀出圖像的結束與下一圖像獲取操作的開始之間的間隔。時間延遲245代表了從圖像傳感器中讀出圖像的結束與圖像壓縮的開始之間的圖像處理間隔部分。結果，圖2C示出的兩次拍攝的時間間隔顯著短於獲取圖像N的時間間隔、處理圖像N的時間間隔和壓縮圖像N的時間間隔之和。在一些實施例中，時間延遲243非常短，並且兩次拍^^的時間間隔不長於獲:f又圖^(象N的時間間隔的105%。在其他實施例中，兩次拍攝的時間間隔不長於獲取圖像N的時間間隔的110%,並且在又一些其他實施例中，兩次拍才聶的時間間隔不長於獲取圖像N的時間間隔的120%。因此，圖2C中示出的數位照相機與圖1B中示出的數位照相機相比已經改善了兩次拍攝的時間間隔性能。為何由圖像傳感器進行的圖像N+1的獲取不必等待圖像N的完全處理至少存在兩個理由。首先，根據本發明第一實施例的數位照相機並不要求原始圖像的圖像線以物理漸進的方式存儲在原始數據緩衝器中。正如將在下面結合圖4A所示出的那樣，不同原始圖像中的相同圖像線可以存儲在原始數據緩衝器中的不同的線(即存儲位置)。其次，已處理的圖像線不再存儲在原始數據緩衝器中，而是存儲在獨立的YUV緩衝器中。在將原始數據緩衝器中的RGB格式圖像線轉換成YUV緩衝器中的YUV格式的圖像線之後，IPU260立即釋放由RGB格式圖像線佔用的空間，以便IPP220載入與圖像N+1相關聯的下一輸入圖像線。同時，IPU260知曉原始數據緩衝器中的原始圖像線的空間順序，因此它知道如何取回原始圖像線和以邏輯漸進的方式對它們進行處理。圖2C還建議CMP270可以在IPU260完成處理圖像N之前開始壓縮圖像N。更具體地，在任何時候YUV緩衝器中有足夠數量的已處理圖像線時，CMP270就開始壓縮圖像。圖2D是根據本發明第一實施例的數位照相機中的存儲器使用的概念圖或快照295。注意，原始圖像N的圖像線佔據了原始數據緩衝器240中的某些存儲器空間，原始圖像N+1的圖像線佔據了原始數據緩沖器240中另外的存儲器空間。原始圖像N和原始圖像N+1都沒有佔據原始數據緩沖器中的連續區域。由於原始數據緩沖器240的容量並不足以容納兩個完整的圖像，因此原始數據緩沖器240中的圖像線僅構成原始圖像N和N+1的各自部分。為了與原始圖像N共存，原始圖像N+1的圖像線必須重寫原始圖像N的一些已被處理的圖像線。因此，在數位照相機操作期間的任何時刻，存儲在原始數據緩衝器240中的圖像數據的最大量不大於來自圖像傳感器中與原始圖像N相關聯的圖像數據的量(A)和來自圖像傳感器中與原始圖像N+1相關聯的圖像數據的量(B)之中的較大者。IPP220根據預定的存儲器分配算法將圖像N+1的交錯圖像線載入到原始數據緩沖器的特定區域中。同時，IPU260根據相同的算法以邏輯漸進的順序從原始數據緩衝器中取回圖像N的圖像線，然後將圖像N的已處理的圖像線傳送至YUV緩衝器B,並且CMP270對YUV緩沖器A中圖像N的已處理的圖像線進行壓縮，並將壓縮的版本存儲在JPEG緩衝器中。如上所述，有多個因素影響YUV緩衝器在存儲器中的存在及其確切大小。如果圖像傳感器的圖像大小太大或者圖像壓縮比太小，數位照相機中的存儲器可能沒有留給YUV緩沖器任何空閒空間。如上所述，單獨的YUV緩衝器僅僅是根據本發明的第一實施例用於數位照相機的改善性能的原因之一。即使在存儲器中沒有單獨的YUV緩衝器，仍然可能降低數位照相機的兩次拍攝的時間間隔。圖3A-圖3C示出了根據本發明第二實施例的這種數位照相機的操作。假定存儲器330仍是32MB的DRAM，圖像傳感器的圖像大小仍是7M像素，由於每個像素對應於2個字節因此圖像大小為14MB。但是圖像壓縮比現在為1:1。換句話講，為了實現最佳的解析度，根據該實施例沒有對已處理的圖像進行壓縮。因此，在存儲器330中沒有用於單獨YUV緩沖器的空閒空間。YUV緩沖器和原始數據緩沖器被合併為存儲器330中的一個緩沖器340(圖3A和圖3B)。結果，在該實施例中的IPU36(M皮配置成在由IPU360產生了YUV數據時，利用YUV數據來重寫原始圖像數據。從一個方面來講該配置與圖1A所示的現有技術數位照相機類似，即在獲取下一圖像之前圖像傳感器必須等待已處理圖像至少部分被移至JPEG緩衝器中。這是因為，已處理的圖像線將存儲在緩衝器340中的相同位置，即相應的原始圖像線先前所佔用的位置。然而，正如將在下面結合圖3C和圖3D所展示的那樣，在圖像傳感器獲取下一圖像之前，它不必等待圖像N完全被移至JPEG緩衝器中。因此，根據本發明第二實施例的數位照相機的兩次拍攝的時間間隔也小於獲取圖像N的時間間隔、處理圖像N的時間間隔和壓縮圖像N的時間間隔之和。如圖3C所示，從開始處理圖像N和開始壓縮圖像N有一個時間延遲345。該時間延遲對於IPU360是必要的，以在緩沖器340中累積足夠數目的已處理圖像線使得能夠進行CMP370的操作。同樣，在開始壓縮圖像N和開始獲取圖像N+1之間有時間延遲343。該時間延遲對於CMP370是必要的，以便在緩衝器340中有足夠用於圖像傳感器的空間來開始載入下一圖像N+1之前壓縮足夠數目的圖像線並將其移至JPEG緩衝器中。在開始下一圖像的載入前必須壓縮的圖像線的數量可以通過正在使用的壓縮方法學來確定(例如，壓縮單元CMP370可以一次壓縮一片8、16或32條像素數據線)，並且該組像素線可以稱作一片或者一塊像素線。在一些實施例中，時間延遲343和345非常短，並且兩次拍攝的時間間隔不長於獲取圖像N的時間間隔的115%。圖3D示出的快照395提供了根據本發明第二實施例的數位照相機的操作的更加直觀性的說明。注意，在緩衝器340中存在三種類型的圖像數據。原始圖像N+l,原始圖像N以及已處理的圖像N(圖3D中指示為"YUVN")。在IPU360連續處理原始圖像N的圖像線並將其從RGB色域轉換到YUV色域的同時，CMP370將先前已處理的圖像N的YUV格式圖像線從緩沖器340傳送到JPEG緩衝器。與此同時，IPP320將原始圖像N+1的圖像線載入緩衝器340中，以重寫已經從緩衝器340中導出的一些先前已處理的圖像N的圖像線。三個組件IPP320、IPU360和CMP370可以彼此並行操作的原因在於，它們都遵守預定的存儲器分配算法，使得它們知道在緩沖器340中到何處取回和/或重寫下面的圖像線。數位照相機中這些不同的部件以預定的方式得以協調以優化緩沖器340的使用。如上所述，IPP320從圖像傳感器中讀取原始圖像，並將其以交錯的順序載入到原始數據緩衝器中，並且IPU360對原始圖像線進行處理，並以邏輯漸進的順序將其從RGB色域轉換到YUV色域。為了降低數位照相機的兩次拍攝的時間間隔，IPP320和IPU360需要遵守相同的預定存儲器分配算法，以使得IPP320知曉在原始數據緩衝器中下一個空閒緩衝器線位於何處，並使得IPU360知道到何處取回待處理的下一原始圖像線。圖4A和圖4B結合示出了根據本發明的一些實施例的使圖像預處理單元和圖像處理單元能夠並行操作的示例性存儲器分配算法，在該特定情況下，假定在數位照相機中存在有獨立的YUV緩衝器和原始數據緩衝器。出於說明的目的，進一步假定，通過圖像傳感器捕獲的每個原始圖像僅僅有8條圖像線，並且8條圖像線被分成兩個域偶數域(包括線0、2、4和6)和奇數域(包括線1、3、5和7)。根據該算法，假定原始數據緩衝器中的一個特定緩衝器線目前容納原始圖像N的圖像線LN,則原始數據緩衝器中由相同緩衝器線先前所容納的原始圖像N-1的圖像線L^定義如下Ln=(LN%Field—Num)*Field—Size+LN/FieldNum,其中Field一Num對應於原始圖像具有的域的數目；Field—Size對應於每個域具有的線的數目；%代表取模函數；以及除法操作是其中捨棄了商中的任何小數部分的整數除法操作，例如7/2=3。在圖4A和圖4B示出的示例中，參數Field—Num等於二(2)，並且參數Field—Size等於四(4)。因此，前述的公式一皮簡化為LN—!=(LN%2)*4+LN/2.基於該7>式，對於IPP可以直截了當地確定到何處以時間交錯的順序來存儲剛剛到達原始數據緩衝器的新原始圖像，對於IPU可以直截了當地確定如何以邏輯漸進的順序來處理原始數據緩沖器中現有的原始圖像。為了方便起見，下面的表1根據該公式列出了四個連續捕獲的原始圖像在原始數據緩衝器中的物理順序。注意，原始圖i"象N+3的物理順序與原始圖1象N的物理順序相同。這暗示了原始此外，應當注意，圖像線2與前面圖像中的圖像線1佔用了相同緩衝器線隙(bufferlineslot),圖像線4與前面圖像中的圖像線2佔用了相同的緩衝器線隙，等等。可以將該模式描述為正根據先前圖像中圖像線的邏輯順序存儲在緩衝器線中的當前圖像中的圖像線的時間序列。從另一觀點來看，三個連續圖像序列中的每個圖像與該序列中的其他圖像相比，具有不同的圖像線至存儲器位置的映射。另外，在使用具有三個或更多單獨從圖像傳感器讀出到原始數據緩沖器的域的圖像傳感器的數位照相機中，對於連續圖像序列的不同圖像線至存儲器位置的映射的數目為F+l，其中F代表域的數目。tableseeoriginaldocumentpage21tableseeoriginaldocumentpage22表1-四個連續捕獲的原始圖像的物理順序圖4A進一步說明了IPP220和IPU260(圖2A)如何與原始數據緩沖器並行交互。例如，IPP220首先將原始圖像1的八條交錯的圖像線載入到原始數據緩衝器中。原始數據緩沖器中的八條線的物理順序通過圖4B中的框圖A來示出。接著，IPU260開始以漸進的順序來處理原始數據緩沖器中的八條圖像線。在IPU260處理特定數目的圖像線(例如，二個)並將其傳送到獨立的YUV緩衝器之後，IPP220開始將原始圖像2載入到原始數據緩沖器中。此時，原始數據緩沖器中僅僅有緩衝器線O和緩沖器線1準備好接受新的圖像線。結果，將最開始兩條圖像線0和2分別存儲在原始數據緩衝器的緩沖器線0和1中。在IPU260完成了對原始圖像1的最後的圖像線7的處理後，IPP260繼續將原始圖像2的八條圖像線中的剩餘圖像線載入到原始數據緩衝器中。原始數據緩沖器中的原始圖像2的八條線的完整物理順序通過圖4B中的框圖B來示出。注意，即使兩個連續獲得的圖像既以時間交錯的順序到達原始數據緩衝器又以邏輯漸進的順序離開所述緩沖器，但它們在原始數據緩衝器中也具有不同的物理順序。對於相關領域技術人員顯而易見的是，出於說明的目的對於前述的存儲器分配算法進行了簡化。圖像傳感器捕獲的現實圖像可以具有數百條甚至數千條圖像線，並且每個圖像線可以包括比兩個域更多的域。然而，本發明的原理，即優化存儲器空間的使用，如結合4A和4B所述i兌明的那樣，仍然可以應用而無需任何本質的調整。前述實施例共享的特徵是，數位照相機中的存儲器被劃分成若干區域，每個區域保留用於特定的任務。在第一實施例中，第一區域是原始數據緩沖器，單獨負責用於存儲原始圖像數據，第二區域是YUV緩沖器，單獨負責用於容納已處理的圖像數據，第三區域是JPEG緩衝器，單獨負責用於高速緩存已壓縮的圖像數據。與該劃分方案相關聯的不利之處是，即使一個區域內的存儲器空間當前並未用於其預定的任務，但它也不能用於不同的任務。在一定的程度上，該問題類似於與現有技術數位照相機相關聯的問題。因此，對於該問題的解決方案可以進一步改善數位照相機的性能。圖5示出本發明的這種替代實施例。根據該實施例，數位照相機中的存儲器(例如，32MBDRAM)被看作是物理存儲器空間。該物理存儲器空間中的固定區域(大約4MB)保留用於存儲軟體。該物理存儲器空間中的剩餘部分被分成許多小存儲器頁面。頁面大小的選擇實質上是兩個竟爭的利益之間的折衷。一方面，頁面大小越小，存儲器利用的效率越高。另一方面，頁面大小越小，需要管理的存儲器頁面也越多，並且系統管理的開銷也越高。在一些實施例中，頁面大小為8KB。每個存儲器頁面並不具有固定的責任。在一個時刻，可以用頁面來存儲原始圖像的一部分，在另一時刻可以用它來存儲已壓縮JPEG文件的一部分。除了靜態物理存儲器空間之外，還存在很大的動態虛擬存儲器空間。虛擬存儲器空間通常大於物理存儲器空間。例如，虛擬存儲器空間至少包括原始數據緩沖器(約16MB)、YUV緩沖器(約16MB)、JPEG讀緩沖器和JPEG寫緩衝器等。有一個頁面表或者位圖等來將虛擬空間中的每個位置連結或者映射到物理存儲器空間中的特定存儲器頁面。注意兩個空間之間的連結是動態的。在數位照相機操作期間，虛擬空間中的不同位置在不同時刻可以佔用物理空間中的相同的存儲器頁面。數位照相機的一個或更多處理器使用虛擬存儲器地址來執行其操作，這些存儲器地址然後通過頁面表被轉換成物理地址以用於訪問處理器將要使用的數據。當處理器試圖使用當前並未映射到物理存儲器位置的虛擬存儲器地址從而導致了存儲器故障時，存儲器分配器識別存儲器中可用的物理頁面，並將其分配給與導致存儲器故障的虛擬存儲器地址相關聯的虛擬存儲器頁面，並相應地更新頁面表。然後恢復處理器的操作。根據該實施例，數位照相機的部件，諸如IPP202、IPU206和CMP270等，與虛擬存儲器空間中的緩衝器進行交互，而不與物理存儲器空間進行交互。每個緩沖器然後被映射到在物理存儲器空間中的唯一存儲器頁面組。更具體地，當前使用的頁面表的入口可以存儲在數位照相機的處理器內頁面表高速緩存中，其有時也稱作轉換旁視緩衝器(TLB)。TLB中的頁面表入口將虛擬存儲器頁面映射到物理存儲器空間的物理頁面(有時也稱作物理頁面幀)。作為虛擬存儲器頁面至物理存儲器頁面的動態分配的結果，即使兩個圖像緩沖器每個都佔用了虛擬存儲器空間的完全獨立的區域，但與兩個圖像緩衝器關聯的存儲器頁面可以以混合的方式分布在不同的物理存儲器空間中。與其中例如IPP220或者IPU260的單個部件需要知道圖像在原始數據緩衝器中的物理順序的前述實施例不同，僅僅存儲器分配器需要知道物理順序。例如，在任何時刻部件完成糹喿作並釋;^:虛擬空間中的特定緩沖器的一部分時，存儲器分配器相應地更新頁面表以允許其他部件來要求物理存儲器空間中新釋放的存儲器頁面。類似地，在任何時刻部件請求特定量的空閒空間時，存儲器分配器掃描頁面表，並在物理空間中保留預確定數量的空閒存儲器頁面。偶爾，如果存儲器分配器沒有找到用於特定操作的足夠的空閒空間，則操作將中斷直到可以有所需量的存儲器空間可用。根據該實施例，數位照相機中的每個部件以最優的模式操作。總體上，與現有技術的數位照相機相比，該數位照相機可以實現更好的性能。出於說明的目的，已經參考特定的實施例對前述說明進行了描述。然而，上述說明性的討論並不是窮舉性的，也不是要將本發明限制於公開的確切形式。根據上述教導，可能進行許多變型和更改。權利要求1.一種處理數位照相機中的圖像序列的方法，包括處理所述圖像序列中的第一圖像，所述第一圖像被以第一順序載入到所述數位照相機的統一存儲器空間中並被以第二順序處理；以及在完成所述第一圖像的處理之前，利用所述圖像序列中第二圖像的圖像數據來重寫所述統一存儲器空間中的所述第一圖像的至少一部分。2.根據權利要求1所述的方法，其中所述第一和第二圖像中的每個都包括多條圖像線，以及所述圖像以時間交錯的順序被載入至)J統一存儲器空間中並以邏輯漸進的順序被處理。3.根據權利要求1所述的方法，其中所述第一和第二圖像的圖像線根據預定的存儲器分配算法分布在所述統一存儲器空間中。4.根據權利要求3所述的方法，其中所述第一圖像的圖像線根據所述預定的存儲器分配算法與所述第二圖像的圖像線不同地分布在所述統一存儲器空間中。5.根據權利要求1所述的方法，進一步包括以邏輯漸進的順序來處理所述第一圖像的預確定數目的圖像線；以時間交錯的順序將所述第二圖像的圖像線載入到所述統一存儲器空間中，以重寫所述第一圖像的已處理圖像線；以及重複所述處理和載入步驟直到完全處理所述第二圖像。6.根據權利要求5所述的方法，其中所述統一存儲器空間包括至少第一和第二存儲器緩衝器，並且首先將圖像的圖像線載入所述第一存儲器緩沖器以進行處理，然後將所述圖像的已處理圖像線存儲在所述第二存儲器緩衝器中。7.根據權利要求1所述的方法，其中所述統一存儲器空間包括一個或更多存儲器設備。8.根據權利要求1所述的方法，其中所述第一和第二圖像通過所述數位照相機被連續地捕獲。9.一種處理數位照相機中的圖像序列的方法，所述數位照相機具有圖像傳感器，所述方法包括利用所述圖像傳感器來獲取第一圖像和第二圖像；將所述第一圖像的圖像數據和所述第二圖像的圖像數據存儲在所述數位照相機內的統一存儲器空間中，包括在完成所述第一圖像的處理之前開始將所述第二圖像的圖像數據存儲在所述統一存儲器空間，以及利用所述第二圖像的圖像數據來至少部分重寫所述統一存儲器空間中所述第一圖像的圖像數據；以及通過對所述圖像的圖像數據至少執行預定的操作來處理每個圖像。10.根據權利要求9所述的方法，其中所述第一和第二圖像通過所述圖像傳感器被連續地捕獲。11.根據權利要求9所述的方法，其中在所述第一圖像的圖像數據被所述第二圖像重寫之前，已經對所述第一圖像的圖像數據執行了所述預定的操作。12.根據權利要求9所述的方法，其中每個圖像的所述圖像數據以與所述統一存儲器空間的使用方案關聯的非連續的順序存儲在所述統一存儲器空間中，並且在執行所述預定的操作時每個圖像的所述圖像數據以不同的順序從所述統一存儲器空間中導出。13.根據權利要求10的方法，其中所述使用方案包括將圖像的圖像線以時間交錯的順序存儲在所述統一存儲器空間中；以及以邏輯漸進的順序處理所述圖#>的圖^f象線；其中所述統一存儲器空間中的所述圖像線根據預定的存儲器分配器算法來布置。14.根據權利要求13所述的方法，其中所述第一圖像的圖像線根據所述預定的存儲器分配算法而與所述第二圖像的圖像線不同地分布在所述統一存儲器空間中。15.根據權利要求9所述的方法，其中所述統一存儲器空間包括至少第一和第二存儲器緩衝器，並且首先將圖像的圖像線載入所述第一存儲器緩衝器以用於進行處理，然後將所述圖像的已處理圖像線存儲在所述第二存儲器緩衝器中。16.—種處理數位照相機中的圖像序列的方法，所述數位照相機具有圖像傳感器，所述方法包括利用所述圖像傳感器來獲取第一圖像；將所述第一圖像的圖像數據讀取到所述數位照相機內的存儲器；對所述第一圖像的圖像數據執行第一處理操作，以產生存儲在所述存儲器中的已處理圖像數據；利用所述圖像傳感器來獲取第二圖像；以及對存儲在所述存儲器中的所述第一圖像的已處理圖像數據執行第二處理操作；其中，所述第一和第二圖像的獲取之間的獲取時間間隔小於用以從所述圖像傳感器中將圖像的所述圖像數據讀取到所述存儲器中的讀出時間間隔和用以對所述圖像的圖像數據執行所述第一和第二處理操作的第一和第二處理時間間隔之和，並且存儲在所述存儲器中的來自所述圖像傳感器的圖像數據的最大量小於來自所述圖像傳感器中的與所述第一和第二圖像關聯的圖像數據的總量。17.根據權利要求16所述的方法，其中所述第一和第二圖像是利用所述圖像傳感器獲取的圖像序列的連續圖像。18.根據權利要求16所述的方法，其中所述第一和第二圖像的獲取之間的所述獲取時間間隔小於所述讀耳又時間間隔和用於對所述第一圖像的圖像數據執行所述第一處理操作的部分處理時間之和。19.根據權利要求16所述的方法，其中所述第一和第二圖像的獲取之間的所述時間間隔小於圖像曝光時間間隔加上圖像讀出時間間隔之和的百分之115。20.根據權利要求16所述的方法，其中存儲在所述存儲器中的來自所述圖像傳感器的圖像數據的最大量不大於來自所述圖像傳感器中的與所述第一圖像關聯的圖像數據的量(A)和來自所述圖像傳感器中與所述第二圖像關聯的圖像數據的量(B)之中的較大者。21.根據權利要求16所述的方法，進一步包括在完成對所述第一圖像的已處理圖像數據的所述第二處理操作之前，利用所述第二圖像的圖像數據來重寫在所述存儲器中的所述第一圖像的圖像數據的一部分。22.根據權利要求21所述的方法，其中所述數位照相機的輸出格式為JPEG才各式。23.根據權利要求16所述的方法，其中所述第一處理操作包括將所述圖像數據從RGB色域轉換到YUV色域，並且所述第二處理操作包括根據預定的圖像壓縮方案將所述YUV色域中的所述圖像數據壓縮到文件中。24.—種處理圖像序列的方法，包括將第一圖像的圖像數據存儲在數位照相機中的存儲器中，所述第一圖像的線根據第一圖像線至存儲器位置映射而被存儲在存儲器緩沖器中；對來自所述存儲器的所述第一圖像的圖像數據進行處理以產生已處理的圖像數據；以及在與所述第一圖像的圖像數據的處理重疊的時間周期期間，通過利用第二圖像的圖像數據來重寫所述第一圖像的圖像數據來把所述第二圖像的圖像數據存儲在存儲器中，所述第二圖像的線根據與所述第一圖像線至存儲器位置映射不同的第二圖像線至存儲器位置映射而被存儲在所述存儲器緩衝器中。25.根據權利要求24所述的方法，其中所述第一和第二圖像的圖像線以混合的方式分布在所述存儲器空間中。26.根據權利要求24所述的方法，其中存儲在所述存儲器中的圖像數據的最大量小於與所述第一和第二圖像關聯的圖像數據的總量。27.根據權利要求24所述的方法，其中在將所述第一和第二圖像存儲在所述存儲器中之間的時間間隔小於用以從圖像傳感器中將圖像的圖像數據讀取到所述存儲器的讀取時間間隔和用以處理來自所述存儲器中的所述圖像的圖像數據以產生已處理圖像數據的處理時間間隔之和。28.—種數位照相機，包括物理存儲器，容納包括多個存儲器頁面的物理存儲器空間；頁面表，用於將虛擬存儲器空間中的位置映射到在所述物理存儲器空間中的所述存儲器頁面中的位置；至少一個處理器，用以對存儲在所述虛擬存儲器空間中的特定位置處的圖像數據執行操作；以及存儲器分配器，用以將所述物理存儲器空間中的存儲器頁面分配給所述虛擬存儲器空間中的所述虛擬存儲器頁面以及解除所述物理存儲器空間中的所述存儲器頁面至所述虛擬存儲器空間中的所述虛擬存儲器頁面的分配，並用以相應地更新所述頁面表。29.根據權利要求28所述的數位照相機，其中與兩個圖像緩沖器關聯的兩組存儲器頁面以混合的方式分布在所述物理存儲器空間中。30.根據權利要求28所述的數位照相機，其中所述虛擬存儲器空間的大小大於所述物理存儲器空間的大小。31.—種數字圖像處理器，包括容納統一存儲器空間的一個或更多存儲器設備；圖像預處理單元，用於將第一圖像的圖像數據以第一順序載入到所述統一存儲器空間中；以及圖像處理單元，用於以第二順序來處理所述統一存儲器空間中的所述第一圖像的圖像數據；其中，所述圖像預處理單元被配置成將第二圖像的圖像數據載入到所述統一存儲器空間中，以及在所述圖像處理單元完成所述第一圖像的圖像數據的處理之前利用所述第二圖像的圖像數據來至少重寫所述統一存儲器空間中的所述第一圖像的一部分。32.根據權利要求31所述的數字圖像處理器，其中在所述數字圖像處理器的操作期間的任何時刻，存儲在所述統一存儲器空間中的圖像數據的最大量小於與所述第一和第二圖像關聯的圖像數據的總量。33.根據權利要求31所述的數字圖像處理器，其中所述圖像預處理單元被配置成根據第一圖像線至存儲器位置映射載入所述統一存儲器空間中的所述第一圖像的線，以及根據與所述第一圖像線至存儲器位置映射不同的第二圖像線至存儲器位置映射載入所述統一存儲器空間中的所述第二圖像的線。34.根據權利要求31所述的數字圖像處理器，其中所述第一原始圖像的圖像線根據預定的存儲器分配算法而與所述第二原始圖像的圖像線不同地分布在所述統一存儲器空間中。35.根據權利要求31所述的數字圖像處理器，其中所述統一存儲器空間包括至少第一和第二存儲器緩衝器，並且將原始圖像的圖像線載入所述第一存儲器緩沖器以用於進行處理以及將所述原始圖像的已處理圖像線存儲在所述第二存儲器緩衝器中。36.—種數位照相機，包括圖像傳感器；用於捕獲原始圖像；非易失性存儲設備，用於存儲數位照相機輸出格式的已處理圖像；以及數字圖像處理器，用於將所述原始圖像處理和轉換成所述數位照相機輸出格式的已處理圖像；所述圖像處理器進一步包括一個或更多存儲器設備，容納統一存儲器空間；圖像預處理單元，用於以第一順序將第一原始圖像的圖像數據載入到所述統一存儲器空間中；以及圖像處理單元，用於以第二順序來處理所述統一存儲器空間中的所述第一圖像的圖像數據；其中，所述圖像預處理單元被配置成將第二圖像的圖像數據載入到所述統一存儲器空間中，以及在所述圖像處理單元完成所述第一圖像的圖像數據的處理之前利用所述第二圖像的圖像數據來至少重寫所述統一存儲器空間中所述第一圖像的一部分。37.根據權利要求36所述的數位照相機，其中在所述數字圖像處理器的操作期間的任何時刻，存儲在所述統一存儲器空間中的圖像數據的最大量小於與所述第一和第二圖像關聯的圖像數據的總曰裡。38.根據權利要求36所述的數位照相機，其中所述圖像預處理單元被配置成根據第一圖像線至存儲器位置映射載入所述統一存儲器空間中的所述第一圖像的線，以及根據與所述第一圖像線至存儲器位置映射不同的第二圖像線至存儲器位置映射載入所述統一存儲器空間中的所述第二圖像的線。全文摘要數位照相機通過以第一順序將圖像序列中的第一圖像載入至數位照相機的統一存儲器空間並以第二順序對其進行處理來獲取圖像序列中的第一圖像。在所述第一圖像被完全處理之前，所述數位照相機開始獲取第二圖像並開始利用第二圖像的圖像數據至少來重寫統一存儲器空間中第一圖像的已處理部分。文檔編號H04N1/21GK101223769SQ200680025741公開日2008年7月16日申請日期2006年3月24日優先權日2005年5月24日發明者A·菲什曼,M·沙列夫,S·珀特塞爾,V·平託申請人:卓然公司