在連接式數字相機的視頻流操作期間用於靜止圖像捕捉的方法和設備的製作方法
2023-06-12 03:57:31
專利名稱：在連接式數字相機的視頻流操作期間用於靜止圖像捕捉的方法和設備的製作方法
技術領域：
本發明通常涉及數字相機和計算機系統，更具體地說是涉及連接到計算機系統上的數字相機的操作性能。
近來，數字相機已發展成為以電子形式獲取和保存數字靜止圖像的便攜系統。可以以多種不同方式使用這些圖像，例如在「電子」相薄中顯示或用於修飾圖形計算機應用。數字相機具有與傳統化學膠片相機相類似的用戶接口，但圖像的捕捉和存儲完全使用電子固體電路和圖像處理技術。
典型的數字相機具有電子圖像傳感器，該電子圖像傳感器通過光學接口接收從物體和場景反射的入射光。光學接口可以包括透鏡系統、光圈機構以及濾光器。通常可以將傳感器作為電荷藕合器件陣列(CCD)或產生響應入射光的發光信號的互補金屬氧化物半導體(CMOS)圖像檢測電路。通過模擬數字(A/D)轉換器將來自傳感器的模擬信號轉換成數字格式，然後再通過邏輯電路和/或程序處理器的處理來產生捕捉到的物體或場景的數字圖像。所捕捉的圖像臨時存儲在內部隨機存儲器(RAM)中，然後也可存儲在相機上的可拆卸局部存儲器中。內部RAM存儲單個圖像，而可移動局部存儲器可存儲許多圖像。此外，圖像可傳輸到與數字相機相連結的計算機上，作為電子文件存儲起來，向用戶顯示，對圖形和圖像做進一步處理以改善圖像質量，以及與其它圖形軟體一起使用。
大多數數字相機的購買者使用個人計算機(PC)系統瀏覽靜止圖像。因此，這些購買者也可享受將其數字相機與其他人通信的樂趣，例如在視頻會議中與另一臺計算機通信，以便看到和聽見其它人。然而，通常大多數數字相機的配置僅能提供靜止圖像。同樣地，通常用於視頻會議的相機在與計算機斷開時也不會作為靜止相機使用。針對這些限制，已經開發了允許使用視頻和靜止圖像捕捉可攜式操作「雙模式」的數字相機和相關的圖像處理結構，在視頻模式中，相機可與計算機相連結(系)以實現視頻目的。這種系統的運行目的是為了通過同一信號處理系統提供靜止和視頻圖像，由此減少單獨購買靜止和視頻相機的消費者的花銷。
然而，這種雙模式相機具有固有的局限性，即僅當相機在可攜式、非視頻方式下操作時才能使用靜止圖像捕捉模式。當相機在視頻模式下使用時(例如與PC相連接用於視頻會議時)，所捕捉的圖像系列包括重寫任意暫存靜止圖像的視頻幀序列，該任意暫存靜止圖像可能已被相機捕捉並存儲在其內部RAM中，因此不可能同時再現發生的視頻流和靜止圖像捕捉操作。
因此，希望在不增加相機成本的情況下，在與計算機相連的數字相機中提供同時發生的視頻流和靜止圖像捕捉操作的方法和設備，以克服現有技術的不足和局限性。
本發明的實施例是一種在與計算機相連的數字相機的視頻流操作期間捕捉靜止圖像的方法。該方法包括以下步驟中止視頻流操作，通過數字相機捕捉靜止圖像，將靜止圖像從數字相機傳輸到計算機系統以及恢復視頻流操作。
本發明的另一個實施例是一種用於在數字相機的視頻流操作過程中捕捉靜止圖像的設備。在具有通過總線與計算機系統相連的數字相機的系統中，該設備包括相機設備驅動器和總線接口驅動器，在計算機系統上執行相機設備驅動程序，以中止視頻流操作，請求通過數字相機捕捉靜止圖像，請求將捕捉到的靜止圖像從數字相機傳送到計算機系統，並恢復視頻流操作；以及總線接口驅動器與相機設備驅動器和總線相連接，通過總線在相機設備驅動器和數字相機之間傳遞命令和數據。
通過對本發明進行下述詳細描述，可理解本發明的特徵和優勢。
圖1是本發明實施例的系統環境圖；圖2是數字圖像捕捉設備例如數字相機的邏輯框圖；圖3是根據本發明實施例的數字相機圖像處理系統的結構圖；圖4是根據本發明實施例執行的信號處理步驟的邏輯流程圖；圖5是與數字相機互相配合的基於主機系統的部件方框圖；圖6是相機設備驅動器的方框圖；及圖7A和7B是用於從數字相機中捕捉和恢復靜止圖像的流程圖。
在下面的描述中，將描述本發明的不同方面。但顯然，對本領域的技術人員來說，可以僅用本發明的一部分或全部方面來實現本發明。為了方便說明，提供具體的數字、材料和圖形以徹底理解本發明。但顯然，本領域的技術人員也可以在不用具體細節的情況下實施本發明。在其它例子中，為使本發明更清晰，省略或簡化了公知的特徵。
本發明的一個實施例是一種為數字相機提供真正雙模式特徵的方法和設備，從而數字相機和相關計算機系統支持同時發生的靜止圖像捕捉和視頻流操作。在發送捕捉靜止圖像命令之前，任何正在用操作的流視頻模式監視顯示在計算機監視器上的一系列圖像成分同時等待適當的圖像合成的人都可能使用根據本發明的雙模式靜止圖像捕捉。例如，專業攝影師、攝影愛好者或者甚至一個初學者用戶都能用雙模式在現場錄象的同時用他們的數字相機進行拍照。在另一個例子中，以視頻模式操作的相機有時用作安全性監視器。使用本發明，操作人員可以在引人關注的、受監視的事件出現時發送捕捉靜止圖像命令。或者，當相機記錄的場景合成變得引人關注或符合可修改的預置參數時，實時圖像分析程序能自動產生捕捉靜止圖像命令。
圖1是本發明一個實施例的系統環境圖。用戶(未示出)操作數字相機10捕捉靜止圖像並生成全速運動視頻圖像。數字相機通過電纜14與主機系統12連接。主機系統可以是任何通用目的的計算機系統，包括個人計算機(PC)、工作站或類似系統，這些計算機系統至少有一個處理單元和至少一個存儲機器可讀指令的存儲器。在一個實施例中，系統實現通用串行總線(USB)通信接口。USB是外圍總線規格，實現PC外部的計算機外圍設備的「即插即用」，在增加新的外設時不需要將印刷電路板安裝到專用計算機插槽中和重新配置系統。配備有USB的計算機使得外設一經物理連接就能被自動配置。USB在圖1中用電纜14表示。或者，可以利用計算機系統和計算機外設之間的其他通信接口。
圖2是數字圖像捕捉設備例如數字相機的邏輯框圖。數字相機100以至少兩種操作模式運行，從而通過同一信號處理系統提供靜止和視頻圖像。在一個實施例中，通過以鏈式完成數字圖像處理操作，信號處理系統提供來自於同一詳細的、原始圖像傳感器信號的視頻和靜止數據。原始圖像傳感器信號被數位化並準備進行空間度量，然後解相關並編碼成壓縮數據。在通過計算機總線例如USB進入的可再編程邏輯電路中執行不同的圖像處理操作，或者通過對高性能數據處理器進行編程來執行軟體操作。
數字相機100包括視頻和靜止處理塊110，具有透鏡系統104和光圈108的光學接口，用於暴露於從其圖像將被捕捉的物體102反射回來的入射光。相機100還可以包括產生補足光的頻閃觀測器或電子閃光燈，以便當相機100在低照度下工作時加強對物體102的照明。
透鏡系統104最好具有既可為視頻操作又可為靜止操作所接受的固定焦距，因為在視頻模式下可以允許用於近距離物體(例如在視頻會議期間用戶的臉)的光學接口的調製傳遞函數(MTF)下降(由此圖像品質降級)。光學接口具有光圈機構108以控制傳感器上光的劑量和聚焦深度，並可以為視頻和靜止操作僅配置下述兩種設置。
光學接口將入射光引導到電子圖像傳感器114上。圖像傳感器114具有多個像素，這些像素電響應入射光強度和顏色。傳感器114產生表示所捕捉圖像的清晰度足以作為靜止圖像的信號。接收所生成光的模擬傳感器信號的A/D轉換器(未示出)可以包括在傳感器114中，用於產生定義曝光物體102和周圍場景的數字圖像的數字傳感器信號。或者，傳感器114為塊110提供模擬信號，塊110又可以在將信號轉換成數字格式之前對它們進行模擬信號處理。在其中一種情況下，數位化後的傳感器信號由此定義原始圖像數據，然後通過視頻和靜止塊110根據圖像處理方法對原始圖像數據進行處理，以便根據所選擇的靜止或視頻操作模式形成靜止圖像或描繪曝光物體或場景運動的一序列視頻圖像。
模式選擇可以由設備100的用戶通過對設備100進行機械控制(未示出)來決定。通過局部用戶接口158接收機械旋鈕設置並將其轉化成將由連接統控制器160處理的控制信號和數據。設備100可以經主機/PC通信接口154連接到視頻模式的主機，例如PC。該主機/PC通信接口連接圖1的電纜14。視頻模式僅在相機連接到計算機系統上時才可以使用。接著，用戶可以通過在圖1的主機12上運行的軟體進行模式選擇，然後通過主機/PC接口154將適當的控制信號和數據傳送給系統控制器160。
如上所述，系統控制器160響應用戶所作的模式選擇，協調(orchestrate)捕捉視頻和靜止圖像。系統控制器160配置視頻和靜止處理塊110，以提供靜止圖像數據或描繪一序列視頻圖像幀的視頻圖像數據。然後圖像存儲在設備100上和/或傳送到主機/PC，以便解壓縮(如果圖像曾經被壓縮)、著色和/或顯示。
數字相機100包括接收和存儲靜止圖像數據的局部存儲設備122。存儲設備122可以包括閃速半導體存儲器和/或旋轉媒體設備。閃速存儲器是可拆卸的，例如Intel公司的微型卡式閃速存儲器。旋轉媒體也可以是可拆卸的或固定的，可以是磁碟或適於存儲圖像數據文件的其他類型。
圖像數據也可以通過主機/PC通信接口154在相機100的外部進行傳送。通信接口154可以根據計算機外設總線標準配置成既將靜止圖像數據傳送給主機/PC，又將視頻圖像數據傳送給主機/PC。可使用的總線標準例如可以是RS-232串行接口、通用串行總線(USB)或者更高的電氣及電子工程協會(IEEE)性能標準1394-1995。
如上所述，相機100可配置成以多種模式進行光學和電氣操作，包括視頻模式和靜止模式，視頻模式例如視頻會議期間，靜止模式例如類似於使用傳統可攜式相機進行拍照時。從光學的觀點來看，為了降低生產該設備實施例的成本，固定焦距透鏡系統104，例如具有10mm有效焦距的透鏡系統，是最好的且可用於兩種模式。在用於視頻會議及快速幀頻應用以捕捉運動的視頻模式下可以選擇大約f/2的光圈108。該光圈設置的主焦點最好為物體102大約1米遠，背景的景深為2米。
在操作的靜止模式中，可以捕捉室內和室外場景的可接受質量的靜止圖像。對於室內場景，亮度級可能會很低，以至需要通過頻閃觀測器或電子閃光燈112發出補充光。對於室內場景，人們通常會選擇光圈108介於f/2至f/8之間。在這個光圈範圍內，主焦點為物體102大約2米遠，背景的景深為4米。對於具有環境光的室外場景，主焦點為物體102大約2-3米遠，背景的景深為無窮遠。通常，對於室外場景，人們會選擇大約為f/8的光圈以完成聚焦。
通過如此配置視頻和靜止程序塊110，相機100還可以電子配置成雙模式操作，以提供靜止圖像數據或視頻圖像序列。在一個實施例中，塊110作為邏輯電路和/或被編程的程序數據處理器執行數位訊號和圖像處理功能以產生壓縮的圖像數據，該壓縮的圖像數據具有從傳感器114接收的詳細、原始圖像數據的預定義解析度和壓縮率。圖3所示的這種塊110是根據本發明實施例的數字相機(或其它圖像捕捉設備)圖像處理系統200的部分邏輯方框圖。
圖3所示為本發明實施例視頻和靜止操作模式的圖像數據所取路徑的數據流程圖。程序塊110包括一系列起始於校正塊210的成像功能。無論何時，只要從傳感器114接收到的原始圖像數據的質量在圖像被縮放和壓縮前都保證進行某種預處理，就使用校正塊210。在某些情況下，校正塊210對從圖像傳感器接收到的原始圖像數據進行像素置換、壓縮擴展以及圖像校正。該原始圖像數據應該是具有充分細節(例如最好是768×576或更高的空間解析度)以產生可接受質量的靜止圖像。
在塊210中可執行像素置換以用有效數據替代無效像素數據，為隨後的成像功能提供更確定性的輸入。可以執行壓縮以降低每個像素的解析度(每個像素的位數)。例如，原始圖像數據可以達到每個像素10位，而邏輯電路的最佳像素解析度可能是8位(1個字節)。也可以執行傳統的圖像校正以使圖像的信息量符合主機的預期，最終在主機上顯示圖像。
在塊210中對每個所接收到的原始圖像幀執行的其它功能包括降低固定圖形噪聲，這通常需要在壓縮圖像前進行。再次，塊210是否執行任何校正功能通常取決於從傳感器114接收到的原始圖像數據的質量，在圖像準備存儲或傳輸到主機前都將執行隨後的某些圖像處理例如縮放或壓縮。
一旦原始圖像數據已被校正，或相反通過校正塊210處理成所希望的尺寸或格式，如果需要滿足如圖2所示的主機/PC通信接口154和局部存儲設備122的傳輸和存儲請求，可以縮放和壓縮所校正的數據。為滿足這些請求，處理塊110可以包括縮放和壓縮邏輯212，以在傳輸和/或存儲前執行任何必需的圖像縮放和壓縮。
例如，可以配置縮放和壓縮邏輯212以減小圖像尺寸和解析度以產生與更大和更多細節的靜止圖像相比更小的、更少細節的視頻圖像。需要更小及更少細節的圖像數據的目的是快速傳輸將在主機/PC上解壓縮和瀏覽的視頻圖像序列。然而，如果在相機100和主機/PC之間的傳輸鏈路具有足夠帶寬能夠按主機/PC所需的速率傳輸詳細的原始圖像數據序列，則可以簡化甚至省略對靜止或視頻操作的縮放和壓縮邏輯212。
如圖3所示，壓縮邏輯212將實現許多數字圖像處理功能。根據從相機100中使用的光學接口所給出的系統200所期望的性能(壓縮圖像數字的著色速度)和圖像質量，本領域的技術人員可對這些或其它類似功能如下面描述的進行配置。在圖3所示的一個實施例中已經用作為獨立邏輯電路部件執行成像功能，下面對此進行描述。
縮放邏輯214對校正的圖像數據執行二維空間縮放，以產生更易於存儲或傳輸的更小圖像。使用傳統的已知技術根據所選擇的縮放比率進行縮放。縮放率可以是整數或小數。縮放可以以2-維方式完成，例如，利用兩個單獨的1-維縮放過程。
僅通過選擇適當的縮放率，就可以在視頻捕捉和靜止圖像捕捉中使用縮放邏輯214。例如，所校正圖像的4∶1二次抽樣可以以視頻模式完成，以使所校正圖像數據的16個像素平均合併成縮小圖像數據中的1個像素。基於標準採樣原理並假設不相關的噪聲源，二次抽樣也可以改善係數為4的信號噪聲比。例如也可以使用2∶1的低縮放比，其中將四個像素平均，產生一個縮小圖像數據中的一個像素，導致兩者信號噪聲比(SNR)的改善。在視頻模式操作期間，通過以這種方式縮放更詳細的校正圖像數據，由於在視頻操作中(例如在視頻會議期間)中通常遇到低亮度級，因此系統200會補償所增大的噪聲。
在圖3一系列圖像功能塊中的下一個是解相關和編碼邏輯222。根據所選擇的多個解相關方法中的一種，從縮放邏輯214接收的縮小圖像數據被解相關以準備熵編碼，熵編碼是一種圖像壓縮類型。再者，用戶可以選擇一種適於獲取通常更小尺寸視頻圖像的特殊解相關方法。
當相鄰像素之間不同時，解相關功能可能會產生錯誤圖像數據。可用於圖像解相關的一種特殊方法是數字脈衝碼調製(DPCM)方法。為了進一步壓縮圖像數據，如果需要，例如，在傳輸大量視頻圖像幀時，可以通過使用DPCM「量化」(將第一組數據映像成更小的一組值)錯誤的形式來引入「損失」。
在一系列成像功能塊中的下一階段是塊222執行的熵編碼，其使用可變長度編碼技術來壓縮被解相關的圖像數據。例如，普遍使用的已知熵編碼方法是赫夫曼編碼。熵編碼包括用位串來代替被解相關的圖像數據中的符號，在這種方法中用具有不同可變長度的二進位串表示不同的符號，最普遍出現的符號用最短的二進位串表示。因此，熵編碼邏輯222提供壓縮的圖像數據，如圖3示例中所示，其中縮小的8位數據被編碼成具有3-16位可變長度的數據。
再者，用來獲得視頻和靜止圖像的編碼方法可以是不同的，並可根據操作模式進行選擇。例如，與視頻圖像數據相比，編碼靜止圖像數據可以使用更大一組符號(具有可變二進位串長度)。這是因為主機/PC分配給解壓縮靜止圖像的時間比分配給解壓縮視頻圖像的時間多。相反，對於編碼視頻圖像，應當使用具有統一二進位串長度的更有限的一組符號更快速地解壓縮視頻圖像幀序列。此外，具有統一二進位串長度允許使用定額帶寬來傳輸特別適於諸如USB這樣的主機/PC接口的圖像數據。
圖像處理系統200包括簡化上述雙模式操作的附加邏輯。特別地，塊210和212中的邏輯電路使用可編程查找表(LUT)和隨機存取存儲器(RAM)以靈活完成其各自的圖像功能。按照所選特殊操作模式的方法所指定的，每個LUT和RAM為其各自的圖像功能邏輯提供信息。例如，縮放邏輯214使用RAM存儲區來存儲中間縮放計算結果。而且，用於解相關和編碼邏輯的LUT234也可以加載現有技術中已知的完成解相關和編碼所需的不同規則和數據，這取決於所需的是靜止圖像還是視頻圖像。在特殊實施例中，LUT234使用兩個查找表(LUT)，一個用於列表字符(所謂的「代碼薄」)，另一個用於列表串長度。
可以使用不同的技術來確定將裝入RAM和LUT中的正常值。例如，可以通過相機控制部件160完成圖像測量，以確定影響解相關和熵編碼的照明和其它因素。如上所述，傳輸和存儲限制可以規定更大的壓縮，特別是在產生大量圖像幀的視頻操作期間，以使用於解相關和熵編碼的LUT會包括用於圖像數據壓縮的更小的代碼薄。
儘管上述不同的LUT和RAM可以作為單個物理RAM部件的一部分來執行，或者也可以以不同的組合結合成一個或多個RAM部件，但每個LUT和RAM最好以物理上獨立的部件執行，以獲得成像功能的快速性能。
圖像數據根據壓縮邏輯212所希望的模式被壓縮後，接著可變長度數據通過將數據打包成恆定長度傳遞到數據打包部件226，因此，越易處理，數據段在計算機總線上的存儲和傳輸就越有效。再者，如果來自傳感器114的圖像數據是充分可接受的，而且由於傳感器圖像數據具有恆定長度且易於在具有最少處理的設備100外存儲或傳輸，對這些數據沒有更多傳輸和存儲的限制，則數據打包部件就變成多餘的。
在數據打包部件226中，所接收到的不同長度的數據塊被打包成具有預先確定的一恆定長度的數據塊。例如，在圖3的系統200中，數據打包部件將可變長度壓縮圖像數據打包成16位數據塊。然後將16位數據塊發送到諸如直接存儲器存取(DMA)控制器這樣的數據流控制器238，接著直接存儲器存取控制器在訪問總線242前將地址信息加入到每個數據塊中，以使16位塊在總線上發送。存儲器控制器246接受總線242上的16位塊並將其暫時存儲在相機100上的存儲器中，例如動態RAM(動態隨機存儲器)(未示出)中。
靜止圖像數據被打包後，通過與總線242相連接的局部存儲接口250從總線242上傳送到局部存儲器122(見圖2)。例如，局部存儲設備122可以是將圖像數據作為「文件」接收的可拆卸的閃速存儲器卡，「文件」包括壓縮表、文件頭、時間和日期標記，以及附著於圖像數據的測量信息。然後該卡可從相機100中取出，並插入PC12中以傳送靜止圖像數據用於解壓縮、瀏覽和/或在PC中進一步處理。
或者，也可以使用可拆卸存儲設備，可使用主機/PC通信控制器154將靜止和視頻圖像傳送到相機100外。這可以通過使用應用於通信接口154中的特殊總線標準將靜止圖像數據準備為適於傳輸的磁碟文件來實現，傳送至主機12中存儲並由主處理機(未示出)存取。視頻圖像數據可根據已知技術通過諸如USB這樣的控制器接口流入主機。
在圖3所示的基於總線結構的內容中已對相機100的雙模式操作和處理系統200進行了描述。為了更便於對這種結構中不同操作模式進行軟體控制，可將多個存儲器的控制寄存器(未示出)連接到總線242上，以允許系統控制器160以所希望的操作模式配置相機100和系統200。提供給系統控制器執行的指令通過總線242訪問LUT、RAM和控制寄存器，以對所選操作模式的正確圖像處理方法所需要的參數進行編程。例如，在製造過程中，可以將用於所有操作模式的縮放、解相關和熵編碼方法的不同規則和參數作為控制器指令存儲在相機100上，其中每個操作模式被分配不同組的方法。適當的一組可裝入響應用戶通過局部用戶接口158或主機/PC通信接口154所選模式的視頻和靜止塊110中，儘管視頻和靜止塊110的一個實施例是邏輯電路，但圖像處理系統200也可以配備有執行指令的被編程的高性能處理器以完成塊110的數字成像功能。圖4中示出了由這種處理器執行的示範性步驟，根據對圖3中視頻和靜止處理塊110實施例中的校正塊210和壓縮邏輯212的以上描述中可以很容易理解。圖4中的步驟順序可由系統控制器160執行，或由與總線242相連接的獨立的、專用處理器(未示出)執行。
為了概要描述相機，上述實施例可用在諸如以靜止模式(在便攜或連接時捕捉靜止圖像)和視頻模式(數字相機通過計算機外設總線接口與主機或其它圖像瀏覽系統相連)操作的數字相機的設備中。相機具有圖像傳感器及視頻和靜止處理決110，其配置成在室內和室外場景中都能以靜止模式捕捉細節圖像。在視頻模式中，相機可以配置成適於使用相同處理塊110來壓縮細節圖像序列(如果需要傳輸和存儲)，以捕捉視頻序列，該視頻序列可通過諸如USB這樣的計算機外圍總線接口傳輸至主機進行瀏覽。
當然，上述數字相機的實施例要服從結構和工具上的某些變化。例如，儘管在處理塊110中的圖像數據路徑被示作初始為8位寬並在被壓縮時上升為16位，但本領域的技術人員可以考慮使用其它數據路徑寬度來實現本發明。系統控制器160也可以與數據流控制器238組合成一個物理的、集成電路元件，例如微控制器。
圖5是與數字相機相互配合的基於主機系統部分的方框圖。數字相機10通過總線接口14與計算機系統12相連接。在一個實施例中，該接口為USB接口。在應用空間中，由計算機執行用於瀏覽靜止圖像和/或全速運動視頻300的應用程式。該應用程式用於圖像顯示和操縱、視頻會議以及與所捕捉的圖像和視頻流有關的其它功能。應用程式300與相機設備驅動器軟體302接口以與數字相機10通信。在作業系統空間中，由計算機系統執行相機設備驅動器軟體。應用程式和相機設備驅動器軟體之間的接口如圖5中的線304、306和308所示。接口304表示在兩部分之間通過的命令和狀態信息，接口306表示靜止圖像和成批數據(例如相機初始查找表(LUT))的傳送，接口308表示視頻圖像的傳送。
相機設備驅動器軟體302在運行在PC上的應用程式和數字相機之間提供接口。該驅動程序通過與稱為USB驅動程序(USBD)310的總線接口驅動程序相互作用來調整與USB電纜14的通信。USBD是用於調整計算機系統的所有USB設備驅動程序包的低級程序。USBD接收來自相機設備驅動器的命令包，並將其轉換成通過USB插孔312送出的電信號。USB插孔312與低電平控制器314的輸入/輸出端相連，低電平控制器314與USB電纜14相連。在一個實施例中，低電平控制器為Intel公司的PⅡX控制器。
當如圖5所示數字相機與計算機相連接時，相機捕捉的圖像存儲在內部RAM內，一直到相機接收到請求將所捕捉的圖像傳送到計算機。在接口304上通信的與靜止圖像的捕捉和傳輸有關的有三個命令。第一個命令是捕捉圖像命令。靜止和/或視頻瀏覽應用程式300將該命令發送到數字相機，指示相機打開其傳感器，使圖像曝光並將曝光的圖像複製到相機內的內部RAM中。第二個命令是請求圖像長度命令。靜止和/或視頻瀏覽應用程式300將該命令發送到數字相機，以獲得所捕捉的靜止圖像的位長。然後應用程式分配主機上的部分存儲器來保存靜止圖像。第三個命令是請求發送圖像命令。靜止和/或視頻瀏覽應用程式將該命令發送到數字相機，以使其將所捕捉的圖像傳送或上載到計算機系統。這個命令包括圖像長度，圖像長度是根據響應請求圖像大小命令所接收的位數。當操作模式為視頻模式時，所捕捉的圖像通過接口308傳送回靜止和/或視頻瀏覽應用程式。當操作模式為靜止模式時，所捕捉的圖像通過接口306傳送回靜止和/或視頻瀏覽應用程式。
在現有技術系統中，當命令被發送到相機以初始化圖像捕捉時，相機捕捉圖像並將其存儲在相機的內部RAM中。在隨後的時間裡，應用程式請求將捕捉到的圖像從相機上載到PC中。在靜止模式中，這種方法一直持續到內部RAM中的圖像被重寫。然而，在視頻流操作期間，由於在相機的內部RAM中僅有存儲單個圖像的空間，因此捕捉到的靜止圖像幾乎立即被相機捕捉的下一個視頻幀重寫。本發明的一個實施例以下面的方法克服了這個問題。當相機設備驅動器302檢測來自靜止和/或視頻瀏覽應用程式300的捕捉圖像命令時，相機設備驅動器將整個圖像捕捉和圖像恢復命令序列作為自動操作來執行，由此使捕捉到的圖像在被由相機產生的視頻流序列中的下一個視頻幀重寫之前存儲在主機系統中。該自動操作不能被與視頻流處理有關的事件打斷，因而確保捕捉到的圖像回保留在主機中。無論何時只要相機與主機相連接就執行該處理，並有效完成真正的雙模式處理工作。那麼用戶就可以在諸如視頻會議這樣的視頻流處理期間拍攝靜止圖像。
然而靜止圖像以捕捉圖像/請求圖像長度/請求發送圖像命令的序列被傳送，而通過非常不同的命令序列發送流視頻圖像。首先，相機設備驅動器將命令發送給數字相機，以根據每個視頻傳送請求設置將要傳送的視頻數據量。通常相機發送到計算機系統的每個視頻數據包所選擇的數量是介於68和768之間的數據。在一個實施例中，圖像為320個像素寬、240個像素高，一個視頻幀具有76,800位。因此，需要一百個768位的視頻數據包來組成一個完整的視頻幀。如果包長度是768位，則相機設備驅動器將獲取更多的視頻數據的命令發送一百次，以得到一個視頻幀。相機設備驅動器將啟動流視頻數據命令發送到相機。然後相機設備驅動器進入循環，並執行將獲取更多的視頻數據的命令發送到相機的操作，並將視頻數據包附加給主機上的視頻幀緩衝器，獲取視頻數據直至接收到完整視頻幀，執行視頻解壓縮和增益視頻幀，並將處理後的視頻幀發送到應用程式。在視頻模式中，僅發送一個捕捉命令(啟動流命令)，僅發送一個長度的命令(設置單個視頻數據包長度的命令)，每個視頻數據幀需要很多獲取數據請求。僅在啟動視頻模式時才發送一組視頻數據包長度命令和啟動流命令。在它們被發送後，只要相機設備驅動器繼續發送獲取更多視頻數據命令，視頻數據就持續從相機流出。
圖6是本發明實施例的相機設備驅動器的方框圖。相機設備驅動器接收命令並將狀態和數據返回給應用程式，還與USBD310相配合實現與數字相機的通信。處理狀態和狀態命令函數400接受來自應用程式的命令，請求數字相機執行該功能並將所請求的狀態返回到應用程式。處理狀態和狀態命令函數400詢問通道狀態存儲器402相機設備驅動器的當前狀態和數字相機操作。
如果所接收的命令在相機初始化期間涉及靜止圖像捕捉和恢復或成批數據的下載，則處理狀態和狀態命令函數400指示處理靜止和成批命令函數404處理該命令。如果所接收的命令涉及視頻流，則處理狀態和狀態命令函數400指示處理流命令函數406處理該命令。在另一個例子中，合適的函數404或406將命令通過USBD發送至相機。作為響應，相機通過USB將圖像數據發送到相機設備驅動器。當出現數據成批傳送時(例如，一旦相機初始化，就下載顏色查找表(LUT)或其它數據)，數據在傳送到相機前暫時存儲在靜止和成批傳送存儲器408中。當靜止圖像從相機中恢復時，圖像數據在傳送到應用程式之前存儲在靜止和成批傳送存儲器408中。當一組視頻幀中的一個從相機中恢復時，組成視頻幀的圖像數據在傳送到應用程式之前存儲在流存儲器410中。需要注意的是，靜止圖像數據和視頻數據是存儲在主機上的相機設備驅動器中的單獨的存儲單元中。也要注意影響靜止和視頻流的並行控制路徑是由處理靜止和成批命令函數404和處理流命令406執行的。
對於靜止圖像處理，應用程式將捕捉圖像命令發送到處理狀態和狀態命令函數400。該函數指示處理靜止和成批命令函數404將命令發送到相機並鎖定將要執行的未來視頻流命令，直至完成靜止圖像處理。當相機返回靜止圖像數據時，通過USBD310將其載入靜止和成批傳送存儲器408中。一旦收到來自應用程式的請求，處理靜止和成批命令函數404就指示將數據傳送到應用程式空間並將狀態返回到處理狀態和狀態命令函數400，處理狀態和狀態命令函數400再將相同的狀態返回到應用程式。
對於視頻流處理，應用程式將視頻流命令發送到處理狀態和狀態命令函數400。該函數指示處理流命令函數406將這些命令發送至相機中。當從相機中接收視頻幀時，通過USBD310將其載入流存儲器410。然後處理流命令函數406指示將視頻幀數據傳送到應用程式空間以顯示給用戶並將狀態返回到處理狀態和狀態命令函數400，處理狀態和狀態命令函數400可以將狀態返回到應用程式，也可以不將狀態返回到應用程式。
圖7A和7B是根據本發明實施例用數字相機捕捉和恢復靜止圖像的步驟的流程圖。當相機以靜止和視頻流兩種操作模式與計算機系統相連接時，執行這些步驟。捕捉到的靜止圖像可以從閃速存儲器卡或相機的內部RAM中拷貝。啟動步驟500後，在步驟502上，應用程式將捕捉圖像命令發送到相機設備驅動器上，指示驅動程序使相機拍攝圖片。驅動程序檢查該命令並確認其是捕捉圖像請求。然後在步驟504上，相機設備驅動器啟動全部命令序列來徹底捕捉和恢復圖像。首先，相機設備驅動器確認機相是否處於視頻流操作模式。當相機處於視頻流操作模式時，其繼續捕捉圖像並將捕捉到的圖像有效上載到計算機中。在步驟506上，如果相機現在正在流動，則相機設備驅動器記錄當前流狀態並將終止流命令發送到相機中。
在步驟508上，一旦保存當前狀態，則相機設備驅動器將捕捉圖像命令從USB發送到相機中。在步驟510上相機設備驅動器等待的捕捉圖像命令的成功完成。如果命令失敗，則驅動程序將錯誤返回給應用程式。如果命令成功，則圖像被相機捕捉並存儲在相機的內部RAM中。接著在步驟512上，相機設備驅動器將報告圖像長度命令發送到相機中。該命令請求得到捕捉到的圖像的位長。在步驟514上，相機設備驅動器等待報告圖像長度命令的成功完成。如果報告錯誤，則相機設備驅動器將錯誤返回到應用程式。否則，在通過連接器7B的圖7B上繼續進行處理。
一旦相機設備驅動器知道圖像的長度，其必須準備USBD層以恢復規定長度的成批傳送。在圖7B的步驟516上，相機設備驅動器將接收成批傳送命令發送到USBD以接收響應報告圖像長度命令返回的圖像數據的位數。接收到的數據將存儲在驅動器的靜止和成批傳送存儲區中。該命令的結果是，USBD準備並等待接收任何相機通過USB發送的成批數據。然而，在相機從驅動程序中收到上載捕捉到的圖像命令前，還不能開始發送數據。在步驟518上，相機設備驅動器將上載捕捉到的圖像命令發送到相機。相機設備驅動器等待步驟520上的命令的成功完成。如果命令失敗，則取消預先發送到USBD層的接收成批傳送命令，並將錯誤狀態返回到應用程式。如果命令成功完成，這僅意味著相機已接收到驅動程序的請求以上載所捕捉的圖像。它不意味著已完成上載。上載捕捉到的圖像命令啟動捕獲圖像的傳送。在步驟522上，USBD通過USB將從相機接收到的圖像數據存在主機系統上的標誌保護的靜止和成批傳送存儲器上。在步驟524上，相機設備驅動器等待將被完全發送的捕捉到的圖像以及上載捕捉到的圖像命令的成功完成。如果產生錯誤，則將錯誤狀態返回到應用程式。
在完成捕捉圖像命令前，在步驟526上，相機設備驅動器檢查以前記錄的相機狀態。如果步驟528中相機以前是流狀態，則相機設備驅動器將啟動流命令發送到相機以恢復視頻流操作。當沒有錯誤地完成傳送時，將成功狀態在530返回到應用程式並在終止步驟532上終止處理。這將完成對捕捉圖像命令的處理。現在相機可以恢復其視頻流。現在圖像可從主機系統上的標誌保護的靜止和成批傳送存儲器中得到，以供應用程式使用。應用程式現在必須請求將捕捉到的圖像拷貝到應用程式存儲空間中。這通常通過請求捕捉到的圖像的長度、分配存儲器來保存圖像然後請求拷貝圖像來實現。需要注意的是，由於圖像已經從相機上載到計算機系統中，當相機設備驅動器接收到來自應用程式的捕捉到的圖像命令的獲取長度時，不需要給相機發送任何命令。僅需返回相機以前報告的長度。類似地，當相機設備驅動器接收來自應用程式的上載圖像命令時，不需要給相機發送任何命令。它僅僅從相機設備驅動器空間內的靜止和成批傳送存儲器中拷貝圖像，所述圖象已經預先存儲到應用程式的存儲空間中。
雖然已經結合優選實施例對本發明進行了描述，但是，應當知道，本領域的技術人員可以在不背離本發明的精神的條件下進行修改和變型，本發明的範圍由權利要求書限定。本文和附圖所述內容是解釋性的而非限制性的。
權利要求
1．在與計算機系統相連接的數字相機的視頻流操作期間捕捉靜止圖像的方法，包括中止視頻流操作；通過相機捕捉靜止圖像；將靜止圖像從數字相機傳送到計算機系統；以及恢復視頻流操作。
2．根據權利要求1所述的方法，其中，中止視頻流操作包括保存視頻流操作的當前狀態並將終止流命令從計算機系統發送到數字相機。
3．根據權利要求2所述的方法，其中，恢復視頻流操作包括檢查所保存的視頻流操作的當前狀態並在所保存的當前狀態指示視頻流時將啟動流命令從計算機系統發送到數字相機。
4．根據權利要求1所述的方法，其中，通過數字相機捕捉靜止圖像還包括將捕捉圖像命令從計算機系統發送到數字相機。
5．根據權利要求1所述的方法，其中，傳送靜止圖像包括獲得所捕捉的靜止圖像的長度；根據捕捉到的靜止圖像的長度請求傳送所捕捉的靜止圖像；從數字相機接收所捕捉的靜止圖像；及將所捕捉的靜止圖像存儲在計算機系統的存儲器中。
6．根據權利要求5所述的方法，其中，計算機系統包括相機設備驅動器和總線接口驅動程序，請求傳送所捕捉的靜止圖像包括將成批傳送命令從相機設備驅動器發送到總線接口驅動程序以接收來自相機的數據和將上載所捕捉的圖像的命令發送到數字相機以啟動所捕捉圖像的發送。
7．根據權利要求6所述的方法，其中，總線接口驅動程序是通用串行總線驅動程序且計算機系統通過通用串行總線與數字相機相連。
8．在與計算機系統相連的數字相機的視頻流操作期間捕捉靜止圖像的系統中，一種在其中存儲了多個機器可讀指令的機器可讀媒體，這些機器可讀指令可由計算機系統的處理器執行，所述機器可讀指令包括使視頻流操作中斷的指令、請求由數字相機捕捉靜止圖像指令、將靜止圖像從數字相機傳送到計算機系統指令以及使視頻流操作恢復指令。
9．根據權利要求8所述的機器可讀媒體，其中，中止視頻流操作機器可讀指令包括保存視頻流操作當前狀態指令和將終止流命令從計算機系統發送到數字相機指令。
10．根據權利要求9所述的機器可讀媒體，其中，恢復視頻流操作指令包括檢查所保存的視頻流操作的當前狀態指令和當所保存的當前狀態指示視頻流時將啟動流命令從計算機系統發送到數字相機指令
11．根據權利要求8所述的機器可讀媒體，其中，由數字相機捕捉靜止圖像的機器可讀指令還包括將捕捉圖像命令從計算機系統發送到數字相機指令。
12．根據權利要求8所述的機器可讀媒體，其中，傳送靜止圖像的機器可讀指令包括獲得所捕捉的靜止圖像長度指令、根據所捕捉的靜止圖像長度請求傳送所捕捉靜止圖像指令、從數字相機接收所捕捉靜止圖像指令以及將捕捉到的靜止圖像存儲在計算機系統的存儲器中。
13．根據權利要求12所述的機器可讀媒體，其中，計算機系統包括相機設備驅動器和總線接口驅動程序，請求傳送捕捉到的靜止圖像的機器可讀指令包括將成批傳送命令從相機設備驅動器發送到總線接口驅動程序以接收來自數字相機數據的指令，並將上載捕捉到的圖像的命令發送到數字相機以啟動所捕捉圖像的發送的指令。
14．根據權利要求13所述的機器可讀媒體，其中，機器可讀指令包括總線接口驅動程序，總線接口驅動程序包括作為通用串行總線驅動程序操作的指令。
15．在具有通過總線與計算機系統相連的數字相機的系統中，用於在數字相機的視頻流操作期間指示靜止圖像的捕捉和恢復的設備，包括在計算機系統上執行的相機設備驅動器，所述相機設備驅動器中止視頻流操作，請求由數字相機捕捉靜止圖像，請求將捕捉到的靜止圖像從數字相機傳送到計算機系統，以及恢復視頻流操作；及與相機設備驅動器和總線相連的總線接口驅動程序，在相機設備驅動器和數字相機之間通過總線執行命令和數據的通信。
16．根據權利要求15所述的設備，其中，總線為通用串行總線。
17．根據權利要求15所述的設備，其中，相機設備驅動器包括第一驅動器，第一驅動器與總線接口驅動程序和運行在計算機系統上的應用程式相連，以處理從應用程式接收到的狀態和狀態命令；第二驅動器，第二驅動器與第一驅動器相連以處理靜止圖像捕捉命令；以及第三驅動器，與第一驅動器相連以處理視頻流命令。
18．根據權利要求17所述的設備，其中，相機設備驅動器還包括存儲器以存儲通過總線接口驅動程序接收來自數字相機的靜止圖像數據。
19．根據權利要求17所述的設備，其中，相機設備驅動器還包括存儲器以存儲通過總線接口驅動程序接收來自數字相機的視頻幀數據。
20．在具有通過總線與計算機系統相連的數字相機的系統中，用於在數字相機的視頻流操作期間指示靜止圖像的捕捉和恢復的設備，包括中止視頻流操作的裝置；請求通過相機捕捉靜止圖像的裝置；請求將捕捉到的靜止圖像從數字相機傳送到計算機系統的裝置；及恢復視頻流操作的裝置。
21．根據權利要求20所述的設備，其中，中止裝置包括用於保存視頻流操作的當前狀態的裝置和用於將終止流命令發送到相機的裝置。
22．根據權利要求20所述的設備，其中，恢復裝置包括用於檢查所保存的視頻流操作的當前狀態的裝置以及在所保存的當前狀態指示視頻流時將啟動流命令發送到數字相機。
23．根據權利要求20所述的設備，其中，請求捕捉裝置包括將捕捉圖像命令發送到數字相機的裝置。
24．根據權利要求20所述的設備，其中，請求傳送裝置包括獲得捕捉到的靜止圖像長度的裝置；根據所捕捉靜止圖像的長度請求傳送捕捉到靜止圖像的裝置；從數字相機接收所捕捉的靜止圖像的裝置；及將捕捉到的靜止圖像存儲在計算機系統的存儲器中的裝置。
25．根據權利要求24所述的設備，其中，根據捕捉到的靜止圖像長度來請求傳送所捕捉靜止圖像的裝置包括將上載捕捉到的圖像命令發送到數字相機的裝置。
26．根據權利要求24所述的設備，還包括將捕捉到的靜止圖像傳送到運行在計算機系統上的應用程式的裝置。
全文摘要
數字相機(10)設有靜止圖像和視頻雙模式(110)特徵,由此使數字相機和相關的計算機系統支持靜止圖像和視頻流操作的同時捕捉。在與計算機系統(12)相連的數字相機的視頻流操作期間,靜止圖像的捕捉和恢復包括終止視頻流操作、由數字相機捕捉靜止圖像、將靜止圖像從數字相機傳送到計算機系統以及恢復視頻流操作。由運行在計算機系統上的相機設備驅動器和總線接口軟體完成對所捕捉的靜止圖像的傳送。在一個實施例中,數字相機(10)通過通用串行總線(USB)與計算機系統相連,相機設備驅動器和總線接口軟體控制USB的存取和使用。
文檔編號H04N5/235GK1296697SQ99804816
公開日2001年5月23日 申請日期1999年1月22日 優先權日1998年2月6日
發明者B·P·克萊門斯 申請人:英特爾公司