用於基於對象識別的數位相機的廣告插入系統和方法

2023-06-10 16:21:11

專利名稱：用於基於對象識別的數位相機的廣告插入系統和方法
技術領域：
本發明涉及電子裝置，並且更具體地涉及數位相機以及用於其的操作方法。
背景技術：
傳統的相機利用膠捲來捕獲和存儲圖像。然而，數位相機通過以數字形式記錄和存儲攝影圖像來數字地獲取視頻和/或照片。捕獲通常使用感光器(例如，使用電荷耦合器件)來完成。所存儲的圖像可以立即上載到計算機或被存儲到相機中以在稍後上載到計算機和/或印表機。圖像也可以存檔在攝影之謎盤、外部硬碟上和/或被在線存檔。數位相機一般具有用於瀏覽取景器中的圖像以及相機存儲器中的圖像的LCD和/或其他數字顯不器。本文使用的「數位相機」包括單獨的相機以及結合在其他裝置中的數位相機，這些裝置包括但不限於移動終端、音樂播放器、視頻播放器、個人通信服務(PCQ終端、個人數字助理(PDA)、膝上型計算機、筆記本計算機和/或手持計算機。此外，本文使用的術語「移動終端」包括衛星或地面蜂窩無線電電話，可以將蜂窩電話和數據處理、傳真和/或數據通信性能相結合的PCS終端，可以包括無線電電話、尋呼機、網際網路/網際網路訪問Web瀏覽器、 組織器、日曆和/或全球定位系統(GPS)系統的PDA，和/或傳統的膝上型和/或掌上型計算機，和/或包括無線收發器的其他設備。數位相機常常與蜂窩無線電電話相結合來提供通常所謂的「相機電話」。

發明內容
根據本發明某些實施方式的數位相機包括圖像捕獲系統、對象識別系統和廣告插入系統。圖像捕獲系統被配置為捕獲可見圖像作為數字圖像。對象識別系統被配置為識別數字圖像中的可見對象。廣告插入系統被配置為響應於數字圖像中被識別出的可見對象， 將廣告相關圖像插入到數字圖像中。因此，在某些實施方式中，可以基於對象識別來在數位相機中提供「擴增實境」圖像。在另一些實施方式中，數位相機包括數字圖像顯示器。在這些實施方式中，圖像捕獲系統可以被配置為捕獲可見圖像作為數字圖像並且在數字圖像顯示器上顯示數字圖像。 廣告插入系統被配置為響應於數字圖像中被識別出的可見對象，將廣告相關圖像插入到被顯示在數字圖像顯示器上的數字圖像中。因此，在某些實施方式中，可以在數位相機以預覽或取景器模式操作的同時執行基於對象識別的廣告插入。在本發明的另一些實施方式中，數位相機還包括數字圖像存儲介質。在這些實施方式中，圖像捕獲系統可以被配置為將可見圖像作為數字圖像存儲到數字圖像存儲介質中。廣告插入系統可以被配置為響應於數字圖像中被識別出的可見對象，將廣告相關圖像插入到被存儲在數字圖像存儲介質中的數字圖像中。因此，在某些實施方式中，可以對所存儲的數字圖像執行基於對象識別的廣告插入。在又一些實施方式中，數位相機可以包括數字圖像上載系統，其被配置為將數字圖像從圖像捕獲系統上載到數位相機的外部。在這些實施方式中，該廣告插入系統可以被配置為響應於數字圖像中被識別出的可見對象，將廣告相關圖像插入到從圖像捕獲系統被上載到數位相機的外部的數字圖像中。因此，在某些實施方式中，基於對象識別的廣告系統可以用於上載的數字圖像，即，被上載以用於外部存儲和/或列印的數字圖像。上載可以由無線通信系統提供，無線通信系統例如數位相機中所包括的蜂窩和/或自組織短距離無線通信系統。在本發明的又一些實施方式中，數位相機還包括定位系統(例如，GPS系統)，其被配置為獲取數位相機的地理位置和/或方向。在這些實施方式中，廣告插入系統可以被配置為響應於數字圖像中被識別出的可見對象並且還響應於所獲得的數位相機的地理位置/ 方向，將廣告相關圖像插入到數字圖像中。因此，所插入的廣告也可以是依賴於位置的。在本發明的又一些實施方式中，數位相機還可以包括識別數位相機的用戶的語言的用戶識別模塊。在這些實施方式中，廣告相關圖像中可以包括文本。此外，廣告插入系統被配置為響應於數字圖像中被識別出的可見對象，在數字圖像中插入其中包括被用戶識別模塊識別出的語言的文本的廣告相關圖像。在又一些實施方式中，數位相機包括下載系統，該下載系統被配置為將所要識別的可見對象的指示符和與所要識別的可見對象相對應的廣告相關圖像從數位相機的外部下載到數位相機中。在這些實施方式中，對象識別系統可以響應於所要識別的可見對象的指示符。此外，廣告插入系統可以響應於與所要識別的可見對象相對應的廣告相關圖像。下載可以由無線通信系統提供，無線通信系統例如數位相機中所包括的蜂窩和/或自組織短距離無線通信系統。在本文所描述的任意實施方式中，廣告插入系統都可以被配置為將廣告相關圖像插入到數字圖像中作為覆蓋圖像、作為附加圖像和/或作為替換圖像。各種顯示、存儲和/ 或列印選項可以針對包括廣告相關圖像的數字圖像來提供。此外，在其他實施方式中，廣告相關圖像可以是臨時的和/或永久的。此外，在本發明的其他實施方式中，可以提供金融信用系統，其被配置為響應於廣告插入系統將廣告相關圖像插入到數字圖像中，向數位相機的用戶提供經濟報酬。例如，在某些實施方式中，數位相機可以與被配置為在數位相機外部存儲和/或列印數字圖像的在線數字圖像處理系統一起使用。在某些實施方式中，金融信用系統可以被配置為從在線數字圖像處理系統向數位相機的用戶提供經濟報酬。例如，可以在某些實施方式中提供補貼的或免費的數字圖像外部存儲。在其它實施方式中，可以提供補貼的或免費的數字圖像列印。還可以提供其他獎勵。以上已經結合數位相機描述了本發明的實施方式。然而，根據本發明的另一些實施方式，可以提供操作數位相機的類似方法。根據本發明另一些實施方式的數字攝影方法包括補償數位相機的用戶，所述補償作為該數位相機響應於由該數位相機從可見圖像捕獲的數字圖像中被該數位相機識別出的可見對象而將廣告相關圖像插入到數字圖像中的交換。廣告相關圖像可以在數字圖像的取景(預覽)操作期間、在數位相機的數字圖像存儲操作期間、在數位相機的數字圖像上載操作期間和/或在數位相機的數字圖像列印操作期間插入。根據本發明的另一些實施方式，也可以提供類似的數位相機和在線數字圖像處理系統(通常稱為「在線照片服務」)來輔助補償數位相機的用戶，所述補償作為該數位相機響應於由所述數位相機從可見圖像捕獲的數字圖像中被所述數位相機識別出的可見對象而將廣告相關圖像插入到數字圖像中的交換。


圖IA到圖7A是根據本發明各實施方式的數位相機的功能框圖。圖IB到圖7B分別是根據本發明各實施方式的圖IA到圖7A的數位相機的操作的流程圖。圖8A到圖8D是圖示出了根據本發明各實施方式的基於對象識別的插入的圖像的照片。圖9是根據本發明各實施方式的數位相機和在線數字圖像處理系統的框圖。圖10是根據本發明各實施方式的可以執行來補償數位相機用戶的操作的流程圖。
具體實施例方式以下將參照附圖來更全面地描述本發明，附圖中示出了本發明的實施方式。然而， 本發明可以以許多可替換形式實施並且不應理解為被限於本文所闡述的實施方式。因此，儘管在附圖中以示例方式示出了本發明的具體實施方式
並在此進行了詳細描述，但是本發明容許各種修改和另選形式。應當理解，並沒有意圖要將本發明限制於所公開的特定形式，而是相反，本發明包括落在權利要求所限定的本發明的精神和範圍內的所有變型例、等同例和替換例。貫穿附圖描述，相似的標號表示相似的元件。本文使用的術語僅用於描述具體實施方式
，並且不希望限制本發明。除非上下文另外清楚地表明，本文使用的「一個」、「所述」和「該」意圖也包括複數形式。還將理解，術語 「包含」和/或「包括」在該說明書中被使用時，表示存在所表述的特性、要件、步驟、操作、元件和/或組件的存在，但是不排除一個或更多個其它的特徵、要件、步驟、操作、元件和/或組件和/或它們的群組的存在或附加。此外，當稱一元件「響應於」另一元件/步驟(以及它們的變體)時，該元件可以直接響應於另一元件/步驟，或者可以存在介於中間的元件/ 步驟。相對照地，當稱元件/步驟「直接響應於」另一元件/步驟(以及它們的變體)時， 不存在介於中間的元件/步驟。本文使用的術語「和/或」包括相關聯的列出的項目中一個或更多個項目的任意或全部組合併且可以縮寫為「/」。將理解，儘管這裡可能使用術語第一、第二等等來描述不同的元件，但是這些元件不應當受這些術語的限制。這些術語僅用於將一個元件與另一元件區分開來。以下參照根據本發明實施方式的方法、設備(系統和/或裝置)和/或電腦程式產品的框圖和/或流程圖來描述本發明。將理解，框圖和/或流程圖中的塊以及框圖和 /或流程圖中的塊的組合可以用電腦程式指令來實現。這些電腦程式指令可以提供給通用計算機、專用計算機和/或其它可編程數據處理設備的處理器來產生諸如指令之類的機制，該機制經由計算機和/或其它可編程數據處理設備的處理器執行，創建用於實現框圖和/或一個或多個流程框中所指定的功能/動作的手段(功能)和/或結構。這些電腦程式指令也可以存儲到計算機可讀存儲器中，其可以引導計算機或其它可編程數據處理設備以特定方式運行，例如，計算機可讀存儲器中所存儲的指令產生包括實現框圖和/或一個或多個流程框中所指定的功能/動作的指令這樣的製品。電腦程式指令也可以被裝載到計算機或其它可編程數據處理設備上來使得一系列操作步驟在計算機或其它可編程設備上被執行來產生計算機實現的過程，例如，在計算機或其它可編程設備上執行的指令提供用於實現框圖和/或一個或多個流程框中所指定的功能/動作的步驟。因此，本發明可以以硬體和/或以軟體(包括固件、常駐軟體、微代碼等等)實現。 此外，本發明可以採用計算機可用或計算機可讀存儲介質上的電腦程式產品的形式，計算機可用或計算機可讀程序代碼被包含在該介質中由指令執行系統使用或與指令執行系統結合。在本文的上下文中，計算機可用或計算機可讀介質可以是能包含、存儲、傳輸或傳送由指令執行系統、設備或裝置使用或與指令執行系統結合的程序的任意介質。計算機可用或計算機可讀介質例如可以是電的、磁的、光的、電磁的或半導體的系統、設備或裝置，但不限於此。計算機可讀介質的更具體的示例(非窮盡性清單)將包括以下可攜式計算機盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器 (EPR0M或快閃記憶體)和諸如閃盤或CD-ROM之類的可攜式光介質和/或磁介質。應注意，在某些另選實施方式中，塊中所標註的功能/動作可能以流程圖中所表示的順序以外的順序出現。例如，根據所涉及的功能/動作，連續地示出的兩個塊實際上可以實質上並發地執行或者這些塊有時可以以相反的順序執行。此外，流程圖和/或框圖的給定塊的功能可以被分離到多個塊中，並且/或流程圖和/或框圖中的兩個或更多的塊的功能可以被至少部分地集成。圖IA是根據本發明某些實施方式的數位相機的功能框圖。參照圖1A，數位相機 100包括圖像捕獲系統110，其被配置為捕獲可見圖像112(即，「場景」)作為數字圖像114， 例如數字圖片或數字視頻的幀。圖像可以是靜止的和/或運動的。圖像捕獲系統110可以包括鏡頭116和/或其它光學元件、數字圖像傳感器118以及/或其它組件，數字圖像傳感器118例如是電荷耦合器件(CCD)和/或互補金屬氧化物半導體(CM0Q圖像傳感器118， 所述其它組件包括諸如液晶顯示屏(LCD)顯示器之類的顯示器和/或可移除的存儲介質， 以下將詳細描述。對象識別系統120被配置為識別數字圖像114中的可見對象。該對象識別系統可以使用各種對象識別技術和算法來識別對象，並且可以與所存儲的對象資料庫 122相關地操作。本文使用的術語「對象」是指任意有形的和可見的實體，例如在所捕獲的可見圖像中可見的人、場所或東西。還是參照圖1A，廣告插入系統130被配置為響應於數字圖像114中被識別出的可見對象112，將廣告相關圖像132插入該數字圖像114中。廣告相關圖像132可被插入數字圖像114的各種位置，並且可被提供作為永久的和/或臨時的覆蓋圖像、附加圖像和/或替換圖像，以下將詳細描述。(一個或多個)廣告相關圖像可以被存儲在廣告相關圖像資料庫 134中。(一個或多個)廣告相關圖像也可以包括伴隨的聲音(例如，語音/音樂)。本發明的某些實施方式可以產生「擴增實境」，可以為數位相機所捕獲的數字圖像提供出人意料的實現。更具體地，如果廣告智能地與正被捕獲的場景相關，則廣告可以與所捕獲的數字圖像相關聯地被有效地示出。智能廣告可以使用對象識別能力來提供，從而智能地切取(key off)場景的特徵，這些場景的特徵之後被用來將要替換/添加的可能的圖像導入該場景以進行廣告。圖IB是根據本發明的各個實施方式的可以被執行來操作諸如圖IA的數位相機 100之類的數位相機的那些操作的流程圖。如圖IB中所示，在塊150處，可見圖像例如被圖 IA的圖像捕獲系統110捕獲作為數字圖像。參照塊160，該數字圖像中的可見對象例如被圖IA的對象識別系統120識別。最終，在塊170處，廣告相關圖像響應於該數字圖像中被識別出的可見對象被插入該數字圖像中。圖IB的操作可以以與所示出的順序不同的順序發生。圖2A是根據本發明另一些實施方式的數字相機的功能框圖。參照圖2A，這些數位相機200還包括數字圖像顯示器對0，數字圖像顯示器240例如是在數位相機的「預覽」 或「取景器」模式期間和/或在回顧(回放)之前所存儲的圖像時被普遍用來顯示可見圖像的IXD顯示器。圖像捕獲系統210被配置為捕獲可見對象112作為數字圖像114，並且在數字圖像顯示器240上顯示數字圖像114。對象識別系統120被配置為識別由圖像捕獲系統210所捕獲的和/或被顯示在數字圖像顯示器240上的數字圖像中的可見對象112。廣告插入系統130被配置為將廣告相關圖像232插入到被顯示在數字圖像顯示器240上的數字圖像214中。相應地，可以在預覽(取景器)模式期間和/或圖像回顧模式期間對數位相機的數字圖像顯示器上的圖像執行基於對象識別的廣告插入。圖2B是可以根據圖2A的實施方式執行的操作的流程圖。在這些實施方式中，在圖像在塊150處被捕獲之後，對象在塊160處被識別，廣告相關圖像232在塊170處被插入並且圖像在塊250處被顯示在例如圖2A的顯示器240上。圖像包括被插入的廣告相關圖像。圖2B的操作可以以與所示出的順序不同的順序發生。圖3A是根據本發明又一實施方式的數位相機的框圖。在這些實施方式中，數位相機300還包括數字存儲介質，例如可移除數字存儲介質340。圖像捕獲系統310被配置為將可見圖像112作為數字圖像314存儲在數字存儲介質340中。對象識別系統120被配置為識別被圖像捕獲系統310捕獲和/或被存儲在可移除數字存儲介質340中的數字圖像314 中的可見對象。廣告插入系統130被配置為響應於被存儲在可移除數字存儲介質340中的數字圖像314中被識別的可見對象，將廣告相關圖像332插入到該數字圖像中。圖;3B是可以根據圖3A的實施方式執行的數位相機操作的流程圖。如圖中所示，在塊150處捕獲圖像之後，圖像在塊350處被存儲在例如可移除數字存儲介質340中。 對象識別在塊160處發生並且廣告插入在塊170處發生。圖;3B的操作可以以與所示出的順序不同的順序發生。圖4A是根據本發明另一些實施方式的數位相機的框圖。參照圖4A，根據這些實施方式的數位相機400還包括數字上載系統440，數字上載系統440被配置為使用無線鏈路442和/或有線鏈路444將數字圖像414從圖像捕獲系統410上載到數位相機400的外部。無線鏈路442可以包括蜂窩和/或自組織短距離無線鏈路，例如，藍牙和/或Wi-Fi鏈路。有線鏈路444可以包括USB連接。對象識別系統120可以被配置為識別由圖像捕獲系統410捕獲的和/或從圖像捕獲系統410上載到數位相機400的外部的數字圖像414中的可見對象。廣告插入系統130被配置為響應於從圖像捕獲系統410上載到數位相機400的外部的數字圖像中被識別的可見圖像112，將廣告相關圖像432插入到該數字圖像中。圖4B是可以根據圖4A的實施方式執行的類似的數位相機操作的流程圖。如圖4B中所示，在塊150處被捕獲並且包括廣告相關圖像170的圖像在塊470處被上載。圖4B的操作可以以與所示出的順序不同的順序發生。總結圖IA到圖4B，如在圖IA到圖IB所一般地描述的，本發明的某些實施方式響應於數字圖像中被識別出的可見對象，將廣告相關圖像插入到該數字圖像中。如圖2A和圖2B所示，對象識別和廣告插入可以發生在顯示模式(即，預覽/取景器模式和/或回顧模式)期間。對象識別和廣告插入可以發生在圖像存儲模式期間，如圖3A和圖;3B中所示。 對象識別和廣告插入可以發生在上載期間，如圖4A和圖4B所示。根據本發明的另一些實施方式，在顯示模式期間、存儲模式期間和上載期間，可以提供對象識別和廣告插入的不同組合和子組合。因此，例如，對象識別和廣告插入可以發生在顯示和存儲模式期間、在顯示和上載模式期間、在存儲和上載模式期間或在顯示、存儲和上載模式期間。圖5A是根據本發明又一實施方式的數位相機的功能框圖。如圖5A中所示，數位相機500包括定位系統510，其例如是GPS系統，被配置為獲得數位相機500的地理位置。 在這些實施方式中，廣告插入系統530被配置為響應於數字圖像114中被識別的可見圖像 112並且還響應於例如由定位系統510獲得的數位相機500的地理位置，將廣告相關圖像 132插入到數字圖像114中。因此，在這些實施方式中，所插入的具體的廣告相關圖像既取決於所識別出的對象112又取決於數位相機500的定位或位置。例如，如果要響應於圖像中飯店的識別插入飯店的廣告，則可以插入針對所捕獲的圖像中的特定飯店和/或地理上與相機鄰近的飯店的廣告。圖5A的實施方式可以與圖4A的實施方式組合來將地理位置坐標上載到聯網的伺服器，該伺服器進行響應，將(一個或多個)相關聯的廣告下載到相機。在本發明另一些實施方式中，定位系統510也可以包括羅盤取向或定位系統。羅盤取向/定位系統可以包括可提供有關相機指向的方向的數據的地磁儀裝置。在選擇/獲取合適的廣告相關圖像中也可以使用取向信息。圖5B是可以根據圖5A的實施方式提供的操作的流程圖。如圖5B中所示，在塊 560，例如使用定位系統510確定數位相機500的位置。在塊170處被插入的廣告相關圖像是在塊160處被識別的(一個或多個)對象和在塊560處確定的相機500的位置的函數。 還將理解，圖5A/圖5B的實施方式可以與本文描述的另一些實施方式中的任意或全部實施方式結合使用，並且圖5B的操作可以以與所示出的順序不同的順序發生。圖6A是根據本發明又一些實施方式的數位相機的功能框圖。如圖6A中所示，數位相機600包括例如諸如可相機電話之類的移動終端通常使用的用戶識別模塊(SIM)610。 SIM裝置610 —般是可移除的，可以包括移動終端的用戶的許多識別參數，並且可以包括識別例如移動終端上的顯示所用的語言的語言指示符612。在圖6A的實施方式中，廣告相關圖像132中包括文本，並且廣告插入系統630被配置為響應於數字圖像114中被識別出的可見對象，將其中包括用戶識別模塊610識別出的語言612的文本的廣告相關圖像插入到該數字圖像114中。因此，不論電話的地理位置和有關廣告的信息插入的類型如何，廣告相關圖像132(文本和/或音頻)都可以以數位相機用戶的母語出現。圖6B是根據圖6A的實施方式可以提供的數位相機操作方法的流程圖。如圖6B 中所示，語言在塊660處被識別，並且有關廣告的信息基於在塊160處被識別的對象和在塊 660處被識別出的語言在塊170處被插入。將理解，圖6A和圖6B的實施方式可以與本文描述的實施方式中的任意或全部實施方式結合使用，並且圖6B的操作可以以所示出的順序不同的順序發生。圖7A是根據本發明的又一些實施方式的數位相機的功能框圖。參照圖7A，根據這些實施方式的數位相機700還包括下載系統740，下載系統740被配置為從數位相機700的外部將要存儲到對象資料庫122中的將被識別的可見對象的指示符以及要存儲到廣告相關圖像資料庫134中的與將被識別的可見對象相對應的廣告相關圖像下載到數位相機700 中。下載可以使用無線鏈路742和/或使用有線鏈路744來進行，無線鏈路742例如是蜂窩和/或自組織短距離無線鏈路(例如，藍牙和/或Wi-Fi)，有線鏈路744例如是USB連接。也可以通過物理介質來執行下載。圖7B是可以根據圖7A的實施方式執行的數位相機操作的流程圖。如圖7B中所示，下載在塊710處發生。下載可以在圖像捕獲(塊150)、對象識別(塊160)和/或廣告插入(塊170)之前和/或在此期間發生。將理解，圖7A和圖7B的實施方式可以與本文描述的實施方式中的任意或全部實施方式結合使用並且圖7B的操作可以以與所示出的順序不同的順序發生。例如，圖4A、圖5A、圖6A和圖7A的實施方式可以被組合來使得地理位置數據和語言指示符可以被上載到例如聯網的伺服器，之後，聯網的伺服器下載合適語言的 (一個或多個)適當的廣告。圖8A到圖8D圖示出根據本發明各個實施方式的基於對象識別的廣告插入。具體地，圖8A圖示出了根據本文描述的本發明任意實施方式的被數位相機捕獲作為數字圖像的可見圖像(場景)的示例。如圖8A中所示，該數字圖像包括站在汽車旁邊的人。對象識別系統/操作120/7160識別汽車(例如，識別汽車或者識別汽車的具體商標/型號)並且，作為響應，廣告插入/系統操作130/170響應於被識別出的汽車來將廣告相關圖像插入到圖8A的數字圖像中。在圖8B中，有關廣告的消息「難道您真得不是更想擁有一輛別克？ 」被插入，與該圖像交疊。在圖8C中，廣告相關圖像「Mab dealer 4th and Main」被插入作為附加圖像，其中，所捕獲的圖像的至少一部分被遮擋。最後，在圖8D中，提供不同的汽車的替代或替換來取代作為可見圖像中原有部分的那輛汽車。因此，一個或更多個廣告相關圖像可以響應於數字圖像中被識別出的可見對象而被插入到數字圖像中作為交疊圖像(圖8B)、附加圖像(圖8C)或替換圖像(圖8D)。廣告相關圖像可以被插入到數位相機的預覽或取景器圖像中、所顯示的圖像中、所存儲的圖像中和/或所上載的圖像中，如前所述。此外，該圖像可以是永久圖像或臨時圖像。臨時圖像也可以具有變化的持續時間，範圍從非常短的持續時間(「潛意識」圖像(「subliminal image」))到較長的持續時間。廣告相關圖像也可以是一系列圖像(例如一系列汽車)或運動圖像(例如從所捕獲的汽車變形到所廣告的汽車)。可以提供伴隨的音頻。在選擇所要插入的廣告相關圖像時還可以考慮汽車的不同屬性，例如其顏色、商標/型號等等。圖9是根據本發明各個實施方式的數位相機900的框圖，數位相機900根據本發明各個實施方式與在線數字圖像處理系統910通信來提供針對廣告插入的報酬。具體地， 數位相機900可以包括本文所描述的數位相機實施方式中的任意實施方式。在線數字圖像處理系統910被配置為直接或間接地經由鏈路912來與數位相機900通信。鏈路912可以包括諸如USB連接之類的有線鏈路，諸如蜂窩和/或短距離自組織無線鏈路之類的無線鏈路和/或物理存儲介質的轉移。在線數字圖像處理系統910還包括照片處理器930，照片處理器930被配置為提供數碼照片的硬拷貝列印940和/或提供數碼照片的在線存儲/分發950。許多商用在線數字圖像處理系統(例如，snapfish(喀嚓魚))提供諸如列印服務之類的在線照片服務以及在線存儲/分發服務。然而，小型產品零售商亭已經遍布於雜貨店、便利店和/或其他場館來提供數碼照片的列印/存儲/分發服務。根據本發明的各個實施方式，在線數字圖像處理系統910還包括上載/下載系統 920，其接收上載的數碼照片，並且可以將被識別並將被置於數位相機900的對象資料庫中的對象和將被插入並將被置於數位相機900的廣告相關圖像資料庫中的廣告相關圖像下載到數位相機900。上載/下載系統920也可以上載有關所插入的廣告相關圖像的編號和 /或標識的數據，並且還可以上載其中插入了廣告相關圖像的數字圖像。金融信用系統960 可以響應於廣告插入系統將廣告相關圖像插入到該數字圖像中來向數字相機900的用戶提供經濟報酬。在另一些實施方式中，對象識別和/或廣告插入可以由在線數字圖像處理系統 910替代數位相機900來進行，或者由在線數字圖像處理系統910和數位相機900進行。此外，例如根據圖5A/圖5B的實施方式，相機位置數據可以被上載到在線數字圖像處理系統 910。相機位置數據可以在例如結合圖5A/圖5B描述的廣告插入期間由在線數字圖像處理系統910使用。相應地，由於數位相機的用戶在相機的顯示(預覽/取景器/回顧)操作期間，在數位相機的存儲期間和/或在用於外部列印、存儲和/或分發的數字圖像的上載期間已接觸廣告相關圖像，可以全部或部分地補貼插入了或沒有插入廣告相關圖像的數碼照片的列印、存儲和/或分發。將理解，金融信用系統960可以設置為在線數字圖像處理系統910的一部分或者設置為與之分離的不同的服務。此外，在線數字圖像處理系統91和金融信用系統960可以使用中央伺服器、分離的中央伺服器和/或通過諸如網際網路之類的網絡互連的一個或多個分布式系統來實施。相應地，報酬可以由在線數字圖像處理系統提供或結合該系統來提供和/或獨立於該系統來提供。例如，報酬可以作為獨立於在線數字圖像處理系統91的免費機票積分(frequent flyer point)、禮品卡和/或其它形式報酬來提供。圖10是根據本發明各個實施方式的可以執行來補償數位相機的用戶的各種操作的流程圖，所述補償作為該數位相機響應於由該數位相機根據可見圖像捕獲的數字圖像中被該數位相機識別的可見對象而將廣告相關圖像插入到所述數字圖像中的交換。補償例如可以使用圖9的實施方式來執行。參照圖10，在塊1010處，進行有關在數位相機的預覽、取景、回顧或其他顯示操作期間是否提供了廣告插入的判斷。如果是，則在塊1012處，提供給相機用戶的補償。在塊 1020處，進行有關是否針對相機的存儲介質中所存儲的圖像執行了廣告插入。如果是，在塊 1022處，提供補償。在塊1030處，進行有關是否針對所上載的圖像(在相機處和/或在在線數字圖像處理系統處)進行了廣告插入的判斷。如果是，則在塊1032處，提供補償。在塊1040處，進行有關知否針對圖像組成的列印(在相機處和/或在在線數字圖像處理系統處)進行了廣告插入的判斷，並且如果是，則在塊1042處提供補償。塊1012、1022、1032、 1042處各種形式的補償類型和/或大小可以相同或不同。例如，顯示器上插入的廣告(塊 1012)可以使得用戶在塊1012處被提供優惠券。針對存儲的廣告插入的補償(塊1022) 可以使得用戶被提供免費列印或列印折扣。針對上載(塊1030)的補償(塊103 可以提供免費的或補貼的照片分發，而塊1042處的補償可以提供補貼的或免費的照片列印(塊1040)。現在，將提供對本發明各實施方式的另外的討論。本發明的某些實施方式可以通過基於對象識別向數字圖像中插入廣告相關圖像來提供照片的擴增實境。例如，相機電話常常可以在畫面被攝取之前掃描許多圖像(取景器或預覽模式)。在此期間，如果廣告被與場景(即，所捕獲的數字圖像)智能地相關，則他們被有效地在顯示器上示出。廣告也可以在這些圖像正被回顧(顯示)、分發和/或列印的事實之後被有效地示出。數位相機可以設置對象識別性能，並且該對象識別性能可以用來智能地切取場景的特徵，這些特徵之後可以用於將被提供的可能的圖像導入到場景中，覆蓋圖像、附加圖像和/或替換圖像，以進行廣告ο因此，例如，當數位相機為取景器模式並且正在對著場景移動鏡頭來得到好的取景角度時，相機可以連續地運行識別算法來檢測場景中的對象。這些對象之後可以用來選擇可能要(臨時地或永久地)插入正被觀察的場景中的圖像。如果希望的話，所記錄的圖像甚至可以包括廣告相關圖像。擴增場景的圖像可以是來自本地信息源和/或從接收具有對象識別系統的輸出的格式化請求的中央伺服器接收。例如，在相機橫跨場景移動鏡頭並且對象識別系統在圖像中檢測到通用汽車時， 廣告插入系統可以確定這是在通用汽車出現的圖像中插入新車型豐田(Toyota)被適當縮放的圖像的一個好機會。這在所觀看的圖像和所存儲/所列印的圖像中都可以要麼是臨時的要麼是永久的。如果所插入的圖像(例如，汽車)留在要被列印的圖像中，則可以為廣告商提供為圖像的列印付費的商業機會。這可以由使用檢測所插入的圖像的水印處理的列印設施來確定。可以針對列印向廣告商開帳單。也可以為圖像的預覽、顯示、存儲和/或分發期間的廣告插入提供報酬。其他對象可以被識別並且其他廣告相關圖像可以根據任意一般標準被替換，這在圖像被移動鏡頭、被記錄、被上載和/或被列印時通過圖像中的任意識別事件觸發。另一些標準可以是正對著場景移動鏡頭時數位相機的位置/方向。這使得廣告更有用，因為其可能與用戶的當前位置有關。因此，在圖像僅臨時出現的地方，可以提供激發性的廣告和/或潛意識的廣告。廣告可以經由Wi-Fi和/或其他自組織連接被推給數位相機，並且產品可以在相機正對著場景移動鏡頭時出現在圖像中。因此，數位相機可以充當 「廣告牌」，其中，顯示器、存儲介質和/或列印充當廣告牌空間。至少因為兩個理由，數位相機的用戶會很積極地接受與基於對象識別的廣告的接觸。首先，接觸這些廣告可以為分發和/或列印圖像的成本提供補貼或報酬。第二，這些廣告可以產生有用的信息，因為數位相機通常是在遠離家時使用，其中用戶可能需要有關於正通過該數位相機捕獲的圖像的有用信息。例如，在外國，用戶可能對著飯店移動鏡頭/進行拍攝，並且可能希望接觸有關該飯店的實際名稱、其他附近的飯店的位置、食物類型、價格等的信息。因此，有針對的廣告可以提供有用的信息，特別是在經常使用數位相機的情境中。在這些附圖和說明中，已經公開了本發明的實施方式，並且，儘管採用了具體術語，但是他們僅在一般的和描述性的意義上並且不為限制性目的被使用，本發明的範圍在權利要求中進行闡述。
權利要求
1.一種數位相機，所述數位相機包括圖像捕獲系統，所述圖像捕獲系統被配置為捕獲可見圖像作為數字圖像；對象識別系統，所述對象識別系統被配置為識別所述數字圖像中的可見對象；和廣告插入系統，所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象，將廣告相關圖像插入到所述數字圖像中。
2.根據權利要求1所述的數位相機，所述數位相機還包括數字圖像顯示器，其中，所述圖像捕獲系統被配置為捕獲可見圖像作為數字圖像並且在所述數字圖像顯示器上顯示所述數字圖像；並且其中，所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象，將廣告相關圖像插入到被顯示在所述數字圖像顯示器上的所述數字圖像中。
3.根據權利要求1所述的數位相機，所述數位相機還包括數字圖像存儲介質，其中，所述圖像捕獲系統被配置為將可見圖像作為數字圖像存儲到所述數字圖像存儲介質中；並且其中，所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象，將廣告相關圖像插入到被存儲在所述數字圖像存儲介質中的數字圖像中。
4.根據權利要求1所述的數位相機，所述數位相機還包括數字圖像上載系統，所述數字圖像上載系統被配置為將所述數字圖像從所述圖像捕獲系統上載到所述數位相機的外部，其中，所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象，將廣告相關圖像插入到從所述圖像捕獲系統被上載到所述數位相機的外部的數字圖像中。
5.根據權利要求1所述的數位相機，所述數位相機還包括定位系統，所述定位系統被配置為獲取所述數位相機的地理位置和/或取向，其中，所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象並且還響應於所獲得的所述數位相機的地理位置/取向，將廣告相關圖像插入到所述數字圖像中。
6.根據權利要求1所述的數位相機，所述數位相機還包括識別所述數位相機的用戶的語言的用戶識別模塊，其中，所述廣告相關圖像中包括文本；並且其中所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象，在所述數字圖像中插入其中包括被所述用戶識別模塊識別出的語言的文本的廣告相關圖像。
7.根據權利要求1所述的數位相機，所述數位相機還包括下載系統，所述下載系統被配置為將所要識別的可見對象的指示符和與所要識別的可見對象相對應的廣告相關圖像從所述數位相機的外部下載到所述數位相機中，其中，所述對象識別系統響應於所述所要識別的可見對象的指示符；並且其中，所述廣告插入系統響應於與所述所要識別的可見對象相對應的廣告相關圖像。
8.根據權利要求1所述的數位相機，其中，所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象，將所述廣告相關圖像插入到所述數字圖像中作為交疊圖像、附加圖像和/或替換圖像。
9.根據權利要求1所述的數位相機，所述數位相機還包括金融信用系統，所述金融信用系統被配置為響應於所述廣告插入系統將所述廣告相關圖像插入到所述數字圖像中，向所述數位相機的用戶提供經濟報酬。
10.根據權利要求9所述的數位相機，所述數位相機還與被配置為在所述數位相機外部存儲和/或列印所述數字圖像的在線數字圖像處理系統相結合，並且其中，所述金融信用系統被配置為從所述在線數字圖像處理系統向所述數位相機的用戶提供經濟報酬。
11.根據權利要求1所述的數位相機，其中，所述廣告插入系統被配置為響應於所述數字圖像中被識別出的可見對象，將臨時的和/或永久的廣告相關圖像插入到所述數字圖像中。
12.根據權利要求4所述的數位相機，所述數位相機還包括無線通信系統，其中所述數字圖像上載系統被配置為從所述圖像捕獲系統經由所述無線通信系統上載所述數字圖像。
13.根據權利要求7所述的數位相機，所述數位相機還包括無線通信系統，其中，所述下載系統被配置為將所要識別的可見對象的指示符和與所述所要識別的可見對象相對應的廣告相關圖像經由所述無線通信系統下載到所述數位相機中。
14.根據權利要求12所述的數位相機，其中，所述無線通信系統包括蜂窩通信系統和/ 或自組織短距離無線通信系統。
15.根據權利要求13所述的數位相機，其中，所述無線通信系統包括蜂窩通信系統和/ 或自組織短距離無線通信系統。
16.一種數字攝影方法，所述數字攝影方法包括補償數位相機的用戶，所述補償作為所述數位相機響應於所述數位相機從可見圖像捕獲的數字圖像中被所述數位相機識別出的可見對象而將廣告相關圖像插入到所述數字圖像中的交換。
17.根據權利要求16所述的方法，其中，所述補償包括作為數位相機在所述數位相機的顯示操作期間將廣告相關圖像插入到由所述數位相機從可見圖像捕獲的數字圖像中的交換，來補償所述數位相機的用戶。
18.根據權利要求16所述的方法，其中，所述補償包括作為數位相機在所述數位相機的數字圖像存儲操作期間將廣告相關圖像插入到所述數位相機從可見圖像捕獲的數字圖像中的交換，來補償所述數位相機的用戶。
19.根據權利要求16所述的方法，其中，所述補償包括作為數位相機在所述數位相機的數字圖像上載操作期間將廣告相關圖像插入到由所述數位相機從可見圖像捕獲的數字圖像中的交換，來補償所述數位相機的用戶。
20.根據權利要求16所述的方法，其中，所述補償包括作為數位相機在所述數位相機的數字圖像列印操作期間將廣告相關圖像插入到由所述數位相機從可見圖像捕獲的數字圖像中的交換，來補償所述數位相機的用戶。
全文摘要
一種數位相機，包括圖像捕獲系統、對象識別系統和廣告插入系統。圖像捕獲系統捕獲可見圖像作為數字圖像。對象識別系統識別所述數字圖像中的可見對象。廣告插入系統響應於所述數字圖像中被識別的可見對象，將廣告相關圖像插入到所述數字圖像中。數位相機的用戶可以因為接觸廣告相關圖像而被補償。
文檔編號H04N7/08GK102204243SQ200880127978
公開日2011年9月28日 申請日期2008年9月22日 優先權日2008年3月11日
發明者威廉·O·坎普·小坎普, 約加克·哈沙德·瓦薩 申請人:索尼愛立信移動通訊有限公司