時間顯著圖的製作方法
2024-02-22 07:05:15
本發明大體來說涉及對象跟蹤。
背景技術：
技術的進步已產生較小且較強大計算裝置。舉例來說，當前存在各種可攜式個人計算裝置，包含無線電話，例如移動及智慧型電話、平板及膝上型計算機，其為小型、輕量且容易由用戶攜帶。這些裝置可經由無線網絡傳遞語音及數據包。此外，許多此些裝置併入有額外功能性，例如數字靜態相機、數字攝像相機、數字記錄儀及音頻文件播放器。此外，此些裝置可處理可執行指令，包含可用於接入網際網路的軟體應用程式，例如web瀏覽器應用程式。如此，這些裝置可包含凸顯計算能力。
可期望將特殊效果應用於在視頻幀之間被跟蹤的對象。然而，使用典型邊界框應用各種特殊效果可導致不滿意用戶體驗。例如，可在邊界框的邊緣處或其附近的特殊效果的應用中存在突然轉變，造成不真實且美觀上令人不愉悅的圖像。
技術實現要素：
本發明描述可用於對象跟蹤的時間顯著圖。在一些狀況下，時間顯著圖可用於將特殊效果(例如，散景效果(其中圖像的離焦部分模糊)、黑白效果或透鏡效果，連同其它替代效果)應用於被對象跟蹤器跟蹤的對象。此些特殊效果可應用於相機預覽模式、視頻記錄模式或快照模式連同其它替代模式中。在特殊效果應用程式中，時間顯著圖可通過將特殊效果應用於經識別為圖像的前景部分(包含關注對象)的像素子組而不將特殊效果應用於經識別為圖像的背景部分的像素來提供經改進用戶體驗。
在特定實例中，揭示產生時間顯著圖的方法。所述方法包含：從對象跟蹤器接收對象邊界框並至少部分地基於所述對象邊界框而裁剪視頻幀以產生經裁剪圖像。所述方法進一步包含：對所述經裁剪圖像執行空間雙層分段以產生初始掩模及對所述初始掩模執行時間掩模細化以產生細化掩模。所述方法還包含：至少部分地基於所述細化掩模而產生時間顯著圖。
在另一特定實例中，揭示用於產生時間顯著圖的設備。所述設備包含處理器、對象跟蹤器組件、幀裁剪組件、分段組件、掩模細化組件，及時間顯著圖產生組件。所述對象跟蹤器組件可由處理器執行以產生對象邊界框。所述幀裁剪組件可由處理器執行以至少部分地基於所述對象邊界框而裁剪視頻幀以產生經裁剪圖像。所述分段組件可由處理器執行以對所述經裁剪圖像執行空間多層分段以產生初始掩模，且所述掩模細化組件可由處理器執行以對所述初始掩模執行時間掩模細化以產生細化掩模。所述時間顯著圖產生組件可由處理器執行以至少部分地基於所述細化掩模而產生時間顯著圖。
在另一特定實例中，揭示產生時間顯著圖以將其作為反饋提供到對象跟蹤器的方法。方法包含：從對象跟蹤器接收對象邊界框並對視頻幀的部分執行空間雙層分段以產生初始掩模。至少部分地基於所述對象邊界框而確定所述視頻幀的部分的邊界。方法包含：對所述初始掩模執行時間掩模細化以產生細化掩模並至少部分地基於所述細化掩模而產生時間顯著圖。所述方法可包含將所述時間顯著圖作為反饋提到所述對象跟蹤器。
在另一特定實例中，揭示產生時間顯著圖以將其作為反饋提供到對象跟蹤器的設備。所述設備包含處理器、對象跟蹤器組件、分段組件、掩模細化組件，及時間顯著圖產生組件。所述對象跟蹤器組件可由處理器執行以產生對象邊界框。所述分段組件可由所述處理器執行以對視頻幀的部分執行空間雙層分段以產生初始掩模，其中至少部分地基於所述對象邊界框而確定所述視頻幀的部分的邊界。所述掩模細化組件可由處理器執行以對所述初始掩模執行時間掩模細化以產生細化掩模。時間顯著圖產生組件可由處理器執行以至少部分地基於所述細化掩模而產生時間顯著圖並將時間顯著圖作為反饋提供到所述對象跟蹤器組件。
由所揭示實例中的至少一者提供的一個特定優點為在將特殊效果應用於所跟蹤的關注對象時經改進用戶體驗。
由所揭示實例中的至少一者提供的另一優點為通過將顯著圖作為反饋提供到對象跟蹤器以便將前景對象與背景分離而改進對象跟蹤器的跟蹤準確度。
在檢視整個申請案(包含以下部分)之後，本發明的其它方面、優點及特徵將變得顯而易見：「圖式簡單說明」、「具體實施方式」及「權利要求書」。
附圖說明
圖1為可操作以產生時間顯著圖的系統的特定說明性實施例的框圖；
圖2為產生時間顯著圖的方法的特定說明性實施例的框圖；
圖3為將時間顯著圖作為反饋提供到對象跟蹤器的方法的特定說明性實施例的框圖；
圖4為經應用於視頻幀序列的顯著圖及相關聯二進位掩模的特定說明性實施例的圖；
圖5為經應用於具有複雜背景的視頻幀序列的顯著圖及相關聯二進位掩模的特定說明性實施例的圖；
圖6為將應用於其中關注對象經部分遮蔽的視頻幀序列的顯著圖及相關聯二進位掩模的特定說明性實施例的圖；
圖7A為基於時間顯著圖經應用於特定視頻幀的第一特殊效果的特定說明性實施例的圖；
圖7B為基於時間顯著圖經應用於特定視頻幀的第二特殊效果的特定說明性實施例的圖；
圖8為產生時間顯著圖的方法的特定說明性實施例的流程圖；
圖9為執行多層分段以產生對象掩模的方法的特定說明性實施例的流程圖；
圖10為將時間顯著圖作為反饋提供到對象跟蹤器的方法的特定說明性實施例的流程圖；
圖11為將時間顯著圖用於特殊效果應用程式的方法的特定說明性實施例的流程圖；以及
圖12為用以產生時間顯著圖的計算裝置的特定說明性實施例的框圖。
具體實施方式
參考圖1，揭示可操作以產生時間顯著圖的系統的特定說明性實施例且大體將其指定為100。系統100包含移動裝置102。移動裝置102可為行動電話、音樂播放器、視頻播放器、娛樂單元、導航裝置、通信裝置、個人數字助理(PDA)、計算機或任何其它移動計算裝置。移動裝置102包含相機104。相機104可經配置以捕獲並輸出靜態圖像及視頻。移動裝置102包含輸出接口106。輸出接口106可經配置以與顯示裝置(諸如液晶顯示器(LCD)、發光二極體(LED)顯示器或任何其它顯示裝置)進行通信。在特定實施例中，輸出接口106輸出圖形用戶接口(GUI)。移動裝置102進一步包含輸入接口108。輸入接口108可包含觸控螢幕、任何其它類型的輸入裝置或其任何組合。在特定實施例中，輸入接口108可經配置以從用戶110接收輸入(例如，對由輸出接口106輸出的GUI作出響應的輸入)。
移動裝置102可進一步包含附屬裝置接口112。在特定實施例中，附屬裝置接口112從附屬裝置114接收輸入。在特定實施例中，附屬裝置114包含相機。從附屬裝置114接收的輸入可包含圖像或視頻數據。在特定實施例中，附屬裝置114可嵌入於用戶可穿戴附件(諸如眼鏡或珠寶)中。
移動裝置102可進一步包含網絡接口116，所述網絡接口經配置以與網路118進行通信。網絡接口116可包含乙太網接口、802.11(WiFi)接口、長期演進(LTE)接口、碼分多址接入(CDMA)接口、時分多址接入(TDMA)接口、802.16(WiMAX)接口、任何其它有線或無線網絡接口或其任何組合。
移動裝置102進一步包含存儲裝置120。存儲裝置120可包含固態驅動器、硬碟驅動器、光學驅動器或任何其它類型的計算機可讀存儲媒體或裝置。存儲裝置120可存儲圖像及視頻(例如，由相機104捕獲、由移動裝置102經由網絡接口116下載等的圖像及視頻)。
移動裝置102可包含以軟體實施的一或多個組件(例如，存儲在移動裝置102的存儲器中的指令，所述指令可由移動裝置102的處理器執行)。替代地，組件的全部或部分可以硬體實施。組件可包含對象跟蹤器122，所述對象跟蹤器經由用戶輸入接收對經包含(例如，經描繪)在圖像或視頻幀中的一或多個對象的選擇。對象跟蹤器122可經配置以響應於從用戶110接收的輸入而跟蹤對象。在一些狀況下，對象跟蹤器122可產生用於跟蹤對象的對象邊界框(例如，一組X,Y坐標)。
幀裁剪組件124可由移動裝置102的處理器執行以至少部分地基於對象邊界框而裁剪視頻幀(例如，從相機104接收)以產生經裁剪圖像。分段組件126可由處理器執行以對經裁剪圖像執行空間雙分段以產生初始掩模。掩模細化組件128可由處理器執行以對初始掩模執行時間掩模細化以產生細化掩模。時間顯著圖產生組件130可由處理器執行以至少部分地基於所述細化掩模而產生時間顯著圖。在一些實施例中，時間顯著圖產生組件130可經配置以將時間顯著圖作為反饋提供到對象跟蹤器組件122。參考圖2到11進一步描述系統100的操作的實例。
參考圖2，揭示產生時間顯著圖的方法的特定說明性實施例且大體將其指定為200。圖2說明多層分段可用於產生對象掩模。圖2進一步說明可通過在時間上細化視頻幀之間的掩模來產生時間顯著圖。時間顯著圖可提供準確邊界，所述準確邊界將所跟蹤對象(前景對象)與非對象(背景對象)且可允許從前景對象逐漸改變到背景對象。在一些實施例中，時間顯著圖可用於各種特殊效果應用程式中，其中逐漸改變可產生經改進用戶體驗(例如，歸因於特殊效果的美觀上更令人愉悅的應用)。
圖2說明相機104可提供系列視頻幀202，且對象跟蹤器122可通過產生對象邊界框204來跟蹤關注對象。在一些狀況下，對象跟蹤器122可包含「觸摸跟蹤」或T2T跟蹤器，其可經配置以響應於用戶輸入(例如，單個觸摸輸入)而產生對象邊界框204。在已回應於用戶輸入而識別關注對象並已界定初始對象邊界框之後，對象跟蹤器122可通過回應於對象的移動而移動對象邊框204來在視頻幀202之間跟蹤關注對象。
基於由對象跟蹤器122輸出的對象邊界框204，可通過執行幀裁剪206來裁剪個別視頻幀202以產生經裁剪圖像208。在一些狀況下，幀裁剪206可包含：確定與對象邊界框204相關聯的視頻幀202的特定視頻幀的部分並增加對象邊界框204的大小以產生經擴展對象邊界框210。在一些狀況下，幀裁剪206可包含接收對象邊界框204的拐角的X、Y坐標、對象邊界框204的高度/寬度/對角大小，等。經擴展對象邊界框210可不僅捕獲與特定視頻幀的前景部分212相關聯的像素而且捕獲與特定視頻幀的背景部分214相關聯的額外像素。作為說明性而非限制性實例，幀裁剪206可包含：使對象邊界框204的大小從中點在X方向及Y方向兩者上增加30％並通過確定在經擴展對象邊界框210內的特定視頻幀的像素來產生經裁剪圖像208。為了說明，在圖3的實例中，經擴展對象邊界框210可包含與人的頸部相關聯的額外像素，其可出於對象跟蹤目的用於使掩模生長。
圖2說明可對經裁剪圖像208執行空間多層(例如，雙層)分段216。在一些狀況下，分段可包含使用隨多層種子點界定生長的種子區的基於顏色的分段。為了說明，第一層(「層1」)可使用經裁剪邊界(例如，圖2的實例中的矩形經擴展對象邊界框210)作為生長到內部的區的種子點，而第二層(「層2」)可使用減少的大小邊界(例如，大小減少三分之二)作為生長到外部的種子點。也就是說，空間雙分段216可包含從經擴展對象邊界框210向內的區生長以及從減少的大小邊界向外的區生長。可通過融合與兩個層相關聯的區生長的結果來產生初始掩模218。
圖2說明可對初始掩模218執行時間掩模細化220以便產生細化掩模222。時間掩模細化220可用於使初始掩模218(例如，與幀i相關聯)與和一或多個先前視頻幀(例如，視頻幀i-1至i-k)相關聯的一或多個掩模對準。時間掩模細化220可用於將可表示特定視頻幀的離群值的一或多個像素移除。為了說明，如果特定像素顯現在特定視頻幀(與視頻幀i相關聯)中但不出現在視頻幀202的先前視頻幀中，那麼所述像素可表示離群值且可被移除。參考圖2的實例，與初始掩模218中的背景部分214中的窗簾相關聯的像素由參考數字224識別。然而，與窗簾相關聯的像素224可不顯現在先前幀中。因此，如細化掩模222中所說明，像素224可經確定為不與圖像的前景部分212相關聯的離群值且可作為時間掩模細化220的部分被移除。
在一些狀況下，時間掩模細化220包含區濾波以使初始掩模218「最佳配合」於在多個先前視頻幀(例如，視頻幀i-1至i-k)的處理期間產生的掩模上。在此狀況下，時間掩模細化220可包含確定表示「最佳配合」以包含在細化掩模222中的像素。作為說明性而非限制性實例，可分析五個先前視頻幀(例如，針對幀i，視頻幀i-1到i-5)。在特定像素位於前五個視頻幀的大部分中(即，在前5個視頻幀中的至少3個中)的情況下，所述特定像素可經包含作為細化掩模222的部分。相比來說，如果所述特定像素並非位於前5個視頻幀的大部分中(即，位於前5個視頻幀的2個或更少視頻幀中)，那麼可將所述特定像素從細化掩模222排除。
圖2說明可執行時間顯著圖產生226。時間顯著圖產生226包含累積當前及先前細化掩模以產生顯著圖228。在特定實施例中，可基於以下公式確定顯著圖228：
OSi＝Wo×OSi-1+(1–Wo)*Maski
在上述公式中，OSi表示與特定視頻幀(例如，幀i)相關聯的顯著圖228，Wo表示第一權重因數(例如，在一些狀況下為0.95)，OSi-1表示針對先前視頻幀(例如，幀i-1)所確定的顯著圖，(1-Wo)表示第二權重因數(例如，在一些狀況下為0.05)，且Maski表示針對特定視頻幀(例如，幀i)的細化掩模222。將高權重(例如，其中Wo＝0.95)應用於先前幀的顯著圖可允許對象邊界的平滑改變。將了解，值0.95及0.05僅出於說明目的且替代值可用於對先前幀及/或細化掩模的顯著圖加權重。
在特定實施例中，顯著圖228可用作一或多個特殊效果應用程式的二維濾波器。二進位掩模230可表示應用於顯著圖228的閾值濾波器。在圖3的實例中，顯著圖228為灰度圖像，其中顯著圖228中的個別像素具有範圍從0到255的值。因此，用於從顯著圖228產生二進位掩模230的閾值可包含從0到255的任何值。具有高於閾值的值的像素可用於二進位掩模230(例如，用值一替換)，而具有低於閾值的值的像素可被排除(例如，用值零替換)。在一些實例中，可僅產生顯著圖228而無需產生二級制掩模230。
如圖2的實例中所展示，應用二進位掩模230的結果為將視頻幀的表示背景噪音的部分「歸零」(顯現為黑色)，其中視頻幀的剩餘部分表示前景部分。前景部分可用於各種特殊效果應用程式，包含但不限於散景效果應用程式(如圖7A的實例中所說明)或黑白效果應用程式(如在圖7B的實例中所說明)。
因此，圖2說明空間多層分段可用於產生初始掩模，所述初始掩模可在時間上經細化以產生用於產生時間顯著圖的細化掩模。在一些狀況下，顯著圖228可用於各種特殊效果應用程式。例如，顯著圖228可用於通過形成散景效果、移軸效果或黑白效果連同其它替代效果來突出顯示對象。圖2中所說明的顯著圖228表示與所跟蹤對象一致的經明確界定的顯著圖，此可允許在獲得真實視覺效果(其在經由邊界框傳統地界定對象的情況下不可能)時應用此些特殊顏色或濾波技術。
參考圖3，說明將時間顯著圖作為反饋提供到對象跟蹤器的方法的特定實施例且大體將其指定為300。圖3說明顯著圖228可不僅用於特殊效果應用程式還作為反饋提供到對象跟蹤器122，可能造成更穩健對象跟蹤。
在圖3的實例中，對象跟蹤器122包含跟蹤組件302、檢測組件304及模型更新組件306。此外，對象跟蹤器122包含與跟蹤組件302相關聯的第一歸一化互相關(NCC)驗證組件308以及與檢測組件304相關聯的第二NCC驗證組件310。可將跟蹤組件302的輸出提供到第一NCC驗證組件308，而可將檢測組件304的輸出提供到第二NCC驗證組件310。對象跟蹤器122進一步包含融合組件312以從第一NCC驗證組件308接收輸出及從第二NCC驗證組件310接收輸出。融合組件312的輸出可用於關於圖2所描述的時間顯著圖產生226。
圖3說明其中顯著圖228可作為輸入提供到對象跟蹤器122的特定實施例。NCC驗證組件308及310兩者可用於基於對象外觀模型的對象驗證。在一些狀況下，NCC驗證組件308及310兩者可通過應用顯著圖228以將圖像的包含關注對象的前景部分與圖像的背景部分分離來增強，從而可能產生較高跟蹤準確度。為了說明，NCC驗證組件308及310兩者可通常使用邊界框內部的所有像素來補償。顯著圖228可用於減小用於補償目的的邊界框內部的像素的數目。因此，圖3說明顯著圖228可不僅用於特殊效果應用程式而且作為反饋用於對象跟蹤器122，可能造成更穩健對象跟蹤。
參考圖4，說明將顯著圖及相關聯二進位掩模應用於視頻幀序列的方法的特定說明性實施例且大體將其指定為400。圖4說明從視頻幀序列選擇多個視頻連同與所述視頻幀中的每一者相關聯的顯著圖及二進位掩模。圖4說明多個視頻幀可用於在時間上細化掩模以便產生時間顯著圖。
在圖4中所說明的實例中，從視頻幀序列選擇的視頻幀包含第一視頻幀402(「幀N」)、第二視頻幀404(「幀N+1」)、第三視頻幀406(「幀N+2」)及第四視頻幀408(「幀N+3」)。第一顯著圖410與第一視頻幀402相關聯，第二顯著圖412與第二視頻幀404相關聯，第三顯著圖414與第三視頻幀406相關聯，且第四顯著圖416與第四視頻幀408相關聯。第一二進位掩模418與第一顯著圖410相關聯，第二二進位掩模420與第二顯著圖412相關聯，第三二進位掩模422與第三顯著圖414相關聯，第四二進位掩模424與第四顯著圖416相關聯。
在特定實施例中，第一顯著圖410可通過幀裁剪連同空間雙層分段而產生以產生掩模。舉例而言，第一視頻幀402(「幀N」)可經裁剪以產生經裁剪圖像，且可對經裁剪圖像執行空間雙層分段以產生掩模，如上文關於圖2所描述。在圖4的實例中，第一顯著圖410說明經確定為與第一視頻幀402的前景部分(例如，面部)相關聯的第一組像素及經確定為與第一視頻幀402的背景部分相關聯的另一組像素。如圖4的實例中所展示，應用第一二進位掩模418的結果為將第一視頻幀402的背景部分歸零(顯現為黑色)。
圖4進一步說明在所選擇視頻幀序列中對第一顯著圖410的時間細化。在特定實施例中，第二視頻幀404(「幀N+1」)可經裁剪以產生第二經裁剪圖像，且可對第二經裁剪圖像執行空間雙層分段以產生初始掩模，如上文關於圖2所描述。時間掩模細化可經執行以產生細化掩模，且細化掩模可用於時間顯著圖產生，如上文關於圖2所描述。
在特定實施例中，與第二視頻幀404相關聯的顯著圖412可表示基於以下公式產生的時間顯著圖：
OSi＝Wo×OSi-1+(1–Wo)*Maski
在上述公式中，OSi表示與第二視頻幀404(「幀N+1」)相關聯的顯著圖412，Wo表示權重因數(例如，在一些狀況下為0.95)，OSi-1表示與第一視頻幀402(「幀N」)相關聯的顯著圖410，且Maski表示針對第二視頻幀404的細化掩模。將高權重(例如，其中Wo＝0.95)應用於前一幀(在此狀況下為第一視頻幀402)的顯著圖可允許對象邊界的平滑改變。將了解，值0.95及0.05僅出於說明目的且替代值可用於對先前幀及/或細化掩模的顯著圖加權重。如圖4的實例中所展示，應用第二二進位掩模420的結果為歸零第二視頻幀404的背景部分(顯現為黑色)。
第三視頻幀406(「幀N+2」)可經裁剪以產生第三經裁剪圖像，且可對第三經裁剪圖像執行空間雙層分段以產生初始掩模，如上文關於圖2所描述。時間掩模細化可經執行以產生細化掩模，且細化掩模可用於時間顯著圖產生，如上文關於圖2所描述。
為了說明，與第三視頻幀406相關聯的顯著圖414可表示基於以上公式產生的時間顯著圖：在此狀況下，OSi表示與第三視頻幀406(「幀N+2」)相關聯的顯著圖414，Wo表示權重因數(例如，0.95)，OSi-1表示與上一前視頻幀(在此狀況下，第二視頻幀404)相關聯的顯著圖412，Maski表示第三視頻幀406的細化掩模。如圖4的實例中所展示，應用第三二進位掩模422的結果為將第三視頻幀406的背景部分歸零(顯現為黑色)。
第四視頻幀408(「幀N+3」)可經裁剪以產生第四經裁剪圖像，且可對第四經裁剪圖像執行空間雙層分段以產生初始掩模，如上文關於圖2所描述。時間掩模細化可經執行以產生細化掩模，且細化掩模可用於時間顯著圖產生，如上文關於圖2所描述。
為了說明，與第四視頻幀408相關聯的顯著圖416可表示基於以上公式產生的時間顯著圖。在此狀況下，OSi表示與第四視頻幀408(「幀N+3」)相關聯的顯著圖416，Wo表示權重因數(例如，0.95)，OSi-1表示與上一前視頻幀(在此狀況下，第三視頻幀406)相關聯的顯著圖414，Maski表示第四視頻幀408的細化掩模。如圖4的實例中所展示，應用第四二進位掩模424的結果為將第四視頻幀408的背景部分歸零(顯現為黑色)。
雖然圖4中說明的顯著圖及二進位掩模顯現為相似，但應了解，顯著圖及二進位掩模逐幀改變(時間細化)。在替代實施例中，為在前景中捕獲比僅人的面部多的人以用於特殊效果應用程式，可由用戶做出多個選擇(例如，不僅面部顏色而且選擇夾克顏色、襯衫顏色等)。
參考圖5，說明將顯著圖及相關聯二進位掩模應用於視頻幀序列的方法的特定說明性實施例且大體將其指定為500。圖5說明從視頻幀序列選擇多個視頻幀連同與所述視頻幀中的每一者相關聯的顯著圖及二進位掩模。圖5用包含複雜背景的視頻幀序列說明本發明的系統的性能。在圖5的說明性實例中，吉他表示在前景中顯現的關注對象。
在圖5中所說明的實例中，從視頻幀序列選擇的視頻幀包含第一視頻幀502(「幀N」)、第二視頻幀504(「幀N+3」)、第三視頻幀506(「幀N+5」)及第四視頻幀408(「幀N+9」)。第一顯著圖510與第一視頻幀502相關聯，第二顯著圖512與第二視頻幀504相關聯，第三顯著圖514與第三視頻幀506相關聯，且第四顯著圖516與第四視頻幀508相關聯。第一二進位掩模518與第一顯著圖510相關聯，第二二進位掩模520與第二顯著圖512相關聯，第三二進位掩模522與第三顯著圖514相關聯，第四二進位掩模524與第四顯著圖516相關聯。
在特定實施例中，顯著圖510、512、514及516中的每一者可通過幀裁剪連同空間雙層分段而產生以產生掩模。為了說明，個別視頻幀502、504、506及508可經裁剪以產生經裁剪圖像，且可對經裁剪圖像執行空間雙層分段以產生初始掩模，如上文關於圖2所描述。可執行時間掩模細化以產生細化掩模，且細化掩模可用於時間顯著圖產生，如上文關於圖2所描述。
在圖5的實例中，顯著圖510、512、514及516中的每一者說明第一像素組經確定為與特定視頻幀的前景部分(例如，吉他)相關聯且另一像素組經確定為與特定視頻幀的背景部分相關聯。如圖5的實例中所展示，應用個別二進位掩模518、520、522及524的結果為將特定視頻幀的背景部分歸零(顯現為黑色)。
參考圖6，說明將顯著圖及相關聯二進位掩模應用於視頻幀序列的方法的特定說明性實施例且大體將其指定為600。圖6說明從視頻幀序列選擇兩個說明性視頻幀連同與所述視頻幀中的每一者相關聯的顯著圖及二進位掩模。圖6用包含關注對象的部分遮擋的視頻幀序列說明本發明的系統的性能。
在圖6的實例中，關注對象包含面部，且面部由於人移動到樹的後面而已被部分遮蔽。圖6說明雖然面部已部分遮蔽，但本發明的系統可仍產生與遮擋之前的面部一致的顯著圖。雖然樹可能在對象邊界框中顯現，但系統可仍識別正跟蹤的對象。
在圖6中所說明的實例中，從視頻幀序列選擇的視頻幀包含第一視頻幀602(「幀N」)及第二視頻幀604(「幀N+X」)。第一顯著圖606與第一視頻幀602相關聯，且第二顯著圖608與第二視頻幀604相關聯。第一二進位掩模610與第一顯著圖606相關聯，且第二二進位掩模612與第二顯著圖608相關聯。
在特定實施例中，第一顯著圖606及第二顯著圖608可通過幀裁剪連同空間雙層分段來產生以產生掩模。為了說明，個別視頻幀602及604可經裁剪以產生經裁剪圖像，且可對經裁剪圖像執行空間雙層分段以產生初始掩模，如上文關於圖2所描述。可執行時間掩模細化以產生細化掩模，且細化掩模可用於時間顯著圖產生，如上文關於圖2所描述。
在圖6的實例中，第一顯著圖606及第二顯著圖608說明第一像素組經確定為與特定視頻幀的前景部分(例如，被樹部分地遮蔽的面部)相關聯且另一像素組經確定為與特定視頻幀的背景部分相關聯。如圖6的實例中所展示，應用個別二進位掩模610及612的結果為將特定視頻幀的背景部分歸零(顯現為黑色)。
參考圖7A及7B，說明可利用時間顯著圖的特殊效果應用程式的兩個說明性實例且大體將其指定為700。
圖7A說明來自「散景效果」特殊效果應用程式的實例視頻幀702，其中奔跑的孩子作為前景關注對象。如圖7A中所展示，與奔跑的孩子(前景關注對象)相關聯的圖像的部分為清晰的，而圖像的剩餘部分離焦(例如，模糊)。進一步，在一些狀況下，模糊的量可在清晰區離焦區之間轉變中逐漸增加(例如，基於灰度時間顯著圖中的0與255之間的值)。
圖7B說明來自「黑白效果」特殊效果應用程式的實例視頻幀704，其中人的面部作為前景關注對象。如圖7B中所展示，與人的面部相關聯的圖像的部分以彩色顯現，而圖像的其餘部分以黑白顯現。進一步，在一些狀況下，在彩色區黑白區之間可發生逐漸轉變(例如，基於灰度時間顯著圖中介於0與255之間的值)。
參考圖8，說明產生時間顯著圖的方法的特定說明性實施例且大體將其指定為800。
方法800包含：在802處，從相機接收視頻幀。方法800進一步包含：在804處，從對象跟蹤器接收對象邊界框。舉例來說，參考圖2，可從對象跟蹤器122接收對象邊界框204，且可從相機104接收視頻幀。在一些狀況下，對象跟蹤器122可包含「觸摸跟蹤」或T2T跟蹤器，其可經配置以響應於用戶輸入(例如，單個觸摸輸入)產生對象邊界框204。在一些狀況下，接收對象邊界框可包含：接收指示框的數據，諸如坐標、維度等。
方法800包含：在806處，至少部分地基於與特定視頻幀相關聯的對象邊界框而裁剪從相機接收的特定視頻幀以產生經裁剪圖像。舉例來說，參考圖2，可執行幀裁剪206以產生經裁剪圖像208。在一些狀況下，幀裁剪206可包含：確定與對象邊界框204相關聯的特定視頻幀的部分並使對象邊界框204的大小增加以產生經擴展對象邊界框210。作為說明性而非限制性實例，幀裁剪206可包含使對象邊界框204的大小從中點在X方向及Y方向上增加30％並通過確定在經擴展對象邊界框210內的特定視頻幀的像素來產生經裁剪圖像208。
方法800進一步包含：在808處，對來自特定視頻幀的經裁剪圖像執行空間雙分段以產生初始掩模。例如，參考圖2，可對經裁剪圖像208執行空間雙分段216以產生初始掩模218。方法800包含：在810處，對初始掩模執行時間掩模細化以產生細化掩模。例如，參考圖2，可對初始掩模218執行時間掩模細化220以產生細化掩模222。
方法800進一步包含：在812處，至少部分地基於細化掩模而產生時間顯著圖。例如，參考圖2，時間顯著圖產生226可包含至少部分地基於細化掩模222而產生顯著圖228。
本文中所列舉的各種條款可呈現本發明中所描述的技術的各種方面。
條款146516-1A：一種設備，其包括：處理器；對象跟蹤器組件，其可由所述處理器執行以產生與對象邊界框相關聯的信息；幀裁剪組件，其可由所述處理器執行以至少部分地基於與所述對象邊界框相關聯的所述信息而裁剪視頻幀以產生經裁剪圖像；分段組件，其可由所述處理器執行以對所述經裁剪圖像執行空間多層分段以產生初始掩模；掩模細化組件，其可由所述處理器執行以對所述初始掩模執行時間掩模細化以產生細化掩模；及時間顯著圖產生組件，其可由所述處理器執行以至少部分地基於所述細化掩模而產生時間顯著圖。
參考圖9，說明通過執行空間雙分段來產生對象掩模的方法的特定說明性實施例且大體將其指定為900。
方法900包含：在902處，從相機接收視頻幀。方法900進一步包含：在904處，從對象跟蹤器接收對象邊界框。例如，參考圖2，可從對象跟蹤器122接收對象邊界框204，且可從相機104接收視頻幀。方法900包含：在906處，至少部分地基於與特定視頻幀相關聯的對象邊界框而裁剪從相機接收的特定視頻幀以產生經裁剪圖像。例如，參考圖2，可執行幀裁剪206以產生經裁剪圖像208。
方法900進一步包含：在908處，對來自特定視頻幀的經裁剪圖像執行空間雙分段。例如，參考圖2，可對經裁剪圖像208執行空間雙分段216。在圖9中所說明的特定實施例中，空間雙分段包含：基於第一組種子點對第一層執行區生長分段(在910處)，及基於第二組種子點對第二層執行區生長分段(在912處)。
作為說明性實例，參考圖2，第一層可使用經裁剪邊界(例如，矩形經擴展對象邊界框210)作為生長到內部的區的種子點，而第二層可使用減少大小邊界(例如，大小減少三分之二)作為生長到外側的種子點。也就是說，空間雙分段216可包含從經擴展對象邊界框210向內生長的區以及從減少大小邊界向外生長的區。
方法900進一步包含：在914處，將第一層上區生長分段的結果與第二層上的區生長分段的結果融合以產生對象掩模。例如，參考圖2，可通過融合於兩個層相關聯的區生長的結果來產生初始掩模218。
可使用多個層來將視頻幀的前景部分與視頻幀的背景部分分離。也就是說，第一層可表示背景部分，且區生長可包含對象邊界框內部的「生長」。即，對第一層執行的區生長分段可用於通過識別背景像素以移除來使對象邊界框縮小。第二層可表示前景部分。使對象邊界框初始縮小(例如，三分之二)且接著執行區生長分段可識別前景像素。當融合兩個層的區生長分段的結果時，可存在經包含在兩個層中的重疊像素。即，融合結果可不清楚關於一些像素是與前景部分還是背景部分相關聯。因此，在一些實施例中，在融合結果時，可將優先級賦予第二(前景)層。
雖然圖9說明其中使用兩個層的特定實施例，但應了解在替代實施例中，可使用多於兩個層。作為說明性而非限制性實例，可使用兩個對象跟蹤器來跟蹤兩個不同對象(例如，一個對象跟蹤器用於汽車比賽中的紅色汽車且另一對象跟蹤器用於綠色汽車)。在此實例中，可存在各自表示視頻幀的不同前景部分(例如，「紅色汽車」前景層及「綠色汽車」前景層)及一個背景層的兩個對象。
條款146516-1B：一種方法，其包括：從相機接收一或多個視頻幀；從對象跟蹤器接收對象邊界；至少部分地基於與所述特定視頻幀相關聯的所述對象邊界框裁剪從所述相機接收的特定視頻幀以產生經裁剪圖像；對來自該特定視頻幀的該經裁剪圖像執行空間雙分段；及融合該空間雙分段的結果以產生對象掩模。
參考圖10，說明將時間顯著圖作為反饋提供到對象跟蹤器的方法的特定說明性實施例且大體將其指定為1000。
方法1000包含：在1002處，從相機接收視頻幀。方法1000進一步包含：在1004處，從對象跟蹤器接收對象邊界框。例如，參考圖2，可從對象跟蹤器122接收對象邊界框204，且可從相機104接收視頻幀。方法1000包含：在1006處，至少部分地基於與特定視頻幀相關聯的對象邊界框而裁剪從相機接收的特定視頻幀以產生經裁剪圖像。例如，參考圖2，可執行幀裁剪206以產生經裁剪圖像208。
方法1000進一步包含：在1008處，對來自特定視頻幀的經裁剪圖像執行空間雙分段以產生初始掩模。例如，參考圖2，可對經裁剪圖像208執行空間雙分段216以產生初始掩模218。方法1000包含：在1010處，對初始掩模執行時間掩模細化以產生細化掩模。例如，參考圖2，可對初始掩模218執行時間掩模細化220以產生細化掩模222。方法1000進一步包含：在1012處，至少部分地基於細化掩模而產生時間顯著圖，例如，參考圖2，時間顯著圖產生226可包含至少部分地基於細化掩模222而產生顯著圖228。
在圖10中所說明的特定實施例中，方法1000進一步包含：在1014處，將時間顯著圖作為反饋提供到對象跟蹤器。例如，參考圖3，可將顯著圖228作為輸入提供到對象跟蹤器122。在一些狀況下，可通過應用顯著圖228以將圖像的包含關注對象的前景部分與圖像的背景部分分離來增強NCC驗證組件308及310兩者，從而可能產生較高跟蹤準確度。為了說明，NCC驗證組件308及310兩者可通常使用邊界框內部的所有像素來補償。顯著圖228可用於減小用於補償目的的邊界框內部的像素的數目，從而可能產生更穩健物件跟蹤。
條款146516-1C：一種設備，其包括：處理器；對象跟蹤器組件，其可由所述處理器執行以產生與對象邊界框相關聯的信息；分段組件，其可由所述處理器執行以對視頻幀的部分執行空間雙層分段以產生初始掩模，其中至少部分地基於與所述對象邊界框相關聯的所述信息而確定所述視頻幀的所述部分的邊界；掩模細化組件，其可由所述處理器執行以對所述初始掩模執行時間掩模細化以產生細化掩模；及時間顯著圖產生組件，其可由所述處理器執行以：至少部分地基於所述細化掩模而產生時間顯著圖；並將時間顯著圖作為反饋提供到所述對象跟蹤器組件。
參考圖11，說明產生供特殊效果應用程式使用的時間顯著圖的方法的特定說明性實施例且大體將其指定為1100。
方法1100包含：在1102處，從相機接收視頻幀。方法1100進一步包含：在1104處，從對象跟蹤器接收對象邊界框。例如，參考圖2，可從對象跟蹤器122接收對象邊界框204，且可從相機104接收視頻幀。方法1100包含：在1106處，至少部分地基於與特定視頻幀相關聯的對象邊界框而裁剪從相機接收的特定視頻幀以產生經裁剪圖像。例如，參考圖2，可執行幀裁剪206以產生經裁剪圖像208。
方法1100進一步包含：在1108處，對來自特定視頻幀的經裁剪圖像執行空間雙分段以產生初始掩模。例如，參考圖2，可對經裁剪圖像208執行空間雙分段216以產生初始掩模218。方法1100包含：在1110處，對初始掩模執行時間掩模細化以產生細化掩模。例如，參考圖2，可對初始掩模218執行時間掩模細化220以產生細化掩模222。方法1100進一步包含：在1112處，至少部分地基於細化掩模而產生時間顯著圖，例如，參考圖2，時間顯著圖產生226可包含至少部分地基於細化掩模222而產生顯著圖228。
在圖11中所說明的特定實施例中，方法1100進一步包含：在1114處，將時間顯著圖用於特殊效果應用程式。例如，圖7A說明可將時間顯著圖用於應用散景效果以便將圖像的部分呈現為清晰(例如，奔跑的孩子)同時將圖像的其餘部分呈現為離焦的特殊效果應用程式。作為另一實例，圖7B說明可將時間顯著圖用於應用黑白效果以便以彩色呈現圖形的部分(例如，面部)同時以黑白呈現圖形的其餘部分的另一特殊效果應用程式。
條款146516-1D：一種方法，其包括：從相機接收一或多個視頻幀；從對象跟蹤器接收對象邊界；至少部分地基於與所述特定視頻幀相關聯的所述對象邊界框裁剪從所述相機接收的特定視頻幀以產生經裁剪圖像；對來自所述特定視頻幀的所述經裁剪圖像執行空間雙分段以產生初始掩模；對所述初始掩模執行時間掩模細化以產生細化掩模；至少部分地基於所述細化掩模而產生時間顯著圖；及將所述時間顯著圖用於特殊效果應用程式。
應注意，本文中所描述的條款可基於本發明的額外概念而擴展以形成額外條款。例如，條款146516-1A可經擴展以形成條款146516-2A：條款146516-1A的設備，其中空間多層分段包含空間雙層分段。作為另一實例，條款146516-1B可經擴展以形成條款146516-2B：條款146516-1B的方法，其中執行空間雙分段包括：基於第一組種子點而對第一層執行區生長分段及基於第二組種子點而對第二層執行區生長分段，其中將所述第一層上的所述區生長分段的結果與所述第二層上的所述區生長分段的結果融合以產生所述對象掩模。
針對各種條款中的每一者，應理解，設備或裝置可執行方法或以其它方式包含用以執行本文中所描述的一或多種方法的一或多個步驟的裝置。在一些例子中，這些裝置可包含一或多個處理器。在一些例子中，一或多個處理器可表示通過存儲在非暫時性計算機可讀存儲媒體中的指令而配置的專用處理器。換句話說，技術的各種方面可提供非暫時性計算機可讀存儲媒體，其上存儲有指令，所述指令在被執行時致使一或多個處理器執行設備或裝置已經配置以執行的方法中的任何一或多者的一或多個步驟。因此，詳述設備、方法或非暫時性計算機可讀存儲媒體中的一者的條款可用於導出詳述設備、方法或非暫時性計算器可讀存儲媒體中的另一者的等效條款。可從本文中的條款導出關於如上文所例示的各種設備或裝置、方法及非暫時性計算機可讀存儲媒體的各種條款。可針對貫穿本發明所列出的各種其它條款執行相同情況。
在特定實施例中，圖8到11的方法800到1100可經由處理單元(例如，中央處理單元(CPU)、數位訊號處理器(DSP)或控制器)的硬體實施(例如，場可編程門陣列(FPGA)裝置、專用集成電路(ASIC)，等)、經由固件裝置，或其任何組合實施。作為實例，圖8到11的方法800到1100可由執行指令的處理器的執行，如關於圖12所描述。
參考圖12，描繪包含用以產生時間顯著圖(例如，供特殊效果應用程式使用)的邏輯的電子裝置的特定說明性實施例的框圖且大體將其指定為1200。裝置1200包含耦接到存儲器1232且還耦接到相機控制器1282的處理器1210，例如，中央處理器單元(CPU)。相機控制器1282耦接到相機1280。在說明性實例中，相機1280包含圖1的相機104。
圖12還展示耦接到處理器1210及顯示器1228的顯示控制器1226。顯示控制器1226可對應於圖1的輸出介面106。編碼/解碼器(CODEC)1234還可耦接到處理器1210。揚聲器1236及麥克風1238可耦接到CODEC 1234。
圖12還指示無線控制器1240可耦接到處理器1210及天線1242。無線控制器1240可對應於圖1中所描繪的網絡接口116。在特定實施例中，處理器1210、顯示控制器1226、存儲器1232、CODEC 1234、無線控制器1240及相機控制器1282經包含在系統級封裝或單片系統裝置1222中。在特定實施例中，輸入裝置1230及電力供應器1244耦接到單片系統裝置1222。輸入裝置1230可對應於圖1的輸入接口108。此外，在特定實施例中，如圖12中所說明，顯示器1228、輸入裝置1230、揚聲器1236、麥克風1238、相機1280、天線1242，及電力供應器1244在單片系統裝置1222外部。然而，顯示器1228、輸入裝置1230、揚聲器1236、麥克風1238、相機1280、天線1242及電力供應器1244中的每一者可耦接到單片系統裝置1222的組件，例如接口或控制器。
在圖12中所說明的實例中，存儲器1232包含(例如，處理器可執行指令對應於)對象跟蹤器組件122、幀裁剪組件124、分段組件126、掩模細化組件128，及時間顯著圖產生組件130，如上文關於圖1所描述。在替代實施例中，可使用硬體(例如，在處理器1210中)實施組件122到130中的一或多者的全部或部分。
此外，所屬領域的技術人員將進一步了解，結合本文中所揭示的實施例所描述的各種說明性邏輯塊、配置、模塊、電路及算法步驟可實施為電子硬體、由處理器執行的計算機軟體或兩者的組合。各種說明性組件、塊、配置、模塊、電路及步驟已在上文大體就其功能方面加以描述。此功能性是實施為硬體還是處理器可執行指令取決於強加於整個系統的特定應用及設計約束。雖然所屬領域的技術人員可針對每一特定應用以變化方式實施所描述功能性，但不應將此些實施方案決策解釋為導致對本發明的範圍的脫離。
結合本文中的揭示實施例所描述的方法或算法的步驟可直接以硬體、由處理器執行的軟體模塊或兩者的組合體現。軟體模塊可駐留於隨機存取存儲器(RAM)、快閃記憶體、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、寄存器、硬碟、可拆卸磁碟、光碟只讀存儲器(CD-ROM)或此項技術中已知的任一其它形式的非暫時(例如，非暫時性)存儲媒體中。例示性存儲媒體耦接到處理器使得處理器可從存儲媒體讀取信息及將信息寫入到至存儲媒體。在替代方案中，所述存儲媒體可與處理器成整體。處理器及存儲媒體可駐留於專用集成電路(ASIC)中。ASIC可駐留於計算裝置或用戶終端中。在替代方案中，處理器及存儲媒體可作為離散組件駐留於計算裝置或用戶終端中。
所揭示實施例的先前描述經提供以使得所屬領域的技術人員能夠製作或使用所揭示實施例。在不脫離本發明的範圍的情況下，對這些實施例的各種修改對於所屬領域的技術人員來說將易於顯而易見，且本文中所定義的原理可應用於其它實施例。因此，本發明並不意欲被限制於本文中所展示的實施例，而意欲賦予其與如以下權利要求書定義的原理及新穎特徵可能一致的最廣泛範圍。