基於視覺注意力模型的廣告標誌插入和變換方法及系統的製作方法

2023-07-05 05:59:16 2

專利名稱：基於視覺注意力模型的廣告標誌插入和變換方法及系統的製作方法
技術領域：
本發明涉及一種圖像和視頻處理方法，尤其涉及一種基於視覺注意力模 型的廣告標誌自動插入和變換方法及系統。
技術背景隨著視頻廣播技術的迅速發展，視頻廣播以及視頻文件出現了爆炸式的 增長；與此同時，在視頻廣播和視頻文件中插入相應的廣告標誌進行廣告宣 傳的方法也得到了廣泛應用。例如，在常見的視頻廣播網站(如"優酷網"、 "土豆網"等)瀏覽視頻廣播時， 一般會在視頻節目的右下角或右上角裡添 加相應的廣告網站標誌。在觀看電視節目時，也會經常看到疊加在電視視頻 節目上的有關節目贊助商的標誌。然而，如附圖l(a)所示，這種標誌一般疊 加在視頻節目的固定位置，而且常常只在剛開始觀看該視頻節目的時候能夠 吸引用戶的注意力。由於這些廣告標誌無法提供更多的觀眾感興趣信息，隨 著視頻觀看時間的增長，往往作為背景區域被觀眾忽略掉，因此，很難起到 充分的廣告宣傳作用。為了增強疊加廣告標誌的宣傳作用，需要根據視頻內 容選擇廣告標誌的插入時間、插入內容以及插入方式，以使廣告標誌能夠不 斷引起觀眾注意，從而獲得更加有效的宣傳效果。如附圖l (b)，圖l(c)和 圖l(d)所示，通過對插入的廣告標誌進行平移、縮放和顏色變換，可以起到 在不影響觀眾對主要內容觀看的前提下，吸引觀眾的注意力。目前，在視頻序列中插入廣告標誌主要是通過檢測預定義的區域並在其 上疊加廣告標識的方法實現的。例如，專利申請"基於事件檢測的體育節目 中虛擬廣告自動插入方法"(申請號200310116045. 7)中，針對體育比賽進 行事件檢測，通過該事件檢測進行比賽場地分割，並在不同的事件場景下對 不同的預定義的區域插入虛擬廣告。專利申請"將附加內容插入視頻的方法 和裝置"(申請號200510084584. 6)中，則是以在體育比賽中插入廣告內容 為實施例描述了一種在視頻中插入附加內容的方法和系統。在現有的這些插 入廣告標識的方法中，通常是通過檢測鏡頭邊緣來確定各鏡頭的鏡頭屬性， 從而計算單幀或鏡頭的相關參考值，並根據所計算出的相關參考值來確定插 入廣告的時間；然後，根據對區域分割的結果確定廣告插入的位置，並根據 目標區域的大小來確定插入標誌、字幕或者視頻片段。這些現有技術通常是通過檢測預定義的場景來確定插入廣告的時間，並 通過預定的規則來確定廣告插入的位置和內容。 一般來說，現有廣告插入方 法存在以下不足1) 基於預定義的場景確認插入時間和位置的方法難以具有推廣性。對於 有固定模式的視頻，如體育比賽等，容易定義有限的場景選擇性地進行廣告 插入；但對泛化的視頻來說，如電視劇、新聞等，很難預先定義適合廣告插 入的場景。因此，需要一種確定廣告插入時間和位置的普適方法。2) 不能保證廣告能夠重複吸引觀眾的注意力。 一般來說，直接的廣告插 入並不能保證能夠重複多次吸引用戶的注意力。例如，如果在一個靜態場景 中僅僅插入靜態的標誌、字幕等，那麼就只能在視頻廣播開始時吸引用戶的 注意力；隨著觀眾對廣告區域的熟悉，就會逐漸忽略掉這些廣告區域。總的 來說，突發的變換或者能夠持續提供新信息的位置更能吸引用戶的注意力， 這就需要通過對所插入的廣告標誌進行自動變換，以便引起觀眾的持續關 注。由以上分析可知，為了在不影響用戶觀看的條件下對任意內容的視頻確 定插入廣告標誌的時間和位置，需要構建符合用戶的視覺心理學特徵的用戶 興趣模型，以便實現觀眾對任意視頻內容的關注程度與關注位置的預測。此 外，為了確保在觀眾對視頻原始內容不感興趣的情況下，廣告標誌能夠持續 地吸引觀眾的注意力，需要一種廣告標誌自動插入和變換方法。 發明內容為了克服現有技術的不足，本發明所解決的技術問題是在不影響用戶觀看的條件下將廣告標誌自動插入到任意內容的視頻中；同時在觀眾對視頻原始內容不感興趣的情況下對廣告標誌進行自動變換以使其能夠持續地 吸引觀眾的注意力。本發明提供一種基於視覺注意力模型的廣告標誌插入和變換方法。該方法主要包括以下幾個步驟步驟1根據用戶的視覺注意力模型，預測用戶對視頻每幀各區域的感興趣程度以及對各幀的關注程度；步驟2根據預測出的各幀的關注程度曲線，確定廣告插入的時間點，所述廣告插入的時間點具體是通過下述方法得到根據預定義的廣告宣傳效果 要求來計算閾值，然後選取所有所受關注程度小於此閾值的幀來作為候選的廣告插入時間點；步驟3對可以插入廣告的幀，根據預測出的對每幀各區域的感興趣程 度，選擇可供廣告插入的候選區域序列，其中，所述可供廣告插入的候選區 域序列生成是通過關鍵幀中各區域的面積、位置以及預測出的對各區域的 注意力分布來計算出各區域插入廣告標誌的合適程度，進而對各區域根據其 插入廣告標誌合適程度進行排序，從而得到可供廣告插入的候選區域序列；步驟4根據用戶的視覺注意力模型，對廣告標誌進行變換以確保其為最顯著區域，並將變換後的廣告標誌疊加到視頻幀上。通過上述步驟1至步驟3中視覺注意力模型的構建，可以基於對關注程度的預測來選擇廣告的插入時間和插入位置，進而確保只在用戶對視頻內容 不感興趣的時候進行廣告插入，以達到不影響用戶對視頻的正常觀看的目的。其中，視覺注意力模型的構建主要包括以下幾個步驟21) 短時注意力預測通過計算視頻幀中多種特徵的顯著性分布，來預 測每一視頻幀中各區域的短時注意力。具體地，對每一視頻幀，使用其前、 後幀作參考，提取前、後幀各區域的運動顯著性、幀間顏色變化顯著性以及 單幀顏色顯著性等特性，通過線性加權算法預測出用戶對每幀各區域的短時 注意力。22) 長時注意力預測通過計算視頻幀中所包含各區域的熟悉程度，來 預測每一視頻幀中各區域的長時注意力。具體地，提取每一視頻幀之前若干 幀中各物體的顏色信息和運動方向信息，應用混合高斯模型建模等方法學習 出當前視頻幀的顏色模式和運動模式，並依此計算出當前視頻幀各物體的顏 色熟悉程度和運動熟悉程度，進而預測出用戶對每一視頻幀各區域的長時注 意力。23) 總體注意力融合用每一視頻幀的長時注意力對每一視頻幀的短時 注意力的結果進行修正，並預測各區域的總體注意力分布。具體地，所述總 體注意力融合是通過使用各區域的長時注意力作為權重，對短時注意力進行 加權相乘所得。24) 注意力曲線生成根據每一視頻幀各區域的總體注意力分布情況， 預測用戶對每一視頻幀可能的關注程度。具體地，在所述注意力曲線生成中， 各視頻幀的可能關注程度是將各視頻幀中所有物體的總體注意力相加所得。在插入廣告標誌時，需要對廣告標誌進行變換以使其能夠吸引用戶的注 意力。其中所述步驟4的廣告標誌變換方法主要包括以下幾個步驟自動廣告標誌變化對關鍵幀，根據廣告插入的合適程度選擇候選區域 進行廣告插入，並嘗試通過運動變化或/和顏色變化使得廣告標誌成為視頻 幀中多種特徵的最顯著區域或使其在各特徵的顯著性達到最大；否則，選擇 使廣告標誌的運動顯著性最大的顯示尺度、運動方向和強度，並選擇使廣告 標誌的單幀顏色顯著性與幀間閃爍顯著性之和最大的顏色偏移量；對關鍵幀疊加廣告標誌後，計算包括廣告標誌在內各物體的總體顯著 性，如果廣告標誌不是最顯著區域，則嘗試在其他候選區域內插入廣告標誌；對非關鍵幀，根據其最近鄰的兩個關鍵幀上的相應廣告標誌的屬性進行 插值，進而插入廣告標誌。所述步驟4的廣告標誌變換方法還有以下特徵-所述的運動變化是指在關鍵幀中選擇廣告標誌的運動方向和強度，並嘗 試由區域面積決定的所有可行尺度，直至廣告標誌為運動顯著性圖中的最顯 著區域，或使廣告標誌運動的顯著性達到最大；所述的顏色變化是指在關鍵 幀中對廣告標誌嘗試多種可能的顏色偏移量，直至廣告標誌同時為單幀顏色 顯著圖和幀間顏色變化圖內的最顯著區域，或使廣告標誌的單幀顏色顯著性 與幀間顏色變化顯著性之和達到最大。所述廣告標誌的運動方向和強度是通過求取所有象素的運動方向顯著 性直方圖，並選擇最顯著的方向和最大可行強度來實現的，所述廣告標誌尺 度變化是通過嘗試由當前候選區域的尺寸決定的所有可行尺度來實現的；所 述廣告標誌顏色變化是通過保持廣告標誌各部分的相對亮度、色調、飽合度 不變，而對亮度、色調、飽合度分別進行整體偏移得到的。所述候選區域更改是通過在候選區域序列中選擇合適程度僅小於當前 區域的候選區域來實現的；所述非關鍵幀廣告標誌屬性是通過對其最近鄰兩 個關鍵幀中，廣告標誌的各種可變化的特徵，如顏色、形狀尺度、空間位置 等進行插值來確定的。一種基於視覺注意力模型的廣告標誌自動插入和變換系統，其包括視覺注意力建模模塊根據用戶的視覺注意力模型，預測用戶對每一視 頻幀不同區域的感興趣程度以及對各幀的總體關注程度；廣告標誌插入時間點選擇模塊根據對各幀的總體關注程度曲線，確定廣告標誌插入的時間點； 廣告標誌插入候選區域生成模塊對可以插入廣告標誌的幀，根據預測出的對所述每幀各區域的感興趣程度，選擇允許所述廣告標誌插入的候選區域序 列；廣告標誌變換模塊根據用戶的視覺注意力模型，對廣告標誌進行變換 以確保其為最顯著區域，並將變換後的廣告標誌疊加到視頻幀上。 所述視覺注意力建模模塊包括如下子模塊短時注意力預測子模塊通過預測視頻幀中多種特徵的顯著性分布，來 預測每一視頻幀中各區域的短時注意力；長時注意力預測子模塊通過計算 視覺注意所包含各區域的熟悉程度，來預測每一視頻幀中各區域的長時注意 力；總體注意力融合子模塊根據每幀的長時注意力對每幀的短時注意力結 果進行修正，並預測各區域的總體注意力；注意力曲線生成子模塊根據每 幀各區域的注意力分布情況，預測用戶對每幀可能的關注程度。所述廣告標誌變換模塊包括如下子模塊自動廣告標誌變化子模塊，對 關鍵幀，嘗試通過運動變化或/和顏色變化使得廣告標誌成為最顯著區域或 其顯著性達到最大；變換顯著性計算子模塊，對關鍵幀疊加廣告標誌後，計 算包括廣告標誌在內各物體的總體顯著性，如果廣告標誌不是最顯著區域， 則嘗試在其他候選區域內插入廣告標誌；後處理子模塊對非關鍵幀，由其 最近鄰的兩個關鍵幀上的相應廣告標誌各種屬性進行插值，進而插入廣告標誌。根據本發明的基於視覺注意力模型的廣告標誌自動插入和變換系統，其 具有如下連接關係將待插入廣告標誌的視頻幀輸入到視覺注意力建模模塊中，並由該建模 模塊中的短時注意力預測子模塊和長時注意力預測子模塊進行短時注意力 和長時注意力預測；然後經總體注意力融合子模塊預測各區域的總體注意力 並將其結果輸入到注意力曲線生成模塊，生成注意力分布曲線；根據所述注意力分布曲線，通過廣告標誌插入時間點選擇模塊確定廣告 插入標誌的時間點；根據預測出的對所述每幀各區域的感興趣程度，通過廣 告標誌插入候選區域生成模塊選擇允許所述廣告標誌插入的候選區域序列； 在所選時間點在所選候選區域序列插入所述廣告標誌；根據用戶的視覺注意力模型，應用廣告標誌變換模塊對所述廣告標誌進 行變換，首先在關鍵幀處進行廣告插入嘗試，將疊加在關鍵幀上的所述廣告 標誌在經自動廣告標誌變化子模塊變換；再將該變換結果輸入到變換顯著性 計算子模塊進一步進行變換，以確保廣告標誌為最顯著區域；最後，將變換 後的廣告標誌經後處理子模塊在非關鍵幀處對相鄰關鍵幀的廣告標誌進行插值，以達到平滑的觀看效果。本發明的技術方案是本發明在構建用戶注意力模型時，同時考慮了短 時的視覺注意力以及長時的視覺記憶引起的注意力分布；根據預測出的用戶 對視頻的關注程度自動選擇插入廣告標誌的時間，並自動產生可供廣告插入 的候選區域序列；提出了多種使廣告區域成為最顯著區域的廣告標誌變換方 法，從而吸引用戶的注意力。本發明的有益效果給定任意視頻文件，本發明所述的基於視覺注意模型的廣告標誌自動插入和變換方法可以根據廣告宣傳的需求，在不影響用戶觀看視頻主要內容的情況下，自動插入能夠吸引用戶注意力的廣告標誌，並對廣告標識進行有效進而達到比較好的廣告宣傳效果。


圖1是根據本發明的基於視覺注意力模型的廣告標誌插入和變換方法示例圖，其中圖(a)為直接插入廣告示例圖，圖(b)-(d)是插入廣告標誌並進 行顏色、位置、尺度的變換的示例圖；圖2是根據本發明的基於視覺注意力模型的廣告標誌插入和變換方法流 程圖，其中箭頭表示執行方向；圖^是根據本發明的視覺注意力模型構建方法流程圖，其中流程圖中的 箭頭表示執行方向；圖4是根據本發明的視覺心理學與直觀經驗規則示例圖，其中，圖(a)為 在同樣情況下，用戶傾向於注意到較大的物體(區域)；圖(b)為在同樣情況 下，用戶傾向於注意到內容複雜的物體(區域)；圖(c)為在同樣情況下，用 戶傾向於注意到顏色特殊的物體(區域)；圖(d)為在同樣情況下，用戶傾向 於注意到接近中心的物體(區域)；圖(e)為在同樣情況下，用戶傾向於注意 到幀間顏色變化較大的物體(區域)；圖(f)為在同樣情況下，用戶傾向於注 意到前景上物體的顏色變化(區域)；圖(g)為在同樣情況下，用戶傾向於注 意到具有較強運動的物體(區域)；圖(h)為在同樣情況下，用戶傾向於注意 到具有特殊運動方向的物體(區域)；圖5是根據本發明的基於視覺注意力模型的廣告插入時間點選擇方法示例圖，其中箭頭表示執行方向；圖6是根據本發明的基於視覺注意力模型的廣告標誌插入及變化方法流 程圖，其中箭頭表示執行方向；圖7是根據本發明的基於視覺注意力模型的廣告標誌插入和變換方法示 例圖，其中，圖(a)是廣告插入候選區域序列，依次嘗試區域1至區域5，圖(b)確定廣告標誌中心位置所在直線，圖(C)調整廣告標誌的尺度及其中心位 置，圖(d)改變廣告標誌顏色。圖8是根據本發明的基於視覺注意力模型的廣告標誌插入和變化方法 及系統的模塊圖，其中箭頭表示數據流方向。
具體實施方式
以下通過實施例並結合附圖對本發明的各方面進行詳細描述。實施例1發明的方法流程圖如圖2所示， 一般來說，在視頻內容中自動插入廣告標誌主要需要解決三個問題。即(1)確定廣告插入的時間點；(2) 檢測適合廣告插入的位置；(3)尋找合適的廣告標誌變換方法。為了確定插 入時間點，需要首先預測用戶對視頻各幀的關注程度，其目的在於降低插入 的廣告標誌對用戶觀看的影響，即只在用戶無感興趣內容或者相對關注程度 不高的幀插入廣告標誌。為此，需要首先構建一個視覺注意力模型，以預測 用戶對各幀的關注程度以及感興趣區域的位置。實施例2圖3是根據本發明的對用戶注意力預測的流程圖。從心理學研 究結果及直觀經驗來看，用戶的注意力變化主要受兩方面的影響短時注意 力和長時注意力，其中短時注意力主要是受到單幀或短時間特徵變化的影 響，如顏色對比度、顏色變化等。本發明首先使用圖像分割算法，將各幀分 割為多個區域，並根據心理學研究結果以及直觀經驗，對各物體定義了如下 的注意力提取規則，以進行短時注意力的計算1) 在同樣情況下，用戶傾向於注意到較大的物體(區域)；2) 在同樣情況下，用戶傾向於注意到內容複雜的物體(區域)；3) 在同樣情況下，用戶傾向於注意到顏色特殊的物體(區域)；4) 在同樣情況下，用戶傾向於注意到接近中心的物體(區域)；5) 在同樣情況下，用戶傾向於注意到幀間顏色變化較大的物體(區域)；6) 在同樣情況下，用戶傾向於注意到前景上物體的顏色變化(區域)；7) 在同樣情況下，用戶傾向於注意到具有較強運動的物體(區域)；8) 在同樣情況下，用戶傾向於注意到具有特殊運動方向的物體(區域)。 與上述8種規則相對應的示例圖如圖4的視覺心理學與直觀經驗示例圖所示。基於這些規則，可以從顏色複雜度、顏色對比度、幀間顏色變化、運 動方向和運動強度等五種特徵來反應一個物體的短時顯著性。其中，物體顏 色複雜度的顯著性可由規則(1)和規則(2)決定formula see original document page 13其中，」(0,)和//,.分別表示物體0,的面積和顏色直方圖。在顏色直方圖的 計算中，每個顏色通道都被量化為A^級。本發明所述的物體都是從基於顏 色相似性對各幀進行圖像分割所得到的區域，物體內各象素的顏色都具有相 似性。通過在物體分割時取一個較大的容忍閾值，可以保證既能分割出顏色 單一的簡單物體，又能分割出顏色跨度較大的複雜物體。通過公式(l)可以 計算出顏色"相對"複雜的物體注意力較高，其短時顯著性也較大。顏色對比度的顯著性可由規則(3)和規則(4)來決定(O,) = [ ￡ max(//, ("), & (")) -1)] x — ' " ) ， (2)"=1 丄Z)其中5,和A分別為物體0,.和(^的重心位置，^為該幀的對角線長度。公式(2)中，兩個物體的重心越接近，對比度的相互影響就越大。同樣，兩個 物體的顏色直方圖差別越大，則其顏色對比度就越大。由公式(2)可以計算 出，與周邊物體顏色差別較大的物體其短時顯著性較高。幀間顏色變化的顯著性主要是由規則(5)和規則(6)決定的。 一般來說， 前景區域上的顏色變化容易被用戶感知，背景上的顏色變化常常被忽略，而 心理學研究結果也證明了這一點。因此，某物體與前一幀同一區域間的顏色 變化被注意到的概率，首先取決於該物體是屬於前景物體還是背景物體，其 次還取決於該物體的顏色變化是否強烈。本發明首先通過簡單的基於象素累 積變化的方法，判斷出每個象素是前景象素還是背景象素。假設物體O,中總象素個數為7;，屬於前景的象素個數為 ;,，，則該物體屬於前景物體或背景物體的概率分別可表示為此外，假設該物體在"萬顏色空間內的平均顏色為(^,",,~)，而在前幀相同位置的平均顏色為(A,",A)，則顏色變化劇烈程度可定義為=麗(|丄,|,|-^ |,| I) (4)進而，可將幀間顏色變化的顯著性定義為71 77其中(A)表示某物體在前景(背景)上發生對色變化(紅-綠、藍-紫)時被注意到的概率。在心理學實驗結果中，可發現屍,a0.88，《《0.57。在運動顯著性估計中，很多情況下物體表現為非剛體運動，因此很難描 述一個物體的整體運動情況。為了克服運動顯著性估計的上述不足，本發明 首先通過宏塊匹配的方法計算每幀各宏塊的運動情況，得到各象素的運動情況；然後依此計算各象素的運動顯著性。而各物體的運動顯著性可定義為其 所含全部象素的運動顯著性的均值。根據規則(7)和規則(8)，各象素的運動 方向顯著性可定義為S緣(X,乂幻^-iW《諷X,力)， (6)其中，屍/^表示第J幀各象素的歸一化運動方向直方圖，而P(x,力表示象 素點^^量化後的運動方向。直觀的理解即為如果向某個方向運動的象 素數較少，則該種運動就越顯著。此外，象素&W運動強度顯著性定義為sM (x，>^《)=|r(x,力|/^/^， (7) 其中，r(x，力表示象素點&7,的運動強度，而^為通過宏塊匹配估計運 動強度時最大的搜索距離，即可能的最大運動強度。基於公式(6)和公式 (7)，假設物體O,含有M個象素，則其運動方向顯著性和運動強度顯著性可 分別定義為"'(w械 ， (8)經由上述計算方法，可以得到從五種特徵來描述的物體短時顯著性。為 了得到一個物體總體顯著性，需要將各種短時顯著性進行加權平均。由於用 戶常常傾向於觀測包含集中的顯著物體以及大面積的非顯著物體的特徵，則 某物體總的短時顯著性可記為WO,) SCK(0,) SMS((9,)」， (9)其中^ = [)^『2『3『4 W]為各特徵顯著性分布圖的權重向量。假設#個 特徵的顯著性分布圖分別為，則顯著性分布圖S,的權重^可通過 下式進行計算formula see original document page 14， (10)實施例3上述短時顯著性通常可以等同於對用戶短時注意力l 外，用戶的注意力分布除短時注意力影響外，還受到長時注意力的影響，如在圖l(a)中，廣告標誌的顏色顯著性等短時顯著性相對較大，但實際上用 戶常常會忽略這些廣告標誌；這是因為該廣告標誌出現時間較長，而在這段較長時間內該廣告標誌的顏色模式及運動模式卻保持不變，而當用戶熟悉這 種顏色模式和運動模式後，就會忽略這些廣告標誌。為了說明這種長時注意 力的影響，本發明通過對運動模式和顏色模式的熟悉程度來描述用戶的長時 注意力。在長時注意力中，運動模式主要表現在特殊的運動方向上，其定義如下//Ki-攀^化屍/^, (ii)其中z/^是第^幀累積的運動方向直方圖，而屍//《為第,幀的運動方向直方圖。"為一個學習因子，用於描述對曾經出現過的運動方向的記憶程度。 如果"的取值較大，則表明對過去各幀出現過的運動方向記憶依賴較少。反 之，則會通過累積更新獲取對過往運動方向的一個長時記憶。在本文中，"取O. 1。對每象素點運動方向的熟悉程度可定義為丄細"少，尺)=//;0,力， (12)則對某物體Q.的運動模式熟悉程度可通過下式計算乂 (W)eO,(13)此外，對物體顏色模式記憶的目的是為了計算該物體的出現頻率。如果 一個物體頻繁的出現，則其長時顯著性就較低，如臺標、靜態背景等，因此 用戶更容易忽略這個物體。本發明使用一個具有有限項的混合高斯模型來計 算第^幀中各物體的熟悉程度，並基於顏色直方圖對過往^幀中的所有物體進行統計WG Wg 1 1Mo, = ￡" g(x;^,S ) = ￡a 邵[-;(x-//"fS:'(x-zO]，(14)2其中由參數K,A,2J所描述的加權高斯項"^(x;""，2:")表示在所有已出 現的物體中，某類物體的平均顏色// 及顏色分布特徵2 ，以及具有相似顏色 物體出現的概率" 。上式中，7V。為預定義的高斯項個數。假設過往W幀中 共有A^個物體，則對於第^幀中任意一個具有顏色直方圖/Z,的物體q，其 在過往W幀中出現的頻率可計算為/(Q.) = 7VrxfXg(//,; ，S ), (15)而對該物體的熟悉程度可定義為15(O,,尺)=1 - "P[-/((9,) / ^ ], (16)其中A^為預定義的閾值，用於控制計算出對各物體熟悉程度的分布。由 前述對運動模式及顏色模式熟悉程度的定義，物體O,的長時顯著性可計算如 下S丄呵(O,) = ;(O,，x (1 -Lc。tor(O,,《))， (17)該長時顯著性計算表達式表明對具有常見運動模式以及常見顏色模式運 動物體的忽略。通過對短時顯著性和長時顯著性的綜合考慮，第,幀中物體 O,的總體顯著性可定義為柳4』)XUQ), (18)則用戶對第^幀的總體關注程度可定義為該幀各物體的顯著性疊加，即為 ) = 2>(Q), (19)實施例4經過計算對原始視頻每一幀(未疊加廣告)的關注程度，即可獲 得對原始視頻的關注程度曲線，如圖5所示。為了不影響用戶的觀看，在關 注程度較高的幀中可以直接插入靜止的廣告標誌。關注程度的高低是通過尋 找一個全局閾值來判斷的，這個全局閾值可以通過預先設定的廣告宣傳需求 確定。如圖4所示，廣告提供商要求插入的廣告標誌只要在整個視頻播放時 間的10%以內吸引用戶的注意力，就可以通過所有幀的關注程度的直方圖計 算出一個閾值，進而取其中關注程度最小的10%的視頻幀內進行廣告插入。實施例5為了保證廣告插入的效果，本發明首先對可以進行廣告插入的 各視頻片段進行幀採樣，即每隔"幀選擇一幀作為關鍵幀，並在關鍵幀中嘗 試插入廣告標誌。如果一個視頻片段的長度小於"，則不在此視頻片段進行 廣告插入。在一個實施例中，"取30。實施例6具體的廣告插入與變換方法流程的如圖6所示，在廣告插入過 程中，首先在關鍵幀處進行廣告插入嘗試，以使廣告能夠吸引用戶的注意力； 然後在非關鍵幀處對相鄰關鍵幀的廣告標誌進行插值，以達到平滑的觀看效 果。在對關鍵幀進行廣告插入時，首先要選擇可插入廣告的候選區域。由於 在前述的視覺顯著性計算中已經計算了各區域的總體顯著性；因此，只需綜 合考慮各區域的面積J(O,)、各區域的重心位置A、各區域的顯著程度S(O,)， 便可按照如下方法計算在區域0,插入廣告標誌的合適程度PF/(Q):其中A為整個視頻幀的中心位置。在同樣的情況下，本發明的實施例傾 向於在小區域、邊緣區域以及顯著性低的區域裡插入廣告。通過將各區域的 合適程度進行排序，可以得到一個合適程度從高到低排序的候選區域序列。 同時，為了保證廣告標誌的宣傳效果，本發明的實施例設定了一個區域面積 及區域長寬的下限，並移除候選序列中最大外接矩形面積及長、寬小於下限 的候選區域。實施例7在插入廣告標誌時，如圖7(a)所示，首先根據合適程度的高低在候選區域序列中選擇各候選區域，並依次求取其最大外接矩形。具體來說，插入廣告標誌要解決的問題為1) 在其最大外接矩形區域內選擇合適的位置；2) 將合適尺度的廣告置於此位置並進行縮放，以便所置廣告大小合適；3) 為所置廣告選擇合適的顏色。其中，選擇合適的位置即為與前一關鍵幀中廣告標誌相比較，選擇一個 廣告插入位置，以便其具有能夠吸引用戶注意力的運動方向和強度。在進行 廣告插入時，首先根據當前幀各象素的運動方向直方圖，隨機嘗試當前幀中 非常見的運動方向，而廣告標誌的中心則從候選區域的中心與該方向相對的邊緣點之間的連線上選擇，如圖7(b)所示。此後，如圖7(c)所示，從該廣告標誌的最小尺度開始，每次將廣告標誌的長和寬同時擴大J倍(本文中，y取1. 2，即長寬每次擴大至原來的1. 2倍)，並在該連線上選擇使該廣告標誌 運動強度最大的可行插入位置。當嘗試插入廣告標誌後，重新計算組成廣告 標誌的所有物體的平均運動方向顯著性及運動強度顯著性。重複上述嘗試過 程，直至插入廣告標誌的平均運動方向顯著性及運動強度顯著性之和最大。 實施例8如圖7(d)所示，當確定廣告插入的位置和尺度後，需要改變 廣告標誌的顏色，使之與顏色相關的顯著性增大。在改變顏色的過程中，需 要保證組成廣告標誌的各物體的相對顏色保持不變，即只可進行整體的顏色 偏移。在一個實施例中，顏色偏移在^S7顏色空間中進行(A色調，&飽 合度，/:亮度)。首先，計算原始廣告標誌各顏色通道的動態範圍；然後， 在保持任意兩個顏色通道的屬性不變的情況下，對第三個顏色通道進行偏 移，偏移步長的大小由預先確定的參數決定；此外，在對任意通道嘗試添加 偏移量後，更改疊加的廣告標誌顏色，重新計算組成該廣告標誌所有物體的 平均顏色複雜度、顏色對比度以及幀間閃爍的顯著性；重複上述嘗試過程， 直至插入廣告標誌的平均顏色複雜度、顏色對比度以及幀間閃爍的顯著性之和最大。通過改變位置、尺度、顏色，使廣告標誌對視頻幀多種特徵可能的顯著 性達到最大；然後，按照前述規則，重新計算該幀的短時注意力及長時注意 力，並計算出組成該廣告標誌所有物體的相應的平均總體注意力。如果此平 均總體注意力大於當前幀的其他所有物體的總體注意力，則說明插入的廣告 標誌可以有效吸引用戶的注意力，該變換方法可行；否則，嘗試在候選區域 序列裡合適程度更低的區域中進行廣告標誌插入。當在關鍵幀中插入廣告標誌後，記錄此廣告標誌的位置、尺度、各顏色 通道的偏移量等屬性。對非關鍵幀，其廣告標誌的位置和尺度由其最近鄰的 兩個關鍵幀中相應廣告標誌的位置和尺度進行插值得到。相應地，其它各個 顏色通道的偏移量也由其最近鄰的兩個關鍵幀中相應廣告標誌各通道顏色 偏移量插值得出。通過插值的方法，即可實現從一種位置、尺度或顏色到另 外一種位置、尺度或顏色的平滑過渡，從而使廣告標誌在吸引用戶注意力的 同時達到一個較好的觀看效果。實施例9圖8是根據本發明的基於視覺注意力模型的廣告標誌插入及 變化方法所實現的廣告標誌的自動插入和變換系統的模塊圖，其中箭頭表示 數據流方向。首先，將待插入廣告標誌的視頻幀輸入到視覺注意力建模模塊 中，並由該建模模塊中的短時注意力預測子模塊和長時注意力預測子模塊進 行短時注意力和長時注意力預測；然後經總體注意力融合子模塊預測各區域 的總體注意力並將其結果輸入到注意力曲線生成模塊，生成注意力分布曲 線；然後，根據所述注意力分布曲線，通過廣告標誌插入時間點選擇模塊確 定廣告插入標誌的時間點；根據預測出的對所述每幀各區域的感興趣程度， 通過廣告標誌插入候選區域生成模塊選擇允許所述廣告標誌插入的候選區 域序列；在所選時間點在所選候選區域序列插入所述廣告標誌；之後，根據 用戶的視覺注意力模型，應用廣告標誌變換模塊對所述廣告標誌進行變換， 首先在關鍵幀處進行廣告插入嘗試，將疊加在關鍵幀上的所述廣告標誌在經 自動廣告標誌變化子模塊變換；再將該變換結果輸入到變換顯著性計算子模 塊進一步進行變換，以確保廣告標誌為最顯著區域；最後，將變換後的廣告 標誌經後處理子模塊在非關鍵幀處對相鄰關鍵幀的廣告標誌進行插值，以達 到平滑的觀看效果。18
權利要求
1.一種基於視覺注意力模型的廣告標誌插入和變換方法，其特徵包括以下步驟步驟1根據用戶的視覺注意力模型，預測用戶對視頻每幀不同區域的感興趣程度以及對各幀的關注程度；步驟2根據對各幀的關注程度曲線，確定廣告標誌插入的時間點；步驟3對可以插入廣告標誌的幀，根據預測出的對每幀各區域的感興趣程度，選擇允許廣告標誌插入的候選區域序列；步驟4根據用戶的視覺注意力模型，對廣告標誌進行變換以確保其為最顯著區域，並將變換後的廣告標誌疊加到視頻幀上。
2.如權利要求1所述的基於視覺注意力模型的廣告標誌插入和變換方 法，其特徵在於，所述步驟1中所述視覺注意力模型的構建包括11) 短時注意力預測，通過預測視頻幀中多種特徵的顯著性分布，來預 測每一視頻幀中各區域的短時注意力；12) 長時注意力預測，通過計算視覺注意所包含各區域的熟悉程度，來 預測每一視頻幀中各區域的長時注意力；13) 總體注意力融合，根據每幀的長時注意力對每幀的短時注意力結果 進行修正，並預測各區域的總體注意力；14) 注意力曲線生成，根據每幀各區域的注意力分布情況，預測用戶對 每幀可能的關注程度。
3.如權利要求2所述的基於視覺注意力模型的廣告標誌插入和變換方 法，其特徵在於所述短時注意力預測是對每一視頻幀使用其前、後幀作參考，提取其中 各區域的運動顯著性、幀間顏色變化顯著性以及單幀顏色顯著性，進而通過 線性加權預測出用戶對每幀各區域的短時注意力；所述長時注意力預測是對每一視頻幀使用其之前若干幀所有物體的顏 色信息和運動信息，學習出常見的顏色模式和運動模式，並依此計算對當前 幀各物體的顏色熟悉程度和運動熟悉程度，進而預測出用戶對每幀各區域的 長時注意力；所述總體注意力融合是通過使用各區域的長時注意力作為權重，對短時 注意力進行加權相乘所得；所述注意力曲線生成中，各幀的可能關注程度是將各幀中所有物體的總體注意力相加所得。
4. 如權利要求1所述的基於視覺注意力模型的廣告標誌插入和變換方 法，其特徵在於根據預定義的廣告宣傳效果要求來計算閾值，然後選取所 有所受關注程度小於此閾值的幀來作為候選的廣告插入時間點；通過關鍵幀 中各區域的面積、位置以及預測出的對各區域的注意力分布來計算出各區域 插入廣告標誌的合適程度，進而對各區域根據其插入廣告標誌合適程度進行 排序，從而得到可供廣告插入的候選區域序列。
5. 如權利要求1所述的基於視覺注意力模型的廣告標誌插入和變換方法，其特徵在於所述廣告標誌插入方法包括以下幾個步驟41) 自動廣告標誌變化對關鍵幀，嘗試通過運動變化或/和顏色變化使 得廣告標誌成為最顯著區域或其顯著性達到最大；42) 對關鍵幀疊加廣告標誌後，計算包括廣告標誌在內各物體的總體顯 著性，如果廣告標誌不是最顯著區域，則嘗試在其他候選區域內插入廣告標 志；43) 對非關鍵幀，由其最近鄰的兩個關鍵幀上的相應廣告標誌各種屬性 進行插值，進而插入廣告標誌。
6. 如權利要求5所述的基於視覺注意力模型的廣告標誌插入和變換方 法，其特徵在於所述的運動變化是指在關鍵幀中選擇廣告標誌的運動方向 和強度，並嘗試由區域面積決定的所有可行尺度，直至廣告標誌為運動顯著 性圖中的最顯著區域，或使廣告標誌運動的顯著性達到最大；所述的顏色變 化是指在關鍵幀中嘗試多種可能的顏色，直至廣告標誌同時為單幀顏色顯著 圖和幀間顏色變化圖內的最顯著區域，或使廣告標誌的單幀顏色顯著性與幀 間顏色變化顯著性之和達到最大。
7. 如權利要求6所述的基於視覺注意力模型的廣告標誌插入和變換方 法，其特徵在於所述廣告標誌的運動方向和強度是通過求取所有象素的運 動方向顯著性直方圖，並選擇最顯著的方向和最大可行強度來實現的，所述 廣告標誌尺度變化是通過嘗試由當前候選區域的尺寸決定的所有可行尺度 來實現的；所述廣告標誌顏色變化是通過保持廣告標誌各部分的相對亮度、 色調、飽合度不變，而對亮度、色調、飽合度分別進行整體偏移得到的。
8. 如權利要求5所述的基於視覺注意力模型的廣告標誌插入和變換方 法，其特徵在於所述步驟42)的候選區域更改是通過在候選區域序列中選 擇合適程度僅小於當前區域的候選區域來實現的；所述歩驟43)的非關鍵幀廣告標誌屬性是通過對其最近鄰兩個關鍵幀中，廣告標誌的各種可變化的特 徵，如顏色、形狀尺度、空間位置等進行插值來確定的。
9. 一種基於視覺注意力模型的廣告標誌自動插入和變換系統，其特徵包括以下步驟視覺注意力建模模塊根據用戶的視覺注意力模型，預測用戶對視頻每一幀不同區域的感興趣程度以及對各幀的關注程度；廣告標誌插入時間點選擇模塊根據對各幀的關注程度曲線，確定廣告 標誌插入的時間點；廣告標誌插入候選區域生成模塊對可以插入廣告標誌的幀，根據預測 出的對所述每幀各區域的感興趣程度，選擇允許所述廣告標誌插入的候選區 域序列；廣告標誌變換模塊根據用戶的視覺注意力模型，對廣告標誌進行變換 以確保其為最顯著區域，並將變換後的廣告標誌疊加到視頻幀上。
10.如權利要求9所述的基於視覺注意力模型的廣告標誌自動插入和變換系統，其特徵在於，所述視覺注意力建模模塊包括如下子模塊短時注意力預測子模塊通過預測視頻幀各種特徵的顯著性分布，來預 測每一視頻幀中各區域的短時注意力；長時注意力預測子模塊通過計算視覺注意所包含各區域的熟悉程度， 來預測每一視頻幀中各區域的長時注意力；總體注意力融合子模塊根據每幀的長時注意力對每幀的短時注意力結 果進行修正，並預測各區域的總體注意力；注意力曲線生成子模塊根據每幀各區域的注意力分布情況，預測用戶 對每幀可能的關注程度。
11.如權利要求9所述的基於視覺注意力模型的廣告標誌自動插入和變 換系統，其特徵在於所述廣告標誌變換模塊包括如下子模塊自動廣告標誌變化子模塊對關鍵幀，嘗試通過運動變化或/和顏色變 化使得廣告標誌成為最顯著區域或其顯著性達到最大；變換顯著性計算子模塊對關鍵幀疊加廣告標誌後，計算包括廣告標誌 在內各物體的總體顯著性，如果廣告標誌不是最顯著區域，則嘗試在其他候 選區域內插入廣告標誌；後處理子模塊對非關鍵幀，由其最近鄰的兩個關鍵幀上的相應廣告標 志各種屬性進行插值，進而插入廣告標誌。
12.如權利要求9所述的基於視覺注意力模型的廣告標誌自動插入和變換系統，其特徵在於所述系統具有如下連接關係將待插入廣告標誌的視頻幀輸入到視覺注意力建模模塊中，並由該建模 模塊中的短時注意力預測子模塊和長時注意力預測子模塊進行短時注意力 和長時注意力預測；然後經總體注意力融合子模塊預測各區域的總體注意力 並將其結果輸入到注意力曲線生成模塊，生成注意力分布曲線；根據所述注意力分布曲線，通過廣告標誌插入時間點選擇模塊確定廣告 插入標誌的時間點；根據預測出的對所述每幀各區域的感興趣程度，通過廣 告標誌插入候選區域生成模塊選擇允許所述廣告標誌插入的候選區域序列； 在所選時間點在所選候選區域序列插入所述廣告標誌；根據用戶的視覺注意力模型，應用廣告標誌變換模塊對所述廣告標誌進 行變換，首先在關鍵幀處進行廣告插入嘗試，將疊加在關鍵幀上的所述廣告 標誌在經自動廣告標誌變化子模塊變換；再將該變換結果輸入到變換顯著性 計算子模塊進一步進行變換，以確保廣告標誌為最顯著區域；最後，將變換 後的廣告標誌經後處理子模塊在非關鍵幀處對相鄰關鍵幀的廣告標誌進行 插值，以達到平滑的觀看效果。
全文摘要
一種基於視覺注意力模型的廣告標識自動插入和變換方法及系統，其包括首先，基於所構建的視覺注意力模型預測用戶對視頻每幀各區域的興趣區域和對各幀的關注程度；然後，根據用戶對各幀的關注程度曲線來確定插入廣告的時間點，並通過基於預測出的注意力分布來評價在各區域插入廣告的合適程度，進而獲取可供廣告插入的候選區域序列，並將廣告插入到對視頻內容影響不大的區域；最後，根據預測出的注意力分布將廣告標誌插入到合適的時間點和位置，並對其進行多種特徵變換，以使其能夠重複吸引用戶或觀眾的注意力。根據本發明可以有效進行廣告標識的自動插入和變換，並使所插入的廣告標識在不影響正常觀看的情況下能夠重複吸引人的注意力。
文檔編號H04N5/272GK101621636SQ20081011595
公開日2010年1月6日 申請日期2008年6月30日 優先權日2008年6月30日
發明者甲 李, 田永鴻, 文 高, 黃鐵軍 申請人:北京大學