一種輸出圖像的方法及裝置的製作方法

2023-07-12 17:44:06

專利名稱：一種輸出圖像的方法及裝置的製作方法
技術領域：
本發明涉及計算機及多媒體處理領域，特別是涉及輸出圖像的方法及裝置。
背景技術：
隨著信息技術的快速發展、信息高速公路的建設和網際網路技術的推廣應 用，人們正快步走近信息化社會。在信息化社會中，網絡為用戶提供了大量的 可用資源，如文本、圖像、視頻、音頻等。網際網路資源也成為教育資源庫建設 的重要來源。但是網際網路上的信息種類繁多，排列錯綜複雜，這就給相應的信 息檢索帶來一定的困難。近幾年來，基於內容的圖像分類檢索技術有了長足的 發展，主要是基於低層次視覺特徵的圖像檢索。在基於內容的多媒體信息分類 檢索技術研究中，基於理解的文本分類檢索已經有比較好的研究成果，但基於 視覺特徵和語義特徵的圖像、音視頻分類檢索尚處於研究的初始階段。目前， 在圖像分類方面，還沒有比較成熟的方法能夠對所有的圖像類型都進行有效的 分類。圖像分類就是利用計算機對圖像進行定量分析，把圖像或圖像中的每個像元或區域劃歸為若干個類別中的某一種，以代替人的^L覺判讀。圖像分類方法 可分為圖像空間的分類方法——利用圖像的灰度、顏色、紋理、形狀、位置 等底層特徵對圖像進行分類。但目前各種圖像分類方法中，尚無通過圖像反映的情感進行圖像分類的解 決方案，以及無基於情感圖像的應用。發明內容本發明實施例提供一種輸出圖像的方法及裝置，用於實現在顯示圖像時，根據圖像表達的情感播放與之相關的多媒體內容，以提高用戶體驗。一種輸出圖像的方法，包括以下步驟 分析獲得的圖像的內容，並確定該圖像對應的情感類別； 根據所述圖像對應的情感類別及情感類別與多媒體內容的對應關係，確定 需要的多媒體內容；在輸出所述圖像時輸出確定的多媒體內容。 一種用於輸出圖像的裝置，包括歸類模塊，用於分析獲得的圖像的內容，並將該圖像歸入相應的情感類另'J;控制模塊，用於根據所述圖像歸入的情感類別及情感類別與多媒體內容的 對應關係，確定需要的多媒體內容；輸出模塊，用於在輸出所述圖像時輸出確定的多媒體內容。本發明實施例通過分析圖像的內容獲知了圖像所表達的情感，並輸出與該 情感有關的多媒體內容，以提高用戶體驗。


圖1為本發明實施例中用於圖像分類的裝置的結構圖； 圖2為本發明實施例中用於輸出圖像的裝置的結構圖； 圖3為本發明實施例中用於輸出圖像的襲置的詳細結構圖； 圖4為本發明實施例中圖像分類的主要方法流程圖； 圖5為本發明實施例中圖像分類的具體方法流程圖； 圖6為本發明實施例中輸出圖像的主要方法流程圖； 圖7為本發明實施例中輸出圖像的具體方法流程圖； 圖8為本發明實施例中表達"柔和"情感的圖片的示意圖。
具體實施方式
本發明實施例通過提取圖像中的顏色或顏色相間所構成的形狀來分析該 圖像反映的情感，並將其歸入相應的情感類別，實現了依據情感特徵進行圖像分類。本發明實施例中的圖像包括靜態的圖片和動態的視頻圖像等。多媒體內容包括文字、動畫(如flash格式)、視頻類和音頻類(如歌曲)等。本發明實施 例中的形狀包括線條、圖形和輪廓等。本發明實施例中的樣本包括顏色類樣本 (稱為樣本顏色)、形狀類樣本(稱為樣本形狀)和詞語類樣本(稱為樣本詞)。本發明實施例主要包括兩個環節， 一是分析圖像從而得到相應的情感類 別，二是輸出與該情感類別有關的多媒體內容。下面首先介紹分析圖像從而得 到相應的情感類別的過程。參見圖1,本實施例中用於圖像分類的裝置IOO主要包括提取模塊101、 匹配模塊102和分類模塊103。提取模塊101用於獲得圖像內的顏色和/或形狀。可根據分類時採用的機制 確定提取顏色、形狀或提取顏色和形狀。匹配模塊102用於將所述顏色和/或形狀與對應的樣本顏色和/或樣本形狀 進行匹配。具體應用時，根據提取模塊101提取到的顏色、形狀或提取顏色和 形狀與對應的樣本進4亍匹配。分類模塊103用於在匹配成功時根據樣本顏色和/或樣本形狀對應的情感 類別，將所述圖像歸入該情感類別，同時形成了圖^f象與歸入的情感類別的對應 關係。裝置IOO還可包括用於存儲樣本、圖像和圖像與情感類別的對應關係等的 存儲模塊，本圖未示出。該存儲模塊可以是軟盤、硬碟、光碟和快閃記憶體等存儲介質。裝置100實現了將圖像歸入情感類別，有了這種基於情感的分類，可以在多種應用場景中採用該裝置，如進一步根據圖像對應的情感，輸出與該情感有 關的多媒體內容，或者如為用戶提供輸入接口，根據用戶輸入的情感方面的詞 語來選擇圖像。針對輸出與該情感有關的多媒體內容的情況，本實施例提供一種用於輸出圖像的裝置200,參見圖2所示，其包括歸類模塊201、控制模塊202和輸出 模塊203。裝置200可具體是一種用於瀏覽或播放圖像的軟體或插件等。歸類模塊201用於分析獲得的圖像的內容，並將該圖像歸入相應的情感類 別。歸類模塊201相當於裝置100中的提取模塊101 、匹配模塊102和分類模 塊103。控制模塊202用於根據所述圖像歸入的情感類別及情感類別與多媒體內容 的對應關係，查找並確定多媒體內容。由於多媒體內容包括文字、動畫、視頻 和音樂，所以控制模塊202可同時查找到相應的文字、動畫、視頻和音樂內容。 其中，情感類別與多々某體內容的對應關係是手工建立的，或者是自動識別和建 立的。用於建立情感類別與動畫或視頻的對應關係的模塊可參見歸類模塊201 或裝置100,本實施例提供用於建立情感類別與音樂的對應關係的音樂模塊， 及用於識別文字並建立情感類別與文字的對應關係的文字識別模塊。該音樂模 塊從音樂的音頻數據中提取出播放速度、力度、節奏、旋律、音色等各種音樂 基本元素；將從音頻數據中提取出的音樂基本元素與預設的各心理模型進行匹 配，根據音頻數據匹配到的心理模型分入相應的情感類別，並存儲情感類別與 音樂的對應關係。輸出模塊203用於在輸出所述圖像時輸出確定的多媒體內容。輸出模塊 203具體用於顯示文字、動畫和視頻等，以及播放音樂，並且這兩個動作可同 時進行。輸出方式還可包括刻錄等。裝置200還可包括用於存儲圖像、多媒體內容和情感類別與多媒體內容的 對應關係等的存儲模塊。裝置200還可包括圖像解碼模塊204、多媒體解碼模塊205、緩衝模塊206 和輸出處理模塊207,參見圖3所示。當所述圖像是經過編碼後的編碼數據時，圖像解碼模塊204用於將所述圖 像的編碼數據解碼成原始數據。在輸出確定的多媒體內容時，若所述多媒體內容是經過編碼後的編碼數據時，多媒體解碼模塊205用於將所述多媒體內容的編碼數據解碼成原始數據。 緩衝模塊206用於緩存所述圖像和/或所述多媒體內容。輸出模塊203從該 緩衝模塊中獲得所述圖像和/或所述多媒體內容並輸出。緩衝模塊206可被進一 步細化，其包括第一緩沖單元和第二緩衝單元。第一緩衝單元，用於緩存所述 圖像；第二緩衝單元，用於緩存所述多媒體內容。當所述多媒體內容包括文字、動畫和視頻中的至少一種內容時，輸出處理 模塊207用於在輸出所述圖像和所述多i某體內容前，將所述多々某體內容疊加在 所述圖像上。疊加方式包括覆蓋式(Overlay)和半透明式(Alpha blending )。 以上主要介紹了本發明實施例中的裝置部分，下面對具體實現過程進行介紹。參見圖4，本實施例中圖像分類的主要方法流程如下步驟401:獲得圖像內的顏色和/或形狀。可根據分類時採用的機制確定提 取顏色、形狀或提取顏色和形狀。步驟402:將所述顏色和/或形狀與對應的樣本顏色和/或樣本形狀進行匹 配。具體應用時，根據提取到的顏色、形狀或提取顏色和形狀與對應的樣本進 4亍匹配。步驟403:在匹配成功時根據樣本顏色和/或樣本形狀對應的情感類別，將 所述圖像歸入該情感類別，同時形成了圖像與歸入的情感類別的對應關係。當沒有與圖像匹配成功的樣本時，結束流程，也可將該圖像作為一個樣本， 人為的歸入一個情感類別，或為其新建一情感類別。本實施例以3個情感類別為例進行說明，例如，依據人類的3見覺體驗，將 紅色和黃色作為"熱烈"情感類別的樣本顏色，將藍色和綠色作為"柔和"情 感類別的樣本顏色，將黑色和白色作為"壓抑"情感類別的樣本顏色。參見圖5,關於顏色的情感分類的實現方法流程如下步驟501:獲得一幀圖像內的顏色。步驟502: —幀圖像內的顏色可能非常豐富，可通過各顏色佔該幀圖像數據的百分比和統一相似顏色等手段確定至少一種主要顏色。例如，將不同程度的綠色，如RGB(O， 100,0)、 RGB(0,200,0) 、 RGB(50,200.25)等，都統一為 RGB(0,200,0),若只有RGB(0,100，0)和RGB(50,200.25)兩種，則將兩者的色度 取平均，或者依據兩者佔圖像數據量的百分比取百分比較大的顏色。將佔圖像 數據量百分比最大的顏色確定為主要顏色，也可確定更多的主要顏色。步驟503:將確定的主要顏色與樣本顏色進行匹配。例如，主要顏色為淺 綠色，確定淺綠分別到紅、黃、藍、綠、黑和白的距離，最低的距離對應的樣 本顏色即為匹配到的顏色，如匹配到綠色。或者，預先設定相似度閾值，淺綠 分別到紅、黃、藍、綠、黑和白的距離(相當於相似度)是否有大於相似度閾 值，符合條件的距離對應的樣本顏色即為匹配到的顏色。步驟504:在匹配成功時根據樣本顏色對應的情感類別，確定所述圖像對 應該情感類別。步驟505:可能存在主要顏色與多個樣本顏色匹配成功的情況，尤其是多 個樣本顏色對應不同的情感類別，至少將圖像歸入對應的情感類別中的一個。 此時有多種處理方式，如將該圖像歸入匹配到的多個情感類別；或者將該圖像 歸入其中一個情感類別。歸入其中之一時，可以有多種選擇方式，如隨機選擇， 或者如選擇靠近"熱烈，，情感類別的一項，或者如選擇靠近"壓抑"情感類別 的一項，或者如選擇中間的情感類別(如"柔和"情感類別)；還可以為各情 感類別設定優先級，優先級越高越靠近"熱烈"情感類別，將對應的多個情感 類別的優先級取平均值，根據該平均值與各優先級的距離確定歸入的情感類 別。根據形狀的情感類別的歸類與依據顏色的方法類似，比如，完全是直線的 形狀對應"壓抑"情感類別，完全是曲線的形狀對應"熱烈"情感類別，兩者 之間的形狀都對應"柔和"情感類別。或者，例如，清晰的^^廓對應"明快直 爽"(相當於"熱烈")的情感類別，而緩慢過渡的邊緣對應"朦朧柔和"(相 當於柔和)的情感類別等。當同時依據顏色和形狀來進行圖像分類時，如果匹配的結果對應同 一情感類別，則可將圖像直接歸入該情感類別；如果匹配的結果對應不同的情感類別， 則處理方式可參見步驟505中的描述。關於圖像的情感分類方法不限於此，可對圖像內容作深入分析。如通過才莫 式識別獲知圖像中的具體內容，如其包含有大海、沙灘和白雲等，本實施例將 這類自然景觀都歸為"柔和"情感類別。如果分析得到圖像中包含有人，可以 進一步分析人臉表情或動作，如大笑歸為"熱烈"情感類別，微笑歸為"柔和，， 情感類別，悲傷和哭泣歸為"壓抑"情感類別等。與裝置的描述對應的，針對輸出與該情感有關的多々某體內容的情況，參見 圖6所示，本實施例中輸出圖像的主要方法流程如下步驟601:分析獲得的圖像的內容，並確定與該圖像對應的情感類別。此 步驟的具體實現過程可參見圖4或圖5所示的流程。步驟602:根據所述圖像對應的情感類別及情感類別與多媒體內容的對應 關係，確定需要的多媒體內容。步驟603:在輸出所述圖像時輸出確定的多媒體內容。輸出的形式包括顯 示、播放和刻錄等。多媒體內容的種類和個數都可能不唯一 ，所以在輸出多媒體內容時有多種 具體的處理方式，參見圖7所示，具體輸出圖像的過程如下步驟701:獲得圖像並分析圖像的內容。例如，參見圖8所示，圖像的內 容主要是明媚的風景和可愛的動物。步驟702:確定該圖像對應的情感類別。例如，本實施例中確定風景和可 愛的動物都屬於"柔和"情感類別。步驟703:根據圖像對應的情感類別，查找情感類別與多媒體內容的對應 關係，並獲得相應的多媒體內容。若查找失敗則可直接結束流程。例如，通過 "柔和"情感類別查找到動畫和曲調舒緩的音樂。本實施例是以獲得與圖像表 達的情感一致的多媒體內容為例進行的說明，也可以獲得與圖像表達的情感相反的多媒體內容。多媒體內容包括多種形式，獲得的多媒體內容若至少存在兩種，如既有視頻又有音樂，則具體的處理方式有多種，繼續步驟704。步驟704:根據多媒體內容的性質確定輸出多々某體內容的形式。如視頻不 不包括音樂，則可同時顯示視頻內容和播放音樂；若視頻包括音樂，則優先輸 出視頻內容，或者優先輸出音樂。步驟705:按照確定的方式輸出獲得的多媒體內容。例如，在用戶瀏覽風 景圖片時，在圖片的右下角顯示使用戶感到輕鬆的動畫，並同時播放舒緩的音 樂。多媒體內容可能有多個，多個視頻和多個音樂，此時可以隨機輸出該多個 多媒體內容，或者循環輸出該多個多媒體內容等。其中，在步驟703中提到了情感類別與多々某體內容的對應關係，該對應關 系可以是手工建立的，也可以是自動建立的。自動建立圖像與情感類別的對應 關係的方式可參見圖4和圖5所示的流程。下面簡單介紹自動建立音樂與情感 類別的對應關係。從音頻數據中提取播放速度、力度、節奏、旋律、音色等各種音樂基本元 素；將從各音頻數據中提取出的音樂基本元素分別與預設的各心理模型進行匹 配，將解碼後的音頻數據對應到匹配的心理模型所對應的情感類別，並存儲情 感類別與該音樂的對應關係。以節奏為例，獲得音樂與情感類別的對應關係的 過程如下以幀為單位接收音頻解碼後的音頻數據，對當前接收到的一幀音頻數據 (包括1024個採樣點的時域信號)使用FFT變換將信號從時域編換到頻域，得到頻域覆信號a"+jbn, n為大於等於0且小於等於511的正整數。 計算頻域覆信號的幅度A[n^^a +、2 。按照預先劃分的多個子帶，分別計算每個子帶的幅度，作為瞬時能量。例如，可以按照50 200、 200~400、 400~800、 800~1600、 1600 3200、 3200Hz以上，共劃分6個子帶。邵]=—Z剩實際應用中，瞬時能量可按照如下公式來計算 『'"=s,,其中，表示第i個子帶的瞬時能量、^表示第i個子帶的寬度、《表示第i個子帶的 起始鐠線，i為大於1的正整數。每次執行402c之後，均存儲當前幀的各子帶瞬時能量，並按照先進先出 的原則，刪除最先存儲的一個幀的各子帶瞬時能量。讀取已存儲的m個幀的各子帶的瞬時能量^0[。，分別計算m個幀在每個子帶的瞬時能量￡/w的平均值"w和方差。其中，m為1秒內緩存在歷史能量緩沖子單元2054的幀數量，m的取值 通常為43。實際應用中，第i個子帶的瞬時能量平均值^^']和第i個子帶的瞬時能量五4。=丄§五0;[/]方差￡叩]可以分別按照如下公式來計算 m戶。，j為大於等於i且小於等於m的正整數、￡^[/]為讀取的第j個幀的第i個子帶的瞬時能量；附)=0根據計算得到的和￡F[。，判斷當前幀每個子帶的瞬時能量￡/w是否為 峰值能量，如果是，則將判斷為峰值能量的^w確定為提取的音樂基本元素並 輸出，即實現了音樂基本元素中節奏的提取。其中，當^[。大於cx ^w、且^「w大於v時，判斷^w為峰值能量，c和V是兩個由實驗確定的常數，通常情況下，C=250， V=150。用於實現本發明實施例的軟體可存儲於軟盤、硬碟、光碟和快閃記憶體等存儲介質中。本發明實施例通過分析圖像的內容獲知了圖像所表達的情感，並輸出與該 情感有關的多媒體內容，以提高用戶體驗。本發明實施例具體提供了多種分析圖像情感的方法，並且多媒體內容的形式多樣，用戶可根據實際需要隨意選擇。 本發明實施例可在多種實際場景中應用，如電子相框、動畫影視製作中的輔助 工具等。明的精神和範圍。這樣，倘若對本發明的這些修改和變型屬於本發明權利要求 及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
權利要求
1、一種輸出圖像的方法，其特徵在於，包括以下步驟分析獲得的圖像的內容，並確定該圖像對應的情感類別；根據所述圖像對應的情感類別及情感類別與多媒體內容的對應關係，確定需要的多媒體內容；在輸出所述圖像時輸出確定的多媒體內容。
2、 如權利要求1所述的方法，其特徵在於，分析獲得的圖像的內容並確 定與該圖像對應的情感類別的步驟包括獲得圖像內的顏色和/或形狀；在匹配成功時根據樣本顏色和/或樣本形狀對應的情感類別，將所述圖像歸 入該情感類別。
3、 如權利要求2所述的方法，其特徵在於，將所述顏色與樣本顏色進行 匹配並匹配成功的步驟包括確定所述顏色與樣本顏色的相似度，並確定該相 似度大於預設的相似度閾值。
4、 如權利要求2所述的方法，其特徵在於，所述樣本顏色為多個；將所 述顏色與樣本顏色進行匹配並匹配成功的步驟包括確定所述顏色到各樣本顏 色的距離，距離最近的樣本顏色為匹配成功的樣本顏色。
5、 如權利要求2所述的方法，其特徵在於，將所述形狀與樣本形狀進行 匹配並匹配成功的步驟包括確定所述形狀與樣本形狀的相似度，並確定該相 似度大於預設的相似度閾值。
6、 如權利要求2所述的方法，其特徵在於，當所述顏色與樣本顏色對應 到第一情感類別、所述形狀與樣本形狀對應到第二情感類別時，根據第一情感 類別和第二情感類別的優先級確定所述圖像歸入該情感類別。
7、 如權利要求1至6中任一項所述的方法，其特徵在於，所述多媒體內 容包括文字、動畫、音頻和視頻中的至少一種內容。
8、 如權利要求7中任一項所述的方法，其特徵在於，當所述圖像歸入的 情感類別對應至少兩種多媒體內容時，同時輸出該至少兩種多媒體內容。
9、 如權利要求1至6中任一項所述的方法，其特徵在於，確定的多々某體 內容為多個；隨機輸出該多個多媒體內容，或者循環輸出該多個多媒體內容。
10、 如權利要求1至6中任一項所述的方法，其特徵在於，情感類別與多 媒體內容的對應關係是自動識別和建立的；或者情感類別與多Jf某體內容的對應關係是手工建立的，
11、 如權利要求1至6中任一項所述的方法，其特徵在於，所述多々某體內 容包括文字、動畫和視頻中的至少一種內容；以疊加顯示的方式在所述圖像上 輸出所述多媒體內容。
12、 如權利要求11所述的方法，其特徵在於，所述疊加顯示的方式包括 覆蓋或半透明。
13、 一種用於輸出圖像的裝置，其特徵在於，包括歸類模塊，用於分析獲得的圖像的內容，並將該圖像歸入相應的情感類別； 控制模塊，用於根據所述圖像歸入的情感類別及情感類別與多媒體內容的 對應關係，確定需要的多士某體內容；輸出模塊，用於在輸出所述圖像時輸出確定的多媒體內容。
14、 如權利要求13所述的裝置，其特徵在於，所述多媒體內容包括文字、 動畫、音頻和視頻中的至少一種內容。
15、 如權利要求14所述的裝置，其特徵在於，還至少包括下列模塊之一 用於分析音樂表達的情感，並建立情感類別與音樂內容的對應關係的模塊；用於分析動畫或一見頻表達的情感，並建立情感類別與動畫或視頻內容的對 應關係的模塊；用於分析文字表達的情感，並建立情感類別與文字內容的對應關係的模塊。
全文摘要
本發明公開了一種輸出圖像的方法，用於實現在輸出圖像時，根據圖像表達的情感播放與這種情感相關的多媒體內容，提高了用戶體驗。所述方法為分析獲得的圖像的內容，並確定該圖像對應的情感類別；根據所述圖像對應的情感類別及情感類別與多媒體內容的對應關係，確定需要的多媒體內容；在輸出所述圖像時輸出確定的多媒體內容。本發明還公開了與輸出圖像的方法對應的裝置。
文檔編號G06F17/30GK101271528SQ20081010392
公開日2008年9月24日 申請日期2008年4月11日 優先權日2008年4月11日
發明者律 謝 申請人:北京中星微電子有限公司