一種照片分類管理方法、伺服器、裝置及系統的製作方法

2023-05-29 16:06:01 1

專利名稱：一種照片分類管理方法、伺服器、裝置及系統的製作方法
技術領域：
本發明涉及照片管理領域，尤其涉及一種照片分類管理方法、伺服器、裝置及系統。
背景技術：
隨著科技的進步和人們生活水平的提高，照相機，具有拍照功能的手機、掌上電腦等電子設備走進了千家萬戶。越來越多的用戶熱衷於拍照，獲取到大量的照片。目前，對於拍照得到的照片，用戶只能通過手動的方式對這些照片進行標記分類，以實現對這些照片的管理，例如:對照片手動標記後，將其存儲到某一分類文件目錄下。現有技術進行手工標記的操作比較麻煩，用戶對拍攝的每張照片進行標記分類也比較耗時，如果不進行標記又不能很好地對照片進行分類管理，這對用戶造成使用負擔。

發明內容
本發明實施例所要解決的技術問題在於，提供一種照片分類管理方法、伺服器、裝置及系統，可對通過拍攝等方式獲取到的照片自動進行分類管理。為了解決上述技術問題，本發明實施例提供了一種照片分類管理方法，包括:伺服器獲取待分類照片的圖像內容特徵；所述伺服器根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別；所述伺服器將確定的所述待分類照片的照片類別發送給用戶終端，以使用戶終端根據所述確定的照片類別，對所述待分類照片進行分類管理。相應地，本發明實施例還提供了一種伺服器，包括:獲取模塊，用於獲取待分類照片的圖像內容特徵；分類模塊，用於根據所述獲取模塊獲取到的待分類照片的圖像內容特徵確定所述待分類照片的類別；通信模塊，用於將所述分類模塊確定的所述待分類照片的類別發送給用戶終端，以使用戶終端根據所述確定的待分類照片的類別，對所述待分類照片進行分類管理。相應地，本發明實施例還提供了一種照片分類管理裝置，包括:照片獲取模塊，用於獲取待分類照片；通信模塊，用於將所述照片獲取模塊獲取的待分類照片或者所述待分類照片的縮略圖發送給伺服器，並用於接收由伺服器確定的所述待分類照片的照片類別；分類管理模塊，用於根據所述通信模塊接收到的待分類照片的照片類別，對所述待分類照片進行分類管理；其中，所述伺服器根據獲取所述待分類照片的圖像內容特徵確定出所述待分類照片的照片類別。相應地，本發明實施例還提供了一種照片分類管理系統，包括:照片分類管理裝置和伺服器，其中，
所述照片分類管理裝置，用於獲取待分類照片，並將所述待分類照片或者所述待分類照片的縮略圖發送給所述伺服器；
所述伺服器，用於根據所述待分類照片或者所述待分類照片的縮略圖獲取待分類照片的圖像內容特徵，根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類另IJ，並將確定的所述待分類照片的照片類別發送給所述照片分類管理裝置；
所述照片分類管理裝置還用於接收由伺服器確定的所述待分類照片的照片類別，並根據照片類別，對所述待分類照片進行分類管理。
實施本發明實施例，具有如下有益效果:
本發明可對用戶通過拍照等方式獲取到的照片進行特徵的識別以及對照片的分類，使得用戶不需要對照片進行手動標記或者手動分類，實現了對照片內容的自動化分類操作，較好地實現了依照照片的內容的類別來對照片的組織和分類管理，極大地方便了用戶。


為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1是本發明實施例的照片分類管理系統的結構組成示意圖2是圖1中的照片分類管理裝置的結構組成示意圖3是圖1中的伺服器的結構組成示意圖4是本發明的照片分類管理方法的第一實施例流程示意圖5是本發明的照片分類管理方法的第二實施例流程示意圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
請參見圖1，是本發明實施例的照片分類管理系統的結構組成示意圖，本實施例中，所述照片分類管理系統包括:照片分類管理裝置I和伺服器2。所述照片分類管理裝置I和所述伺服器2可通過有線或者無線的方式相連接，進行數據傳遞。
所述照片分類管理裝置I包括用戶終端，用於獲取待分類照片，並將所述待分類照片或者所述待分類照片的縮略圖發送給所述伺服器2。
所述伺服器2用於根據所述待分類照片或者所述待分類照片的縮略圖獲取待分類照片的圖像內容特徵，根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別，並將確定的所述待分類照片的照片類別發送給所述照片分類管理裝置I。
所述照片分類管理裝置I還用於接收由伺服器2確定的所述待分類照片的照片類另IJ，並根據照片類別對所述待分類照片進行分類管理。
所述照片分類管理裝置I可以是具有通信功能的照相機、具有拍照功能的手機/電腦、用戶通過拍照、拷貝、傳輸等方式獲取到待分類照片後，通過所述照片分類管理裝置I向所述伺服器2發送所述待分類照片，或者僅發送所述待分類照片的縮略圖。
所述伺服器2確定所述待分類照片的照片類別後，將該待分類照片的照片類別發送給所述照片分類管理裝置1，由該照片分類管理裝置I對所述待分類照片進行管理，例如，所述照片分類管理裝置I根據該待分類照片的類別，將該待分類照片存儲到相應類別的目錄下，並分類顯示。
另外，所述伺服器2在對待分類照片進行分類確定後，還可將該待分類照片及其照片類別發送到由所述照片分類管理裝置I指定的照片伺服器中，如發送到用戶指定的一用戶照片空間伺服器中，以使所述用戶照片空間伺服器按照照片類別將所述待分類照片存儲到相應存儲器中，當用戶需要時可隨時在該用戶的空間中(如QQ空間)按照照片類別顯示所述待分類照片。
需要說明的是，所述照片分類管理裝置I在獲取到待分類照片後，根據需要也可由其自身進行照片的分類識別，並進行管理操作，即所述照片分類管理裝置I獲取所述待分類照片的圖像內容特徵，根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別，並根據照片類別，對所述待分類照片進行分類管理。
進一步的，請參見圖2，是圖1中的照片分類管理裝置I的結構組成示意圖，所述照片分類管理裝置I可以包括:照片獲取模塊11、通信模塊12以及分類管理模塊13。
所述照片獲取模塊11，用於獲取待分類照片。
所述照片獲取模塊11可以通過拍照的方式獲取到照片，當然，也可通過數據傳輸的方式從其他設備中獲取到照片，所述照片獲取模塊11在獲取到待分類的照片後，還能夠根據需要提取所述待分類照片的縮略圖。
所述通信模塊12，用於將所述照片獲取模塊11獲取到的待分類照片或者所述待分類照片的縮略圖發送給伺服器2，並用於接收由伺服器2確定的所述待分類照片的照片類別。
具體的，所述通信模塊12的發送方式可由用戶根據通信速度、流量費用等情況和需要確定，例如:當通信承載在有線網絡或WIFI等速度快的無線網絡上，用戶不關注流量產生費用且希望對所有照片及時管理時，在獲取到待分類照片的同時，即將待分類照片發送給伺服器2;而當通信承載在速度一般的無線網絡上，且用戶關注流量產生費用但希望對當前拍攝照片及時管理時，可以在獲取到待分類照片時，將其縮略圖發送給伺服器2;當用戶僅需要對部分照片進行管理，且管理需求及時性不強時，可採用手動發送方式，在獲取到待分類照片後，由用戶手動決定是否上傳給所述伺服器2。
所述通信模塊12在發送所述待分類照片或者其縮略圖的同時，還可發送該待分類照片的名稱標識，以便於所述伺服器2返回相應待分類照片的名稱標識及其照片類別，從而使得所述照片分類管理裝置I能夠對名稱標識所對應的待分類照片按照其照片類別進行分類管理。照片分類管理裝置I和伺服器2通過消息攜帶名稱標識來保證類別和待分類照片的對應，從而可以支持多消息並發請求。
所述分類管理模塊13，用於根據所述通信模塊12接收到的待分類照片的照片類另IJ，對所述待分類照片進行管理。分類管理可以包括分類存儲管理、分類顯示管理等。
進一步的，所述通信模塊12還用於向所述伺服器發送照片類別設置請求，以便所述伺服器2依據所述照片類別設置請求攜帶的照片類別對所述待分類照片或者所述待分類照片的縮略圖分類。
具體的，用戶可以通過所述通信模塊12向伺服器2發送待分類照片或者待分類照片縮略圖的同時，發送單獨的照片類別設置請求，用於請求所述伺服器2依據該單獨的照片類別設置請求中攜帶的照片類別對所述待分類照片或者待分類照片的縮略圖分類；
也可以在向所述伺服器2發送攜帶待分類照片或待分類照片的縮略圖的消息中攜帶照片類別設置請求，以請求所述伺服器2依據所述照片類別設置請求攜帶的照片類別對所述待分類照片進行分類。
進一步的，所述照片分類管理裝置I還可以包括:提取模塊14。
所述提取模塊14，用於對所述照片獲取模塊11獲取的待分類照片進行人臉檢測，並提取得到人臉圖像；
所述通信模塊12還用於向所述伺服器2發送所述人臉圖像，供所述伺服器2對該人臉圖像進行分類。
具體的，用戶需要對照片按人臉聚類分類時，例如將同一個人的所有照片歸在一類時，用戶可通過所述提取模塊14對照片執行人臉檢測操作，提取照片中的人臉圖像，並通過所述通信模塊12發送給所述伺服器2。
另外，所述通信模塊12在發送所述人臉圖像的同時，還可向所述伺服器2發送人臉識別請求以便於所述伺服器2根據該請求提取所述人臉圖像中的人臉圖像特徵，並按照人臉圖像特徵來對所述待分類照片進行分類。用戶可在所述通信模塊12向伺服器2發送的攜帶人臉圖像的消息中，用該消息中具體的欄位值指示人臉識別請求；也可以通過通信模塊12向伺服器發送單獨的指示消息指示需要對人臉圖像進行人臉識別。這樣使得伺服器2能夠按照用戶需要進行人臉照片類別的識別，而不會進行其他的如室內室外等照片類型的識別。而對於專用於進行人臉照片類別的識別的人臉識別聚類伺服器，可以不需要在額外的消息中指示人臉識別請求。
進一步的，所述通信模塊12在發送所述待分類照片或者其縮略圖，或者人臉圖像時，還可同時發送該待分類照片的名稱標識，使得所述伺服器2返回相應待分類照片的名稱標識以及類別，從而使得所述分類管理模塊13能夠對名稱標識所對應的待分類照片按照其類別進行管理。這裡通過消息攜帶名稱標識來保證類別和待分類照片的對應，從而可以支持多消息並發分類請求。
所述分類管理模塊13可直接根據照片類別將所述待分類照片放到其所屬類別的照片組中進行組織和管理，包括:根據所述確定的照片類別，對所述待分類照片進行分類存儲以便進行分類顯示，該情況下，所述分類管理模塊13可包括一分類顯示單元，用於根據所述確定的照片類別，對所述待分類照片進行分類顯示；在手機上建立文件夾(類別組)，把照片硬拷貝或者軟拷貝放到對應的文件夾下；建立類別組和照片的邏輯關聯，如:為類別組維護一個文檔，包括所有屬於該類別的照片。
也可以進一步將類別標識添加在照片上如添加到元數據中，以保證分類結果的持續有效，即使軟體重裝或系統重裝後仍可以根據照片的類別標識確定該照片的照片類別。此種情況下，所述分類管理模塊13可以包括:標記單元和管理單元。
所述標記單元，用於根據所述通信模塊12接收到的待分類照片的照片類別，為所述待分類照片添加該照片類別的類別標識。
所述管理單元，用於對添加了類別標識的所述待分類照片進行管理。
進一步的，所述照片分類管理裝置I還可用於根據所述分類管理模塊13對照片的組織和管理來展示照片。如:用戶打開某個類別組對應的文件夾，則呈現該文件夾下面照片的縮略圖；又如，用戶選中某一類別，則讀取其對應的文檔，根據文檔所列照片提取其縮略圖來展示。若將類別標識標記在了照片上，所述照片分類管理裝置I還可根據用戶要展示的所屬類別的需求，直接讀取照片的類別標識，將該類別的照片找到並展示照片。
再請參見圖3，是圖1中的伺服器2的結構組成示意圖。所述伺服器2具體包括:獲取模塊21，分類模塊22以及通信模塊23。
所述獲取模塊21，用於獲取待分類照片的圖像內容特徵。
所述分類模塊22，用於根據所述獲取模塊21獲取到的待分類照片的圖像內容特徵確定所述待分類照片的照片類別。
在通過主動請求、被動接收等方式獲取到所述照片分類管理裝置I上傳的待分類照片或者待分類照片的縮略圖後，所述獲取模塊21根據待分類照片或者待分類照片的縮略圖，獲得待分類照片的圖像內容特徵。
所述獲取模塊21可根據圖像識別技術，對接收到的待分類照片或者待分類照片的縮略圖進行圖像識別，讀取其中的圖像內容信息(主景信息和/或背景信息)作為圖像內容特徵、或圖像內容信息(主景信息和/或背景信息)和元數據信息作為圖像內容特徵。然後由所述分類模塊22進行分類。例如，識別出待分類照片中的主景信息為單人或者多人的頭像特徵，則可以確定為人物照類別；如識別出主景信息為一朵花的特寫的特徵，則可以確定為植物照類別；如識別出背景信息為室外特徵，則確定為室外照類別；若識別出背景信息為大海的特徵，則確定為海洋照類別。若識別出包括單人或者多人的頭像特徵，且背景信息為海洋特徵，則可確定為海洋人物類別。具體的識別是通過待分類照片和照片類別的相似度計算。所述伺服器2具體可以由單一的分類伺服器承載，也可以由分類伺服器雲(多個分類伺服器構成的雲)來承載，以保證滿足多種類別的分類需求和多分類請求的快速響應。
所述通信模塊23，用於將所述分類模塊22確定的所述待分類照片的類別發送給用戶終端，以使用戶終端根據所述確定的待分類照片的類別，對所述待分類照片進行管理。
其中，所述用戶終端即為上述的照片分類管理裝置I，所述通信模塊23可通過現有的有線/無線通信網絡等將所述待分類照片的照片類別發送給所述照片分類管理裝置1
進一步的，請參見圖3，所述伺服器2還可包括:設置模塊24。
所述設置模塊24，用於對預置的照片庫中存儲的照片進行分類訓練，根據圖像內容特徵得到一個或者多個照片類別及該照片類別下的圖像特徵。
所述伺服器2通過設置模塊24對內置或者外設的包括大量照片的照片庫中的照片進行分類訓練，根據圖像內容特徵得到一個或多個照片類別及該照片類別下的圖像特徵並保存，以供所述獲取模塊21和分類模塊22完成待分類照片的分類。
具體的，如圖3所示，所述獲取模塊21可以包括:
第一接收單元211，用於接收所述待分類照片或者所述待分類照片的縮略圖。
第一特徵獲取單元212，用於讀取所述待分類照片或者所述待分類照片的縮略圖的圖像內容特徵，其中，將圖像內容信息(主景信息和/或背景信息)、或圖像內容信息(主景信息和/或背景信息)和元數據信息作為所述待分類照片的圖像內容特徵。
具體的，如圖3所示，所述分類模塊22可以包括:
第一計算單元，用於計算所述待分類照片的圖像內容特徵與各照片類別下的圖像特徵的相似度；如基於分塊最優匹配的圖像相似度計算方法(首先對圖像進行分塊處理，並利用最優匹配在一對一匹配的前提下，計算兩幅圖像的全部分塊所能達到的最大相似度)。
第一確定單元，用於根據所述第一計算單元計算得到的所述待分類照片的圖像內容特徵與各照片類別下的圖像特徵的相似度，將相似度最高且相似度高於閾值的照片類別作為所述待分類照片的照片類別。
進一步的，如圖3所示，所述伺服器2還可包括:
判斷模塊25，用於在接收到用戶發送的照片類別設置請求時，判斷本端是否支持對所請求的照片類別的識別；
所述設置模塊24則還用於在所述判斷模塊25的判斷結果為支持時，為用戶設置所請求的照片類別，以便所述分類模塊22依據所設置的照片類別對待分類照片分類；若判斷結果為不支持，收集所請求的照片類別所對應的照片，並對收集到的照片進行分類訓練，得到所述手機到照片的圖像內容特徵並創建所請求的照片類別及其圖像特徵。
在所述獲取模塊21的所述第一接收單元211接收到所述待分類照片或者所述待分類照片的縮略圖時，所述判斷模塊25同時判斷是否接收到與所述待分類照片或者所述待分類照片的縮略圖同步發送的照片類別設置請求，若接收到，所述判斷模塊25判斷所述伺服器2中是否保存有該照片類別設置請求攜帶的照片類別，以及該照片類別對應的圖像內容特徵，若存在，所述設置模塊24則直接為該用戶設置其所請求的照片類別，並以該設置的照片類別作為待分類照片的照片類別；若不存在，所述設置模塊24則對收集到的該請求的照片類別所對應的照片進行訓練，創建該照片類別設置請求攜帶的照片類別及其圖像內容特徵，以供所述分類模塊22確定待分類照片的照片類別。例如，當用戶要求雪山照類別時，若伺服器2通過判斷模塊25判斷未保存雪山照類別及其圖像內容特徵，則可以雪山等詞作為關鍵字在網際網路上進行搜索，將搜索到的圖片存入照片庫中，並通過所述設置模塊24對照片庫中收集的該照片分類類別所對應的照片進行訓練，創建該照片類別及其圖像特徵。
具體的，對於人臉照片的識別，所述伺服器2的所述設置模塊24還可以用於對預置的照片庫中存儲的照片進行人臉檢測、人臉識別、人臉聚類訓練，根據人臉圖像特徵得到一個或者多個照片類別及該照片類別下的人臉特徵和人臉圖像(保存對應的人臉圖像，可用於後續根據該照片類別的新人臉圖像和所有之前的人臉圖像一起更新該照片類別的人臉特徵)以供後續進行人臉類別的照片識別。
用戶需要按照人臉進行分類時，可根據自身需要和網絡請求，通過所述照片分類管理裝置I向伺服器2發送人臉圖像，所述伺服器2的獲取模塊21還可以包括:
第二接收單元213，用於接收人臉圖像；
第二特徵獲取單元214，用於提取所述第二接收單元213接收到的人臉圖像中的人臉圖像特徵，並將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵；其中，所述人臉圖像是由所述用戶終端即所述照片分類管理裝置I對所述待分類照片進行人臉檢測並提取得到的。
具體的，用戶需要按照人臉進行分類時，也可根據自身需要和網絡請求，通過所述照片分類管理裝置I向伺服器2直接發送待分類照片，所述獲取模塊21還可以包括:
第三接收單元215，用於接收待分類照片；
第三特徵獲取單元216，用於對所述待分類照片進行人臉檢測，提取人臉圖像，並提取人臉圖像中的人臉圖像特徵，將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵。
對於上述進行的人臉圖像的圖像內容特徵的獲取，所述分類模塊22具體可以包括以下單元進行分類識別:
第二計算單元，用於計算所述待分類照片的人臉圖像特徵與本端存儲的各照片類別中的人臉特徵的相似度；
第二確定單元，用於根據所述第二計算單元計算得到的相似度，將相似度最高且高於閾值的照片類別判定為所述待分類照片的照片類別；
所述設置模塊24則還用於將該人臉圖像關聯於已判定為所述待分類照片的照片類別，並根據該人臉圖像更新其關聯的照片類別的人臉特徵，若不存在相似度高於閾值的照片類別，根據該人臉圖像特徵創建新的照片類別並將該人臉圖像關聯於該照片類別。
其中，所述第二計算單元223具體是將所述人臉圖像特徵與本端存儲的各照片類別中的人臉特徵進行比對，計算相似度，如:基於改進Hausdorff距離的人臉相似度匹配的方法(首先將人臉劃分為臉型、雙眼、鼻、嘴等幾個特徵點集，分別計算各部分的改進HausdorfT距離，然後進行加權計算相似度)。若存在與所述接收到的人臉圖像特徵匹配的人臉圖像，即相似度最高且高於閾值的照片類別，則將該人臉圖像所在的照片類別記為所述待分類照片的照片類別，之後，根據該人臉圖像更新其關聯的照片類別的人臉圖像特徵，方便後續該類別的人臉照片的識別；若不存在相似度高於閾值的照片類別時，則所述設置模塊24還用於根據該人臉圖像特徵創建新的照片類別並將該人臉圖像關聯於該照片類另IJ。具體可以重新生成照片類別的全部人臉圖像特徵，也可以根據相似度計算的差異度更新部分人臉圖像特徵。
進一步的，對於上述的人臉照片的識別，所述伺服器2還可以包括:
通知模塊26，用於在接收到所述用戶終端即所述照片分類管理裝置I發送的人臉識別請求時，通知所述獲取模塊21提取人臉圖像中的人臉圖像特徵，以使所述分類模塊22按照人臉圖像特徵來對所述待分類照片進行分類。
也就是說，在所述通知模塊26確定接收到所述照片分類管理裝置I在發送了待分類照片或者人臉圖像的同時，還接收到用戶指示的人臉識別請求時，即確定用戶對該次上傳的待分類照片或者人臉圖像需要進行人臉類型的識別，通知所述獲取模塊21再進行人臉圖像特徵提取，以及使所述分類模塊22進行待分類照片或者人臉圖像的識別分類操作。
在具體實施時，所述獲取模塊21也可以根據用戶對待分類照片的照片類別設置請求來獲取待分類照片的圖像內容特徵。例如:
用戶通過所述照片分類管理裝置I在攜帶待分類照片、待分類照片縮略圖或者人臉圖像的消息中，用該消息中的某一欄位值指示伺服器2需要依照何種照片類別對待分類照片、待分類照片縮略圖或者人臉圖像進行分類；或者，用戶在發送攜帶待分類照片、待分類照片縮略圖或者人臉圖像的消息的同時，發送一指示消息，並在該指示消息的某一欄位值中指示按人臉分類、指示按照室內、風景、單人等類別來分類，所述獲取模塊21通過相應的單元或單元組合獲取待分類照片、縮略圖或者人臉圖像中的圖像內容特徵以進行後續的判斷識別。
而對於專用於進行人臉照片類別的識別的人臉識別聚類伺服器，可以不需要在額外的消息中指示人臉識別請求。
具體的，上述的第一接收單元211、第二接收單元213以及第三接收單元215可以為一個接收單元實現，所述第一特徵獲取單元212、第二特徵獲取單元213以及第三特徵獲取單元216可以為一個特徵獲取單元實現。
通過上述實施例的描述可知，本發明的實施例具有以下優點:
本發明的實施例可對用戶通過拍照、傳輸等方式獲取到的照片進行圖像內容特徵的識別以及對照片的分類，使得用戶不需要對照片進行手動標記或者手動分類，實現了對照片圖像內容的自動化分類操作，較好地實現了依照照片的圖像內容的類別來對照片的組織和管理，極大地方便了用戶。特別是可以自動依據人臉特徵來實現對照片的組織和管理，將同一人的照片組織在一起，方便用戶對同一人不同時間不同地點不同裝扮的照片的查看。此外還支持新照片類別及新人臉的創建，能有效地擴充。
下面對本發明的一種照片分類管理方法進行詳細描述。
請參見圖4，是本發明的照片分類管理方法的第一實施例流程示意圖，本實施例中，所述照片分類管理方法包括:
SlOl:伺服器獲取待分類照片的圖像內容特徵。
伺服器在通過接收等方式獲取到所述照片分類管理裝置上傳的待分類照片或者待分類照片的縮略圖後，所述SlOl根據待分類照片或者待分類照片的縮略圖，獲得待分類照片的圖像內容特徵。
所述SlOl可根據圖像識別技術，對接收到的待分類照片或者待分類照片的縮略圖進行圖像識別，讀取其中的圖像內容信息(主景信息和/或背景信息)作為圖像內容特徵，或讀取其中的圖像內容信息(主景信息和/或別進信息)和元數據信息作為圖像內容特徵。
用戶需要對如人物照等特定照片進行分類時，用戶端的照片分類管理裝置可根據用戶需要對特定照片執行人臉檢測操作，提取照片中的人臉圖像，並發送給所述伺服器，所述SlOl將該人臉圖像作為所述需要分類的特定照片即待分類照片的圖像內容特徵，或者用戶端的照片分類管理裝置也可以直接向伺服器發送需要分類的如人物照等特定照片給伺服器，由所述伺服器進行照片的人臉檢測提取人臉圖像，並提取照片中的人臉圖像特徵，所述SlOl將該人臉圖像特徵作為所述需要分類的特定照片即待分類照片的圖像內容特徵。
S102:伺服器根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別。
具體的，所述S102識別出待分類照片中的主景信息為單人或者多人的頭像特徵，則可以確定為人物照類別；如識別出主景信息為一朵花的特寫的特徵，則可以確定為植物照類別；如識別出背景信息為室外特徵，則確定為室外照類別；若識別出背景信息為大海的特徵，則確定為海洋照類別。若識別出包括單人或者多人的頭像特徵，且背景信息為海洋特徵，則可確定為海洋人物類別。具體的識別是通過待分類照片和照片類別的相似度計算。分類的伺服器具體可以由單一的分類伺服器承載，也可以由分類伺服器雲(多個分類伺服器構成的雲)來承載，以保證滿足多種類別的分類需求和多分類請求的快速響應。
S103:伺服器將確定的所述待分類照片的照片類別發送給用戶終端。
用戶終端和伺服器之間可通過現有的通信網絡進行數據傳輸。
另外，所述伺服器還可通過S103將該待分類照片及其照片類別發送到由用戶指定的照片伺服器中，如發送到用戶指定的一用戶照片空間伺服器中，以使所述用戶照片空間伺服器按照照片類別將所述待分類照片存儲到相應存儲器中，當用戶需要時可隨時在該用戶的空間中(如QQ空間)按照照片類別顯示所述待分類照片。
S104:用戶終端根據所述確定的照片類別，對所述待分類照片進行分類管理。所述S104具體包括:所述用戶終端根據所述確定的照片類別，對所述待分類照片進行分類顯示；或者包括:根據所述確定得到的待分類照片的照片類別，所述用戶終端為所述待分類照片添加該類別的類別標識，並對添加了類別標識的所述待分類照片進行分類管理。
所述S104可直接根據照片類別將所述待分類照片放到其所屬類別的照片組中進行組織和管理，包括:在手機上建立文件夾(類別組)，把照片硬拷貝或者軟拷貝放到對應的文件夾下；建立類別組和照片的邏輯關聯，如:為類別組維護一個文檔，包括所有屬於該類別的照片。
也可以進一步將照片類別標識在照片上(添加到元數據中)，以保證分類結果的持續有效，即使軟體重裝或系統重裝後仍可以根據照片的類別標識確定該照片的照片類別。
進一步的，所述用戶終端還可通過對照片的組織和管理來展示照片。如:用戶打開某個類別組對應的文件夾，則呈現該文件夾下面照片的縮略圖；又如，用戶選中某一類別，則讀取其對應的文檔，根據文檔所列照片提取其縮略圖來展示。若將類別標識標記在了照片上，所述用戶終端還可根據用戶要展示的所屬類別的需求，直接讀取照片的類別標識，將該類別的照片找到並展示照片。
通過上述實施例的描述可知，本發明的實施例具有以下優點:
本發明的實施例可對用戶通過拍照、傳輸等方式獲取到的照片進行圖像內容特徵的識別以及對照片的分類，使得用戶不需要對照片進行手動標記或者手動分類，實現了對照片圖像內容的自動化分類操作，較好地實現了依照照片的圖像內容的類別來對照片的組織和管理，極大地方便了用戶。特別是可以自動依據人臉特徵來實現對照片的組織和管理，將同一人的照片組織在一起，方便用戶對同一人不同時間不同地點不同裝扮的照片的查看。此外還支持新照片類別及新人臉的創建，能有效地擴充。
再請參見圖5，是本發明的照片分類管理方法的第二實施例流程示意圖，本實施例的所述方法包括:
S201:伺服器對預置的照片庫中存儲的照片進行分類訓練，確定照片類別及其對應的圖像特徵。
其中，所述照片庫中包括收集到的多張照片。所述伺服器通過S201對照片庫中收集到的大量的照片進行分類訓練，根據圖像內容特徵得到一個或者多個照片類別及該照片類別下的圖像特徵。
另外的，伺服器對預置的照片庫中存儲的照片進行人臉檢測、人臉識別、人臉聚類訓練，根據各照片的人臉圖像特徵得到一個或者多個照片類別及該照片類別下的人臉特徵和人臉圖像(保存對應的人臉圖像，可用於後續根據該照片類別的新人臉圖像和所有之前的人臉圖像一起更新該照片類別的人臉特徵)。
S202:伺服器獲取待分類照片的圖像內容特徵。
具體的，所述S202可通過以下方式獲取到待分類照片的圖像內容特徵:
方式一:
所述伺服器接收待分類照片或者所述待分類照片的縮略圖，其中，所述待分類照片的縮略圖是由照片獲取裝置對其獲取的照片執行縮略圖提取操作後得到的；
所述伺服器讀取所述待分類照片或者所述待分類照片的縮略圖的圖像內容特徵，其中，將圖像內容信息(主景信息和/或背景信息)、或圖像內容信息(主景信息和/或背景信息)和元數據信息作為所述待分類照片的圖像內容特徵。
方式二:
所述伺服器接收人臉圖像，提取人臉圖像中的人臉圖像特徵，並將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵；
其中，所述人臉圖像是由所述用戶終端對所述待分類照片進行人臉檢測並提取得到的。
方式三:
所述伺服器接收由所述用戶終端發送的待分類照片；
所述伺服器對所述待分類照片進行人臉檢測提取人臉圖像，並提取人臉圖像中的人臉圖像特徵，將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵。
進一步的，對於普通的待分類照片或者待分類照片的縮略圖，在所述S202之前，還包括步驟:
所述伺服器判斷在接收到用戶終端在發送待分類照片或者待分類照片的縮略圖的同時，是否接收到用戶關於此次發送的待分類照片或者待分類照片的縮略圖的照片類別設置請求。該照片類別設置請求可以是一個單獨的指示消息，也可以是在攜帶所述待分類照片或者待分類照片的縮略圖的消息中的某個欄位指示的內容。
若所述伺服器接收到用戶終端發送的照片類別設置請求，則進一步判斷本端是否支持對所請求的照片類別的識別確定；
若支持，所述伺服器為用戶設置所請求的照片類別，並執行所述S202 ；
若不支持，所述伺服器收集所請求的照片類別所對應的照片，並對收集到的照片進行分類訓練，得到所述收集到的照片的圖像內容特徵，並根據所述收集到的照片的圖像內容特徵創建所請求的照片類別及該照片類別下的圖像特徵。例如，當用戶要求雪山照類別時，若伺服器通過判斷確定未保存雪山照類別及其圖像內容特徵，則可通過以雪山等詞作為關鍵字進行搜索，將搜索到的圖片存入照片庫中，並通過所述S304對照片庫中收集的該照片分類類別所對應的照片進行分類訓練，得到所請求的照片類別的圖像內容特徵並創建該照片類別。
而對於需要進行人臉識別的待分類照片或者人臉圖像，在所述S202之前，還包括步驟:
所述伺服器判斷在接收到用戶終端在發送待分類照片或者人臉圖像的同時，是否接收到用戶終端發送的人臉識別請求；
若是，則執行所述S202。
具體可以根據用戶的照片類別設置請求，選擇相應的方式進行圖像內容特徵的獲取。比如:用戶請求對待分類照片按人臉分類，則提取人臉圖像特徵，用戶請求將待分類照片風景來分類，則提取背景中的內容作為圖像內容特徵。
S203:伺服器根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別。
具體的，對於所述S202中的方式一中獲取的圖像內容特徵，所述S203可通過:計算所述待分類照片的圖像內容特徵與各照片類別下的圖像特徵的相似度；根據計算得到的相似度，將相似度最高且相似度高於閾值的照片類別作為所述待分類照片的照片類別
對於所述S202中方式二或者方式三中獲取的圖像內容特徵，所述S203將計算所述待分類照片的人臉圖像特徵與本端存儲的各照片類別中的人臉特徵的相似度；將相似度最高且高於閾值的照片類別判定為所述待分類照片的照片類別，並將該人臉圖像關聯於該已判定為所述待分類照片的照片類別，並根據該人臉圖像更新其關聯的照片類別的人臉圖像特徵；若不存在相似度高於閾值的照片類別，所述伺服器根據該人臉圖像特徵創建新的照片類別並將該人臉圖像關聯於該照片類別。
S204:伺服器將確定的所述待分類照片的照片類別發送給用戶終端。
S205:所述用戶終端根據所述確定的照片類別，對所述待分類照片進行分類管理。
具體可包括:所述用戶終端根據所述確定的照片類別，對所述待分類照片進行分類顯示。或者可包括:用戶終端根據所述確定得到的待分類照片的照片類別，為所述待分類照片添加該類別的類別標識，具體可將類別標識標記在照片上，例如:添加到元數據中，以保證分類結果的持續有效，即使軟體重裝或系統重裝後仍可以根據照片的類別標識確定該照片的照片類別。然後對添加了類別標識的所述待分類照片進行分類管理，具體可直接根據照片類別將所述待分類照片放到其所屬類別的照片組中進行組織和管理，包括:在手機上建立文件夾(類別組)，把照片硬拷貝或者軟拷貝放到對應的文件夾下；建立類別組和照片的邏輯關聯，如:為類別組維護一個文檔，包括所有屬於該類別的照片。
通過上述實施例的描述可知，本發明的實施例具有以下優點:
本發明的實施例可對用戶通過拍照、傳輸等方式獲取到的照片進行圖像內容特徵的識別以及對照片的分類，使得用戶不需要對照片進行手動標記或者手動分類，實現了對照片圖像內容的自動化分類操作，較好地實現了依照照片的圖像內容的類別來對照片的組織和管理，極大地方便了用戶。特別是可以自動依據人臉特徵來實現對照片的組織和管理，將同一人的照片組織在一起，方便用戶對同一人不同時間不同地點不同裝扮的照片的查看。此外還支持新照片類別及新人臉的創建，能有效地擴充。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述的程序可存儲於一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質可為磁碟、光碟、只讀存儲記憶體(Read-Only Memory, ROM)或隨機存儲記憶體(Random AccessMemory, RAM)等。
以上所揭露的僅為本發明較佳實施例而已，當然不能以此來限定本發明之權利範圍，因此依本發明權利要求所作的等同變化，仍屬本發明所涵蓋的範圍。
權利要求
1.一種照片分類管理方法，其特徵在於，包括: 伺服器獲取待分類照片的圖像內容特徵； 所述伺服器根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別； 所述伺服器將確定的所述待分類照片的照片類別發送給用戶終端，以便於用戶終端根據所述確定的照片類別，對所述待分類照片進行管理。
2.如權利要求1所述的方法，其特徵在於，所述伺服器獲取待分類照片的圖像內容特徵的步驟之前，還包括: 所述伺服器對預置的照片庫中存儲的照片進行分類訓練，根據各照片的圖像內容特徵得到一個或者多個照片類別及該照片類別下的圖像特徵。
3.如權利要求2所述的方法，其特徵 在於，所述伺服器獲取待分類照片的圖像內容特徵的步驟，包括: 所述伺服器接收待分類照片或者所述待分類照片的縮略圖； 所述伺服器讀取所述待分類照片的圖像內容信息、和/或所述待分類照片的內容元數據信息，將所述圖像內容信息，和/或內容元數據信息作為所述待分類照片的圖像內容特徵， 或者讀取所述待分類照片的縮略圖中的圖像內容信息、和/或所述待分類照片的內容元數據信息，將所述圖像內容信息，和/或所述內容元數據信息作為所述待分類照片的圖像內容特徵。
4.如權利要求1至3任一項所述的方法，其特徵在於，所述伺服器根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別的步驟，具體包括: 所述伺服器計算所述待分類照片的圖像內容特徵與各照片類別下的圖像特徵的相似度； 根據計算得到的相似度，將相似度最高且高於閾值的照片類別作為所述待分類照片的照片類別。
5.如權利要求4所述的方法，其特徵在於，還包括: 接收用戶終端發送的照片類別設置請求，判斷本端是否支持對所請求的照片類別的識別確定； 若支持，所述伺服器為用戶設置所請求的照片類別，以便所述伺服器依據所設置的照片類別對待分類照片分類； 若不支持，所述伺服器收集所請求的照片類別所對應的照片，並對收集到的照片進行分類訓練，得到所述收集到的照片的圖像內容特徵，並根據所述收集到的照片的圖像內容特徵創建所請求的照片類別及該照片類別下的圖像特徵。
6.如權利要求1所述的方法，其特徵在於，所述伺服器獲取待分類照片的圖像內容特徵的步驟之前，還包括: 所述伺服器對預置的照片庫中存儲的照片進行人臉檢測、人臉識別、人臉聚類訓練，根據各照片的人臉圖像特徵得到一個或者多個照片類別及該照片類別下的人臉特徵。
7.如權利要求6所述的方法，其特徵在於，所述伺服器獲取待分類照片的圖像內容特徵的步驟，包括: 所述伺服器接收人臉圖像，提取人臉圖像中的人臉圖像特徵，並將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵； 其中，所述人臉圖像是由所述用戶終端對所述待分類照片進行人臉檢測並提取得到的。
8.如權利要求6所述的方法，其特徵在於，所述伺服器獲取待分類照片的圖像內容特徵的步驟，包括: 所述伺服器接收待分類照片； 所述伺服器對所述待分類照片進行人臉檢測，提取人臉圖像，並提取人臉圖像中的人臉圖像特徵，將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵。
9.如權利要求6至8任一項所述的方法，其特徵在於，所述伺服器根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別的步驟包括: 所述伺服器計算所述待分類照片的人臉圖像特徵與本端存儲的各照片類別中的人臉特徵的相似度； 將相似度最高且高於閾值的照片類別判定為所述待分類照片的照片類別，並將該人臉圖像關聯於該已判定為所述待分類照片的照片類別，並根據該人臉圖像更新其關聯的照片類別的人臉特徵； 若不存在相似度高於閾值的照片類別，所述伺服器根據該人臉圖像特徵創建新的照片類別並將該人臉圖像關聯於該照片類別。
10.如權利要求9所述的方法，其特徵在於，所述伺服器是在接收到所述用戶終端發送的人臉識別請求時，執行提取人臉圖像中的人臉圖像特徵，以按照人臉圖像特徵來對所述待分類照片進行分類。
11.如權利要求1至10任一項所述的方法，其特徵在於，所述用戶終端根據所述確定的照片類別，對所述待分類照片進行管理的步驟包括: 所述用戶終端根據所述確定的照片類別，對所述待分類照片進行分類顯示； 和/或 根據所述確定得到的待分類照片的照片類別，所述用戶終端為所述待分類照片添加該類別的類別標識，並對添加了類別標識的所述待分類照片進行管理。
12.一種伺服器，其特徵在於，包括: 獲取模塊，用於獲取待分類照片的圖像內容特徵； 分類模塊，用於根據所述獲取模塊獲取到的待分類照片的圖像內容特徵確定所述待分類照片的類別； 通信模塊，用於將所述分類模塊確定的所述待分類照片的類別發送給用戶終端，以使用戶終端根據所述確定的待分類照片的類別，對所述待分類照片進行分類管理。
13.如權利要求12所述的伺服器，其特徵在於，還包括: 設置模塊，用於對預置的照片庫中存儲的照片進行分類訓練，根據各照片的圖像內容特徵得到一個或者多個照片類別及該照片類別下的圖像特徵。
14.如權利要求13所述的伺服器，其特徵在於，所述獲取模塊包括: 第一接收單元，用於接收所述待分類照片或者所述待分類照片的縮略圖； 第一特徵獲取單元，用於讀取所述待分類照片的圖像內容信息、和/或所述待分類照片的內容元數據信息，將所述圖像內容信息，和/或內容元數據信息作為所述待分類照片的圖像內容特徵，或者用於讀取所述待分類照片的縮略圖中的圖像內容信息、和/或所述待分類照片的內容元數據信息，將所述圖像內容信息，和/或所述內容元數據信息作為所述待分類照片的圖像內容特徵。
15.如權利要求12至14任一項所述的伺服器，其特徵在於，所述分類模塊包括: 第一計算單元，用於計算所述待分類照片的圖像內容特徵與各照片類別下的圖像特徵的相似度； 第一確定單元，用於根據所述第一計算單元計算得到的所述待分類照片的圖像內容特徵與各照片類別下的圖像特徵的相似度，將相似度最高且相似度高於閾值的照片類別作為所述待分類照片的照片類別。
16.如權利要求15所述的伺服器，其特徵在於，還包括: 判斷模塊，用於在接收到用戶終端發送的照片類別設置請求時，判斷本端是否支持對所請求的照片類別的識別； 所述設置模塊還用於在所述判斷模塊的判斷結果為支持時，為用戶設置所請求的照片類別，以便所述分類模塊依據所設置的照片類別對待分類照片分類；若判斷結果為不支持，收集所請求的照片類別所對應的照片，並對收集到的照片進行分類訓練，得到所述收集到的照片的圖像內容特徵，並根據所述收集到的照片的圖像內容特徵創建所請求的照片類別及該照片類別下的圖像特徵。
17.如權利要求12所述的伺服器，其特徵在於， 所述設置模塊還用於對預置的照片庫中存儲的照片進行人臉檢測、人臉識別、人臉聚類訓練，根據各照片的人臉圖像特徵得到一個或者多個照片類別及該照片類別下的人臉特徵。
18.如權利要求17所述的伺服器，其特徵在於，所述獲取模塊包括: 第二接收單元，用於接收人臉圖像； 第二特徵獲取單元，用於提取所述第二接收單元接收到的人臉圖像中的人臉圖像特徵，並將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵； 其中，所述人臉圖像是由所述用戶終端對所述待分類照片進行人臉檢測並提取得到的。
19.如權利要求17所述的伺服器，其特徵在於，所述獲取模塊包括: 第三接收單元，用於接收待分類照片； 第三特徵獲取單元，用於對所述待分類照片進行人臉檢測，提取人臉圖像，並提取人臉圖像中的人臉圖像特徵，將所述人臉圖像特徵記為所述待分類照片的圖像內容特徵。
20.如權利要求17至19任一項所述的伺服器，其特徵在於，所述分類模塊包括: 第二計算單元，用於計算所述待分類照片的人臉圖像特徵與本端存儲的各照片類別中的人臉特徵的相似度； 第二確定單元，用於根據所述第二計算單元計算得到的相似度，將相似度最高且高於閾值的照片類別判定為所述待分類照片的照片類別； 所述設置模塊還用於將該人臉圖像關聯於已判定為所述待分類照片的照片類別，並根據該人臉圖像更新其關聯的照片類別的人臉特徵，若不存在相似度高於閾值的照片類別，根據該人臉圖像特徵創建新的照片類別並將該人臉圖像關聯於該照片類別。
21.如權利要求20所述的伺服器，其特徵在於，所述獲取模塊還包括: 通知模塊，用於在接收到所述用戶終端發送的人臉識別請求時，通知所述獲取模塊提取人臉圖像中的人臉圖像特徵，以使所述分類模塊按照人臉圖像特徵來對所述待分類照片進行分類。
22.—種照片分類管理裝置，其特徵在於，包括: 照片獲取模塊，用於獲取待分類照片； 通信模塊，用於將所述照片獲取模塊獲取的待分類照片或者所述待分類照片的縮略圖發送給伺服器，並用於接收由伺服器確定的所述待分類照片的照片類別； 分類管理模塊，用於根據所述通信模塊接收到的待分類照片的照片類別，對所述待分類照片進行分類管理； 其中，所述伺服器根據獲取到的所述待分類照片的圖像內容特徵確定出所述待分類照片的照片類別。
23.如權利要求22所述的照片分類管理裝置，其特徵在於，還包括: 提取模塊，用於對所述照片獲取模塊獲取的待分類照片進行人臉檢測，並提取得到人臉圖像； 所述通信模塊還用於向所述伺服器發送所述人臉圖像。
24.如權利要求23所述的照片分類管理裝置，其特徵在於， 所述通信模塊還用於向所述伺服器發送照片類別設置請求，以便所述伺服器依據所述照片類別設置請求攜帶的照片類別對所述待分類照片或者所述待分類照片的縮略圖分類；或者，還用於向所述伺服器發送人臉識別請求以便於所述伺服器提取人臉圖像中的人臉圖像特徵，以按照人臉圖像特徵來對所述待分類照片或者人臉圖像進行分類。
25.如權利要求22至24任一項所述的照片分類管理裝置，其特徵在於，所述分類管理模塊包括: 分類顯示單元，用於根據所述確定的照片類別，對所述待分類照片進行分類顯示； 和/或: 標記單元，用於根據所述通信模塊接收到的待分類照片的照片類別，為所述待分類照片添加該照片類別的類別標識； 管理單元，用於對添加了類別標識的所述待分類照片進行分類管理。
26.一種照片分類管理系統，其特徵在於，包括:照片分類管理裝置和伺服器，其中， 所述照片分類管理裝置，用於獲取待分類照片，並將所述待分類照片或者所述待分類照片的縮略圖發送給所述伺服器； 所述伺服器，用於根據所述待分類照片或者所述待分類照片的縮略圖獲取待分類照片的圖像內容特徵，根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別，並將確定的所述待分類照片的照片類別發送給所述照片分類管理裝置； 所述照片分類管理裝置還用於接收由伺服器確定的所述待分類照片的照片類別，並根據照片類別對所述待分類照片進行分類管理。
全文摘要
本發明實施例公開了一種照片分類管理方法、伺服器、裝置及系統，所述方法包括獲取待分類照片的圖像內容特徵；根據所述待分類照片的圖像內容特徵確定所述待分類照片的照片類別；將確定的所述待分類照片的照片類別發送給用戶終端，以使用戶終端根據所述確定的照片類別，對所述待分類照片進行管理。採用本發明，可使得用戶不需要對照片進行手動標記或者手動分類，實現了對照片圖像內容的自動化分類操作，較好地實現了依照照片的圖像內容的類別來對照片的組織和管理，極大地方便了用戶。
文檔編號G06K9/66GK103207870SQ20121001382
公開日2013年7月17日 申請日期2012年1月17日 優先權日2012年1月17日
發明者顧翀, 劉燚靈 申請人:華為技術有限公司