一種圖像管理方法和裝置與流程
2023-05-27 21:39:21 4
本發明涉及圖像處理技術領域，更具體的說，涉及一種圖像管理方法和裝置。
背景技術：
隨著智能設備硬體生產能力的提升和成本下降，拍照性能、存儲容量都有了大幅提升，這就導致智能設備端存儲大量的圖像，用戶對這些圖像進行瀏覽和檢索、分享和管理的需求也逐漸強烈。
在現有技術中，主要基於時間維度瀏覽圖像。在瀏覽界面中，用戶切換圖像時，所有圖像以時間順序展現在用戶面前。
然而，基於時間維度瀏覽圖像忽視了用戶的興趣點。
技術實現要素：
本申請提出一種圖像管理方法和裝置。本申請的技術方案如下：
根據本發明實施方式的一個方面，一種圖像管理方法，包括：
檢測用戶針對圖像的操作；
基於所述操作及所述圖像中的用戶興趣區域，管理所述圖像。
根據本發明實施方式的一個方面，一種圖像管理裝置，包括：
操作檢測模塊，用於檢測用戶針對圖像的操作；
管理模塊，用於基於所述操作及所述圖像中的用戶興趣區域，管理所述圖像。
採用本發明實施方式，首先檢測用戶針對圖像的操作，再基於操作及圖像中的用戶興趣區域，管理圖像。可見，本發明實施方式基於用戶的興趣所在管理圖像，可以真實把握用戶需求，提高圖像管理效率。
附圖說明
圖1為根據本發明實施方式的圖像管理方法流程圖。
圖2a為根據本發明實施方式，獲取圖像屬性列表的流程圖。
圖2b為根據本發明實施方式，圖像的區域列表示意圖。
圖3為根據本發明實施方式，手動對焦確定用戶興趣區域的示意圖。
圖4為根據本發明實施方式，基於視點熱圖和/或顯著性熱圖確定用戶興趣區域的示意圖。
圖5a-圖5d為根據本發明實施方式，基於顯著性視圖確定用戶興趣區域的示範性示意圖。
圖6a為根據本發明實施方式，物體檢測帶有類別標籤的示意圖。
圖6b為根據本發明實施方式，基於物體分類器產生類別標籤的示意圖。
圖6c為根據本發明實施方式，熱圖檢測與圖像分類的結合示意圖。
圖7為根據本發明實施方式，在圖像瀏覽時進行快速瀏覽的流程圖。
圖8為根據本發明實施方式，實現個性化的樹形結構的流程圖。
圖9為根據本發明實施方式，實現個性化類別分類的流程圖。
圖10為根據本發明實施方式，選擇不同傳輸模式的流程圖。
圖11為根據本發明實施方式，用戶主動發起分享圖像的流程圖。
圖12a-圖12b為根據本發明實施方式，用戶在使用社交軟體時進行圖像分享的流程圖。
圖13a-圖13g為根據本發明實施方式，在圖像瀏覽界面的快速瀏覽示意圖。
圖14a-圖14c為根據本發明實施方式，基於多幅圖像的快速瀏覽示意圖。
圖15a-圖15c為根據本發明實施方式，在視頻內的快速瀏覽示意圖。
圖16為根據本發明實施方式，在相機預覽界面下的快速瀏覽示意圖。
圖17為根據本發明實施方式，個性化的樹形結構的第一示範性結構圖。
圖18為根據本發明實施方式，個性化的樹形結構的第二示範性結構圖。
圖19為根據本發明實施方式，移動終端上對樹形結構的快速瀏覽示意圖。
圖20為根據本發明實施方式，小屏幕設備上對樹形結構的快速瀏覽流程圖。
圖21a-圖21b為根據本發明實施方式，小屏幕設備上對樹形結構的快速瀏覽示意圖。
圖22為根據本發明實施方式，小屏幕設備上對圖像的顯示示意圖。
圖23為根據本發明實施方式，不同傳輸數量情況下的傳輸模式示意圖。
圖24為根據本發明實施方式，不同網絡環境情況下的傳輸模式示意圖。
圖25為根據本發明實施方式，在縮略圖界面下分享圖像的第一示意圖。
圖26a-圖26c為根據本發明實施方式，在縮略圖界面下分享圖像的第二示意圖。
圖27為根據本發明實施方式，在聊天界面下的第一分享方式示意圖。
圖28為根據本發明實施方式，在聊天界面下的第二分享方式示意圖。
圖29為根據本發明實施方式，由圖像至文字的圖像精選方法示意圖。
圖30為根據本發明實施方式，由文字至圖像的圖像精選方法示意圖。
圖31為根據本發明實施方式，基於圖像內容的圖像轉換示意圖。
圖32為根據本發明實施方式，基於圖像內容的智能刪除示意圖。
圖33為根據本發明實施方式的圖像管理裝置結構圖。
具體實施方式
為了使本申請的目的、技術手段和優點更加清楚明白，以下結合附圖對本申請做進一步詳細說明。
本發明實施方式提出一種基於內容的圖像管理方法，主要包括基於用戶興趣區域對圖像進行快速瀏覽、檢索、自適應傳輸、個性化文件組織、快速分享和刪除等管理操作。
可以將本發明實施方式應用到智能設備的相冊管理應用中，或者應用到雲端的相冊管理應用中，等等。
圖1為根據本發明實施方式的圖像管理方法流程圖。
如圖1所示，該方法包括：
步驟101：檢測用戶針對圖像的操作。
步驟102：基於操作及圖像中的用戶興趣區域(regionofinterest，roi)，管理圖像。
用戶興趣區域可以是圖像中具有特定含義的區域。
在一個實施方式中，可以通過下列至少一種方式確定步驟102中的用戶興趣區域：
方式(1)、檢測圖像的成像過程中的手動對焦位置，將對應於手動對焦位置的圖像區域確定為用戶興趣區域。
在拍照階段，用戶手動對焦的區域高概率地為用戶感興趣的區域，因此可以將對應於手動對焦位置的圖像區域確定為用戶興趣區域。
方式(2)、檢測圖像的成像過程中的自動對焦位置，將對應於自動對焦位置的圖像區域確定為用戶興趣區域。
在拍照階段，照相機自動對焦的區域也較有可能為用戶感興趣的區域，因此可以將對應於手動對焦位置的圖像區域確定為用戶興趣區域。
方式(3)、檢測圖像中的物體區域，將物體區域確定為用戶興趣區域。
在這裡，物體區域既可以是人物，也可以是動物、植物、交通工具、風景名勝或建築物等。相比較圖像中的其他像素區域，物體區域較有可能為用戶感興趣的區域，因此可以將物體區域確定為用戶興趣區域。
方式(4)、檢測圖像中的視點熱圖區域，將視點熱圖區域確定為用戶興趣區域。
在這裡，視點熱圖區域為瀏覽圖像時用戶經常關注的區域。視點熱圖區域較有可能為用戶感興趣的區域，因此可以將視點熱圖區域確定為用戶興趣區域。
方式(5)、檢測圖像中的顯著性熱圖區域，將顯著性熱圖區域確定為用戶興趣區域。
在這裡，顯著性熱圖區域是與其他區域具有明顯視覺差異、易於使得觀察者產生興趣的區域，可以將顯著性熱圖區域確定為用戶興趣區域。
在一個實施方式中，可以基於手動對焦、自動對焦、視點熱圖熱圖、物體檢測、顯著性熱圖檢測等多種方式確定出用戶興趣區域集合。然後，依據預定排序因子，對用戶興趣區域集合中的用戶興趣區域進行排序，基於排序結果確定最終的一或多個用戶興趣區域。具體地，預定排序因子包含：來源優先級；位置優先級；類別標籤優先級；分類置信度優先級；瀏覽頻率優先級，等等。
在一個實施方式中，在後續向用戶顯示圖像時，圖像包含的用戶感興趣區域的排序結果可以影響對應圖像的優先級。比如，包含有排序靠前的感興趣區域的圖像可以具有更高的優先級，從而優先顯示給用戶。
以上示範性描述了確定圖像中的用戶興趣區域的具體方式，本領域技術人員可以意識到，這種描述僅是示範性的，並不用於限定本發明實施方式的保護範圍。
在一個實施方式中，該方法還包括：生成用戶興趣區域的類別標籤。類別標籤用於指示用戶興趣區域所屬的類別。優選地，可以在檢測圖像中的物體區域時，基於物體區域檢測結果生成類別標籤。或者，可以將用戶興趣區域輸入物體分類器，基於物體分類器的輸出結果生成類別標籤。
在一個實施方式中，在確定用戶興趣區域之後，該方法還包括：
生成圖像的區域列表，區域列表包含對應於用戶興趣區域的區域欄位，而且區域欄位包含用戶興趣區域的類別標籤。圖像中的用戶興趣區域可以為一或多個。相應地，區域列表中的區域欄位也可以為一或多個。優選地，區域欄位還可以包括：來源(比如，區域欄位源自哪張圖像)；位置(比如，區域欄位在圖像中的坐標位置)；分類置信度；瀏覽頻率，等等。
以上示範性描述了區域欄位所包含的具體信息，本領域技術人員可以意識到，這種描述僅是示範性的，並不用於限定本發明實施方式的保護範圍。
圖2a為根據本發明實施方式，獲取圖像屬性列表的流程圖。
在建立圖像屬性列表時，需要考慮全圖屬性信息和各個感興趣區域的屬性信息。全圖屬性信息可以包含全圖的分類結果，例如場景類別。如圖2a所示，首先輸入圖像，對全圖進行分類，得到分類結果。此外，還需要對圖像中的感興趣區域進行檢測，該步驟主要用於提取圖像中的感興趣區域。通過全圖分類和感興趣區域檢測這兩個步驟，可以建立圖像屬性列表。其中，圖像屬性列表包含全圖的分類結果和感興趣區域的列表(以下簡稱區域列表)。
圖2b為根據本發明實施方式，圖像的區域列表示意圖。
如圖2b所示，圖像包含兩個用戶興趣區域，分別為一個人物區域和一個寵物區域。相對應地，該圖像的區域列表包含對應於各自用戶興趣區域的兩個區域欄位。每個區域欄位分別包含用戶興趣區域的圖像來源、用戶興趣區域在圖像中的位置、用戶興趣區域的類別(如果圖像區域包含人應包含人的id)、用戶興趣區域屬於某類別的可信度、瀏覽頻率，等等。
下面對基於手動對焦方式確定用戶興趣區域的過程進行詳細說明。
圖3為根據本發明實施方式，手動對焦確定用戶興趣區域的示意圖。
如圖3所示，當設備處於拍攝模式或攝像模式下，檢測是否有用戶手動對焦動作，如果監測到用戶手動對焦動作，記錄手動對焦位置，並從圖像中截取對應於手動對焦位置的特定面積，將該特定面積確定為用戶興趣區域。
其中：從圖像中截取特定面積的策略可以包括：
(1)、根據預定的參數截取。這些參數可以包括長寬比、佔圖像總面積的比例、固定的邊長等。
(2)、根據圖像視覺信息自動化截取。例如，首先根據顏色分割圖像，再根據焦點的顏色截取近似顏色的被分割區域。
(3)、首先在圖像中進行物體檢測，判斷用戶對焦位置落在的物體區域，再將該物體區域作為用戶興趣區域予以截取。
下面對基於視點熱圖或顯著性熱圖確定用戶興趣區域的過程進行詳細說明。
圖4為根據本發明實施方式，基於視點熱圖和/或顯著性熱圖確定用戶興趣區域的示意圖。
如圖4所示，首先輸入圖像，然後針對圖像逐一生成視點熱圖和/或顯著性熱圖。接著，在視點熱圖和/或顯著性熱圖中尋找是否有大於預定閾值的點。如果有，則由該點作為一個點集的起始點，將與該點集相鄰且能量大於閾值的熱點加入到該點集中，直到該點集附近沒有能量大於閾值的熱點為止，並將這些熱點的能量置零，不斷重複以上過程直到視點熱圖和/或顯著性熱圖中不再存在大於閾值的點為止。每個點集組成一個用戶興趣區域。
圖5a-圖5c為根據本發明實施方式，基於顯著性視圖確定用戶興趣區域的示範性示意圖。
圖5a所示為輸入圖像。圖5b為對應於輸入圖像的顯著性熱圖。在圖5b中，每個點越亮代表其能量越高，越暗則能量越低。在確定用戶興趣區域時，圖5b中的點a首先被選取為起始點，由此開始，其周圍的亮點都會被加入到以點a為起始點的點集中，這些點被置零，如圖5c所示。類似地，重複以上過程，由圖5b中的點b開始提取用戶興趣區域。最終的用戶興趣區域結果如圖5d所示。
下面對生成用戶興趣區域的類別標籤的過程進行詳細說明。
圖6a為根據本發明實施方式，物體檢測帶有類別標籤的示意圖。在圖6a中，展示了根據物體檢測生成帶物體的類別標籤的區域列表的流程。
如圖6a所示，首先輸入圖像，然後對輸入圖像進行物體檢測。而且，將檢測出的物體設置為用戶興趣區域，並基於物體檢測的類別結果為用戶興趣區域生成類別標籤。
圖6b為根據本發明實施方式，基於物體分類器產生類別標籤的示意圖。
在圖6b中，將用戶興趣區域輸入物體分類器。當物體分類器檢測出用戶興趣區域的類別時，基於類別結果為用戶興趣區域生成類別標籤，並生成包含類別標籤的區域列表；當物體分類器沒有檢測出用戶興趣區域的類別時，生成不包含類別標籤的區域列表。
在某些算法中，熱圖檢測(包括視點熱圖和/或顯著性熱圖)與圖像分類可以相互結合。圖6c為根據本發明實施方式，熱圖檢測與圖像分類的結合示意圖。
如圖6a-圖6c所示，當輸入圖像時，圖像經過共享的卷積神經網絡層、用於全圖分類的卷積神經網絡物體分類分支和用於顯著性檢測的卷積神經網絡檢測分支，同時得到全圖的分類結果和顯著性區域檢測結果。然後，檢測出的顯著性區域被輸送到卷積神經驗證網絡中進行物體分類，最後將分類結果進行融合以得到圖像的最終分類結果，並生成經過分類後的用戶興趣區域。
在產生分類後的用戶興趣區域後，可以對這些用戶興趣區域進行排序，排序的基準可以考慮區域的來源、用戶興趣區域屬於某種類別的可信度、用戶興趣區域進的瀏覽頻率等等。例如，可以基於手動對焦、視點熱圖、物體檢測和顯著性檢測的順序，由高至低的對用戶興趣區域進行排序。最後，基於排序結果，可以最終確定選中的一或多個用戶興趣區域。
經過上述詳細描述確定了圖像的用戶興趣區域之後，可以基於用戶興趣區域在圖像瀏覽和檢索、圖像組織結構、用戶相冊的個性化類別定義和精確分類、圖像傳輸、快速分享、圖像精選和圖像刪除等多個方面，具體實施多種類型的具體應用。
(1)、在圖像瀏覽和檢索方面。
在實際情況中，用戶對於各個圖像的喜好程度和瀏覽頻率是不同的。當一副圖像中包含用戶感興趣的目標時，這幅圖像會被更多次的瀏覽。當多個圖像都包含用戶感興趣的目標時，這些圖像的瀏覽頻率也會由於各方面原因而具有不同的瀏覽頻率。因此，在展示候選圖像時有必要考慮用戶的個性。而且，有必要給用戶提供一種多圖像多目標多操作的解決方案，進而提升用戶的使用體驗。還有，如何在具有更小屏幕的行動裝置(例如手錶)上顯示圖像是現有技術沒有考慮到的，如果只是按比例將圖像縮小，圖像的細節將會被忽略。此時需要獲取用戶在一副圖像中更關注的區域並在較小屏幕上展示給用戶。另外，在相冊中存在大量圖像的情況下，基於用戶興趣區域可以使用戶快速地對圖像進行瀏覽。
圖7為根據本發明實施方式，在圖像瀏覽時進行快速瀏覽的流程圖。
如圖7所示，設備首先檢測到用戶在相冊中瀏覽圖像，然後設備根據感興趣區域列表獲取感興趣區域所在位置，並提示用戶與感興趣區域進行互動。當設備檢測到用戶在感興趣區域上的操作後，設備根據用戶的不同操作產生相應的圖像搜索準則，並在相冊中搜索符合搜索準則的圖像，顯示給用戶。在一個實施方式中，步驟101中的操作包括對至少兩個用戶興趣區域的選擇操作，其中至少兩個用戶興趣區域屬於同一幅圖像或屬於不同圖像；步驟102中管理圖像，包括：
基於對至少兩個用戶興趣區域的選擇操作，提供對應的圖像和/或視頻幀。
比如，搜索出的圖像，可以包含與至少兩個用戶興趣區域具有相同分類的用戶興趣區域，或者包含與至少兩個用戶興趣區域中至少一個具有相同分類的用戶興趣區域，或者不包含與至少兩個用戶興趣區域具有相同分類的用戶興趣區域的圖像，或者不包含與至少兩個用戶興趣區域中至少一個具有相同分類的用戶興趣區域，等等。
具體地，搜索準則包含下列中的至少一個：
(a)、當選擇操作為第一類選擇操作時，提供的對應的圖像和/或視頻幀中包含：第一類選擇操作針對的所有用戶興趣區域對應的用戶興趣區域。比如，第一類選擇操作用於確定搜索結果的必選項。
比如，當用戶希望搜索同時包含飛機和汽車的圖像時，可以找出兩張圖像，一張圖像包含飛機，另一張圖像包含汽車。而且，用戶從這兩張圖像中分別選擇飛機和汽車，以將飛機和汽車作為搜索結果的必選項，即可以進行快速搜索，獲得全部同時包含飛機和汽車的圖像。可選地，用戶也可以從包含飛機和汽車的同一幅圖像中選擇搜索結果的必選項。
(b)、當選擇操作為第二類選擇操作時，提供的對應的圖像和/或視頻幀中包含：第二類選擇操作針對的至少一個用戶興趣區域對應的用戶興趣區域。比如，第二類選擇操作用於確定搜索結果的可選項。
比如，當用戶希望搜索包含飛機或汽車的圖像時，可以找出兩張圖像，一張圖像包含飛機，另一張圖像包含汽車。用戶選擇飛機和汽車，以將飛機和汽車作為搜索結果的可選項，即可以進行快速搜索，獲得全部包含飛機或汽車的圖像。可選地，用戶也可以從包含飛機和汽車的同一幅圖像中選擇搜索結果的可選項。
(c)、當選擇操作為第三類選擇操作時，提供的對應的圖像和/或視頻幀中不包含：第三類選擇操作針對的用戶興趣區域對應的用戶興趣區域。比如，第三類選擇操作用於確定搜索結果的不選項。
比如，當用戶希望搜索既不包含飛機且不包含汽車的圖像時，可以找出兩張圖像，一張圖像包含飛機，另一張圖像包含汽車。用戶分別從這兩張圖像中選擇飛機和汽車，以將飛機和汽車作為搜索結果的不選項，即可以進行快速搜索，獲得全部既不包含飛機且不包含汽車的圖像。可選地，用戶也可以從包含飛機和汽車的同一幅圖像中選擇搜索結果的不選項。
在一個實施方式中，步驟101中操作包括對用戶興趣區域的選擇操作和/或檢索內容輸入操作；其中檢索內容輸入操作包括文字輸入操作和/或語音輸入操作。步驟102中管理圖像，包括：基於選擇操作和/或檢索內容輸入操作，提供對應的圖像和/或視頻幀。
比如，搜索出的圖像，可以包含與用戶興趣區域具有相同分類且分類信息與檢索內容相匹配的用戶興趣區域，或包含與用戶興趣區域具有相同分類或分類信息與檢索內容相匹配的用戶興趣區域，或不包含與用戶興趣區域具有相同分類且分類信息與檢索內容相匹配的用戶興趣區域，或不包含與用戶興趣區域具有相同分類或分類信息與檢索內容相匹配的用戶興趣區域，等等。
具體地，搜索準則包含下列中的至少一個：
(a)、當檢索內容輸入操作為第一類檢索內容輸入操作時，提供的對應的圖像和/或視頻幀中包含：第一類選擇操作針對的所有用戶興趣區域對應的用戶興趣區域。比如，第一類選擇操作用於確定搜索結果的必選項。
比如，當用戶希望搜索同時包含飛機和汽車的圖像時，可以找出一張包含飛機的圖像，用戶從這張圖像中選擇飛機，而且用戶文字或語音輸入「汽車」，以將飛機和汽車作為搜索結果的必選項，即可以進行快速搜索，獲得全部同時包含飛機和汽車的圖像。
(b)、當檢索內容輸入操作為第二類檢索內容輸入操作時，提供的對應的圖像和/或視頻幀中包含：第二類選擇操作針對的至少一個用戶興趣區域對應的用戶興趣區域。比如，第二類選擇操作用於確定搜索結果的可選項。
比如，當用戶希望搜索包含飛機或汽車的圖像時，可以找出一張包含飛機的圖像，用戶從這張圖像中選擇飛機，而且用戶文字或語音輸入「汽車」，以將飛機和汽車作為搜索結果的可選項，即可以進行快速搜索，獲得包含飛機或汽車的圖像。
(c)、當檢索內容輸入操作為第三類檢索內容輸入操作時，提供的對應的圖像和/或視頻幀中不包含：第三類選擇操作針對的用戶興趣區域對應的用戶興趣區域。比如，第三類選擇操作用於確定搜索結果的不選項。
比如，當用戶希望搜索既不包含飛機且不包含汽車的圖像時，可以找出一張包含飛機的圖像，用戶從這張圖像中選擇飛機，而且用戶文字或語音輸入「汽車」，以將飛機和汽車作為搜索結果的不選項，即可以進行快速搜索，獲得全部既不包含飛機且不包含汽車的圖像。
在一個實施方式中，步驟101中對用戶興趣區域的選擇操作是在以下至少一種模式下檢測到的：攝像頭預覽模式；圖像瀏覽模式；縮略圖瀏覽模式，等等。
可見，通過查詢與用戶興趣區域相關聯的圖像，本發明實施方式可以方便用戶快速瀏覽和檢索圖像。
在顯示快速瀏覽或檢索到的圖像時，可以先確定待顯示的圖像的優先級，根據圖像的優先級確定圖像的顯示順序，使用戶優先看到最符合用戶瀏覽和檢索意圖的圖像，提高用戶瀏覽和檢索的體驗。
具體地，圖像優先級的確定可以由以下準則實現：
(a)在全圖層面內統計的相關數據，比如拍攝時間、地點、瀏覽次數、分享次數等，再根據統計的相關數據確定圖像優先級。
在一個實施方式中，可以單獨考慮上述全圖層面內統計的相關數據中的一項數據來確定圖像優先級。比如，拍攝時間與當前時間更接近的圖像優先級更高，或考慮當前時間的特殊性，例如節日、紀念日等，與當前時間的特殊性相匹配的圖像應具有更高的優先級；拍攝地點與當前設備所在地點更接近者優先級更高；用戶瀏覽次數更多的圖像優先級更高/低；分享次數更多的圖像優先級更高/低，等等。
在一個實施方式中，可以綜合考慮其中多項數據來確定圖像優先級。比如，可以利用加權得分計算優先級，假設拍攝時間與當前時間的間隔為t，拍攝地點與當前設備所在地點的距離為d，用戶瀏覽次數為v，分享次數為s，為了使得各項數據具有可比性，將這些數據進行歸一化處理，得到t′、d′、v′、s′，其中t′,d′,v′,s′∈[0,1]，可以由以下公式得到優先級得分(priority)：
priority＝αt′+βd′+γv′+μs′
其中α、β、γ、μ為各項數據的權重，它們被用於確定各項數據的重要程度，它們的值可以預先設定，也可以由用戶自行設定，還可以根據用戶關注內容的變化、重要時間點等信息進行自動調整，如當前時間點為節日或用戶設定的重要時間點時，可以自動將權重α增大，當統計得到用戶瀏覽寵物類圖像的次數遠遠超過瀏覽其他類別的圖像的次數時，標明用戶當前關注的內容為寵物類圖像內容，此時可以將寵物類圖像的權重γ增大。
(b)在物體層面內統計的相關數據，例如，手動對焦位置、視點熱圖、物體分類置信度等。根據統計的相關數據確定圖像優先級。
在一個實施方式中，利用手動對焦位置確定圖像優先級。用戶在進行拍攝時，手動進行對焦的焦點一般為用戶的感興趣區域。設備記錄用戶的手動對焦位置以及該位置上檢測到的物體，則包含該物體的圖像具有更高的優先級。
在一個實施方式中，利用視點熱圖確定圖像優先級。視點熱圖是指在一張圖像上統計用戶的關注度，在每一個像素或物體位置統計用戶視線的關注次數和/或停留時間，用戶的關注次數越多和/或者視線停留時間越長，包含該位置上的物體的圖像應該具有更高的優先級。
在一個實施方式中，利用物體分類置信度確定圖像優先級。圖像中的各個物體的分類置信度反映了一個感興趣區域屬於某一類別物體的可能性，置信度越高表示該感興趣區域屬於某一類別物體的概率越高，包含有較高置信度物體的圖像應具有更高的優先級。
除了單獨考慮以上各數據，也可以與全圖層面內綜合考慮各項數據類似，綜合考慮物體層面內的各項數據來確定圖像優先級。
(c)除了獨立地考察各個物體，還可以考察各個物體之間的關係。根據各個物體之間的關係來確定圖像優先級。
在一個實施方式中，利用物體的語義組合確定圖像優先級。單個物體的語義含義可以狹義地用來在相冊中進行搜索，即用戶選擇圖像中的多個物體，設備返回包含有相同物體的圖像。另一方面，多個物體的組合可以抽象為更廣義的語義含義，例如「人」和「生日蛋糕」的組合可以抽象為「生日派對」，而「生日派對」不一定包含「生日蛋糕」，由此可以通過物體類別的組合來搜索更抽象的語義概念，也把物體的分類結果與全圖的分類結果關聯了起來。由多個物體的語義類別到上層抽象類別的轉化可以通過預先定義實現，例如將「人」和「生日蛋糕」的組合定義為「生日派對」；也可以通過機器學習的方式實現，將圖像包含物體的情況抽象為一個特徵向量，例如圖像中可以包含n種物體，那麼就可以通過一個n維向量來描述一幅圖像，然後通過監督學習或非監督學習的方式，將圖像分類到不同的類別中。
在一個實施方式中，利用物體相對位置確定圖像優先級。除了語義信息，物體的相對位置也可以用於設定圖像的優先級。例如，用戶在選取感興趣區域時，物體a與物體b被選中，且物體a位於物體b的左側，那麼在檢索結果中，物體a位於物體b左側的圖像應該具有更高的優先級。其次還可以通過更為精確的數值信息提供優先級的排列準則，例如在用戶所操作的圖像內，物體a到物體b的距離可以用向量表示，那麼在搜索到的圖像中，物體a與物體b的距離為則可以通過計算兩個距離向量的差值來對搜索到的圖像進行優先級排序。
(2)、在圖像組織結構方面。
在圖像組織上，可以根據圖像的屬性列表對圖像進行聚合和分離，建立起樹形結構。圖8為根據本發明實施方式，實現個性化的樹形結構的流程圖。設備首先檢測到構建樹形結構的觸發條件，例如圖像數量達到閾值、用戶手動觸發等；然後提取相冊中各個圖像的屬性列表，根據各個圖像的屬性列表中的類別信息(全圖的類別和/或感興趣區域的類別)和圖像數量將圖像劃分為若干集合，每個集合即為樹形結構上的一個節點；如果需要，可以在各個集合內部，進一步劃分子集；設備根據用戶操作，將屬於各個節點上的圖像顯示給用戶。在樹形結構上，每一層級上的一個節點代表一個類別，越靠近根節點類別越抽象，越靠近葉子節點類別越具體。葉子節點即為一個具體的用戶興趣區域或圖像。
根據不同用戶相冊中的圖像分布，還可以對樹形結構進行個性化的調整。比如，一個用戶a的相冊中包含很多有關交通工具的圖像，而另一個用戶b的相冊中包含比較少的有關交通工具的圖像，那麼在用戶a的相冊中有關交通工具的樹應該具有更多的層次，而用戶b應該具有較少的層次。用戶可以自由在各個層級間進行快速切換，以達到快速瀏覽的目的。
在一個實施方式中，步驟102中基於用戶興趣區域，管理圖像，包括：顯示具有樹形結構的略縮圖；和/或，顯示具有樹形結構的完整圖。
在一個實施方式中，樹形結構的生成方式包括：基於聚合處理操作，對包含具有相同類別標籤的用戶興趣區域的圖像進行聚合處理；基於分離處理操作，對包含具有不同類別標籤的用戶興趣區域的圖像進行分離處理；基於建立樹形結構操作，為聚合處理和/或分離處理後的圖像建立包含層級關係的樹形結構。
在一個實施方式中，該方法還包括下列中的至少一個：
基於類別拆分操作，當位於樹形結構相同層的葉子節點數目超過預定閾值時，對相同層進行類別拆分處理；基於對於樹形結構中選定層的第一類觸發操作，以縮略圖形式顯示屬於選定層的圖像；基於對於樹形結構中選定層的第二類觸發操作，以完整圖形式顯示屬於選定層的圖像；基於對於樹形結構中選定層的第三類觸發操作，顯示選定層的下面層級；基於用戶對於樹形結構中選定層的第四類觸發操作，顯示選定層的上面層級；基於用戶對於樹形結構中選定層的第五類觸發操作，顯示選定層包含的所有圖像，等等。
可見，本發明實施方式基於用戶興趣區域對圖像組織結構進行優化，在各種界面上，用戶可以在各個層級間進行快速切換，達到快速查看圖像的目的。
(3)、用戶相冊的個性化類別定義和精確分類。
用戶在進行個性化相冊管理時，需要對圖像和圖像包含的感興趣區域進行個性化的類別定義，例如將一組圖像定義為「我的畫作」，又如將一批圖像中的包含狗的區域定義為「我的愛犬」。
以下以圖像分類為例說明用戶相冊的個性化類別定義和精確分類，對於感興趣區域可以利用類似的操作和技術實現個性化類別定義和精確分類。
現有的相冊管理產品都是用戶被動參與，產品提供什麼樣的管理策略完全由開發人員確定，為了使產品適應更廣泛的用戶群體，開發人員設定的管理策略往往是普世化的，因此現有的相冊管理功能並不完全滿足用戶的個性化需求。
另外，現有產品中雲端與行動裝置對於圖像的分類結果相互獨立，而兩者的結合可以提升相冊管理的精確度、智能化和個性化。與行動裝置相比，雲端伺服器具有更強大的計算和存儲能力，可以使用更為複雜的算法實現用戶的各項需求，因此需要更為合理地利用雲端的各項資源，從而給用戶提供更好的體驗。
圖9為根據本發明實施方式，實現個性化類別分類的流程圖。首先設備根據用戶操作定義個性化類別，實現個性化類別的分類可以由本地和雲端兩種解決方案實現，從而可以更新本地、雲端進行個性化分類的模型，最後通過融合兩者更新後的模型的分類結果得到準確的個性化類別分類結果。
為了滿足用戶對個性化類別的需求，首先需要確定個性化類別的定義。個性化類別定義的方法可以包括下列中的至少一個：
(a)、用戶主動明確定義，即告知設備哪些圖像應被標為哪一類。例如設備給每張圖像分配一個屬性列表，用戶可以在這個屬性列表中添加類別名稱，類別的個數可以為一個或者多個。設備為用戶添加的類別名稱分配一個唯一符，將具有相同唯一符的不同圖像歸為同一類。
(b)、根據用戶對相冊的自然操作完成類別定義。例如用戶在整理自己相冊中的照片時，將一組圖像移動到一個文件夾裡。此時設備根據用戶對相冊的操作，判斷該組照片為用戶個性化的類別，當有後續照片出現時，需要判斷該張照片是否與改組照片為同一類別，如果是則自動將該張圖像顯示到用戶建立的文件夾裡，或者提示給用戶是否將圖像顯示到用戶建立的文件夾裡。
(c)、根據用戶在設備上的其他自然操作完成類別定義。例如用戶在使用社交軟體時，設備通過分析用戶的分享操作，將用戶相冊中的圖像按照社交關係定義個性化類別。通過分析用戶在社交軟體上行為，還可以制定更為細緻的個性化類別，例如當用戶給朋友分享自家寵物的照片時會說：「看，我家的小狗在追蝴蝶」，此時設備可以得知用戶相冊中的眾多寵物狗中那一條是用戶的寵物，此時就可以新建一個「我的寵物狗」個性化類別。
(d)、設備還可以自動給用戶推薦類別細分。通過分析用戶行為推薦用戶對相冊中的圖像進行細分，例如用戶在網際網路上使用搜尋引擎，根據用戶的搜索關鍵詞判斷用戶的感興趣點，設備詢問用戶是否對設備中與搜索關鍵詞相關的圖像進行細分，用戶可以根據自身需求確定細分策略，由此完成個性化類別定義。設備還可以通過分析已有類別的圖像來推薦用戶對圖像進行細分，例如某個類別中的圖像數量超過一定數量，過多的圖像會給用戶在瀏覽、整理和分享過程中帶來不便，因此設備詢問用戶是否對這一類別進行細分，用戶根據自身興趣確定各個類別，完成個性化類別定義。
當用戶定義了個性化類別後，可以根據類別的變化程度判斷個性化類別分類的實現方式，其至少包含下列方法中的一個：
(a)、當個性化類別包含在分類模型的預設類別範圍內，則在設備端或雲端重新組合分類模型中的預設類別，從而符合用戶的個性化定義。例如，分類模型中的預設類別為「白色貓」、「黑色貓」、「白色狗」、「黑色狗」、「貓」和「狗」，用戶定義的個性化類別為「貓」和「狗」，即將分類模型中的「白色貓」與「黑色貓」合併為「貓」，分類模型中的「白色狗」與「黑色狗」合併為「狗」。再比如，假定用戶定義的個性化類別為「白色萌寵」和「黑色萌寵」，則重新組合分類模型中的預設類別，即將「白色貓」與「白色狗」合併為「白色萌寵」，將「黑色貓」與「黑色狗」合併為「黑色萌寵」。
(b)、當個性化類別不包含在分類模型的預設類別範圍內，則不能在分類模型中重新組合預設類別，此時可以對分類模型進行更新。可以在設備本地更新分類模型，也可以由雲端進行分類模型更新。可以利用由上述方式定義的個性化類別中的圖像集合，訓練得到可以對圖像進行個性化類別分類的初始模型。例如，用戶在瀏覽圖像時，將一幅繪畫作品的圖像的標籤由「繪畫」改變為「我的畫」。設備檢測到用戶對圖像屬性的修改，則「我的畫」被定義為個性化類別，並將被修改標籤的圖像作為該個性化類別的訓練樣本。
由於在個性化類別定義的短時間內，訓練樣本可能比較少，初始模型的分類表現可能不穩定。因此當一張圖片被分為新類目時，可以與用戶進行交互，例如詢問用戶該張圖像是否屬於個性化類別。通過與用戶的交互確定該張圖像是否被正確地分類為個性化類別，當分類正確時，將該張圖像作為個性化類別的正樣本，否則將該張圖像作為個性化類別的負樣本，由此來進一步收集訓練樣本集，通過多次迭代訓練，提升個性化類別模型的分類性能，並最終得到穩定的分類表現。如果圖像的主體為文本，則對圖像進行文字識別，根據識別結果進行分類，由此可以將不同主題的文本圖像分到各個類別中。如果模型由雲端進行訓練，則檢測新的個性化類別模型與當前模型的差異，選擇具有差異的部分並將其通過更新包的形式下發給終端，例如模型新增加了一個分支對個性化類別進行分類，那麼只需傳輸新增加的分支，而沒有必要傳輸整個模型。
為了更準確地對用戶相冊中的圖像進行分類，需要考慮本地分類引擎與雲端分類引擎的互動。應考慮如下幾種情況：
(a)、當用戶沒有反饋時。因為雲端模型是全尺寸模型，對於同一幅圖像，本地與雲端可能產生不同的分類結果。一般情況下，雲端的全尺寸模型具有更複雜的網絡結構，因此在分類精度方面往往優於本地模型。如用戶設定分類結果參考雲端結果，雲端會同步測試需要分類的圖像。出現分類結果不同時，需要參考分類結果置信度等指標，例如當雲端的分類置信度高於某一閾值時，則認為一幅圖像應該被標為雲端分類的分類結果，同時本地根據云端的分類結果更新本地圖像分類結果，並且將本地分類錯誤的信息也會上報雲端，用於後續對本地模型的改進。上報雲端的分類錯誤信息應包含被錯分的圖像、終端的錯誤分類結果、正確的分類結果(雲端的分類結果)。雲端根據這些信息將圖像添加到涉及到的類別的訓練集中，例如將其加入到被誤分類別的負樣本集，將其加入到漏分類別的正樣本集，進而訓練模型並提升模型性能。
假設終端之前沒有和雲端連接(如因網絡狀況)，或用戶設定分類結果不參考雲端結果，後續與雲端建立連接時，或用戶重新設定分類結果參考雲端結果時，終端可以根據輸出類目分數判斷標籤的置信度，當置信度較低時候，可以在用戶登錄雲端時候批量諮詢用戶這些圖片的正確標籤，進而更新模型。也可以設計遊戲，使用戶在輕鬆氣氛中完成任務。
(b)、用戶可以對雲端或終端的分類結果進行更正，當用戶更正錯分圖像的標籤時，終端將錯誤分類的結果上傳至雲端，包括被錯分的照片、被錯分類別和用戶指定的正確類別。當用戶反饋圖像時，雲端可以將大量不同用戶反饋的圖像收集起來進行訓練，如果樣本不足則在網絡上爬取類似圖像，擴大樣本數量，標註為用戶指定類別，並啟動模型訓練。上述模型訓練過程也可以由終端來完成。
如果收集及爬取到的圖像數目特別少，不足以訓練新模型，則在本地根據圖像的特徵，將圖像映射到設定維數的空間中，在該空間中對各個圖像進行聚類，得到各聚類中心，根據測試圖像在該空間中的映射位置與各聚類中心的距離來確定該測試圖像所屬的類別。如果用戶更正的類別與錯分類別相近，則將與錯分圖像特徵相近的圖像都標識為更高層級的概念。例如，一張「貓」的圖像被錯分為「狗」，但該張圖像在特徵空間中的位置距離「貓」的聚類中心更近，無法通過距離判定該張圖像屬於「狗」，則則將圖像的類別提升一個層級，將其標為「寵物」。
當用戶反饋了一批圖片，可能裡面含有誤操作圖片，例如一張「貓」的圖像被正確分類為「貓」，而用戶錯誤地將其標記成「狗」，該種操作就是一種誤操作。我們可以對這些反饋進行判斷(尤其是對置信度比較高的標籤進行錯誤反饋時候)。可以在後臺搭建一個誤操作檢測模型專門用於這類圖片的判斷，例如我們通過與用戶進行交互的方式獲取該模型的訓練樣本，當一個圖像的分類置信度高於某一閾值，而用戶又將該樣本標記為其他類別時，向用戶詢問是否需要更改，如果用戶選擇不更改，則該圖像即可作為訓練判斷誤操作模型的訓練樣本。該模型的速度可以較慢，可以專門用作錯誤圖片修正環節。當誤操作檢測模型判斷出用戶誤操作時，可以提示用戶，或者將誤操作的圖片排除在訓練樣本外。
(c)、當本地、雲端圖像有差異時。本地照片沒有上傳時，終端會收到雲端發出的同步更新需求。照片上傳過程中，每傳送完畢一張照片都會進行實時的分類操作。為了減少帶寬佔用率，可以上傳部分圖像，上傳圖像可以根據終端的分類置信度進行選擇，例如當圖像的分類置信度低於某一閾值時，則認為該圖像分類結果不可靠，需要上傳至雲端進行重新分類。分類結果與本地有差異時，同步更新本地的分類結果。
(4)、基於圖像用戶興趣區域的圖像傳輸與重點顯示。
當設備檢測到圖像數據傳輸請求時，判斷傳輸網絡類型和傳輸數量，根據傳輸網絡的類型和傳輸數量採用不同傳輸方式。傳輸方式包括傳輸全圖壓縮的圖像、傳輸部分壓縮的圖像、傳輸無壓縮的圖像，等等。
在部分壓縮圖像模式中，對於用戶興趣區域進行低壓縮比的壓縮，從而保證該區域的清晰度；對於用戶興趣區域外採用高壓縮比的壓縮，從而節省傳輸過程中的電量消耗和帶寬資源。圖10為根據本發明實施方式，選擇不同傳輸模式的流程圖。設備a向設備b請求圖像，設備b通過檢查各項指標，例如網絡帶寬、網絡質量或用戶設置等，確定傳輸模式。在有些情況下，設備b向設備a請求附加信息，例如設備a的電量情況等，從而幫助確定傳輸模式。傳輸模式可以包含三種模式，1)高質量傳輸模式，例如不對圖像做任何壓縮處理，2)中等質量傳輸模式，例如對感興趣區域進行低壓縮比壓縮，對背景進行高壓縮比壓縮，3)低質量傳輸模式，對全圖進行高壓縮比的壓縮。最後，設備b將圖像傳輸給設備a。在某些情況下，設備b也可以主動發送圖像給設備a。
在一個實施方式中，步驟102中管理圖像包括：基於圖像傳輸參數和圖像中的用戶興趣區域，對圖像進行壓縮處理並傳輸壓縮後的圖；和/或，接收伺服器、基站或用戶設備發送的圖像，所述圖像是基於圖像傳輸參數和用戶興趣區域進行壓縮處理後的圖像。具體地，圖像傳輸參數包括：待傳輸圖像數量、傳輸網絡種類和傳輸網絡質量，等等。
對圖像進行壓縮處理包括下列中的至少一個：
(a)、當圖像傳輸參數滿足用戶興趣區域不壓縮條件時，對待傳輸圖像中的用戶興趣區域之外的圖像區域進行壓縮處理，對待傳輸圖像中的用戶興趣區域不進行壓縮處理。
比如，當基於預定的待傳輸圖像數量區間門限值，確定待傳輸圖像數量處於預定的合適區間時，即可判定符合用戶興趣區域不壓縮條件。此時，對待傳輸圖像中的用戶興趣區域之外的圖像區域進行壓縮處理，對待傳輸圖像中的用戶興趣區域不進行壓縮處理。
(b)、當圖像傳輸參數滿足差別壓縮條件時，對待傳輸圖像中的用戶興趣區域之外的圖像區域進行具有第一壓縮比的壓縮處理，對待傳輸圖像中的用戶興趣區域進行具有第二壓縮比的壓縮處理，其中所述第二壓縮比小於第一壓縮比。
比如，當確定傳輸網絡種類為無線移動通信網絡時，即可判定符合差別壓縮條件。此時，對待傳輸圖像中的各個圖像區域都進行壓縮處理，而且對用戶興趣區域之外的圖像區域進行具有第一壓縮比的壓縮處理，對待傳輸圖像中的用戶興趣區域進行具有第二壓縮比的壓縮處理，其中第二壓縮比小於第一壓縮比。
(c)、當圖像傳輸參數滿足無差別壓縮條件時，對待傳輸圖像中的用戶興趣區域之外的圖像區域與待傳輸圖像中的用戶興趣區域，進行相同壓縮比的壓縮處理。
比如，當基於預定的傳輸網絡質量門限值，確定傳輸網絡質量較差時，即可判定滿足無差別壓縮條件。此時，針對待傳輸圖像中的用戶興趣區域之外的圖像區域與待傳輸圖像中的用戶興趣區域，進行相同壓縮比的壓縮處理。
(d)、當圖像傳輸參數滿足不壓縮條件時，對待傳輸圖像不執行壓縮處理。
比如，當基於預定的傳輸網絡質量門限值，確定傳輸網絡質量良好時，即可判定滿足不壓縮條件，此時對待傳輸圖像不執行壓縮處理。
(e)、當圖像傳輸參數滿足多次壓縮條件時，對待傳輸圖像執行壓縮處理和一或多次傳輸處理。
比如，當基於預定的傳輸網絡質量門限值，確定傳輸網絡質量很差時，即可判定滿足多次壓縮條件。此時，對待傳輸圖像執行壓縮處理和一或多次傳輸處理。
在一個實施方式中，該方法包括下列中的至少一個：
當待傳輸圖像數量小於預定的第一門限值時，判定圖像傳輸參數滿足不壓縮條件；當待傳輸圖像數量大於等於第一門限值且小於預定的第二門限值時，判定圖像傳輸參數滿足用戶興趣區域壓縮條件，其中第二門限值大於第一門限值；當待傳輸圖像數量大於等於第二門限值時，判定圖像傳輸參數滿足用戶興趣區域無差別壓縮條件；當傳輸網絡質量的評估值低於預定的第三門限值時，判定圖像傳輸參數滿足多次壓縮條件；當傳輸網絡質量的評估值高於等於第三門限值且低於預定的第四門限值時，判定圖像傳輸參數滿足差別壓縮條件，其中第四門限值大於第三門限值；當傳輸網絡種類為免費網絡(如wifi網絡)時，判定圖像傳輸參數滿足不壓縮條件；當傳輸網絡種類為運營商網絡時，根據費率調整壓縮方式，費率越高，圖像的壓縮率越高。
實際上，本發明還可以基於多個圖像傳輸參數的綜合加權處理來判斷是否滿足上述任意的壓縮條件，本發明實施方式對此不再贅述。
可見，基於用戶興趣區域對待傳輸圖像進行區別性的壓縮處理，本發明實施方式可以節省傳輸過程中的電量消耗和帶寬資源，而且可以保證用戶興趣區域能夠被用戶清晰查看。
在一個實施方式中，步驟102中管理圖像包括下列中的至少一個：
(a)、當顯示屏幕小於預定尺寸時，顯示用戶興趣區域的類別圖像或類別文字。
(b)、當顯示屏幕小於預定尺寸且基於用戶的選擇操作選中用戶興趣區域的類別時，顯示該類別的圖像，並基於用戶的切換操作，切換顯示該類別的其他圖像。
(c)、當顯示屏幕小於預定尺寸時，基於用戶興趣區域的數目顯示所述圖像。圖20為根據本發明實施方式，小屏幕設備上對樹形結構的快速瀏覽流程圖。小屏設備請求一張圖像，然後查詢圖像的屬性列表。當圖像的屬性列表中包含有至少一個感興趣區域時，對感興趣區域進行排序，排序方式可以參考快速瀏覽與檢索部分的敘述。然後在屏幕上顯示排序第一的感興趣區域，如果設備檢測到用戶切換顯示區域的操作時，顯示下一個感興趣區域。如果圖像的屬性列表中沒有感興趣區域時，則顯示圖像的中央部分。
其中，當顯示屏幕小於預定尺寸時，基於用戶興趣區域的數目顯示圖像包括下列中的至少一個：
(c1)、當圖像中不包含用戶興趣區域時，以縮略圖方式顯示圖像或將圖像縮為與顯示屏幕相適應的尺寸進行顯示。
(c2)、當圖像中包含一個用戶興趣區域時，顯示用戶興趣區域。
(c3)、當圖像包含多個用戶興趣區域時，交替顯示該圖像中的每個用戶興趣區域，或者，顯示該圖像中的第一用戶興趣區域，基於用戶切換操作，切換顯示該圖像中除第一用戶興趣區域之外的用戶興趣區域。
可見，當圖像展示設備的尺寸較小時，本發明實施方式通過重點顯示用戶興趣區域，可以提高用戶興趣區域的展示效率。
(5)、基於圖像用戶興趣區域的快速分享。
設備基於用戶興趣區域的關聯性建立各幅圖像間的關聯性，建立方法包括檢測圖像中出現的聯繫人、檢測相似語義內容、相同地理位置、特定時間段，等等。圖像之間的關聯可以是相同聯繫人、來自同一事件、包含同一語義概念，等等。
在縮略圖瀏覽界面，具有關聯的照片可以由某種方式進行標記，並提供給用戶一鍵分享的提示。圖11為根據本發明實施方式，用戶主動發起分享圖像的流程圖。設備檢測到一個圖像集合被用戶選中，設備根據用戶的分享記錄，以及被選中的圖像與已分享過的圖像的相關度，確定相關的聯繫人。設備判斷用戶選擇將圖像集合分享給個人或分享給群組。當用戶選擇分享給群組時，設備建立一個設計群組，並將圖像集合分享給該群組。當用戶選擇分享給個人時，設備通過多次發送圖像集合，將圖像集合分享給個人。圖12a-圖12b為根據本發明實施方式，用戶在使用社交軟體時進行圖像分享的流程圖。當設備檢測到用戶在使用社交軟體時，例如及時通訊軟體，設備根據用戶在該社交軟體中的分享記錄，從相冊中選取一個由未被分享過的圖像組成的圖像集合，並提示用戶是否分享該圖像集合。當設備檢測到用戶的確認信息後，分享圖像集合。另外，設備還可以通過分析用戶在社交軟體中的文字輸入，來確定待分享的圖像集合，如圖12b所示。
在一些實施方式中，當設備監測到用戶分享動作時，根據圖像中包含的聯繫人，將相關圖像分享給各個聯繫人。或者，自動將相關的聯繫人建立起群組聊天，將圖像分享至群組中。在即時通訊軟體中，可以自動分析用戶的輸入，判斷用戶是否有分享圖像的意願，如果有分享的意願則分析用戶所要分享的內容，自動從圖像中截取相關區域提供給用戶進行選擇分享。
在一個實施方式中，步驟102中管理圖像包括：確定待分享對象；向待分享對象分享圖像；和/或，基於聊天對象或與聊天對象的聊天內容，確定待分享圖像，向聊天對象分享所述待分享圖像。本發明實施方式可以檢測用戶興趣區域之間的關聯性，並基於檢測結果建立圖像之間的關聯性，確定分享對象或待分享圖像，再分享具有關聯性的圖像。優選地，用戶興趣區域之間的關聯性包括：用戶興趣區域的分類關聯性；用戶興趣區域的時間關聯性；用戶興趣區域的位置關聯性；用戶興趣區域的人物關聯性，等等。
具體地，基於圖像的用戶興趣區域分享圖像，包括下列中的至少一個：
(1)、基於圖像的用戶興趣區域確定待分享的聯繫人群組；基於用戶對圖像進行群組分享的操作，將圖像通過群組方式分享給所述待分享的聯繫人群組。
(2)、基於圖像的用戶興趣區域確定待分享的聯繫人；基於用戶對圖像進行單獨分享的操作，將圖像分別發送給每個待分享的聯繫人，其中，分享給每個聯繫人的圖像中包含與該聯繫人對應的用戶興趣區域。
(3)、當用戶與聊天對象的聊天語句與圖像的用戶興趣區域相對應時，將圖像作為分享候選推薦給用戶；
(4)、當聊天對象和圖像中的用戶興趣區域相對應時，將圖像作為分享候選推薦給用戶。
在一個實施方式中，在分享圖像後，對已分享的圖像按照已分享的聯繫人進行標註。
可見，本發明實施方式基於圖像的用戶興趣區域分享圖像，可以方便地從大量圖像中定位出要分享的圖像，而且可以便利地分享到多種應用環境中。
(6)、基於用戶興趣區域的圖像精選方法。
比如，基於用戶興趣區域的圖像精選方法包括：從圖像到文字的精選方式。
在這種方式中，首先將一個特定時間段內的圖像進行聚合和分離，分析圖像中的內容，輔助於圖像的拍攝位置和時間，將來自同一段時間、同一個事件的圖像聚合起來組成一個圖像集合，並根據圖像集合包含的內容產生一段文字描述，同時自動產生圖像拼圖。在產生圖像拼圖的過程中，自動根據圖像區域調整圖像位置和拼圖模板，將重點區域顯示在圖像拼圖中，通過圖像拼圖可連結回相冊中的原圖。
在一個實施方式中，步驟102中管理圖像包括：基於用戶興趣區域選擇精選圖像；基於精選圖像生成拼圖，其中在拼圖中突出顯示各精選圖像的用戶興趣區域。在這種實施方式中，可以由系統自動顯示精選圖像。
在一個實施方式中，進一步還包括：檢測到用戶對拼圖中用戶興趣區域的選擇操作；顯示包含選擇的用戶興趣區域的精選圖像。在這種實施方式中，可以基於用戶的選擇操作顯示精選圖像。
再比如，基於用戶興趣區域的圖像精選方法包括：從文字到圖像的精選方式。
在這種實施方式中，首先由用戶輸入一段文字，然後系統從這段文字中提取關鍵詞，在圖像集中選取相關圖像，必要的情況下對圖像進行剪裁，將這些相關圖像或圖像區域作為插圖插入用戶的文欄位落。
在一個實施方式中，步驟102中管理圖像包括：
檢測用戶輸入文本；檢索包含與文本相關聯的用戶興趣區域的圖像；將檢索出的用戶興趣區域的圖像插入到用戶輸入文本中。
(7)、基於圖像內容的圖像轉換方法。
系統可以對相冊中的圖像進行分析，根據圖像的外觀和時間，並對圖像中的文字進行自然語言處理。
比如，在縮略圖界面，設備將來自同一來源的文字圖像通過某種方式標示出來，並給用戶提供一個推薦合併按鈕。當檢測到用戶點擊該按鈕的時候進入圖像轉換界面，在該界面中用戶可以添加或刪除圖像，最終將調整後的圖像產生一個文本文件。
在一個實施方式中，該方法還包括：當判定多個圖像源於相同的文檔時，自動將所述多個圖像聚合為文檔，或基於用戶觸發操作將所述多個圖像聚合為文檔。
可見，本發明實施方式可以對圖像進行聚合併生成文檔。
(8)、基於圖像內容的智能刪除推薦。
比如，基於用戶興趣區域對圖像的內容進行分析，依據圖像的視覺相似性、內容相似性、圖像質量、包含內容等因子，將視覺相似、內容相似、圖像質量低以及不包含有意義物體的圖像推薦給用戶進行刪除。圖像質量包括美觀程度，可以根據用戶興趣區域在圖像中的位置，各個用戶興趣區域的關係判斷圖像的美觀度。
在刪除界面，將推薦刪除的圖像按照分組顯示給用戶，在顯示過程中，以某一張圖像為基準，可以是第一張圖像，質量最好的圖像等，在其他圖像上顯示與基準圖像的區別。
在一個實施方式中，步驟102中管理圖像包括下列中至少一個：
(a)、基於不同圖像中的用戶興趣區域的類別比較結果，自動刪除圖像或推薦刪除圖像。
(b)、基於不同圖像中的用戶興趣區域確定各自圖像的語義信息包含度，基於不同圖像語義信息包含度的比較結果自動刪除圖像或推薦刪除圖像。
(c)、基於不同圖像中各自用戶興趣區域之間的相對位置對各自圖像進行評分，並基於評分結果自動刪除圖像或推薦刪除圖像。
(d)、基於不同圖像中至少一種用戶興趣區域的絕對位置對各自圖像進行評分，並基於評分結果自動刪除圖像或推薦刪除圖像。
可見，本發明實施方式基於用戶興趣區域實現了智能刪除推薦，可以節約存儲空間並提高圖像管理效率。
以上示範性描述了基於用戶興趣區域對圖像的管理方式。本領域技術人員可以意識到，這種描述僅是示範性的，並不用於限定本發明實施方式的保護範圍。
下面，結合具體實施方式，對基於用戶興趣區域管理圖像的具體範例進行說明。
實施方式1：在圖像瀏覽界面的快速瀏覽
步驟1：設備提示用戶圖像中可選區域所在位置
在這裡，設備檢測用戶手指或手寫筆在屏幕上的相對位置，並將該位置與圖像中用戶興趣區域的位置進行比較。如果兩個位置有所重疊，則提醒用戶該用戶興趣區域可選。提醒用戶的方式可以為在圖像上將可選區域高亮、框選或設備震動，等等。
圖13a-圖13g為根據本發明實施方式，在圖像瀏覽界面的快速瀏覽示意圖。
如圖13a所示，當設備檢測到用戶的手指落在汽車所在位置時，汽車所在區域高亮，提示用戶汽車可選。
需要說明的是，步驟1是可選步驟。在實際應用中，可能所有物品所在區域都是可選的，用戶可以直接根據物品的類型來選擇適當的區域。例如，設備中存儲一張汽車的照片，汽車所在區域就是可選的，設備無需提示用戶該汽車區域是否可選。
步驟2：設備檢測用戶在圖像中的操作
設備檢測用戶在各個可選區域上的操作，這些操作的形式可以包括單擊、雙擊、划動、圈選，等等。各個操作形式可以分別對應一個特定的搜索含義，搜索含義可以包含「必選」、「可選」、「不選」、「只選」，等等。
如圖13b、圖13f和圖13g所示，單擊對應「可選」；雙擊對應「必選」；划動對應「不選」；圈選對應「只選」。操作對應的檢索含義可以稱為搜索準則，這些搜索準則可以是系統預定的，也可以是用戶自定義的。
除了可以在屏幕上進行物理操作外，還可以通過語音輸入對各個可選區域進行操作。例如，用戶希望通過語音選取汽車，則說出「汽車「，用戶設備檢測到用戶語音輸入汽車，則確定需要對汽車進行操作。當用戶語音輸入對應於「必選」時，則設備檢測到用戶語音輸入必選，確定需要給用戶返回必須包含汽車的操作。
用戶還可以組合物理操作和語音操作，如通過物理操作選取區域，通過語音確定操作形式。例如，當用戶希望查看必須包含汽車的圖像時，用戶在圖像上點擊汽車區域，然後語音輸入必選，設備檢測到用戶點擊汽車區域和語音輸入必選，則確定需要給用戶返回必須包含汽車的圖像。
在設備檢測到用戶的操作後，同時在屏幕上以某種形式顯示出用戶所做操作，並方便用戶進行其他操作。如圖13c所示，應用文字顯示被選中的內容，而且可以用不同的顏色表示不同操作，用戶還可以通過點擊圖標上的減號撤銷相關操作。
例如，用戶如果希望查找只包含汽車的圖像，則可以在一張圖像中圈選汽車。此時，設備檢測到用戶在圖像中汽車區域的圈選操作，從而確定需要為用戶提供只包含汽車的圖像。
又如，用戶希望查找同時包含汽車和飛機的圖像，則可以在一張圖像中的汽車區域和飛機區域進行雙擊操作。此時，設備檢測到用戶在一張圖像中的汽車區域的雙擊操作以及飛機區域的雙擊操作，從而確定需要為用戶提供同時包含汽車和飛機的圖像。
又如，用戶希望查找包含汽車或飛機的圖像，則可以在一張圖像中單擊汽車區域和飛機區域。此時，設備檢測到用戶在圖像中對汽車區域和飛機區域的單擊操作，從而確定需要為用戶提供包含汽車或飛機的圖像。
又如，用戶希望查找到的圖像不包含汽車，則可以在一張圖像中在汽車區域做划動操作。此時，設備檢測到用戶在圖像中的汽車區域的划動操作，從而確定需要為用戶提供不包含汽車的圖像。
除了上述不同方式的選擇操作，用戶還可以在圖像區域進行手寫操作。手寫操作可以對應於一種特定的搜索含義，如上述的「必選」、「可選」、「不選」、「只選」之一。
例如，如手寫對應於「必選」，當用戶希望通過一張含有汽車但不含飛機的圖像搜索同時包含汽車和飛機的圖像時，用戶可以在圖像的任意區域手寫飛機。此時，設備分析用戶的手寫內容為「飛機」，則確定需要為用戶提供包含汽車和飛機的圖像。
步驟3：設備搜索與用戶選擇操作對應的圖像
當設備檢測到用戶的操作後，根據用戶操作產生搜索準則，利用該搜索準則在設備中或雲端搜索相關圖像，並在屏幕上將這些圖像的縮略圖顯示給用戶，用戶通過點擊這些縮略圖的圖標可以切換到相應的圖像進行觀看。可選地，也可以在屏幕上將搜索出圖像的完整圖形顯示給用戶。
設備在顯示搜索結果時，可以基於圖像和搜索使用的用戶興趣區域的相似度進行排序。相似度高的圖像優選在前面進行顯示，相似度低的圖像優選在後面顯示。
例如，設備檢測到用戶選中圖像中的小汽車作為檢索詞。設備反饋的搜索結果中，小汽車的圖像排在前面顯示，包括公交車的圖像排在小汽車的圖像後面進行顯示。
又如，設備檢測到用戶選中圖像中的人物作為檢索詞。設備反饋的搜索結果中，與用戶所選人物id相同的人物圖像排在前面顯示，然後顯示與用戶所選人物外貌或衣著相似的圖像，最後顯示圖像中包含有其他人物的圖像。
如圖13a所示，設備檢測到圖像中存在汽車，突出顯示汽車所在區域，提示用戶該區域可選。如圖13b所示，當設備檢測到用戶同時雙擊了同一張圖像中飛機和汽車後，飛機和汽車為「必選」，則設備確定用戶希望瀏覽同時包含飛機和汽車的圖像，因此，設備顯示的備選圖像中全部含有飛機和汽車，如圖13c所示。通過該實施方式，當用戶希望搜索同時包含飛機和汽車的圖像時，只需要找到一張有飛機和汽車的圖像，即可以通過該圖像進行快速搜索，獲得全部包含飛機和汽車的圖像，從而提高了圖像的瀏覽和檢索速度。
設備檢測到圖像中存在汽車，突出顯示汽車所在區域，提示用戶該區域可選。如圖13d所示，當設備檢測到用戶雙擊了汽車並手寫了飛機後，飛機和汽車為「必選」，則設備確定用戶希望瀏覽同時包含飛機和汽車的圖像，因此，設備顯示的備選圖像中也全部含有飛機和汽車，即雙擊和手寫的作用一致，都為「必選」，該種操作不排斥其他內容，如返回的圖像還可以包含人。
當用戶希望搜索同時包含飛機和汽車的圖像時，可能由於圖像量較大，無法找到一張同時包含飛機和汽車的圖像。通過該實施方式，只需要找到一張有汽車的圖像，即可以通過該圖像和用戶的手寫內容進行快速搜索，獲得全部包含飛機和汽車的圖像，從而提高了圖像的瀏覽和檢索速度。
如圖13e所示，當設備檢測到飛機被圈選後，確定飛機為「只選」，該種操作排斥其他內容，則設備確定用戶希望瀏覽只包含飛機的圖像，因此，設備顯示的備選圖像只包含飛機。通過本實施方式，當用戶希望瀏覽只包含飛機的圖像時，可以通過任一張包含飛機的圖像進行快速搜索，從而提高了圖像的瀏覽和檢索速度。
如圖13f所示，當設備檢測到用戶單擊了飛機和汽車後，飛機和汽車為「可選」，則設備確定用戶希望瀏覽包含飛機或者汽車的圖像，因此，設備顯示的備選圖像中可能包含有飛機或汽車，兩者可以同時出現，也可以單獨出現，該種操作對其他內容不排斥。通過本實施方式，當用戶希望瀏覽包含飛機或汽車的圖像時，可以通過任一張同時包含飛機或汽車的圖像進行快速搜索，從而提高了圖像的瀏覽和檢索速度。
如圖13g所示，當設備檢測到用戶劃掉人時，則人為「不選」，設備顯示的備選圖像中絕對不包含人。這些操作可以相互組合，例如設備檢測到用戶單擊了飛機，雙擊了汽車，劃掉了人，則飛機為「可選」，汽車為「必選」，人為「不選」，設備顯示的備選圖像中可能包含飛機，肯定包含汽車，絕對不包含人。通過本實施方式，當用戶希望瀏覽包含某物的圖像時，可以通過任一張包含該物的圖像進行快速搜索，從而提高了圖像的瀏覽和檢索速度。
某些情況下，用戶希望的操作和設備識別出的操作可能不一致。例如，用戶本來是雙擊屏幕，設備識別成單擊操作。為了避免產生這種不一致的情況，設備在識別出用戶的操作之後，可以通過不同的方式顯示不同的操作。
如圖13a-圖13g所示，設備在識別出用戶對圖像中飛機的雙擊操作後，在屏幕上方顯示飛機，並可以通過預定顏色表示該飛機是必選的。例如，通過紅色表示飛機必選。設備在識別出用戶對圖像中汽車的單擊操作後，在屏幕上方顯示汽車，並可以通過預定顏色表示該汽車是可選的。例如，通過綠色表示該汽車是可選的。通過該實施方式，用戶根據顏色就可以確定設備識別的內容是否準確，如果出現錯誤，可以及時調整，提高了瀏覽和搜索的效率。
實施方式2：基於多圖像的快速瀏覽
用戶可能希望查找同時包括人和狗的圖像。但是，當圖像量較大時，用戶不容易找到一個同時包含人和狗的圖像。因此，本發明實施方式還提供了在不同圖像中選擇對象進行快速瀏覽的方法。
圖14a-圖14c為根據本發明實施方式，基於多幅圖像的快速瀏覽示意圖。
步驟1：設備檢測用戶在第一幅圖像中的操作
如實施方式1所述，設備檢測用戶在第一幅圖像中的操作。設備檢測用戶在第一幅圖像中選取一個或多個區域，並檢測用戶的操作確定檢索條件，並將檢索到的圖像的縮略圖顯示在設備屏幕上。
如圖14a所示，用戶想要第一幅圖像設定檢索到的圖像必須包含人，則用戶在第一幅圖像上雙擊人的區域，當設備檢測到用戶在第一幅圖像中雙擊了人的區域，則確定需要給用戶返回必須包含人的圖像。
步驟2：設備搜索與用戶選擇操作對應的圖像
當設備檢測到用戶在第一幅圖像的操作後，根據用戶操作產生搜索準則，利用該搜索準則在設備中或雲端搜索相關圖像，並在屏幕上將這些圖像的縮略圖顯示給用戶。
如圖14a所示，當設備檢測到用戶在第一幅圖像中雙擊了人的區域，則確定需要給用戶返回必須包含人的圖像。
該步驟2是可選的，也可以直接從步驟1跳到步驟3。
步驟3：用戶設備檢測用戶激活選取第二幅圖像的操作
設備檢測用戶激活選取第二幅圖像的操作，開啟相冊的縮略圖模式，供用戶選取第二幅圖像。用戶激活選取第二幅圖像的操作可以為手勢、手寫筆操作或語音操作，等等。
例如，用戶按動手寫筆上的按鈕，設備檢測到手寫筆的按鈕被按下，則彈出菜單，菜單中的其中一項為選取其他圖像，設備檢測用戶點擊選取其他圖像按鈕，或直接打開相冊縮略圖模式，供用戶選取第二幅圖像。
如圖14a所示，設備檢測到手寫筆的按鈕被按下，則彈出選取其他圖像的菜單，並檢測到用戶點擊選取其他圖像的按鈕，打開相冊縮略圖模式，供用戶選取第二幅圖像。
再如，用戶長按圖像，設備檢測到用戶的長按操作。設備彈出菜單，菜單中的一項為選取其他圖像，設備檢測用戶點擊選取其他圖像按鈕，或直接打開相冊縮略圖模式，供用戶選取第二幅圖像。
再如，設備在圖像瀏覽模式下顯示選取第二幅圖像的按鈕，並檢測用戶按下該按鈕。當檢測到用戶按下該按鈕時，彈出圖像縮略圖模式，供用戶選取第二幅圖像。
再如，用戶語音輸入某種語音命令，如「打開相冊」，當設備檢測到用戶輸入該語音命令時，打開相冊縮略圖模式，供用戶選取第二張圖像。
步驟4：設備檢測用戶在第二幅圖像上的操作
用戶選取想要進行操作的圖像，設備檢測用戶點擊想要進行操作的圖像，在屏幕上顯示這幅圖像。
用戶在第二幅圖像上進行操作，設備檢測用戶在第二幅圖像中的操作，如實施方式1中所述，設備檢測用戶在第二幅圖像中選取一個或多個區域，並檢測用戶的操作確定檢索條件，並將檢索到的圖像的縮略圖顯示在設備屏幕上。
如圖14b所示，用戶點擊含有狗的圖像，設備檢測到用戶點擊含有狗的圖像，則在屏幕上顯示該含有狗的圖像。用戶想要通過第二幅圖像設定檢索到的圖像必須包含狗，則用戶在第二幅圖像上雙擊狗的區域。當設備檢測到用戶在第二幅圖像中雙擊了狗的區域，則確定需要給用戶返回必須包含人和狗的圖像。
步驟5：設備搜索與用戶選擇操作對應的圖像
當設備檢測到用戶在第一幅圖像和第二幅圖像的操作後，根據第一幅圖像和第二幅圖像的操作的組合產生搜索準則，利用該搜索準則在設備中或雲端搜索相關圖像，並在屏幕上將這些圖像的縮略圖顯示給用戶。
如圖14c所示，設備檢測到用戶在第一幅圖像中雙擊了人，在第二幅圖像中雙擊了狗，則設備確定需要給用戶返回必須同時包含人和狗的圖像，並在屏幕上顯示這些圖像的縮略圖。
通過本實施方式，用戶可以基於多個圖像中的用戶興趣區域，快速查找到需要的圖像，從而提高了圖像的查找速度。
實施方式3：基於圖像區域的視頻瀏覽
步驟1：設備檢測用戶在圖像中的操作
設備檢測用戶在圖像中操作的實施方式可以參見實施方式1和實施方式2，在此不再贅述。
設備檢測用戶在圖像中選取一個或多個用戶興趣區域，並檢測用戶在用戶興趣區域上的操作確定搜索條件，並將搜索到的視頻幀的縮略圖顯示在設備屏幕上。
圖15a-圖15c為根據本發明實施方式，在視頻內的快速瀏覽示意圖。
如圖15a-圖15c所示，用戶想要設定搜索到的圖像必須包含汽車，則用戶在圖像上雙擊汽車的區域，當設備檢測到用戶在圖像中雙擊了汽車的區域，則確定需要給用戶返回必須包含汽車的視頻幀。
除了在圖像中對各個可選區域進行操作外，設備還可以對視頻幀進行操作。當設備檢測到播放中的視頻被暫停後，開啟由用戶興趣區域進行搜索的模式，使得用戶可以在被暫停的視頻幀中對各個用戶興趣區域進行操作，當設備檢測到用戶對視頻幀中的用戶興趣區域進行操作後，確定搜索條件。
例如，設備播放視頻時，設備檢測到用戶點擊了暫停按鈕，並檢測到用戶雙擊了視頻幀中的汽車，設備確定在返回給用戶的圖像或視頻幀中必須包含汽車。
步驟2：設備搜索與用戶選擇操作對應的視頻幀
當設備檢測到用戶在圖像或視頻幀中的操作後，根據用戶的操作產生搜索準則，利用該搜索準則在設備中或雲端搜索相關圖像或視頻幀。
對於圖像的搜索與實施方式1和實施方式2類似，本發明實施方式在此不再贅述。
下面闡述如何在視頻中搜索對應的視頻幀。
對於每一個視頻，首先對視頻進行鏡頭分割，鏡頭分割的方法可以通過在視頻解碼時檢測i幀，以i幀作為一個鏡頭的起始。也可以根據視頻中各幀之間的視覺差異，例如利用幀差、顏色直方圖的差距、或提取更複雜的視覺特徵(手工設計的特徵或基於學習的特徵)的差異，將視頻分割成含有不同場景的鏡頭。
對於每個鏡頭，從第一幀圖像開始進行物體檢測，判斷視頻幀是否符合搜索準則，若符合則將第一個符合搜索準則的視頻幀的縮略圖顯示在屏幕上。
如圖15a所示，設備檢測到用戶雙擊了汽車的區域，設備將視頻分割為若干鏡頭，並在各個鏡頭的視頻幀中檢測是否有汽車出現，如出現則返回第一個包含汽車的視頻幀，如果有多個鏡頭中都有包含汽車的視頻幀，則在顯示縮略圖時，同時將這些鏡頭中第一個包含汽車的視頻幀的縮略圖顯示出來。
如圖15b所示，在縮略圖上通過圖標的方式提示用戶該縮略圖代表一段視頻片段。
步驟3：播放符合搜索準則的視頻鏡頭
用戶如果想要觀看符合搜索準則的視頻片段，則點擊含有視頻圖標的縮略圖。當設備檢測到用戶點擊了含有視頻圖標的縮略圖時，跳轉到視頻播放器，並從符合用戶搜索條件的視頻幀開始播放，播放到不符合用戶搜索條件的視頻幀出現為止，用戶可以選擇視頻繼續播放或返回相冊繼續瀏覽其他視頻片段或圖像。
如圖15c所示，用戶點擊包含有汽車的視頻幀縮略圖，設備檢測到用戶點擊包含有汽車的視頻幀的縮略圖後，由此幀開始播放視頻。
當用戶希望查找視頻中的某一幀時，如果用戶知道該幀中包含的內容，可以通過本實施方式進行快速查找。
實施方式4：在相機預覽模式下進行快速瀏覽
步驟1：設備檢測用戶在攝像頭預覽模式下的操作
用戶打開攝像頭進入攝像頭預覽模式，並開啟圖像搜索功能。設備檢測到攝像頭被打開且搜索功能被打開，設備開始捕捉由攝像頭輸入的圖像，並在輸入的一張或多張圖像中檢測用戶興趣區域。設備同時檢測用戶在這些用戶興趣區域上的操作，這些操作的形式與作用於實施方式1、實施方式2和實施方式3類似。
設備檢測用戶在圖像中選取一個或多個用戶興趣區域，並檢測用戶在用戶興趣區域上的操作確定搜索條件。
圖16為根據本發明實施方式，在相機預覽界面下的快速瀏覽示意圖。
如圖16所示，用戶在預覽模式下，在第一個場景下雙擊了第一個人。設備檢測到在第一個場景下第一個人被雙擊，則確定在搜索出的圖像中必須包含第一個人。類似的，用戶在第二個場景下雙擊了第二個人，設備檢測到第二個場景下第二個人被雙擊，則確定在搜索的圖像中必須包含第一個人和第二個人。用戶在第三個場景下雙擊了第三個人，設備檢測到在第三個場景下第三個人被雙擊，則確定在搜索的圖像中必須包含第一個人、第二個人和第三個人。設備可以將搜索到的符合搜索條件的圖像的縮略圖顯示在屏幕上。
可以通過多種方法開啟在攝像頭預覽模式下的搜索功能。
例如，在攝像頭預覽模式下，在用戶界面上設置一個按鈕，設備通過檢測用戶點擊該按鈕開啟攝像頭預覽模式下的搜索功能。當設備檢測到用戶對圖像中的可選區域進行操作後確定搜索條件。
再如，在攝像頭預覽模式下，在用戶界面上設置一個菜單鍵，將開啟圖像搜索功能的按鈕設置於菜單中，設備通過檢測用戶點擊該按鈕開啟攝像頭預覽模式下的搜索功能。當設備檢測到用戶對圖像中的可選區域進行操作後確定搜索條件。
再如，在攝像頭預覽模式下，設備檢測用戶點擊了手寫筆上的按鈕，則彈出菜單，在菜單中設置開啟搜索功能的按鈕，設備通過檢測用戶點擊該按鈕開啟攝像頭預覽模式下的搜索功能。當設備檢測到用戶對圖像中的可選區域進行操作後確定搜索條件。
再如，設備默認搜索功能打開，當設備檢測到用戶對圖像中的可選區域進行操作後，直接確定搜索條件。
步驟2：設備搜索與用戶選擇操作對應的圖像或視頻幀
當設備檢測到用戶在攝像頭預覽模式下的操作後，產生相應的搜索準則，並根據該準則在設備或雲端搜索與準則相對應的圖像或視頻幀。其中，該搜索準則與實施方式1相同，本發明實施方式不再贅述。
在本實施方式中，用戶可以通過預覽模式選中檢索詞，從而快速找到相應的圖像或視頻幀。
實施方式5：個性化的相冊樹形結構
步驟1：設備對用戶的圖像進行聚合和分離
設備根據分類標籤的語義和視覺相似度，對用戶的圖像進行聚合和分離，將語義或視覺相似的圖像進行聚合，將語義或視覺差異比較大的圖像進行分離。對於有語義的圖像，根據語義概念進行聚合分離，例如將風景圖像進行聚合，將風景和交通工具的圖像進行分離。對於無語義的圖像，根據視覺信息對圖像進行聚合分離，例如將主色調同為紅色的圖像進行聚合，將主色調為紅色和主色調為藍色圖像進行分離。
對於圖像的聚合和分離，可以包括下列方式：
方式(1)、一種方式是對於全圖的分析。例如，對整幅圖像進行分類，或者統計整幅圖像的顏色分布。將分類相同的圖像進行聚合，分類不同的圖像進行分離。該種方法適用於圖像中不包含任何特定物體的情況。
方式(2)、另外一種方式是對圖像中的用戶興趣區域進行分析。對於帶有類別標籤的用戶興趣區域，可以根據類別標籤的語義進行聚合和分離，對於相同類別標籤的用戶興趣區域進行聚合，對於不同標籤的用戶興趣區域進行分離；對於不帶有類別標籤的用戶興趣區域，主要根據視覺信息進行聚合和分離。例如在用戶興趣區域內提取顏色直方圖，將直方圖距離相近的用戶興趣區域進行聚合，將直方圖距離較遠的用戶興趣區域進行分離。該種方式適用於圖像中包含有特定物體的情況，且運用該種方式一幅圖像可以被聚合到多個類別中去。
方式(1)和方式(2)可以進行組合，例如同為風景圖像，將藍色為主體的海洋圖像聚合為一類，將綠色為主體的海洋圖像聚合為第二類。再如，同為汽車圖像，將不同顏色的汽車聚合為多類。
圖17為根據本發明實施方式，個性化的樹形結構的第一示範性結構圖。如圖17所示，小轎車被聚合在一起，巴士被聚合在一起。
步驟2：設備對聚合分離後的圖像建立樹形結構
對於包含有類別標籤的用戶興趣區域或圖像，通過類別標籤的語義信息建立樹形結構。該樹形結構可以是線下定義的結構，例如，交通工具包含汽車、自行車、摩託車、飛機、船舶，對於汽車還可以繼續細分為轎車、巴士、卡車等。
對於不包含有類別標籤的用戶興趣區域或圖像，首先計算聚合在一起的圖像的平均視覺信息，例如對聚合在一起的每張圖像計算顏色直方圖，然後對直方圖求平均，將其作為該聚合圖像的視覺標籤。對所有不包含類別標籤的聚合集合求視覺標籤，然後計算視覺標籤的距離，將相近的視覺標籤抽象為一個更高層次的視覺標籤。如在進行聚合和分離時，主體為藍色的圖像為第一個聚合集合，主體為黃的圖像為第二個聚合集合，主體為紅色的圖像為第三個聚合集合。計算這三個聚合集合的視覺標籤的距離，因為黃色包含有藍色信息，所以黃色視覺標籤與藍色視覺標籤被抽象為一類。
步驟3：設備對樹形結構進行修正
首先統計各個層次內的圖像數量，當圖像數量大於一個預設閾值時，則進一步開放下一層級的標籤。
例如，假定預設的層次內的圖像數量閾值為20。在風景標籤下有50張圖像，則進一步開放海灘、山峰、沙漠等標籤。
設備也可以根據用戶的手動設定將某一類別強制進行顯示。例如，假定預設的層次內的圖像數量閾值為20，在風景標籤下有15張圖像，設備檢測到用戶手動設置單獨顯示海灘的圖像，則海灘標籤被公開，其他風景標籤整體作為一類公開。
對於不同用戶，由於各個用戶設備中的圖像分布不同，則設備公開給用戶的樹形結構也不同。
圖18為根據本發明實施方式，個性化的樹形結構的第二示範性結構圖。
在圖17中，在用戶1的交通工具標籤下，又細分為自行車、機動車、飛機和船舶四類，其中機動車又分為小汽車、巴士和有軌電車，而且小汽車和巴士又可以按照顏色進行細分。
然而，在圖18中，對於用戶2的交通工具標籤下，只包含不同顏色的小汽車。
實施方式6：個性化圖像類別的定義的分類
實施方式6可以根據用戶的操作實現相冊內圖像的個性化類別定義並實現對個性化類別的分類。
步驟1：設備判斷圖像的標籤是否應被更改。
設備判斷用戶是否手動在圖像的屬性管理頁面進行修改，如果是則建立一個新的類別用於圖像的分類。例如，用戶在瀏覽圖像時，將一幅繪畫作品的圖像的標籤由「繪畫」改變為「我的畫」。設備檢測到用戶對圖像屬性的修改，確定圖像的標籤應被更改。
設備判斷用戶是否在整理圖像時發生了特殊操作，如果是則建立一個新的類別用於圖像的分類。例如，用戶在整理圖像時，建立了一個新文件夾，並將該文件夾命名為「我的畫」，並將一組圖像移動到了該文件夾中。設備檢測到新的文件夾被建立，且有圖像被移動到該文件夾中，設備確定該組圖像的標籤應被更改。
設備判斷用戶在使用社交軟體時是否進行了圖像分享，在家庭群中會分享與家人相關的照片，在寵物交流群中戶分享與寵物相關的照片，在讀書群中會分享與書籍相關的照片，設備通過分析用戶的該種操作，將用戶相冊中的圖像與社交關係進行關聯，確定圖像的標籤應被更改。
步驟2：個性化類別的生成。
當設備判斷圖像的標籤被更改時，則生成新的類別定義。該類別被賦予一個唯一符，唯一符一致的圖像為同一類別的圖像。例如，步驟一中的繪畫作品的圖像被分配到一個唯一符，其名稱為「我的畫」；分享到家庭群中的圖像被分配到一個唯一符，其名稱為「家庭群」。類似的，其他被分享到其他群中的圖像也被分配到一個唯一符，其名稱可能為「寵物」或「讀書」。
步驟3：判斷個性化類別的變化程度。
設備分析個性化類別的名稱，判斷其變化程度，從而確定實現個性化類別分類的方式。
例如一個個性化類別的名稱為「白色萌寵」，設備分析出該類別由兩個元素組成，其一為顏色屬性「白色」，其二為物體類別「寵物」。設備的預設子類中包括「白色」類別和「寵物」類別，則設備將該兩個子類進行關聯，所有被分類為「白色」且為「寵物」的圖像都被重新分為「白色萌寵」。由此實現個性化類別的分類。
如果設備的預設子類中不包括「白色」類別和「寵物」類別，則需要重新訓練模型。例如，設備將用戶整理的「白色萌寵」圖像上傳至雲端，雲端伺服器在原有模型的基礎上新添加一個類別，並利用上傳的圖像進行訓練。訓練結束後，更新後的模型被發送回用戶的設備。當有新的圖像出現在用戶的相冊中時，利用更新後的模型對圖像進行分類，當圖像在「白色萌寵」類別的置信度超過一個閾值時，將該圖像分為「白色萌寵」類別。
步驟4：判斷設備端和雲端對圖像的分類一致性。
當雲端與設備上對同一圖像的分類結果不同時，需要對結果進行優化。例如一張「狗」的圖像，在設備上的分類結果為「貓」，在雲端的分類結果為「狗」。
當設備沒有檢測到用戶的反饋時。如果閾值設定為0.9，當雲端的分類置信度高於0.9，設備的分類置信度低於0.9，則認為一幅圖像應該被標為「狗」。相反，當雲端的分類置信度低於0.9，設備的分類置信度高於0.9，則圖像應被標為「貓」。當雲端和設備的分類置信度都低於0.9時，則將圖像的類別提升一個層級，將其標為「寵物」。
當設備檢測到用戶的更正反饋時。將錯誤分類的結果上傳至雲端，包括被錯分的照片、被分類別和用戶指定的正確類別，並啟動模型訓練。訓練結束後，將新模型更新至設備。
實施方式7：在設備上的快速瀏覽
實施方式7可以基於實施方式5的樹狀結構進行快速瀏覽。
步驟1：設備顯示某一層級的標籤類別
用戶在瀏覽某一層級時，設備檢測到用戶對某一層級的瀏覽，將該一層級所包含的所有標籤類別顯示給用戶，顯示的方式可以為文字或圖像縮略圖。當顯示圖像縮略圖時，可以顯示該類別的預設圖標，也可以顯示相冊中真實存在的圖像，可以選擇顯示最後被修改的圖像的縮略圖，或者選擇顯示該類別中置信度最高的圖像的縮略圖，等等。
步驟2：設備檢測用戶的操作並反饋
用戶可以在每個標籤類別上進行操作，從而進入下一層級。
圖19為根據本發明實施方式，移動終端上對樹形結構的快速瀏覽示意圖。
如圖19所示，當用戶單擊一個標籤時，設備檢測到一個標籤被單擊，則顯示該標籤的下一層級。例如，用戶單擊風景標籤，設備檢測到風景標籤被單擊，則風景標籤下的海洋、高山、內陸水景、沙漠的標籤被顯示給用戶。當用戶進一步單擊內陸水景時，設備檢測到內陸水景標籤被單擊，該標籤下的瀑布、河流、湖泊標籤被顯示給用戶。
用戶可以在每個標籤類別上進行操作，查看某標籤類別內包含的所有圖像。
如圖19所示，當用戶長按一個標籤時，設備檢測到一個標籤被長按，則顯示該標籤的所有圖像。當用戶長按風景標籤時，設備檢測到用戶長按風景標籤，則將所有標籤為風景的圖像顯示給用戶，包括海洋、高山、內陸水景和沙漠的圖像。當用戶長按內陸水景標籤時，設備檢測到用戶長按內陸水景標籤，則將所有標籤為內陸水景的圖像顯示給用戶，包括瀑布、湖泊和河流的圖像。當用戶長按瀑布時，設備檢測到瀑布標籤被長按，將所有標籤為瀑布的圖像顯示給用戶。
用戶也可以通過語音的方式進行操作。例如用戶通過語音輸入「進入內陸水景」，設備檢測到用戶語音輸入「進入內陸水景」，通過自然語音處理設備確定用戶的操作為「進入」，操作的對象為「內陸水景」，則設備將內陸水景標籤下的瀑布、河流、湖泊標籤顯示給用戶。如果用戶通過語音輸入「查看內陸水景」，設備檢測到用戶的語音輸入「查看內陸水景」，通過自然語音處理設備確定用戶的操作為「查看」，操作的對象為「內陸水景」，則將所有標籤為內陸水景的圖像顯示給用戶，包括瀑布、湖泊和河流的圖像。
在本實施方式中，通過縮略圖這種可視化的方式對圖像進行分類，用戶可以根據分類迅速找到圖像，從而提高了瀏覽和檢索的速度。
實施方式8：在較小屏幕上的快速瀏覽
有些電子設備的屏幕很小，本實施方式8提供如下方案。
實施方式8可以基於實施方式5的樹狀結構。
步驟1：設備顯示某一層級的標籤類別
用戶在瀏覽某一層級時，設備檢測到用戶對某一層級的瀏覽，將該一層級中的部分標籤類別顯示給用戶，顯示的方式可以為文字或圖像縮略圖。當顯示圖像縮略圖時，可以顯示該類別的預設圖標，也可以顯示相冊中真實存在的圖像，可以選擇顯示最後被修改的圖像的縮略圖，或者選擇顯示該類別中置信度最高的圖像的縮略圖，等等。
圖21a-圖21b為根據本發明實施方式，小屏幕設備上對樹形結構的快速瀏覽示意圖。
如圖21a所示，當用戶瀏覽由交通工具、寵物和風景組成的層級時，設備檢測到該層級被訪問，則每一次在屏幕上只顯示其中一個類別的縮略圖，如交通工具、寵物或風景。
步驟2：設備檢測用戶的操作並反饋
用戶可以在每個標籤類別上進行操作，從而在各個標籤類別之間進行切換。如圖21a所示，設備初始顯示了交通工具的類別標籤，用戶在設備屏幕上划動，設備檢測到用戶在設備屏幕上的划動動作，則由交通工具類別標籤切換至寵物類別標籤，當設備再一次檢測到用戶的划動動作時，由寵物類別標籤切換至風景類別標籤。
需要說明的是，與切換標籤對應的操作也可以採用其他方式，此處僅是舉例說明。
用戶可以在每個標籤類別上進行操作，查看某標籤類別內包含的所有圖像，具體顯示時每次只顯示部分圖像，用戶通過操作顯示其他部分圖像。
如圖21a所示，當用戶單擊一個標籤時，設備檢測到一個標籤被單擊，則顯示該標籤的所有圖像中的其中一張。例如用戶單擊風景標籤，設備檢測到風景標籤被單擊，則風景標籤下的一張含有沙灘風景的圖像被顯示給用戶，當設備檢測到用戶的划動動作時，顯示風景標籤下的另一張圖像。
需要說明的是，與切換圖像對應的操作也可以採用其他方式，此處僅是舉例說明。
用戶可以在各個層級上進行操作，從而在各個層級間進行切換。當設備檢測到用戶的第一種操作時，進入下一層級；當設備檢測到用戶的第二種操作時，返回上一層級。
如圖21b所示，設備處於風景、交通工具所在層級。在設備顯示交通工具的標籤時，用戶順時針旋轉錶盤，設備檢測到錶盤被順時針旋轉，則由風景、交通工具層級進入到交通工具的下一層級，其中包含自行車、飛機等標籤。用戶可以通過划動切換標籤類別，如從自行車切換到飛機。當用戶逆時針旋轉錶盤時，設備檢測到錶盤的逆時針旋轉，則由自行車、飛機所在的層級切換至上一層級，該上一層級包括風景、交通工具等標籤類別。需要說明的是，與切換層級對應的操作也可以採用其他方式，此處僅是舉例說明。
類似地，用戶也可以通過語音的方式進行操作。例如用戶通過語音輸入「進入內陸水景」，設備檢測到用戶的語音輸入「進入內陸水景」，通過自然語音處理設備確定用戶的操作為「進入」，操作的對象為「內陸水景」，則設備將內陸水景標籤下的瀑布、河流、湖泊標籤顯示給用戶。如果用戶通過語音輸入「查看內陸水景」，設備檢測到用戶的語音輸入「查看內陸水景」，通過自然語音處理設備確定用戶的操作為「查看」，操作的對象為「內陸水景」，則將所有標籤為內陸水景的圖像顯示給用戶，包括瀑布、湖泊和河流的圖像。再如，用戶通過語音輸入「返回上一層級」，設備檢測到用戶語音輸入「返回上一層級」，則切換至上一層級。
需要說明的是，上述語音輸入也可以是其他語音，此處僅是舉例說明。
實施方式9：在較小屏幕上顯示圖像
有些電子設備的屏幕較小，用戶有可能通過這些設備查看其他設備或雲端的照片。為了能夠在這些電子設備上進行快速瀏覽，本實施方式提供了如下方案。
步驟1：設備判斷待顯示圖像中的用戶興趣區域的個數
設備根據一幅圖像的區域列表，查看該圖像中包含的用戶興趣區域的個數，根據用戶興趣區域個數的不同選擇不同的顯示方式。
步驟2：設備根據待顯示圖像中的用戶興趣區域個數判斷顯示方式
設備檢測到圖像中包含的用戶興趣區域的個數，根據用戶興趣區域個數的不同選擇不同的顯示方式。
圖22為根據本發明實施方式，小屏幕設備上對圖像的顯示示意圖。
如圖22所示：
當設備檢測到一張風景圖像中不包含任何用戶興趣區域時，將整圖的縮略圖顯示在屏幕上，根據設備屏幕的不同，在必要時截取原圖的一部分，例如當設備屏幕為圓形時，在圖像的中心截取最大的內接圓。
當設備檢測到一張圖像中含有用戶興趣區域時，選取其中的一個用戶興趣區域居中顯示在設備屏幕上，選取的準則可以根據用戶的視點熱圖，用戶關注度最高的用戶興趣區域被優先顯示，選取的準則也可以根據區域中的類別置信度，選取類別置信度最高的用戶興趣區域優先顯示。
步驟3：設備檢測用戶的不同操作並反饋
用戶在設備上進行不同的操作，設備檢測不同的操作，根據不同的操作，設備給出不同的反饋。這些操作應該使得用戶可以放大、縮小圖像，當圖像中包含有多個用戶興趣區域時，用戶可以通過某種操作在各個用戶興趣區域之間進行切換。
例如，當用戶在屏幕上兩個手指做接近運動時，設備檢測到用戶的手指做接近運動，則縮小屏幕上顯示的圖像，直到圖像的長邊與設備的短邊等長為止。
再如，當用戶在屏幕上兩個手指做遠離運動時，設備檢測到用戶的手指做遠離運動，則放大屏幕上顯示的圖像，直到圖像被放大為原圖的特定倍數為止，這個倍數可以事先設定。
再如，如圖22所示，當用戶旋轉錶盤時，設備檢測到錶盤被旋轉時，不同的用戶興趣區域被居中顯示在屏幕上。當用戶順時針旋轉錶盤時，設備檢測到錶盤被順時針旋轉，則居中顯示下一個用戶興趣區域；當用戶逆時針旋轉錶盤時，設備檢測到錶盤被順時針旋轉，則居中顯示上一個用戶興趣區域。
通過本實施方式，用戶可以在屏幕較小的設備順利查看圖片。
實施方式10：基於圖像用戶興趣區域的圖像傳輸(一)
目前，人們越來越多的將圖像存儲在雲端，本實施方式提供了一種在設備上查看雲端圖像的方案。
步驟1：設備根據某種準則確定傳輸模式
設備通過設備所處的環境或條件判斷選擇某種傳輸模式。此處所說的環境或條件可以包括設備向雲端或其他設備請求的圖像數量。
傳輸模式主要包括兩種，一種為完整傳輸，另一種為自適應傳輸。完整傳輸模式將數據不經壓縮地全部傳輸給設備，自適應傳輸利用經過壓縮的數據和多次傳輸達到節省帶寬和耗電的目的。
圖23為根據本發明實施方式，不同傳輸數量情況下的傳輸模式示意圖。
如圖23所示，在傳輸圖像時，首先設定閾值(即門限值)n。n可以為預設值，例如n為10。n的確定也可以根據圖像尺寸和被請求的圖像數量計算得到，n值是滿足一次性完整傳輸n幅圖像所消耗的流量小於自適應傳輸n幅圖像這一條件的最大值。
當設備檢測到用戶請求的圖像數量小於n時，通過完整傳輸模式傳輸圖像。當設備檢測到用戶請求的圖像數量大於n時，通過自適應傳輸模式傳輸圖像。
步驟2：通過完整傳輸模式傳輸圖像
當設備檢測到用戶請求的圖像數量小於n時，通過完整傳輸模式傳輸圖像。此時對待傳輸的圖像不進行任何壓縮或處理，將原始圖像通過網絡完整傳輸給請求設備。
步驟3：通過自適應傳輸模式傳輸圖像
在自適應傳輸模式下，被請求的n幅圖像首先在雲端或其他設備上進行全圖壓縮達到減少傳輸數據量的目的。例如壓縮圖像尺寸或選擇壓縮比更大的壓縮算法等。被壓縮後的n幅圖像通過網絡連接被傳輸給請求設備，供用戶預覽。
當用戶選擇進一步瀏覽n幅圖像中的部分或全部圖像時，用戶設備檢測到一副圖像a被全屏打開，此時用戶設備向雲端或其他設備請求部分壓縮的圖像。雲端或其他設備接收到部分壓縮的a被請求後，將a的原圖進行壓縮，壓縮的原則是用戶興趣區域所在部分的圖像被較低壓縮比的算法壓縮，用戶興趣區域外的背景部分被較大壓縮比的算法壓縮。雲端或其他設備通過網絡將部分壓縮的圖像傳輸給用戶設備。
如圖23所示，用戶請求的圖像的用戶興趣區域為飛機和汽車，則飛機和汽車所在區域被壓縮比較小的算法壓縮，從而使用戶可以更為清晰的觀看飛機和汽車的細節，飛機和汽車區域之外的區域被壓縮比較大的算法壓縮，從而達到節省流量的目的。
當用戶進一步對圖像進行操作時，如對圖像進行編輯、放大瀏覽、分享等，或用戶直接請求原圖時，用戶設備向雲端或其他設備請求未被壓縮的原圖。雲端或其他設備接收到用戶設備的請求時，將未被壓縮的原圖發送給用戶設備。
通過本實施方式，可以將設備的傳輸數量限制到一定範圍內，減少數據傳輸量。並且，如果傳輸的圖像過多，則降低傳輸圖像的質量，從而使得用戶能夠快速瀏覽到需要的圖像。
實施方式11：基於圖像用戶興趣區域的圖像傳輸(二)
目前，人們越來越多的將圖像存儲在雲端，本實施方式提供了一種在設備上查看雲端圖像的方案。
步驟1：設備根據某種準則確定傳輸模式
設備通過設備所處的環境或條件判斷選擇某種傳輸模式。此處所說的環境或條件可以為設備所處的網絡連接類別，如有線寬帶(wifi)網絡、運營商通信網絡、有線網絡等、設備所處網絡的質量(如高速網絡、低速網絡等)、用戶手動設置的請求的圖像質量，等等。
傳輸模式主要包括三種。第一種為完整傳輸；第二種為部分壓縮傳輸；第三種為完全壓縮傳輸。完整傳輸模式將數據不經壓縮地全部傳輸給設備；部分壓縮傳輸模式將數據進行部分壓縮後傳輸給設備；完全壓縮傳輸模式將數據進行完全壓縮後傳輸給設備。
圖24為根據本發明實施方式，不同網絡環境情況下的傳輸模式示意圖。
如圖24所示，當設備處於wifi網絡或有線網絡環境下，無需考慮數據傳輸時造成的費用，當設備檢測到用戶請求圖像時，通過完整傳輸模式傳輸圖像。
如圖24所示，當設備處於運營商通信網絡環境下，需要考慮數據傳輸時造成的費用，當設備檢測到用戶請求圖像時，可以通過完整傳輸模式、部分壓縮傳輸模式或完全壓縮傳輸模式將圖像傳輸給設備，選擇的方法可以為實現設定默認的傳輸模式，或由用戶選擇傳輸模式。通過本實施方式，可以減少用戶處於運營商網絡環境下的數據傳輸量。
設備還可以通過判斷網絡質量來決定選取某種傳輸模式，例如網絡質量較好時選取完整傳輸模式，網絡質量一般時選取部分壓縮傳輸模式，網絡質量較差時選取完全壓縮傳輸模式。通過本實施方式，可以使用戶儘可能快速的瀏覽需要的圖像。
步驟2：通過完整傳輸模式傳輸圖像
通過完整傳輸模式傳輸圖像時，雲端設備對待傳輸的圖像不進行任何壓縮或處理，將原始圖像通過網絡完整傳輸給用戶設備。
步驟3：通過部分壓縮模式傳輸圖像
通過部分壓縮模式傳輸圖像時，用戶設備向雲端或其他設備請求部分壓縮的圖像。雲端或其他設備接收到請求後，將圖像進行壓縮，壓縮的原則是用戶興趣區域所在部分的圖像被較低壓縮比的算法壓縮，用戶興趣區域外的背景部分被較大壓縮比的算法壓縮。雲端或其他設備通過網絡將部分壓縮的圖像傳輸給用戶設備。
如圖24所示，用戶請求的圖像的用戶興趣區域為飛機和汽車，則飛機和汽車所在區域被壓縮比較小的算法壓縮，從而使用戶可以更為清晰的觀看飛機和汽車的細節，飛機和汽車區域之外的區域被壓縮比較大的算法壓縮，從而達到節省流量的目的。
步驟4：通過完全壓縮模式傳輸圖像
被請求的圖像首先在雲端或其他設備上進行全圖壓縮達到減少傳輸數據量的目的，例如壓縮圖像尺寸或選擇壓縮比更大的壓縮算法等。被壓縮後圖像通過網絡連接被傳輸給請求設備，供用戶預覽。
其中，基於步驟1確定的傳輸模式，選擇性地執行步驟二、步驟三或步驟四。
實施方式12：在縮略圖模式下的快速分享
步驟1：確定分享候選圖像
分享候選圖像的確定可以由設備自動完成，也可以由用戶手動選擇完成。
當設備自動確定分享候選圖像時，設備通過分析圖像內容確定分享候選集，設備檢測圖像中各個用戶興趣區域內的類別標籤，將包含有相同類別標籤的圖像組成一個候選集合，例如將所有包含寵物的圖像組成一個候選集合。
設備通過圖像中出現的聯繫人確定分享候選集，設備檢測圖像中各個類別標籤為人的用戶興趣區域內的身份，將相同聯繫人或聯繫人分組的圖像確定為一個候選集合。
設備還可以確定一個時間段，將拍攝時間落於該拍攝時間段內的圖像作為分享候選，該時間段的設定通過設備對拍攝時間、地理位置等信息進行分析得到。時間段可以為預先設定，例如每24小時為一個時間段，拍攝於每個24小時之內的圖像被設定為一個分享候選集。
時間段可以根據地理位置的改變而確定，設備檢測到設備在第一個時刻處於第一個地理位置，在第二個時刻處於第二個地理位置，在第三個時刻處於第三個地理位置，第一個地理位置與第三個地理位置可以是同一位置，則設備將時間段設定為第二個時刻至第三個時刻。例如，設備檢測到在某月1日設備位於北京，某月2日設備位於南京，某月3日設備位於北京，則設備將時間段設置為2日至3日，拍攝時間處於2日至3日內的圖像被設定為一個分享候選集。設備在判斷地理位置是否改變時，可以通過檢測各個地理位置的距離進行判斷。例如，當設備所處位置改變了一定距離後，判定設備位置已改變，這一距離可以預先設定，如20公裡。
當用戶手動選擇確定分享候選圖像時，用戶在縮略圖上進行操作選取要分享圖像，例如長按圖像，設備檢測到用戶的操作時，將被操作的圖像添加到分享候選圖像集合中。
步驟2：設備在縮略圖模式下提示用戶進行分享
當設備檢測到設備處於縮略圖模式下，設備通過某種方式將分享候選集合提示給用戶。例如，將同一候選集合的圖像的縮略圖用相同顏色的邊框包圍。在這些候選集合上顯示一個分享按鈕，當用戶點擊這個按鈕時，設備檢測到分享按鈕被點擊，開啟分享模式。
步驟3：分享候選分享集合
候選分享集合可以單獨地分享給其他聯繫人，設備將包含有某聯繫人的圖像分享給該聯繫人。設備首先確定分享候選集合中每幅圖像中包含有哪些聯繫人，然後將圖像分別發送給該圖像中包含的聯繫人。
圖25為根據本發明實施方式，在縮略圖界面下分享圖像的第一示意圖。
如圖25所示，設備將圖像1和圖像2確定為一個候選分享集合，並檢測到圖像1中包含有聯繫人1和聯繫人2，圖像2中包含有聯繫人1和聯繫人3。
當用戶點擊分享給各個聯繫人時，設備將圖像1和圖像2發送給聯繫人1，將圖像1發給聯繫人2，將圖像2發送給聯繫人3。從而避免用戶將相同圖像發送給不同用戶時所產生的重複操作。
候選分享集合可以批量地分享給聯繫人群組，設備將包含有各個聯繫人的圖像分享給包含各個聯繫人的群組。設備首先確定分享候選集合中每幅圖像中包含的聯繫人，然後在聯繫人分組中查看是否有一個聯繫人分組中包含的聯繫人與分享候選集合包含的聯繫人完全一致，若是，則自動將分享候選集合包含的圖像分享給該聯繫人分組，或由用戶手動修改聯繫人後分享。如果設備找不到與分享候選集合完全一致的聯繫人分組，則新建一個聯繫人分組包含分享候選集合中的聯繫人，並將該聯繫人分組作為基礎提供給用戶，使得用戶可以手動修改該分組內的聯繫人，設備建立新的聯繫人分組後將分享候選集合包含的圖像發送到聯繫人分組中。
圖26a-圖26c為根據本發明實施方式，在縮略圖界面下分享圖像的第二示意圖。
如圖26a所示，設備將圖像1和圖像2確定為一個候選分享集合，並檢測到圖像1中包含有聯繫人1和聯繫人2，圖像2中包含有聯繫人1和聯繫人3。如圖26b所示，當用戶點擊分享給聯繫人分組時，設備檢測到一個聯繫人分組中的聯繫人包含且只包含了聯繫人1、聯繫人2和聯繫人3。如圖26c所示，設備將圖像1、圖像2發送至該聯繫人分組。
步驟4：修改分享候選集合的分享狀態
當分享候選集合中的圖像被分享後，設備在縮略圖模式下通過某種方式提示用戶分析候選集合的分享狀態，例如通過圖標告知用戶分析候選集合被分享給聯繫人個人、聯繫人分組、分享次數等。
通過本實施方式，提高了圖像分享的效率。
實施方式13：在聊天模式下的快速分享
步驟1：設備產生分享候選集合
與實施方式11中類似，設備通過分析圖像內容、拍攝時間、地理位置等信息確定分享候選集，本實施方式13對此不再贅述。
步驟2：設備在聊天模式下提示用戶進行分享
設備檢測到設備處於聊天模式下，則提取用戶正在通信的聯繫人，在各個分享候選集合中對比，如果一個分享候選集合中包含的聯繫人與用戶正在通信的聯繫人一致，且該分享候選集合沒有被分享，則通過某種方式提示用戶進行分享。
圖27為根據本發明實施方式，在聊天界面下的第一分享方式示意圖。
如圖27所示，當設備檢測到用戶與聯繫人1、聯繫人2和聯繫人3組成的聯繫人群組聊天時，設備查找到設備中現有的一個分享候選集合包含有聯繫人1、聯繫人2和聯繫人3。設備彈出一個提示框，顯示分享候選集合中圖像的縮略圖，當檢測到用戶點擊確認分享按鈕時，將該分析候選集合中的圖像發送至當前群組聊天。
設備檢測到設備處於聊天模式下，自動分析用戶的輸入，通過自然語言處理，判斷用戶是否有分享圖像的意願，如果有分享的意願則分析用戶所要分享的內容，設備彈出一個提示框，顯示標籤類別為用戶想要分享的內容的用戶興趣區域，其排列方式可以為時間順序、用戶的瀏覽頻率等。當設備檢測到用戶選中其中一個或多個圖像並點擊發送時，將包含有用戶興趣區域的圖像或截取出用戶興趣區域發送到群組中。
圖28為根據本發明實施方式，在聊天界面下的第二分享方式示意圖。如圖28所示，用戶輸入「你喜歡這輛車嗎」，設備檢測到用戶的輸入，通過分析判斷出用戶有分享汽車這一標籤類別的意願。設備彈出一個提示框，顯示標籤類別為汽車的用戶興趣區域，當設備檢測到用戶點擊其中一個圖像時，將截取出的用戶興趣區域發送至群組中。
通過本實施方式，提高了圖像分享的效率。
實施方式14：基於用戶興趣區域的圖像精選方法
步驟1：設備對一段時間內的用戶興趣區域進行聚合分離
設備確定一個時間段，對於該時間段內的用戶興趣區域進行聚合分離。
時間段可以為預先設定，例如每24小時為一個時間段，拍攝於每個24小時之內的圖像被設定為一個聚合分離候選集。
時間段可以根據地理位置的改變而確定，設備檢測到設備在第一個時刻處於第一個地理位置，在第二個時刻處於第二個地理位置，在第三個時刻處於第三個地理位置，第一個地理位置與第三個地理位置可以是同一位置，則設備將時間段設定為第二個時刻至第三個時刻，例如設備檢測到在某月1日設備位於北京，某月2日設備位於南京，某月3日設備位於北京，則設備將時間段設置為2日至3日，拍攝時間處於2日至3日內的圖像被設定為一個聚合分離時間段。設備在判斷地理位置是否改變時，可以通過檢測各個地理位置的距離進行判斷。例如當設備所處位置改變了一定距離後，判定設備位置已改變，這一距離可以預先設定，如20公裡。
設備通過分析一個時間段內圖像的內容對用戶興趣區域進行聚合分離，設備檢測圖像中各個用戶興趣區域內的類別標籤，將包含有相同類別標籤的用戶興趣區域進行聚合，將包含有不同類別標籤的用戶興趣區域進行分離，例如將食物、聯繫人1、聯繫人2分別進行聚合。
設備通過圖像中出現的聯繫人對用戶興趣區域進行聚合分離，設備檢測圖像中各個類別標籤為人的用戶興趣區域內的身份，將相同聯繫人進行聚合，不同聯繫人進行分離。
步驟2：設備產生精選集合
方式(1)：由圖像至文字的精選過程。
設備在各個聚合集合中對用戶興趣區域進行精選，選取的條件可以為預先設定，如最後拍攝的時間、最先拍攝的時間。也可以根據圖像質量進行排序後，選取圖像質量最好的用戶興趣區域。將精選出的用戶興趣區域進行拼接。在拼接的過程中，自動根據用戶興趣區域調整拼接模板中的形狀和比例，通過圖像拼圖可連結回相冊中的原圖。最後根據用戶興趣區域的內容，產生對拼圖的簡單描述。
圖29為根據本發明實施方式，由圖像至文字的圖像精選方法示意圖。
如圖29所示，設備首先選取一天時間內的圖像，將這些圖像的用戶興趣區域進行聚合分離，產生風景聚合集合、聯繫人1聚合集合、聯繫人2聚合集合、食物的聚合集合、花的聚合集合。然後，從中精選出四張圖像進行拼接，拼接過程中將用戶興趣區域中的主體顯示出來。最後根據用戶興趣區域中的內容產生一段文字。設備檢測用戶點擊拼接後的圖像，可以連結回用戶興趣區域所在的原圖。
方式(2)：由文字至圖像的精選方式。
用戶輸入一段文字，設備檢測到用戶輸入的文字，在其中提取關鍵詞，關鍵詞的類型包括時間、地理位置、物體名稱、聯繫人身份等。設備根據提取到的時間和地理位置定位至相冊中的圖像，根據物體名稱、聯繫人身份等，選取符合關鍵詞的用戶興趣區域。將包含有符合關鍵詞的用戶興趣區域或用戶興趣區域所屬的圖像插入到用戶輸入的文字之間。
圖30為根據本發明實施方式，由文字至圖像的圖像精選方法示意圖。
如圖30所示，設備在用戶輸入的文字中提取了「今天」、「我」、「女朋友」、「風景」、「南京」、「蓮花」、「食物」關鍵詞，根據這些關鍵詞確定圖像，並選取包含有這些關鍵詞內容的用戶興趣區域，將用戶興趣區域從圖像中截取出來插入到用戶輸入的文字中。
實施方式15：基於圖像內容的圖像轉換方法
圖31為根據本發明實施方式，基於圖像內容的圖像轉換示意圖。
步驟1：設備檢測並聚合文檔圖像
設備在用戶的設備中檢測包含有文檔標籤的圖像。利用文檔的外觀風格、文檔的內容判斷包含有文檔標籤的圖像是否來源自同一文檔，例如包含有同一ppt模板的文檔圖像來源於同一文檔，根據自然語言處理對圖像中的文字進行分析，判斷各個圖像是否來源自同一文檔。
實現該步驟的觸發條件可以為自動觸發，例如設備在後臺實時監測相冊內圖像文件的變化，當監測到相冊內的圖像文件數量變化時，例如圖像文件數量增加，則觸發實施該步驟。再如，在即時通訊軟體中，設備自動檢測用戶接收到的圖像是否為圖像文檔，如果是則觸發實施該步驟，在即時通訊軟體的對話中，檢測並聚合文檔圖像，其中，設備可以是在一個聯繫人的交互信息中，檢測並聚合文檔圖像，設備也可以在一個群的交互信息中，檢測並聚合文檔圖像。
可選地，實現該步驟的觸發條件可以為用戶手動觸發，例如一個合併文檔圖像的按鈕被設置在相冊的菜單中，當設備檢測到用戶點擊該按鈕時，觸發實施該步驟；再如，在即時通訊軟體中，設備檢測到用戶長按接收到的圖像且選擇轉換文檔選項時，觸發該步驟。
步驟2：設備提示用戶將圖像轉換為文檔
在縮略圖模式下，設備將來自同一文檔的圖像利用某種方式顯示出來，例如相同顏色的矩形框，並在其上顯示一個按鈕，當用戶點擊該按鈕時，設備檢測到轉換按鈕被點擊，則進入圖像轉換文檔模式。
在即時通訊軟體中，當設備檢測到用戶接收的圖像中包含有文檔圖像，則通過某種方式給用戶提示，例如使用特殊顏色、彈出氣泡等方式提示用戶該圖像可以轉換為文檔，同時顯示按鈕。當設備檢測到用戶點擊該按鈕時，則進入圖像轉換文檔模式。
步驟3，設備根據用戶反饋生成文檔
在圖像轉換文檔模式下，用戶可以手動添加或刪除圖像，設備根據用戶的操作，添加或刪除需要被轉換為文檔的圖像，當設備檢測到用戶點擊「轉換」按鈕時，設備在圖像中進行文字檢測並做光學字符識別，將圖像中包含的文字轉換為文本，並保存為一個文檔，供用戶後續使用。
實施方式16：基於圖像內容的智能刪除推薦。
步驟1：根據圖像中的用戶興趣區域判斷圖像相似度
在包含有用戶興趣區域的圖像中，截取各個用戶興趣區域，比較來自不同圖像的用戶興趣區域，判斷各個圖像中包含的內容是否相似。
例如，圖像1包含有聯繫人1、聯繫人2和聯繫人3，圖像2包含有聯繫人1、聯繫人2和聯繫人3，圖像3包含有聯繫人1、聯繫人2和聯繫人4，則圖像1和圖像2具有更高的相似度。
再如，圖像4中有一個包含紅色花的用戶興趣區域，圖像5中有一個包含紅色花的用戶興趣區域，圖像6中有一個包含黃色花的用戶興趣區域，則圖像4和圖像5具有更高的相似度。
在本步驟中，當兩個圖像的用戶興趣區域的相似度和圖像的相似度成正比，用戶興趣區域的位置和相似度無關。
步驟2：根據圖像包含的用戶興趣區域判斷圖像是否具有語義信息
設備提取圖像包含的用戶興趣區域的區域欄位，如果圖像包含有帶有類別標籤的用戶興趣區域，則圖像包含有語義信息，例如圖像中包含有人、車、寵物。如果圖像包含不帶有類別標籤的用戶興趣區域，則圖像包含有較弱語義信息，如幾何圖形的邊界。如果圖像中不帶有任何用戶興趣區域，則圖像不具有語義信息，如純色圖像、曝光過低圖像。
步驟3：根據圖像中用戶興趣區域的位置關係判斷圖像的美觀程度
設備從圖像的區域列表中提取各個用戶興趣區域的類別和位置坐標，根據各個用戶興趣區域的類別和位置坐標判斷圖像的美觀程度。判斷方式可以為利用黃金分割規則，例如一個圖像包含的各個用戶興趣區域，都坐落在黃金分割點上，則該圖像的美觀程度更高。再如，包含樹的用戶興趣區域位於包含人的用戶興趣區域的正上方，則該圖像的美觀程度較低。
需要說明的是，步驟1、步驟2和步驟3的先後執行順序可以互換，也可以同時執行步驟1、步驟2和步驟3中的兩到三個，本實施方式對此並無限定。
步驟4：設備推薦刪除
設備將相似度高的圖像進行聚合推薦刪除，設備將類別標籤中不包含或包含較弱語義信息的圖像推薦刪除，設備將美觀度低的圖像推薦刪除。在推薦相似度高的圖像進行刪除時，以第一幅圖像為基準，在各個圖像中顯示與第一幅圖像的區別，方便用戶選取保留的圖像。
圖32為根據本發明實施方式，基於圖像內容的智能刪除示意圖。如圖32所示，可以利用色塊將各個圖像中的區別點高亮。
步驟5：設備檢查用戶操作刪除圖像
用戶在推薦刪除的圖像中選擇需要被保留的圖像，確認後點擊刪除按鈕。設備檢測到用戶的操作後，保留用戶選擇保留的圖像，將其他圖像刪除。或者，用戶在推薦刪除的圖像中選擇要刪除的圖像，確認後點擊刪除按鈕。設備檢測到用戶的操作後，刪除用戶選擇的圖像，保留其他圖像。
通過本實施方式，可以快速刪除不需要的圖像。
基於上述詳細分析，本發明實施方式還提出了一種圖像管理裝置。
圖33為根據本發明實施方式的圖像管理裝置結構圖。
如圖33所示，該裝置260包括：
操作檢測模塊261，用於檢測用戶針對圖像的操作；
管理模塊262，用於基於操作及圖像中的用戶興趣區域，管理所述圖像。
綜上所述，本發明實施方式主要包括：(1)；在圖像中產生用戶興趣區域的實現方法；(2)、基於用於興趣區域在圖像瀏覽和檢索、快速分享等圖像管理方面的具體應用。
具體地，本發明實施方式可以針對圖像建立區域列表，其中包含每幅圖像的瀏覽頻率、圖像中各個區域所包含的物體類別、各個區域的受關注程度，等等。在瀏覽時，用戶可以在圖像中選取多個用戶興趣區域，對於每個用戶興趣區域用戶可以採取多種操作，例如單擊、雙擊、划動等，不同的操作產生不同的搜索結果作為候選提供給用戶，候選圖像的順序按照用戶的喜好程度進行排序。另外，用戶可以從相冊中選取多幅圖像中的多個用戶興趣區域進行搜索，用戶也可以實時從攝像頭捕捉的圖像中選取用戶興趣區域進行搜索，以此達到快速瀏覽的目的。另外，可以根據用戶相冊中的圖像分布建立個性化的樹形結構，使得用戶的圖像被更有組織性，方便用戶快速瀏覽。
在圖像傳輸與分享方面，本發明實施方式通過部分壓縮圖像，對於用戶興趣區域進行低壓縮比的壓縮，從而保證該區域的清晰度。對於用戶興趣區域外採用高壓縮比的壓縮，從而節省傳輸過程中的電量消耗和帶寬資源。另外，通過分析圖像內容建立各幅圖像間的關聯，方便用戶快速分享。比如，在即時通訊軟體中，自動分析用戶的輸入，從圖像中截取相關區域提供給用戶進行選擇分享，等等。
本發明實施方式還實現了圖像精選方法，包括兩種方式：從圖像到文字和從文字到圖像。
本發明實施方式還實現了將相冊中同一來源的文字圖像轉換為一個文檔的功能。
本發明實施方式還實現了智能刪除推薦，將視覺相似、內容相似、圖像質量低以及不包含有意義物體的圖像推薦給用戶進行刪除。
以上所述僅為本發明的較佳實施方式而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。