一種可視化的網絡用戶多媒體管理方法
2023-07-20 05:33:41
專利名稱：一種可視化的網絡用戶多媒體管理方法
技術領域：
本發明涉及網絡尤其是社交網絡數據管理，多媒體檢索領域及地圖開發領域，特別涉及在地圖上生成遊記系統。
背景技術：
隨著生活水平的提高，人們開始熱衷旅遊，並在旅遊過程中拍攝大量圖片上傳到圖片分享網站與社交網絡。知名的圖片分享網站如Flickr，上傳的圖片總數達50億張。社交網絡中的圖片上傳數量更為驚人，光hcebook—家就達到了 600億。在我國，人人網、開心網等社交網站成為了主要的上傳與分享圖片的途徑。並且，隨著4G時代的到來，不僅在 ^utube、優酷、土豆網等視頻分享網站，社交網絡中用戶上傳的視頻數據也會急劇上升。因此，對於如此大規模的用戶數與多媒體數據，如何有效地管理頗為重要。目前的分享網站社交網絡中的圖片與視頻管理方式基本相同。一個用戶下有若干文件夾，這樣的管理方式不利於向用戶直觀展示這些多媒體數據的空間位置分布，以及用戶旅遊時的路線。隨著科技的進步，人們使用智慧型手機和部分數位相機拍照時帶有時間和GPS記錄功能，在上傳圖片時，Flickr可用戶手動在地圖上找到圖片位置標註。在Flickr上，當用戶查看的圖片具有GPS時，會出現該圖片在地圖上對應的位置。微軟亞洲研究院發布的 TRAVELGUIDE系統，該系統用戶可在地圖上找到景點位置，添加圖片並添加評論，系統自動生成路線，以動畫方式放映。但這一功能僅針對某張圖，或某次旅行，並未被用戶大規模相片的管理中，尤其未被用於社交網絡的圖片管理中。並且更沒有提供對視頻的相關展示功能。現有的社交網絡的圖片管理方法未能以可視化的方式管理圖片。同時，現有的圖片管理方法僅能查看用戶本人圖片和評論，當用戶需要查看同一景點代表性圖片及評論要格外使用搜尋引擎。
發明內容
本發明的目的是提供一種直觀的形式豐富的網絡用戶多媒體管理方法，將用戶選擇的數據，不僅僅是圖片，還包括視頻、音頻、文字在地圖上的對應位置顯示，並連成旅遊路線，在連成線路同時，呈現用戶的旅遊與日常生活，與社交網絡中的好友分享，方便用戶，更好地推廣在地圖上生成遊記。為達到以上目的，本發明是採取如下技術方案予以實現的一種可視化的網絡用戶多媒體管理方法，其特徵在於，包括下述步驟用戶多媒體數據輸入單元10、確定數據GPS單元20、時間窗單元30 ；多媒體類型選擇單元40 ；地圖自適應縮放單元50 ；在地圖上顯示多媒體圖標及路線單元60 ；用戶瀏覽旅遊日誌單元70 ；所述用戶多媒體數據輸入單元10對圖片100、視頻110、文字120和音頻130建立索引；
所述確定數據GPS單元20將用戶多媒體數據輸入單元10中建好索引的數據進行 GPS確定，包括解析數據附帶的位置信息；對於無位置信息的數據，用戶進行手動GPS標註， 在地圖上找到對應位置；對於地名而非GPS信息，通過地名與GPS轉換API獲得GPS ；所述時間窗單元30對確定數據GPS單元20進行GPS確定的索引進行時間索引；所述多媒體類型選擇單元40將時間窗單元30確定時間索引後的多媒體數據進行種類選擇，包括圖片、視頻、文字和音頻某一種，或組合；在時間窗單元30的基礎上再進行多媒體類型要求的索引；所述地圖自適應縮放單元50針對時間窗單元30確定的和多媒體類型選擇單元40 選定的索引結果，進行地圖縮放級別的確定，以使得所選定的時間窗及選定類型的多媒體內容在地圖上恰好佔據整個屏幕，使遊記有更好的展示效果；所述在地圖上顯示多媒體圖標及路線單元60，將來自地圖自適應縮放單元50多媒體數據及地圖縮放級別，根據時間、GPS、圖標存放位置，按照時間先後順序在地圖上對應 GPS顯示多媒體圖標，並根據時間先後連成路線，並生成旅遊日誌；所述用戶瀏覽旅遊日誌單元70對所生成的旅遊日誌進行遊記瀏覽，包括多媒體資料瀏覽單元700，代表性圖片單元710，和評論單元720。上述方案中，所述用戶多媒體數據輸入單元10對圖片、視頻、文字和音頻建立索引的具體步驟為建立索引表，每個多媒體資料為一行，列數為9，每一列表示一個索引類型，分別為id為表示圖片唯一的編號；uf為user flag，表示標記此圖是否為用戶上傳圖片；u為 user Id，表示用戶編號；t為time，表示圖片上傳時間；m為material表示多媒體種類；gps 表示多媒體資料的GPS ；url表示多媒體資料的存放地址；icon表示多媒體資料的略縮圖標的存放地，其中圖片圖標為略縮圖，視頻圖標為第一幀的略縮圖，文字圖標與音樂圖片為表示文字和音樂的圖標；c表示評論存放地址，索引提供指向存儲在表的指定列中的數據值的指針，然後根據指定的排序順序對這些指針排序；所述時間窗單元30對確定數據GPS單元20進行GPS確定的索引進行時間索引的具體方法為記距今最遠時間為『，距今最近距離為、2。將用戶所選擇的時間段為、和t2， 初始時、=t01, t2 = 『。本發明提供兩種途徑供用戶選擇時間段。途徑一為直接輸入具體的起始和結束時間。途徑二為移動滾動條的左右按鈕。在途徑二中，滾動條的最左端為 t01最右端為『始終不變，中間位置均勻與時間一一映射，這樣左右按鈕映射到了新的、、 t2。根據、、t2確定時間索引範圍。所述地圖自適應縮放單元50中的地圖縮放級別的確定步驟為首先獲取在確定數據GPS單元20中GPS在經度和緯度上的極值，記為LAm以及L0m。然後根據LAm，LOm的值來確定地圖的縮放級別；方法為將地圖選定為某一等級i，獲取上下左右極值點，並計算得到經度緯度距離分別記LAi, LOi,在選擇縮放級別時，比較LAm，LAi LAi+1,以及L0m，L0」，L0J+1， 當LA^ < LAm < LAi&LOj^ < LOm < L0」，選k = min(i, j)，則選定的地圖縮放級別為k。所述代表性圖片單元710中的代表性圖片生成流程包括圖片庫建立單元、圖片庫預處理單元和代表性圖片生成單元，其中圖片庫建立單元首先用用戶標識Uf來區別圖片是否為用戶上傳圖片，對於非用戶上傳圖片則無需進行GPS對應景點圖片擴充；對用戶上傳圖片的GPS在庫內進行索引，當圖片數達到30張以上時則不需要進行補圖，否則進行TOB檢索，利用圖片搜尋引擎進行補圖併入庫，同樣選擇補圖數為30，在此之前需進行GPS與地名轉換；圖片庫預處理單元對圖片分別進行視覺特徵提取，KMEANS聚類、類間排序與類內排序；所述視覺特徵為全局特徵，包括顏色直方圖、顏色矩、小波紋理特徵；接著，對全局特徵進行KMEANS聚類，取聚類中心數為30，包括4個季節白天黑色和不用場景類型的組合， 通過聚類，圖片庫中圖片根據其顏色和紋理劃分到不同的類中，根據圖片種類和拍攝時間排序，然後進行類間排序，根據類內GPS、用戶與拍攝時間分布廣度排序；類內SIFT匹配排序，對各類做類內的SIFT匹配比較選取一張圖片Pi，將某一 SIFT描述Xim與另一張圖片 Pj中的所有SIFT描述Xjn做相似性度量，選擇距離最近的點作為預選匹配對，為了達到對稱性，只有當Xjn的最近距離點也為Xim時，才確定兩點匹配；當兩張圖片間的匹配點數達到3對時，認為這兩張圖片匹配，根據圖片與其他圖片匹配的張數排序；代表性圖片生成單元為提高瀏覽代表性圖片的速度，建立針對代表性圖片集的索引結構對代表性圖片集建立索引表，每張代表性圖片為一行，列數為5，每一列表示一個索引類型，分別為id為表示圖片唯一的編號；gps表示多媒體資料GPS ；url表示多媒體資料的存放地址；clu代表圖片所屬聚類類別標號；q代表圖片在類內排序標號；索引提供指向存儲在表的指定列中的數據值的指針，然後根據指定的排序順序對這些指針排序；在用戶瀏覽代表性圖片時，先進行 GPS索引，找到特定GPS範圍內的圖片對應的行，然後按照類別標號與類內排序標號從小到大順序讀取圖片，如clulql，clu2ql...clunql，clulq2，clu2q2…此處η的選擇根據實際情況為10。與現有技術相比，本發明優點在於，為多媒體資料離線建立索引，並進行預處理， 使用戶在線獲取個人數據時減少等待時間。對於用戶新上傳數據，可與已存庫中多媒體數據建立相同索引結構。選取的代表性圖片地點準確，能反映該地點代表景物，能反映該地點不同季節、不同時間如白天、黑夜，不用視角，圖片重複性少。並且用戶不需要額外藉助搜尋引擎，即能瀏覽該景點代表性圖片，彌補了用戶旅遊時僅能看到某一季節或時間段圖片的遺憾。
圖1為本發明方法的總體步驟示意圖。圖2為本發明方法中採用軟體遊記界面示意圖。圖中標記1為地圖區域，標記2 為用戶當前選擇多媒體信息區域，包括拍攝時間、位置信息等。標記3為時間窗，能選擇在地圖上顯示遊記的時間範圍。標記4為多媒體瀏覽器區域，包括如圖片和視頻文件第一幀， 共有4個按鈕，上下按鈕為遊覽前後景點，左右按鈕為瀏覽同一景點代表性圖片。標記5為評論框區域，包括用戶評論、官方評論、其他用戶評論和好友評論。標記6為好友窗口區域， 顯示瀏覽過該景點的好友，可遊覽該好友瀏覽此景點時的圖片和評論。標記7為多媒體類型選擇，可任意組合圖片、視頻、文字和音樂顯示。圖3為圖1中的代表性圖片生成示意圖。圖4為本發明方法中所採用的多媒體數據索引結構圖。其中(a)圖為多媒體資料索引結果，uf表示user flag。標記此圖是否為用戶上傳圖片，用以與從WEB中檢索的圖區分。u表示user Id。t表示圖片上傳時間。m表示多媒體種類，如圖片、視頻、文字和音樂。 gps表示多媒體資料GPS。url表示多媒體資料的存放地址。icon表示多媒體資料的圖標的存放地址。c表示評論地址。(b)圖為針對代表性圖片的索引結構。僅針對代表性圖片建立的圖片索引gps代表圖片所在GPS。url代表圖片存放地址。clu代表圖片所屬聚類類別標號。q代表圖片在類內排序標號。圖5為本發明方法效果截圖。其中(a)圖為用戶i的遊記，選擇的媒體類型為圖片。在地圖上生成遊記並顯示路線；(b)圖為用戶i調整時間窗後遊記，可見瀏覽景點減少， 圖片數減少。
具體實施例方式圖1給出了本發明中對社交網絡用戶多媒體資料進行可視化管理的方法的總體步驟示意圖。包括用戶多媒體數據輸入單元10、確定數據GPS單元20、時間窗單元30 ；多媒體類型選擇單元40 ；地圖自適應縮放單元50 ；在地圖上顯示多媒體圖標及路線單元60 ； 用戶瀏覽旅遊日誌單元70。所述的用戶多媒體數據輸入單元10中的多媒體數據包括圖片100、視頻110、文字 120和音頻130。該單元對圖片、視頻、文字和音頻建立索引。具體建立索引步驟，建立索引表如圖4(a)所示，每個多媒體資料為一行，列數為 9，每一列表示一個索引類型，分別為id為表示圖片唯一的編號；uf為user flag，表示標記此圖是否為用戶上傳圖片；u為user Id，表示用戶編號；t為time，表示圖片上傳時間；m 為material表示多媒體種類；gps表示多媒體資料GPS ；url表示多媒體資料的存放地址； icon表示多媒體資料的略縮圖標的存放地，其中圖片的圖標為略縮圖，視頻的圖標為第一幀略縮圖，文字圖標與音樂圖標為表示文字和音樂的圖標；c表示評論存放地址。索引提供指向存儲表的指定列中的數據值的指針，然後根據指定的排序順序對這些指針排序。確定數據GPS單元20將用戶多媒體數據輸入單元10中建好索引數據進行GPS確定，確定包括解析數據附帶的位置信息；對於無位置信息的數據，用戶進行手動GPS標註， 在地圖上找到對應位置；對於地名而非GPS信息，通過地名與GPS轉換API獲得GPS。以上單元10單元20為離線預處理單元，離線建立索引使用戶在線獲取個人數據時減少等待時間。對於用戶新上傳數據，添加到已有索引表中，與已存庫中多媒體數據建立相同索引結構。時間窗單元30對確定數據GPS單元20所GPS確定的索引進行時間索引，用戶可選擇具體的時間段進行遊記生成並瀏覽，便於用戶有針對性查找資料。對建立索引用進行時間索引，記距今最遠時間為『，距今最近距離為『。將用戶所選擇的時間段為、和t2， 初始時、=t01, t2 = 『。本發明提供兩種途徑使用戶選擇時間段。途徑一為直接輸入具體的起始和結束時間。途徑二為移動滾動條的左右按鈕。在途徑二中，滾動條的最左端為 ^最右端為『始終不變，中間位置均勻一一映射，這樣左右按鈕映射到了新的t1; t2。在索引中，進行滿足時間要求的索引。多媒體類型選擇40將時間窗單元30確定時間索引後的多媒體資料數據進行種類選擇，包括圖片、視頻、文字和音頻某一種，或組合；在時間窗單元30的基礎上再進行多媒體類型要求的索引。地圖自適應縮放單元50針對時間窗單元30確定的和多媒體類型選擇單元40選定的索引結果，進行地圖縮放級別的確定，以使得所選定的時間窗及選定類型的多媒體內容在地圖上恰好佔據整個屏幕，使遊記有更好的展示效果，步驟為首先獲取在確定數據GPS 單元20中GPS在經度和緯度上的極值，記為LAm以及L0m。然後根據LAm，LOm的值來確定地圖的縮放級別。方法為將地圖選定為某一等級i，獲取上下左右極值點，並計算得到經度緯度距離分別記LAi, LOi0在選擇縮放級別時，比較LAm，LAi, LAi+1，以及L0m，LOj, L0J+1,當LAh < LAm < LA^LOjm < LOm < LOj,選k = min (i，j)，則選定的地圖縮放級別為k。這裡給出必應地圖中i級LAi, LOi數據做參考
權利要求
1.一種可視化的網絡用戶多媒體管理方法，其特徵在於，包括下述步驟用戶多媒體數據輸入單元10、確定數據GPS單元20、時間窗單元30 ；多媒體類型選擇單元40 ；地圖自適應縮放單元50 ；在地圖上顯示多媒體圖標及路線單元60 ；用戶瀏覽旅遊日誌單元70 ；所述用戶多媒體數據輸入單元10對圖片100、視頻110、文字120和音頻130建立索引；所述確定數據GPS單元20將用戶多媒體數據輸入單元10中建好索引的數據進行GPS 確定，包括解析數據附帶的位置信息；對於無位置信息的數據，用戶進行手動GPS標註，在地圖上找到對應位置；對於地名而非GPS信息，通過地名與GPS轉換API獲得GPS ；所述時間窗單元30對確定數據GPS單元20進行GPS確定的索引進行時間索引；所述多媒體類型選擇單元40將時間窗單元30確定時間索引後的多媒體數據進行種類選擇，包括圖片、視頻、文字和音頻某一種，或組合；在時間窗單元30的基礎上再進行多媒體類型要求的索引；所述地圖自適應縮放單元50針對時間窗單元30確定的和多媒體類型選擇單元40選定的索引結果，進行地圖縮放級別的確定，以使得所選定的時間窗及選定類型的多媒體內容在地圖上恰好佔據整個屏幕，使遊記有更好的展示效果；所述在地圖上顯示多媒體圖標及路線單元60，將來自地圖自適應縮放單元50多媒體數據及地圖縮放級別，根據時間、GPS、圖標存放位置，按照時間先後順序在地圖上對應GPS 顯示多媒體圖標，並根據時間先後連成路線，並生成旅遊日誌；所述用戶瀏覽旅遊日誌單元70對所生成的旅遊日誌進行遊記瀏覽，包括多媒體資料瀏覽單元700，代表性圖片單元710，和評論單元720。
2.如權利要求1所述的可視化的網絡用戶多媒體管理方法，其特徵在於，用戶多媒體數據輸入單元10對圖片、視頻、文字和音頻建立索引的具體步驟為建立索引表，每個多媒體資料為一行，列數為9，每一列表示一個索引類型，分別為id 為表示圖片唯一的編號；uf為user flag，表示標記此圖是否為用戶上傳圖片；u為user Id，表示用戶編號；t為time，表示圖片上傳時間；m為material表示多媒體種類；gps表示多媒體資料的GPS ；url表示多媒體資料的存放地址；icon表示多媒體資料的略縮圖標的存放地，其中圖片圖標為略縮圖，視頻圖標為第一幀略縮圖，文字圖標與音樂圖片為表示文字和音樂的圖標；c表示評論存放地址，索引提供指向存儲在表的指定列中的數據值的指針， 然後根據指定的排序順序對這些指針排序。
3.如權利要求1所述的可視化的網絡用戶多媒體管理方法，其特徵在於，所述時間窗單元30對確定數據GPS單元20進行GPS確定的索引進行時間索引的具體方法為記距今最遠時間為『，距今最近距離為『。將用戶所選擇的時間段為、和t2，初始時 ti = toi, t2 = t02O本發明提供兩種途徑供用戶選擇時間段。途徑一為直接輸入具體的起始和結束時間。途徑二為移動滾動條的左右按鈕。在途徑二中，滾動條的最左端為^最右端為『始終不變，中間位置均勻與時間一一映射，這樣左右按鈕映射到了新的、、、。根據 、、t2確定時間索引範圍。
4.如權利要求1所述的可視化的網絡用戶多媒體管理方法，其特徵在於，所述地圖自適應縮放單元50中的地圖縮放級別的確定步驟為首先獲取在確定數據GPS單元20中GPS 在經度和緯度上的極值，記為LAm以及L0m。然後根據LAm，L0m的值來確定地圖的縮放級別；方法為將地圖選定為某一等級i，獲取上下左右極值點，並計算得到經度緯度距離分別記 LAi, LOi,在選擇縮放級別時，比較 LAm，LAi, LAi+1，以及 L0m，LOj, L0J+1,當 LAh < LAm < LA^LCV1 < LOffl < LOj,選k = min(i, j)，則選定的地圖縮放級別為k。
5.如權利要求1所述的可視化的網絡用戶多媒體管理方法，其特徵在於，所述代表性圖片單元710中的代表性圖片生成流程包括圖片庫建立單元、圖片庫預處理單元和代表性圖片生成單元，其中圖片庫建立單元首先用用戶標識uf來區別圖片是否為用戶上傳圖片，對於非用戶上傳圖片則無需進行GPS對應景點圖片擴充；對用戶上傳圖片的GPS在庫內進行索引，當圖片數達到30張以上時則不需要進行補圖，否則進行TOB檢索，利用圖片搜尋引擎進行補圖併入庫，同樣選擇補圖數為30，在此之前需進行GPS與地名轉換；圖片庫預處理單元對圖片分別進行視覺特徵提取，KMEANS聚類、類間排序與類內排序； 所述視覺特徵為全局特徵，包括顏色直方圖、顏色矩、小波紋理特徵；接著，對全局特徵進行KMEANS聚類，取聚類中心數為30，包括4個季節白天黑色和不用場景類型的組合，通過聚類，圖片庫中圖片根據其顏色和紋理劃分到不同的類中，根據圖片種類和拍攝時間排序， 然後進行類間排序，根據類內GPS、用戶與拍攝時間分布廣度排序；類內SIFT匹配排序，在各類做類內的SIFT匹配比較選取一張圖片Pi，將某一 SIFT描述Xim與另一張圖片Pj中的所有SIFT描述Xjn做相似性度量，選擇距離最近的點作為預選匹配對，為了達到對稱性， 只有當Xjn的最近距離點也為Xim時，才確定兩點匹配；當兩張圖片間的匹配點數達到3對時，認為這兩張圖片匹配，根據圖片與其他圖片匹配的張數排序；代表性圖片生成單元為提高瀏覽代表性圖片的速度，建立針對代表性圖片集的索引結構對代表性圖片集建立索引表，每張代表性圖片為一行，列數為5，每一列表示一個索引類型，分別為id為表示圖片唯一的編號；gps表示多媒體資料GPS ；url表示多媒體資料的存放地址；clu代表圖片所屬聚類類別標號；q代表圖片在類內排序標號；索引提供指向存儲在表的指定列中的數據值的指針，然後根據指定的排序順序對這些指針排序；在用戶瀏覽代表性圖片時，先進行GPS索引，找到特定GPS範圍內的圖片對應的行，然後按照類別標號與類內排序標號從小到大順序讀取圖片。
全文摘要
本發明公開了一種可視化的網絡用戶多媒體管理方法，區別於現有僅以不同文件夾存放、管理多媒體數據的方法，其特徵在於對於用戶已上傳的圖片、音頻、視頻和文檔，本發明根據圖片自帶GPS與時間信息，在地圖上生成旅遊路線，並可在電腦和手機端顯示；系統實時提供與瀏覽圖片同一地點的代表性圖片，官方介紹和其他用戶評論並且可編輯自己感受；用戶可選擇時間段查看遊記；用戶可將旅遊日誌與好友分享；對數據建立索引結構，並離線預處理GPS信息與代表性圖片。
文檔編號G06F17/30GK102521253SQ20111036497
公開日2012年6月27日 申請日期2011年11月17日 優先權日2011年11月17日
發明者李凡, 李靖, 蔣舒卉, 藍可, 錢學明 申請人:西安交通大學