組圖抓取方法與裝置製造方法
2023-06-02 02:37:16 2
組圖抓取方法與裝置製造方法
【專利摘要】本發明提供了一種組圖抓取方法與裝置，其中，組圖抓取方法包括：獲取網站的組圖抓取日誌信息；對所述網站的組圖抓取日誌信息進行解析，根據解析結果確定所述網站中的組圖頁面為有效頁面；根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取，其中，所述組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。通過本發明，提高了組圖抓取的有效性和準確性，實現了對組圖頁面中組圖的有效抓取。
【專利說明】組圖抓取方法與裝置【技術領域】
[0001]本發明涉及計算機【技術領域】，特別是涉及一種組圖的抓取方法與裝置。
【背景技術】
[0002]隨著網絡技術的高速發展，人們的生活和工作越來越多地依賴網絡進行，而網站中的網頁就是網絡的必需元素。一個網頁可能要表述一個或者一個以上的主題內容，圖片則是形像描述或補充這些主題內容的重要組成部分，如，新聞頁面中的新聞附屬圖片、影音視頻中的視頻圖片、以及主要以圖片為主的圖片網頁中各種類型的圖片。
[0003]現有的網頁圖片通常以單張展示的形式部署在網頁中的相應位置，當需要抓取圖片時，可以獲取待抓取圖片的URL (Uniform Resource Locator,統一資源定位符)地址,然後以單張圖片為單位，逐張進行圖片抓取。
[0004]然而，在圖片抓取過程中，一方面，常因各種原因，如失鏈、盜鏈、網頁模板更新等，導致無法有效、準確地抓取圖片；另一方面，隨著圖片展現形式的發展，網頁圖片展示出現了組圖的形式，其中，組圖指網頁上的多個頁面中的圖組成了一個大的圖片內容，將這些圖組合在一起，形成組圖，因一個組圖中包含了多張圖片內容，使用現有的單張圖片抓取的方式，也無法實現組圖圖片的有效抓取。
[0005]總之，現有的圖片抓取方式無法實現圖片的有效準確抓取，尤其是，無法實現組圖圖片的有效準確抓取。
【發明內容】
[0006]鑑於上述現有的圖片抓取方式，無法實現組圖圖片的有效準確抓取的問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的組圖抓取方法與裝置。
[0007]依據本發明的一個方面，提供了一種組圖抓取方法，包括:獲取網站的組圖抓取日誌信息；對所述網站的組圖抓取日誌信息進行解析，根據解析結果確定所述網站中的組圖頁面為有效頁面；根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取，其中，所述組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0008]可選地，所述根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取的步驟包括:根據所述有效數據的起始標誌和結束標誌，從有效的所述組圖頁面的索引頁面中，獲取至少一個組圖的索引信息；根據所述索引信息確定每個所述組圖對應的有效的內容頁面；根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓 取。
[0009]可選地，根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取的步驟包括:根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，獲取每個所述組圖的詳細配置信息，其中，每個所述組圖的詳細配置信息包括每個所述組圖包括的各個子圖的URL地址信息；根據所述URL地址信息，對每個所述組圖包括的各個子圖進行抓取。
[0010]可選地，所述組圖抓取規則還包括組圖展示規則；在所述對有效的所述組圖頁面進行組圖抓取的步驟之後，還包括:按照所述組圖展示規則，對抓取的組圖進行展示。
[0011]可選地，所述組圖抓取規則還包括抓取流量控制規則；所述根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取的步驟包括:根據所述預置的組圖抓取規則，按照所述抓取流量控制規則指示的流量，分批對有效的所述組圖頁面進行組圖抓取。
[0012]可選地，所述組圖抓取規則還包括組圖存儲規則；在所述對有效的所述組圖頁面進行組圖抓取的步驟之後，還包括:按照所述組圖存儲規則指示的數據結構，將抓取的每個所述組圖存儲為對應的一個結構化組圖數據，將所述結構化組圖數據存儲在圖床集群中。
[0013]可選地，在將所述結構化組圖數據存儲在圖床集群的步驟之後，還包括:當需要訪問存儲在所述圖床集群中的組圖的結構化組圖數據時，從存儲有所述組圖的結構化組圖數據的索引信息的圖床抓取集群中，獲取待訪問的組圖的結構化組圖數據的索引信息，根據所述索引信息確定待訪問的組圖的結構化組圖數據在所述圖床集群中的存儲位置；根據所述存儲位置從所述圖床集群中訪問所述待訪問的組圖的結構化組圖數據。
[0014]可選地，所述方法還包括:收集根據所述解析結果確定的失效的組圖頁面的信息；對所述失效的組圖頁面的信息進行分析，根據分析結果刪除或修改所述組圖抓取規則中，抓取所述失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0015]根據本發明的另一方面，提供了一種組圖抓取裝置，包括:獲取模塊，用於獲取網站的組圖抓取日誌信息；確定模塊，用於對所述網站的組圖抓取日誌信息進行解析，根據解析結果確定所述網站中的組圖頁面為有效頁面；抓取模塊，用於根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取，其中，所述組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0016]可選地，所述抓取模塊，用於根據所述有效數據的起始標誌和結束標誌，從有效的所述組圖頁面的索引頁面中，獲取至少一個組圖的索引信息；根據所述索引信息確定每個所述組圖對應的有效的內容頁面；根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取。
[0017]可選地，所述抓取模塊在根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取時:根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，獲取每個所述組圖的詳細配置信息，其中，每個所述組圖的詳細配置信息包括每個所述組圖包括的各個子圖的URL地址信息；根據所述URL地址信息，對每個所述組圖包括的各個子圖進行抓取。
[0018]可選地，所述組圖抓取規則還包括組圖展示規則；所述裝置還包括:展示模塊，用於在所述抓取模塊對有效的所述組圖頁面進行組圖抓取之後，按照所述組圖展示規則，對抓取的組圖進行展示。
[0019]可選地，所述組圖抓取規則還包括抓取流量控制規則；所述抓取模塊，用於根據所述預置的組圖抓取規則，按照所述抓取流量控制規則指示的流量，分批對有效的所述組圖頁面進行組圖抓取。[0020]可選地，所述組圖抓取規則還包括組圖存儲規則；所述裝置還包括:存儲模塊，用於在所述抓取模塊對有效的所述組圖頁面進行組圖抓取之後，按照所述組圖存儲規則指示的數據結構，將抓取的每個所述組圖存儲為對應的一個結構化組圖數據，將所述結構化組圖數據存儲在圖床集群中。
[0021]可選地，所述裝置還包括:訪問模塊，用於在所述存儲模塊將所述結構化組圖數據存儲在圖床集群之後，當需要訪問存儲在所述圖床集群中的組圖的結構化組圖數據時，從存儲有所述組圖的結構化組圖數據的索引信息的圖床抓取集群中，獲取待訪問的組圖的結構化組圖數據的索引信息，根據所述索引信息確定待訪問的組圖的結構化組圖數據在所述圖床集群中的存儲位置；根據所述存儲位置從所述圖床集群中訪問所述待訪問的組圖的結構化組圖數據。
[0022]可選地，所述裝置還包括:更新模塊，用於收集根據所述解析結果確定的失效的組圖頁面的信息；對所述失效的組圖頁面的信息進行分析，根據分析結果刪除或修改所述組圖抓取規則中，抓取所述失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0023]本發明的組圖抓取方案中，首先通過對網站的組圖抓取日誌信息的分析，確定出有效的組圖頁面，進而，再根據預置的組圖抓取規則，對這些有效的組圖頁面中的組圖進行抓取。一方面,通過確定待抓取的組圖頁面的有效性,避免了對無效頁面,如網站模板已更改的頁面、失鏈頁面、盜鏈頁面，進行組圖抓取，提高了組圖抓取的有效性和準確性；另一方面，通過預置的組圖抓取規則，實現了對組圖頁面中組圖的有效抓取。
[0024]上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的【具體實施方式】。
【專利附圖】
【附圖說明】
[0025]通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0026]圖1是根據本發明實施例一的一種組圖抓取方法的步驟流程圖；
[0027]圖2是根據本發明實施例二的一種組圖抓取方法的步驟流程圖；
[0028]圖3是根據本發明實施例三的一種組圖抓取方法的步驟流程圖；
[0029]圖4是根據本發明實施例四的一種組圖抓取裝置的結構框圖。
【具體實施方式】
[0030]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
[0031]實施例一
[0032]參照圖1，示出了根據本發明實施例一的一種組圖抓取方法的步驟流程圖。[0033]本實施例的組圖抓取方法包括以下步驟:
[0034]步驟S102:獲取網站的組圖抓取日誌信息。
[0035]與網站蜘蛛爬取網站信息類似，當從網站中抓取圖片時，圖片抓取工具會生成相應的圖片抓取日誌，同樣，當從網站中抓取組圖時，則圖片抓取工具會生成相應的組圖抓取日誌。在組圖抓取日誌中，記錄了對網站中的組圖的抓取信息。
[0036]組圖抓取日誌可以存儲在抓取組圖的機器中，當需要時，通過指定的路徑查找到相應的組圖抓取日誌，進而對查找到的組圖抓取日誌進行分析，獲取組圖抓取日誌信息，如，對某個網站的組圖抓取是否成功，抓取失敗的次數、時間、網站信息等等。
[0037]步驟S104:對網站的組圖抓取日誌信息進行解析，根據解析結果確定網站中的組圖頁面為有效頁面。
[0038]例如，通過對組圖抓取日誌信息進行解析，發現一段時間以來對該網站組圖頁面的組圖抓取均為失敗，則確定該網站中的組圖頁面失效；反之，則有效。再例如，通過對組圖抓取日誌信息進行解析，發現一段時間以來無法連接到某個網站，則確定該網站中的組圖頁面失效等等。但不限於此，其它傳統的通過分析日誌信息確定網頁是否有效的方案也同樣適用。
[0039]步驟S106:根據預置的組圖抓取規則，對有效的組圖頁面進行組圖抓取。
[0040]其中，組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。有效數據的起始標誌和結束標誌用於標識出組圖，正則表達式則用於對標識出的組圖進行圖片抓取。
[0041]組圖抓取規則可以以任意適當形式存在，一種優選形式為組圖抓取模板的形式。對組圖抓取模板中的內容進行預先配置，生成相應的組圖抓取規則。但不限於此，其它組圖抓取規則形式，如資料庫形式、文本文件形式等，也同樣適用。
[0042]通過本實施例，首先對網站的組圖抓取日誌信息的分析，確定出有效的組圖頁面，進而，再根據預置的組圖抓取規則，對這些有效的組圖頁面中的組圖進行抓取。一方面，通過確定待抓取的組圖頁面的有效性，避免了對無效頁面，如網站模板已更改的頁面、失鏈頁面、盜鏈頁面，進行組圖抓取，提高了組圖抓取的有效性和準確性；另一方面，通過預置的組圖抓取規則，實現了對組圖頁面中組圖的有效抓取。
[0043]實施例二
[0044]參照圖2，示出了根據本發明實施例二的一種組圖抓取方法的步驟流程圖。
[0045]本實施例以組圖抓取工具作為進行組圖抓取的執行主體為例，對本發明的組圖抓取方法進行說明。但本領域技術人員應當明了，其它與組圖抓取工具類似的設備、應用、軟體、工具等均可參照本實施例進行組圖抓取。
[0046]本實施例的組圖抓取方法包括以下步驟:
[0047]步驟S202:組圖抓取工具獲取網站的組圖抓取日誌信息。
[0048]步驟S204:組圖抓取工具對網站的組圖抓取日誌信息進行解析，根據解析結果確定網站中的組圖頁面為有效頁面。
[0049]當組圖抓取工具使用組圖抓取規則抓取組圖失敗後，組圖抓取工具會將抓取失敗的信息存放在log即組圖抓取日誌中，通過分析組圖抓取日誌中的這些失敗信息就能判斷組圖頁面已失效。反之，則有效。[0050]步驟S206:組圖抓取工具獲取預置的組圖抓取規則。
[0051]組圖抓取規則可以設置於組圖抓取工具中，組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。其中，有效數據的起始標誌和結束標誌用於標識出組圖，正則表達式則用於對標識出的組圖進行圖片抓取。
[0052]優選地，組圖抓取規則還可以包括:組圖展示規則、抓取流量控制規則、組圖存儲規則中的一種或多種。其中，組圖展示規則用於指示抓取的組圖以何種形式展示，如，以一組相互連結的單頁形式展示；或者，在一個展示模板中展示一個組圖中的所有圖片(子圖)；或者，在一個展示模板中展示多個組圖，每個組圖中展示的當前頁可以為該組圖中的任意一個子圖，當用戶點擊某個子圖代表的組圖時，在新的頁面或窗口顯示該組圖的所有子圖，或者，以連結的形式逐個顯示該組圖的所有子圖，等等。
[0053]抓取流量控制規則用於控制抓取組圖時的流量，而組圖存儲規則用於指示抓取到的組圖以何種形式存儲。其中，對於抓取組圖時的流量控制來說，在爬蟲程序對目標網站中的網頁進行抓取的過程中，為了避免對同一網站無限制的抓取，而導致影響網站的正常訪問等情況的發生，通常需要對爬蟲程序在目標網站上的抓取流量或者頻率進行一定的限定，動態流量配額值便是對爬蟲程序在目標網站上的抓取流量的一種限定。在目標網站上進行網頁抓取的動態流量配額值，可以理解為在爬蟲程序執行抓取任務時，在單位時間內對同一網站的進行抓取的流量的限額，例如將對動態流量配額值限制為300萬條/日。
[0054]可選地，組圖抓取規則還可以包括:獲取組圖的下一頁的內容的規則，該規則用於若當前組圖頁面存在有下一頁時，獲取當前組圖頁面的下一頁的內容。
[0055]本實施例中，以組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、抓取組圖的正則表達式、組圖展示規則、抓取流量控制規則、和組圖存儲規則為例進行說明。
[0056]步驟S208:組圖抓取工具根據組圖抓取規則中規定的有效數據的起始標誌和結束標誌，從有效的組圖頁面的索引頁面中，獲取至少一個組圖的索引信息。
[0057]索引頁即網站中的導航頁，為用戶提供網站或者一組網頁的索弓丨，幫助用戶較快地找到想要獲取的信息。對於組圖頁面來說，組圖頁面的索引頁面提供了一組或多組組圖的索引，進而，通過組圖的索引，獲取組圖。
[0058]步驟S210:組圖抓取工具根據組圖的索引信息確定每個組圖對應的有效的內容頁面。
[0059]步驟S212:組圖抓取工具根據組圖抓取規則中的抓取組圖的正則表達式，從有效的內容頁面中，對每個組圖包括的各個子圖進行抓取。
[0060]組圖的內容頁面中包含有組圖的詳細配置信息，根據組圖的詳細配置信息即可進行組圖的抓取。
[0061]具體地，本步驟可以包括:組圖抓取工具根據組圖抓取規則中的抓取組圖的正則表達式，從有效的內容頁面中，獲取每個組圖的詳細配置信息，其中，每個組圖的詳細配置信息包括每個組圖包括的各個子圖的URL地址信息；根據URL地址信息，對每個組圖包括的各個子圖進行抓取。
[0062]優選地，當組圖抓取規則包括抓取流量控制規則時，根據預置的組圖抓取規則，對有效的組圖頁面進行組圖抓取的步驟包括:根據預置的組圖抓取規則，按照抓取流量控制規則指示的流量，分批對有效的組圖頁面進行組圖抓取。[0063]組圖網站所能承受的組圖抓取能力有限，因此，有必要對組圖抓取的流量進行控制。一方面，可以多個站點分不同的時段對組圖網站進行組圖抓取，實現組圖數據的分批抓取；另一方面，還可以對抓取的數據量進行控制，以避免一次抓取的數據量過大。通過流量控制，保障了組圖數據的順利抓取，也避免了組圖網站因無法承受瞬時大量的組圖抓取而導致的癱瘓。例如，可以根據搜尋引擎收集的目標網站的訪問統計數據，以及搜尋引擎的市場佔有率，用戶直接訪問量，以及網站冗餘流量，來共同確定目標網站的可承受訪問總量，再乘以預置的抓取壓力係數，作為目標網站的抓取承受流量。或者，可以獲取目標網站內所有已收錄網頁的網頁質量分布，進而獲取目標網站內所有已收錄網頁的網頁質量分布的總和，根據目標網站內所有網頁的網頁質量分布的總和，確定抓取目標網站的任務流量。例如，可以獲取一個或多個任務比例因子；如獲取目標網站中，待抓取的網頁數佔目標網站中已收錄網頁總數的比例；和/或，獲取目標網站中不重複的網頁數量佔目標網站中網頁總數的比例。然後根據網頁質量分布的總和與一個或多個任務比例因子的乘積，確定抓取目標網站的任務流量。
[0064]通過上述步驟S206 —步驟S212，實現了組圖抓取工具根據預置的組圖抓取規則，對有效的組圖頁面的組圖抓取。
[0065]步驟S214:組圖抓取工具根據組圖抓取規則中的組圖展示規則和組圖存儲規則，對抓取到的組圖進行展示和存儲。
[0066]對組圖的展示和存儲可以不分先後順序執行，也可以並行進行。
[0067]當組圖抓取規則中包括組圖展示規則時，在對有效的組圖頁面進行組圖抓取之後，按照組圖展示規則，對抓取的組圖進行展示。如，以一組相互連結的單頁形式展示；或者，在一個展示模板中展示一個組圖中的所有子圖；或者，在一個展示模板中展示多個組圖，每個組圖中展示的當前頁可以為該組圖中的任意一個子圖，當用戶點擊某個子圖代表的組圖時，在新的頁面或窗口顯示該組圖的所有子圖，或者，以連結的形式逐個顯示該組圖的所有子圖，等等。組圖展示規則可以通過對組圖瀏覽用戶的瀏覽行為進行調查和分析後設置，以儘可能地滿足大部分組圖瀏覽用戶的瀏覽需求，提升組圖瀏覽體驗。
[0068]當組圖抓取規則中包括組圖存儲規則時，在對有效的組圖頁面進行組圖抓取之後，按照組圖存儲規則指示的數據結構，將抓取的每個組圖存儲為對應的一個結構化組圖數據。也即，將一個組圖存儲為一個結構化組圖數據，該結構化組圖數據中包括了該組圖中的所有子圖的數據。其中，結構化組圖數據可以包括諸如:組圖中的標題、內容、圖片的URL等數據。使用結構化組圖數據存儲組圖，使得組圖的存儲、管理和查找都更為有效、方便、快速。進而，可以將組圖對應的結構化組圖數據存儲在圖床集群中。其中，圖床可以是專用於存儲圖片的存儲伺服器，多個專用於存儲圖片的存儲伺服器組成圖床集群。在將組圖對應的結構化組圖數據存儲在圖床集群中時，可以按照一定的規則和負載均衡機制進行存儲，以保存組圖對應的結構化組圖數據的快速、順利存儲，以及後續的快速、順利訪問。
[0069]步驟S216:組圖抓取工具收集根據解析結果確定的失效的組圖頁面的信息。
[0070]其中，收集的失效的組圖頁面的信息主要包括:失效的組圖頁面的結構信息、內容信息、URL信息中的一種或多種，當然，還可以根據實際需要收集失效組圖頁面的其它信息。根據這些信息可以判斷組圖頁面的失效原因，進行將失效原因作為參考，更新組圖抓取規則。[0071]步驟S218:組圖抓取工具對失效的組圖頁面的信息進行分析，根據分析結果更新組圖抓取規則。
[0072]其中，根據分析結果更新組圖抓取規則包括:刪除組圖抓取規則中，抓取失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式；或者，修改組圖抓取規則中，抓取失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式，以便後續對該頁面組圖進行順利抓取。
[0073]如，若對失效的組圖頁面的信息進行分析後，確定失效原因為URL失效，則可以重新獲取組圖網站和組圖頁面的URL地址，使用新的地址替換失效的URL地址；若對失效的組圖頁面的信息進行分析後，確定失效原因為網頁結構發生改變，則可以根據該改變更新組圖抓取規則，以適應改變後的組圖網頁的網頁結構，進行組圖抓取。
[0074]需要說明的是，上述步驟S216 - S218為可選步驟，通過步驟S216 — S218，實現了組圖抓取規則的及時更新和更為有效的組圖抓取。
[0075]通過本實施例，一方面，通過確定待抓取的組圖頁面的有效性，避免了對無效頁面，如網站模板已更改的頁面、失鏈頁面、盜鏈頁面，進行組圖抓取，提高了組圖抓取的有效性和準確性；另一方面，通過預置的組圖抓取規則，實現了對組圖頁面中組圖的有效抓取。
[0076]實施例三
[0077]參照圖3，示出了根據本發明實施例三的一種組圖抓取方法的步驟流程圖。
[0078]本實施例仍以組圖抓取工具為例，對本發明的組圖抓取方法進行說明。本實施例的組圖抓取方法包括以下步驟:
[0079]步驟S302:組圖抓取工具獲取網站的組圖抓取日誌信息。
[0080]本實施例中，設定組圖抓取工具抓取網站A、B、和C的組圖，獲取設定時間段，如一周以內的網站A、B、和C的組圖抓取日誌信息。
[0081]步驟S304:組圖抓取工具對網站的組圖抓取日誌信息進行解析，根據解析結果判斷網站中的組圖頁面是否為有效頁面；若為有效頁面，則執行步驟S306 ;若為失效頁面，則執行步驟S316。
[0082]本實施例中，設定網站A和B中的組圖頁面為有效頁面，網站C中的組圖頁面為失效頁面。
[0083]步驟S306:組圖抓取工具分別對網站A和B中的組圖進行抓取，每隔30分鐘抓取一次，每次抓取的數據量為1000M。
[0084]本實施例中，僅以單臺組圖抓取設備為例，但本領域技術人員應當明了，在實際使用中，可以同時有多臺組圖抓取設備進行組圖抓取工作，這種情況下，多臺組圖抓取設備可以分別對不同的網站進行組圖抓取，抓取可以分時段進行。
[0085]步驟S308:組圖抓取工具根據組圖抓取規則中規定的有效數據的起始標誌和結束標誌，從有效的組圖頁面的索引頁面中，獲取至少一個組圖的索引信息。
[0086]本實施例中，設定從網站A的組圖頁面的索引頁面中，獲取到「美女」組圖的索引信息，從網站B的組圖頁面的索引頁面中，獲取到「萌寵」組圖的索引信息，組圖的索引信息中包含有組圖數據的信息(即該網站有多少組圖)，以及，組圖對應的內容頁面的信息。
[0087]步驟S310:組圖抓取工具根據組圖的索引信息，確定每個組圖對應的有效的內容頁面。
[0088]組圖的內容頁面中包含有組圖的詳細配置信息，包括每個組圖所包括的各個子圖的URL地址信息。根據子圖的URL地址信息，即可進行組圖所包括的各個子圖的抓取。
[0089]可見，對索引頁面抓取的是組圖的索引信息，而內容頁面抓取的是組圖的詳細信息。組圖抓取工具先通過索引頁面獲取有多少組圖，進而對組圖的詳細配置信息進行抓取，通過圖片的URL來抓取圖片，存放在圖床(存儲圖片的數據集群)上即可。
[0090]步驟S312:當組圖抓取時間點到達時，組圖抓取工具根據組圖抓取規則中的抓取組圖的正則表達式，按照預設的組圖抓取數據量(即1000M)從有效的內容頁面中，對每個組圖包括的各個子圖進行抓取。
[0091]本發明中，通過正則表達式，對抓取組圖的邏輯和規則進行了定義，按照該正則表達式，根據子圖的URL地址信息，即可進行組圖抓取。
[0092]步驟S314:組圖抓取工具根據組圖抓取規則中的組圖展示規則和組圖存儲規則，對抓取到的組圖進行展示和存儲，結束本次流程。
[0093]例如，當抓取到組圖後，將組圖的首個子圖展示在瀏覽器窗口中，當用戶點擊該子圖時，彈出圖片展示的專用窗口進行該組圖下的所有子圖的展示。
[0094]當使用「圖床」存儲抓取到的組圖時，可以使用一個圖床集群(即存儲組圖的伺服器集群)存儲組圖。優選地，還可以設置圖床抓取集群，即，使用圖床抓取集群和圖床集群存儲組圖。其中，圖床集群中存儲實際的結構化組圖數據，圖床抓取集群則為結構化組圖數據的索引集群，其中存儲結構化組圖數據的索引信息。這樣，當需要查找或訪問結構化組圖數據時，可以先通過圖床抓取集群中存儲的索引信息，確定結構化組圖數據在圖床集群中的具體存儲位置，進而再到該具體存儲位置處查找和訪問待訪問的結構化組圖數據。也即，當需要訪問存儲在圖床集群中的組圖的結構化組圖數據時，首先從存儲有組圖的結構化組圖數據的索引信息的圖床抓取集群中，獲取待訪問的組圖的結構化組圖數據的索引信息；然後，根據所述索引信息確定待訪問的組圖的結構化組圖數據在圖床集群中的存儲位置；再根據所述存儲位置從圖床集群中訪問所述待訪問的組圖的結構化組圖數據。
[0095]步驟S316:組圖抓取工具收集根據解析結果確定的失效的組圖頁面的信息，對失效的組圖頁面的信息進行分析，根據分析結果更新組圖抓取規則。
[0096]通過本實施例，一方面，通過確定待抓取的組圖頁面的有效性，避免了對無效頁面，如網站模板已更改的頁面、失鏈頁面、盜鏈頁面，進行組圖抓取，提高了組圖抓取的有效性和準確性；另一方面，通過預置的組圖抓取規則，實現了對組圖頁面中組圖的有效抓取。
[0097]實施例四
[0098]參照圖4，示出了根據本發明實施例四的一種組圖抓取裝置的結構框圖。
[0099]本實施例的組圖抓取裝置包括:獲取模塊402，用於獲取網站的組圖抓取日誌信息；確定模塊404，用於對網站的組圖抓取日誌信息進行解析，根據解析結果確定網站中的組圖頁面為有效頁面；抓取模塊406，用於根據預置的組圖抓取規則，對有效的組圖頁面進行組圖抓取，其中，組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0100]優選地，抓取模塊406，用於根據有效數據的起始標誌和結束標誌，從有效的組圖頁面的索引頁面中，獲取至少一個組圖的索引信息；根據索引信息確定每個組圖對應的有效的內容頁面；根據抓取組圖的正則表達式，從有效的內容頁面中，對每個組圖包括的各個子圖進行抓取。
[0101]優選地，抓取模塊406在根據抓取組圖的正則表達式，從有效的內容頁面中，對每個組圖包括的各個子圖進行抓取時:根據抓取組圖的正則表達式，從有效的內容頁面中，獲取每個組圖的詳細配置信息，其中，每個組圖的詳細配置信息包括每個組圖包括的各個子圖的URL地址信息；根據URL地址信息，對每個組圖包括的各個子圖進行抓取。
[0102]優選地，組圖抓取規則還包括組圖展示規則；本實施例的組圖抓取裝置還包括:展示模塊408，用於在抓取模塊406對有效的組圖頁面進行組圖抓取之後，按照組圖展示規貝U，對抓取的組圖進行展示。
[0103]優選地，組圖抓取規則還包括抓取流量控制規則；抓取模塊406，用於根據預置的組圖抓取規則，按照抓取流量控制規則指示的流量，分批對有效的組圖頁面進行組圖抓取。
[0104]優選地，組圖抓取規則還包括組圖存儲規則；本實施例的組圖抓取裝置還包括:存儲模塊410，用於在抓取模塊406對有效的組圖頁面進行組圖抓取之後，按照組圖存儲規則指示的數據結構，將抓取的每個組圖存儲為對應的一個結構化組圖數據，將所述結構化組圖數據存儲在圖床集群中。
[0105]優選地，本實施例的組圖抓取裝置還包括:訪問模塊(圖中未示出)，用於在存儲模塊410將所述結構化組圖數據存儲在圖床集群之後，當需要訪問存儲在圖床集群中的組圖的結構化組圖數據時，從存儲有組圖的結構化組圖數據的索引信息的圖床抓取集群中，獲取待訪問的組圖的結構化組圖數據的索引信息，根據所述索引信息確定待訪問的組圖的結構化組圖數據在圖床集群中的存儲位置；根據所述存儲位置從圖床集群中訪問所述待訪問的組圖的結構化組圖數據。
[0106]優選地，本實施例的組圖抓取裝置還包括:更新模塊412，用於收集根據解析結果確定的失效的組圖頁面的信息；對失效的組圖頁面的信息進行分析，根據分析結果刪除或修改所述組圖抓取規則中，抓取所述失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0107]本實施例的組圖抓取裝置用於實現前述多個方法實施例中相應的組圖抓取方法，並具有相應的方法實施例的有益效果，在此不再贅述。
[0108]在此提供的組圖抓取方案不與任何特定計算機、虛擬系統或者其它設備固有相關。各種通用系統也可以與基於在此的示教一起使用。根據上面的描述，構造具有本發明方案的系統所要求的結構是顯而易見的。此外，本發明也不針對任何特定程式語言。應當明白，可以利用各種程式語言實現在此描述的本發明的內容，並且上面對特定語言所做的描述是為了披露本發明的最佳實施方式。
[0109]在此處所提供的說明書中，說明了大量具體細節。然而，能夠理解，本發明的實施例可以在沒有這些具體細節的情況下實踐。在一些實例中，並未詳細示出公知的方法、結構和技術，以便不模糊對本說明書的理解。
[0110]類似地，應當理解，為了精簡本公開並幫助理解各個發明方面中的一個或多個，在上面對本發明的示例性實施例的描述中，本發明的各個特徵有時被一起分組到單個實施例、圖、或者對其的描述中。然而，並不應將該公開的方法解釋成反映如下意圖:即所要求保護的本發明要求比在每個權利要求中所明確記載的特徵更多的特徵。更確切地說，如權利要求書所反映的那樣，發明方面在於少於前面公開的單個實施例的所有特徵。因此，遵循【具體實施方式】的權利要求書由此明確地併入該【具體實施方式】，其中每個權利要求本身都作為本發明的單獨實施例。
[0111]本領域那些技術人員可以理解，可以對實施例中的設備中的模塊進行自適應性地改變並且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特徵和/或過程或者單元中的至少一些是相互排斥之外，可以採用任何組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特徵以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權利要求、摘要和附圖)中公開的每個特徵可以由提供相同、等同或相似目的的替代特徵來代替。
[0112]此外，本領域的技術人員能夠理解，儘管在此所述的一些實施例包括其它實施例中所包括的某些特徵而不是其它特徵，但是不同實施例的特徵的組合意味著處於本發明的範圍之內並且形成不同的實施例。例如，在權利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
[0113]本發明的各個部件實施例可以以硬體實現，或者以在一個或者多個處理器上運行的軟體模塊實現，或者以它們的組合實現。本領域的技術人員應當理解，可以在實踐中使用微處理器或者數位訊號處理器(DSP)來實現根據本發明實施例的組圖抓取方案中的一些或者全部部件的一些或者全部功能。本發明還可以實現為用於執行這裡所描述的方法的一部分或者全部的設備或者裝置程序(例如，電腦程式和電腦程式產品)。這樣的實現本發明的程序可以存儲在計算機可讀介質上，或者可以具有一個或者多個信號的形式。這樣的信號可以從網際網路網站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0114]應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制，並且本領域技術人員在不脫離所附權利要求的範圍的情況下可設計出替換實施例。在權利要求中，不應將位於括號之間的任何參考符號構造成對權利要求的限制。單詞「包含」不排除存在未列在權利要求中的元件或步驟。位於元件之前的單詞「一」或「一個」不排除存在多個這樣的元件。本發明可以藉助於包括有若干不同元件的硬體以及藉助於適當編程的計算機來實現。在列舉了若干裝置的單元權利要求中，這些裝置中的若干個可以是通過同一個硬體項來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0115]本發明實施例公開了 Al、一種組圖抓取方法，包括:
[0116]獲取網站的組圖抓取日誌信息；
[0117]對所述網站的組圖抓取日誌信息進行解析，根據解析結果確定所述網站中的組圖頁面為有效頁面；
[0118]根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取，其中，所述組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0119]A2、根據Al所述的方法，其中，所述根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取的步驟包括:
[0120]根據所述有效數據的起始標誌和結束標誌，從有效的所述組圖頁面的索引頁面中，獲取至少一個組圖的索引信息；
[0121]根據所述索引信息確定每個所述組圖對應的有效的內容頁面；
[0122]根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取。
[0123]A3、根據A2所述的方法，其中，根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取的步驟包括:
[0124]根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，獲取每個所述組圖的詳細配置信息，其中，每個所述組圖的詳細配置信息包括每個所述組圖包括的各個子圖的URL地址信息；
[0125]根據所述URL地址信息，對每個所述組圖包括的各個子圖進行抓取。
[0126]A4、根據Al至A3任一項所述的方法，其中，所述組圖抓取規則還包括組圖展示規則；
[0127]在所述對有效的所述組圖頁面進行組圖抓取的步驟之後，還包括:
[0128]按照所述組圖展示規則，對抓取的組圖進行展示。
[0129]A5、根據Al至A3任一項所述的方法,其中，所述組圖抓取規則還包括抓取流量控制規則；
[0130]所述根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取的步驟包括:根據所述預置的組圖抓取規則，按照所述抓取流量控制規則指示的流量，分批對有效的所述組圖頁面進行組圖抓取。
[0131]A6、根據Al至A3任一項所述的方法，其中，所述組圖抓取規則還包括組圖存儲規則；
[0132]在所述對有效的所述組圖頁面進行組圖抓取的步驟之後，還包括:按照所述組圖存儲規則指示的數據結構，將抓取的每個所述組圖存儲為對應的一個結構化組圖數據，將所述結構化組圖數據存儲在圖床集群中。
[0133]A7、根據A6所述的方法，其中，在將所述結構化組圖數據存儲在圖床集群的步驟之後，還包括:
[0134]當需要訪問存儲在所述圖床集群中的組圖的結構化組圖數據時，從存儲有所述組圖的結構化組圖數據的索引信息的圖床抓取集群中，獲取待訪問的組圖的結構化組圖數據的索引信息，根據所述索引信息確定待訪問的組圖的結構化組圖數據在所述圖床集群中的存儲位置；
[0135]根據所述存儲位置從所述圖床集群中訪問所述待訪問的組圖的結構化組圖數據。
[0136]AS、根據Al所述的方法，其中，所述方法還包括:
[0137]收集根據所述解析結果確定的失效的組圖頁面的信息；
[0138]對所述失效的組圖頁面的信息進行分析，根據分析結果刪除或修改所述組圖抓取規則中，抓取所述失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0139]本發明實施例還公開了 B9、一種組圖抓取裝置，包括:
[0140]獲取模塊，用於獲取網站的組圖抓取日誌信息；
[0141]確定模塊，用於對所述網站的組圖抓取日誌信息進行解析，根據解析結果確定所述網站中的組圖頁面為有效頁面；
[0142]抓取模塊，用於根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取，其中，所述組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
[0143]B10、根據B9所述的裝置，其中，所述抓取模塊，用於根據所述有效數據的起始標誌和結束標誌，從有效的所述組圖頁面的索引頁面中，獲取至少一個組圖的索引信息；根據所述索引信息確定每個所述組圖對應的有效的內容頁面；根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取。
[0144]B11、根據BlO所述的裝置，其中，所述抓取模塊在根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取時:
[0145]根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，獲取每個所述組圖的詳細配置信息，其中，每個所述組圖的詳細配置信息包括每個所述組圖包括的各個子圖的URL地址信息；
[0146]根據所述URL地址信息，對每個所述組圖包括的各個子圖進行抓取。
[0147]B12、根據B9至Bll任一項所述的裝置，其中，所述組圖抓取規則還包括組圖展示規則；
[0148]所述裝置還包括:展示模塊，用於在所述抓取模塊對有效的所述組圖頁面進行組圖抓取之後，按照所述組圖展示規則，對抓取的組圖進行展示。
[0149]B13、根據B9至Bll任一項所述的裝置,其中，所述組圖抓取規則還包括抓取流量控制規則；
[0150]所述抓取模塊，用於根據所述預置的組圖抓取規則，按照所述抓取流量控制規則指示的流量，分批對有效的所述組圖頁面進行組圖抓取。
[0151]B14、根據B9至Bll任一項所述的裝置，其中，所述組圖抓取規則還包括組圖存儲規則；
[0152]所述裝置還包括:存儲模塊，用於在所述抓取模塊對有效的所述組圖頁面進行組圖抓取之後，按照所述組圖存儲規則指示的數據結構，將抓取的每個所述組圖存儲為對應的一個結構化組圖數據，將所述結構化組圖數據存儲在圖床集群中。
[0153]B15、根據B14所述的裝置，其中，所述裝置還包括:
[0154]訪問模塊，用於在所述存儲模塊將所述結構化組圖數據存儲在圖床集群之後，當需要訪問存儲在所述圖床集群中的組圖的結構化組圖數據時，從存儲有所述組圖的結構化組圖數據的索引信息的圖床抓取集群中，獲取待訪問的組圖的結構化組圖數據的索引信息，根據所述索引信息確定待訪問的組圖的結構化組圖數據在所述圖床集群中的存儲位置；根據所述存儲位置從所述圖床集群中訪問所述待訪問的組圖的結構化組圖數據。
[0155]B16、根據B9所述的裝置，其中，所述裝置還包括:
[0156]更新模塊，用於收集根據所述解析結果確定的失效的組圖頁面的信息；對所述失效的組圖頁面的信息進行分析，根據分析結果刪除或修改所述組圖抓取規則中，抓取所述失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
【權利要求】
1.一種組圖抓取方法，包括: 獲取網站的組圖抓取日誌信息； 對所述網站的組圖抓取日誌信息進行解析，根據解析結果確定所述網站中的組圖頁面為有效頁面； 根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取，其中，所述組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
2.根據權利要求1所述的方法，其中，所述根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取的步驟包括: 根據所述有效數據的起始標誌和結束標誌，從有效的所述組圖頁面的索引頁面中，獲取至少一個組圖的索引信息； 根據所述索引信息確定每個所述組圖對應的有效的內容頁面； 根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取。
3.根據權利要求2所述的方法，其中，根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，對每個所述組圖包括的各個子圖進行抓取的步驟包括: 根據所述抓取組圖的正則表達式，從所述有效的內容頁面中，獲取每個所述組圖的詳細配置信息，其中，每個所述組圖的詳細配置信息包括每個所述組圖包括的各個子圖的URL地址信息； 根據所述URL地址信息，對每個所述組圖包括的各個子圖進行抓取。
4.根據權利要求1至3任一項所述的方法，其中，所述組圖抓取規則還包括組圖展示規則； 在所述對有效的所述組圖頁面進行組圖抓取的步驟之後，還包括: 按照所述組圖展示規則，對抓取的組圖進行展示。
5.根據權利要求1至3任一項所述的方法，其中，所述組圖抓取規則還包括抓取流量控制規則； 所述根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取的步驟包括:根據所述預置的組圖抓取規則，按照所述抓取流量控制規則指示的流量，分批對有效的所述組圖頁面進行組圖抓取。
6.根據權利要求1至3任一項所述的方法，其中，所述組圖抓取規則還包括組圖存儲規則； 在所述對有效的所述組圖頁面進行組圖抓取的步驟之後，還包括:按照所述組圖存儲規則指示的數據結構，將抓取的每個所述組圖存儲為對應的一個結構化組圖數據，將所述結構化組圖數據存儲在圖床集群中。
7.根據權利要求6所述的方法，其中，在將所述結構化組圖數據存儲在圖床集群的步驟之後，還包括: 當需要訪問存儲在所述圖床集群中的組圖的結構化組圖數據時，從存儲有所述組圖的結構化組圖數據的索引信息的圖床抓取集群中，獲取待訪問的組圖的結構化組圖數據的索引信息，根據所述索引信息確定待訪問的組圖的結構化組圖數據在所述圖床集群中的存儲位置；根據所述存儲位置從所述圖床集群中訪問所述待訪問的組圖的結構化組圖數據。
8.根據權利要求1所述的方法，其中，所述方法還包括: 收集根據所述解析結果確定的失效的組圖頁面的信息； 對所述失效的組圖頁面的信息進行分析，根據分析結果刪除或修改所述組圖抓取規則中，抓取所述失效的組圖頁面中的組圖時使用的組圖抓取規則的有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
9.一種組圖抓取裝置，包括: 獲取模塊，用於獲取網站的組圖抓取日誌信息； 確定模塊，用於對所述網站的組圖抓取日誌信息進行解析，根據解析結果確定所述網站中的組圖頁面為有效頁面； 抓取模塊，用於根據預置的組圖抓取規則，對有效的所述組圖頁面進行組圖抓取，其中，所述組圖抓取規則包括組圖頁面中有效數據的起始標誌、結束標誌、和抓取組圖的正則表達式。
10.根據權利要求9所述的裝置，其中，所述抓取模塊，用於根據所述有效數據的起始標誌和結束標誌，從有效的所述組圖頁面的索引頁面中，獲取至少一個組圖的索引信息；根據所述索引信息確定每個所述組圖對應的有效的內容頁面；根據所述抓取組圖的正則表達式，從所述有效的內 容頁面中，對每個所述組圖包括的各個子圖進行抓取。
【文檔編號】G06F17/30GK103793509SQ201410040516
【公開日】2014年5月14日 申請日期:2014年1月27日 優先權日:2014年1月27日
【發明者】蒙杭州 申請人:北京奇虎科技有限公司, 奇智軟體（北京）有限公司