一種數據獲取方法
2023-06-10 17:19:01 1
一種數據獲取方法
【專利摘要】本發明涉及一種數據獲取方法，所述數據獲取的方法包括如下步驟：初始數據分析及分詞操作，得到關鍵詞；使用所述關鍵詞進行搜索，得到網站的頁面；對所述網站的頁面進行信息爬取，根據所述網站的頁面的源文件與正則表達式進行正則匹配，得到匹配結果；根據所述關鍵詞或者與標籤庫進行比對，分別將所述匹配結果中的信息放置於對應的視頻屬性庫的對應欄位中去；進行數據分析，根據所述網站的頁面的權重和信息重複量來進行數據計算；對於自動填寫的內容進行編輯確認和加工。旨在解決將分詞、內容抓取、文本數據挖掘、智能的內容糅合等幾種技術的整合併且有效運用於發布流程中，實現自動獲取數據，並提高數據獲取準確性。
【專利說明】一種數據獲取方法
[0001]本發明請求本 申請人:於2013年5月2日向中國國家知識產權局提交的申請號為201310158249.0，發明名稱為「一種數據獲取方法」的中國發明專利申請的優先權，上述申請的全部內容以引用方式併入本文。
【技術領域】
[0002]本發明涉及網絡通訊技術，特別是涉及一種數據獲取方法。
【背景技術】
[0003]對於視頻網站而言，對用戶的主要信息表現形式為視頻內容，而對於視頻內容的相關屬性信息大多是由視頻編輯手工填寫。
[0004]視頻信息抓取和呈現的對象是網站用戶，可以通過優化現有的比較成熟的抓取及信息提取技術進行編輯和實現視頻內容相關文字信息的填寫的自動化。
[0005]當前，對於文字信息的抓取和發布流程一般從主要的各大新聞網站進行爬蟲爬取，把文章的標題、副標題和內容整個抓取下來，並放置於網站後臺發布器中，在編輯進行再加工後，發布成新聞頁面。
[0006]例如申請號為CN201110232595.X的中國發明專利，其公開了一種爬蟲種子獲取方法與設備及爬蟲爬取方法與設備，提供了一種爬蟲種子獲取方法與設備及爬蟲爬去方法與設備。爬蟲種子獲取方法包括:根據預設檢索詞詞典和目標導航網站的URL特性，構造動態頁面請求；將動態頁面請求發送給目標導航網站的伺服器，根據預設提取策略，從伺服器根據動態網頁請求返回的檢索結果頁面中提取目標URL，目標URL為檢索結果頁面中的URL的主域名地址；對目標URL進行唯一化處理，獲取唯一化目標URL，將唯一化目標URL作為爬蟲種子。該方案能夠提供大量的離散度大的爬蟲種子，從而縮短形成主流URL的時間，提高主流URL的覆蓋性，降低爬蟲系統進行爬取時的時間成本。
[0007]而對於視頻內容的相關屬性信息的獲取，主要是通過兩條途徑:其一，通過豆瓣電影或者Mtime時光網的視頻ID，利用其開放的API接口，獲取視頻信息，來找到對應欄位進行自動填寫；其二，視頻編輯手動在搜尋引擎中進行搜索，找到相應的信息，對應各個欄位，手動填寫。
[0008]又例如申請號為CN201110095563.X的中國發明專利，其公開了一種數據的獲取方法和裝置，包括:接收至少一個第一數據獲取請求，該第一數據獲取請求中攜帶數據選取條件；根據該數據選取條件，獲取所有滿足該數據選取條件的數據標識；根據該數據標識，並行獲取所有與該數據標識對應的數據，返回該對應的數據，減少了現有技術中由於順序逐一獲取數據而造成的數據反饋延遲，通過並行的獲取數據，提高了數據獲取的效率，使得數據可以及時的反饋給使用者，提升了數據使用者的滿意度。
[0009]再例如申請號為201210133394.9的中國發明專利，其公開了一種數據獲取方法、系統及設備，所述方法包括:接收來自客戶端的數據獲取請求，所述數據獲取請求包括網頁地址；與網頁伺服器建立至少兩條數據信道來並行抓取所述網頁地址所對應的數據資源；將抓取到的所述數據資源推送給所述客戶端。本發明通過利用代理伺服器建立多條數據通道來抓取網頁的數據資源，然後主動推送給客戶端的方案，解決了客戶端在獲取網絡數據時，浪費流量和響應時間較長的問題，達到了客戶端僅需要發起一次數據獲取請求，就可以快速獲得網頁的所有數據資源以顯示給用戶的效果。
[0010]但是，上述發明並沒有將分詞、內容抓取、文本數據挖掘、智能的內容糅合等幾種技術的整合併且有效運用於發布流程中，無法實現自動的數據獲取，而且獲取的數據信息準確性較低。
【發明內容】
[0011]基於上述問題，本發明提供一種數據獲取方法，旨在解決將分詞、內容抓取、文本數據挖掘、智能的內容糅合等幾種技術的整合併且有效運用於發布流程中，以實現自動化獲取數據，和提高數據獲取準確率。
[0012]為此，本發明採用如下的技術方案一種數據獲取方法，包括:步驟1、對初始數據進行分詞，獲得與初始數據相關的關鍵詞；步驟2、使用所述關鍵詞進行搜索，得到網站的頁面；步驟3、對所述網站的頁面進行信息爬取，根據所述網站的頁面的源文件與正則表達式進行正則匹配，得到匹配結果；步驟4、將匹配結果與所述關鍵詞或者與包含有影片視頻標籤的標籤庫進行比對，得到各個頁面的權重和信息重複量，分別將根據所述匹配結果得到的各個頁面的權重和信息重複量信息放置於對應的視頻屬性庫的對應欄位中；步驟5、根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算網站頁面的信息權重；步驟6、把符合要求的信息權重對應的頁面數據進行顯示。
[0013]進一步地，所述步驟I中包括:判斷初始數據對應的視頻內容為長視頻或者短視頻；其中，所述視頻內容與制定的網站地圖進行精準匹配，能夠匹配到2條以上的信息的視頻內容為長視頻。
[0014]進一步地，對於所述長視頻的標題去除空格和特殊符號，得到關鍵詞。
[0015]進一步地，對於所述短視頻的標題進行分詞處理，得到關鍵詞。
[0016]進一步地，所述使用所述關鍵詞進行搜索，得到網站的頁面進一步包括:通過設定權重來調整所述網站的優先權；得到的所述網站頁面的信息權重值與網站的優先權成正比。
[0017]進一步地，所述權重的調整方式為人為設定，或者通過機器編輯。
[0018]進一步地，所述使用所述關鍵詞進行搜索，得到網站的頁面後還包括:通過對所述網站的頁面層次進行去噪處理，去除無效頁面和信息重複的頁面。
[0019]進一步地，所述根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算網站頁面的信息權重的計算公式為:信息權重=(信息重複出現次數*權重*0.01)/頁面數量+tag庫完全匹配次數/此次信息中總匹配成功次數。
[0020]進一步地，獲得信息權重排名最高的I至5個對應信息，用於填寫到不同的單選或多選或手動填寫的文本框中，進行顯示。
[0021]本申請還公開了一種數據獲取系統，包括如下模塊:
分詞操作模塊:用於分詞操作，得到關鍵詞；關鍵詞搜索模塊:用於使用所述關鍵詞進行搜索，得到網站的頁面；信息爬取和匹配模塊:用於對所述網站的頁面進行信息爬取，根據所述網站的頁面的源文件與正則表達式進行正則匹配，得到匹配結果；信息分類對比模塊:用於將匹配結果與所述關鍵詞或者與包含有影片視頻標籤的標籤庫進行比對，得到各個頁面的權重和信息重複量，分別將根據所述匹配結果得到的各個頁面的權重和信息重複量信息放置於對應的視頻屬性庫的對應欄位中；數據分析計算模塊:進行數據分析，根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算信息權重；顯示模塊，把符合要求的信息權重對應的頁面數據進行顯示。本發明的數據獲取的方法根據視頻內容的關鍵詞進行數據抓取和數據準備，在得到抓取的數據後，對內容進行分析和抽取，根據模式篩選，將內容返回到視頻的發布系統中便於自動填寫，能夠將分詞、內容抓取、文本數據挖掘、智能的內容糅合等幾種技術的整合併且有效運用於發布流程中，實現自動數據獲取，並提高數據獲取的有效性。
【專利附圖】
【附圖說明】
[0022]圖1為根據本發明的一種數據獲取方法的優選實施例的步驟框圖；
圖2為根據本發明的一種數據獲取裝置的結構示意框圖。
【具體實施方式】
[0023]下面結合附圖和優選的實施方式對本發明作進一步詳細描述。權利要求中構成要件和實施例中具體實例之間的對應關係可以如下例證。
[0024]本發明的數據獲取的方法根據視頻內容的關鍵詞進行數據抓取和數據準備，在得到抓取的數據後，對內容進行分析和抽取，根據模式篩選，將內容返回到視頻的發布系統中便於自動填寫，實現自動數據獲取，並提高數據獲取的有效性。
[0025]圖1為根據本發明的一種數據獲取方法的優選實施例的步驟框圖。
[0026]所述數據獲取的方法步驟如下:步驟1、對初始數據進行分詞，獲得與初始數據相關的關鍵詞；步驟2、使用所述關鍵詞進行搜索，得到網站的頁面；步驟3、對所述網站的頁面進行信息爬取，根據所述網站的頁面的源文件與正則表達式進行正則匹配，得到匹配結果；步驟4、將匹配結果與所述關鍵詞或者與包含有影片視頻標籤的標籤庫進行比對，得到各個頁面的權重和信息重複量，分別將根據所述匹配結果得到的各個頁面的權重和信息重複量信息放置於對應的視頻屬性庫的對應欄位中；步驟5、根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算網站頁面的信息權重；步驟6、把符合要求的信息權重對應的頁面數據進行顯示。
[0027]具體實施時，可以採用如圖1所示的流程。首先，進行初始數據分析及分詞操作。這一步驟中進行初始數據分析包括，判斷其是否為電影、電視劇等長視頻還是資訊類的短視頻。基本的分析方法為與制定的幾個影視劇站點的網站地圖進行精準匹配，根據其是否能匹配到2條以上的信息來判斷是否為影視劇等長視頻。並輔助以標題字數判斷，一般情況下，標題內容為6字以上(不含6字)的電影比例僅佔6.7%。對於長視頻的標題內容進行去除空格和特殊符號的處理，對於短視頻的標題內容進行分詞處理，得到該視頻內容對應的關鍵詞。此外，對於部分長視頻的標題內容也可以進行分詞處理，得到該長視頻內容的關鍵詞，例如高清版視頻。在一個更為通用的實施方式中，上述初步分析與分詞操作是二選一，或者二者同時具有的。
[0028]其次，使用得到的對應關鍵詞進行搜索。在搜索的過程中，通過設定權重，來調整網站頁面的優先權。對於優先權而言，得到的所述網站頁面的信息權重值與網站的優先權成正比，或者成一線性變化的趨勢，例如網站頁面優先權越靠前的(即權重越大)，得到的信息權重也越靠前。網站站點優先權越靠後的，得到的信息權重也越靠後。權重的調整可通過兩種方式中任何一種或者兩種來完成:一為人工調整，人為編輯將平常經常用於獲取信息的網站的權重設為90以上(本領域的技術人員應當理解，該值可以根據權重設置方式以及規則來做適應性的調整)，為最高一類；二為機器編輯，機器通過數據分析得到，通過從權重90以下的網站獲得信息的匹配度(信息的選用率和不修改率)來逐步調整，其中，信息的選用率為編輯在手動操作階段，對機器提供的信息進行選擇，選擇來自該網站的信息次數除以所有機器提供的信息，得到信息選用率；信息的不修改率為編輯在手動操作階段，對信息選擇後，可能會進行手動修改，也可能直接使用，不做變化。直接選用不修改的信息除以來自該網站的所有被選用的信息，得到不修改率。
[0029]在該步驟內，對頁面層次進行去噪，去除無效頁面和信息重複的頁面，但信息重複的頁面會被統計到信息匹配分析系統中。其中，所述信息匹配分析系統是對不可用頁面、信息的選用和不修改及網站權重進行計算的一套系統，主要用於對大量數據的計算和結果的產生。
[0030]然後，對上一步驟得到的頁面，進行信息爬取，根據頁面的源文件和編寫的正則表達式進行正則匹配，產生匹配結果。信息爬的方法包括但不限於:與初始URL在一定連結距離內的網頁具有主題相關性的概率很大，則在完成當前層次的搜索後，才進行下一層次的搜索，再過濾掉無關的網頁。或者，可以從起始網頁開始，選擇一個URL進入，分析這個網頁中的URL，選擇一個再進入。如此一個連結一個連結地抓取下去，直到處理完一條路線之後再處理下一條路線。匹配結果包括此次信息中總匹配成功次數，即。
[0031]然後，根據關鍵詞或者和包含有影片視頻標籤的標籤(Tag)庫進行比對，得到各個頁面的權重和信息重複量，以及標籤庫完全匹配次數；分別將根據所述匹配結果得到的各個頁面的權重和信息重複量信息放置於對應的視頻屬性庫的對應欄位中，便於隨時進行分析和計算。
[0032]然後，進行數據分析。對於獲得的全部信息，根據各個頁面的權重和信息重複量來進行數據計算，公式為:信息權重=(信息重複出現次數*權重*0.01)/頁面數量+標籤庫完全匹配次數/此次信息中總匹配成功次數。獲得信息權重排名最高的I至5個對應信息，用於填寫不同的單選或多選或手動填寫的文本框中去，進行顯示。
[0033]其中，頁面數量為進行信息爬取的網站頁面的總數；所述信息重複出現次數為，在前述幾步中，每個對應欄位，會有大量信息，而來自不同網站的信息都被統計過一次，但是信息有重複現象，每出現一次重複信息，信息重複出現次數+1。比如對於《鋼鐵俠》的主演，小羅伯特唐尼在豆瓣、時光網、百度百科均出現，則重複次數為3 ;小唐尼在A網站和B網站出現，重複次數為2。若無標籤(tag)庫或標籤(tag)庫匹配次數為0，則信息權重=(信息重複出現次數*權重*0.01) /頁面數量+0。
[0034]1-5這個數字範圍可以人工自由選擇，範圍可更多。主要作用是針對不同欄位的對應信息數不同，如別名，一般影片至多2個；而影片標籤可能會在3-5，甚至更多。數字為初步確定，後期可根據需求進行調整。
[0035]最後，對於自動填寫的內容進行編輯確認和加工。修改的操作會影響信息選用率和不修改率。信息確認無誤後進行發布，也就是把符合用戶需要的信息權重對應的數據信息進行顯示。
[0036]本申請另一實施例公開了一種數據獲取系統，如圖2所示，所述系統包括:分詞操作模塊、關鍵詞搜索模塊、信息爬取和匹配模塊、信息分類對比模塊、數據分析計算模塊和顯示模塊。其中，
所述分詞操作模塊，用於分詞操作，得到關鍵詞；
所述關鍵詞搜索模塊，用於使用所述關鍵詞進行搜索，得到網站的頁面；
所述信息爬取和匹配模塊，用於對所述網站的頁面進行信息爬取，根據所述網站的頁面的源文件與正則表達式進行正則匹配，得到匹配結果；
所述信息分類對比模塊，用於將匹配結果與所述關鍵詞或者與包含有影片視頻標籤的標籤庫進行比對，得到各個頁面的權重和信息重複量，分別將根據所述匹配結果得到的各個頁面的權重和信息重複量信息放置於對應的視頻屬性庫的對應欄位中；
所述數據分析計算模塊，用於進行數據分析，根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算信息權重；
所述顯示模塊，用於把符合要求的信息權重對應的頁面數據進行顯示。進一步地，所述分詞操作模塊，還用於判斷初始數據對應的視頻內容為長視頻或者短視頻；其中，所述視頻內容與制定的網站地圖進行精準匹配，能夠匹配到2條以上的信息的視頻內容為長視頻。
[0037]所述分詞操作模塊具體還用於，對於所述長視頻的標題去除空格和特殊符號，得到關鍵詞；以及，對於所述短視頻的標題進行分詞處理，得到關鍵詞。
[0038]所述關鍵詞搜索模塊，使用所述關鍵詞進行搜索，得到網站的頁面進一步包括:通過設定權重來調整所述網站的優先權；得到的所述網站頁面的信息權重值與網站的優先權成正比。進一步地，所述權重的調整方式為人為設定，或者通過機器編輯。進一步地，所述使用所述關鍵詞進行搜索，得到網站的頁面後還包括:通過對所述網站的頁面層次進行去噪處理，去除無效頁面和信息重複的頁面。
[0039]所述數據分析計算模塊根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算網站頁面的信息權重，具體的計算公式為:信息權重=(信息重複出現次數*權重*0.01) /頁面數量+tag庫完全匹配次數/此次信息中總匹配成功次數。
[0040]所述顯示模塊，獲得信息權重排名最高的I至5個對應信息，用於填寫到不同的單選或多選或手動填寫的文本框中，進行顯示。
[0041]本發明的數據獲取的裝置根據視頻內容的關鍵詞進行數據抓取和數據準備，在得到抓取的數據後，對內容進行分析和抽取，根據模式篩選，將內容返回到視頻的發布系統中便於自動填寫，實現自動數據獲取，並提高數據獲取的有效性。
[0042]上述詳細描述通過實施例和/或示意圖闡明了系統和/或過程的各種實施例。就這些示意圖和/或包含一個或多個功能和/或操作而言，本領域技術人員將理解，這些示意圖或實施例中的每一個功能和/或操作都可由各種各樣的硬體、軟體、固件、或實際上其任意組合來單獨地和/或共同地實現。
[0043]需要說明的是，本發明的一種數據獲取方法的方案的範疇包括但不限於上述各部分之間的任意組合。
[0044]儘管具體地參考其優選實施例來示出並描述了本發明，但本領域的技術人員可以理解，可以做出形式和細節上的各種改變而不脫離所附權利要求書中所述的本發明的範圍。以上結合本發明的具體實施例做了詳細描述，但並非是對本發明的限制。凡是依據本發明的技術實質對以上實施例所做的任何簡單修改，均仍屬於本發明技術方案的範圍。
【權利要求】
1.一種數據獲取方法，包括如下步驟: 步驟1、對初始數據進行分詞，獲得與初始數據相關的關鍵詞； 步驟2、使用所述關鍵詞進行搜索，得到網站的頁面； 步驟3、對所述網站的頁面進行信息爬取，根據所述網站的頁面的源文件與正則表達式進行正則匹配，得到匹配結果； 步驟4、將匹配結果與所述關鍵詞或者與包含有影片視頻標籤的標籤庫進行比對，得到各個頁面的權重和信息重複量，分別將根據所述匹配結果得到的各個頁面的權重和信息重複量信息放置於對應的視頻屬性庫的對應欄位中； 步驟5、根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算網站頁面的信息權重； 步驟6、把符合要求的信息權重對應的頁面數據進行顯示。
2.如權利要求1所述的數據獲取的方法，其特徵在於，所述步驟I中包括:判斷初始數據對應的視頻內容為長視頻或者短視頻；其中，所述視頻內容與制定的網站地圖進行精準匹配，能夠匹配到2條以上的信息的視頻內容為長視頻。
3.如權利要求2所述的數據獲取的方法，其特徵在於，對於所述長視頻的標題去除空格和特殊符號，得到關鍵詞。
4.如權利要求2所述的數據獲取的方法，其特徵在於，對於所述短視頻的標題進行分詞處理，得到關鍵詞。
5.如權利要求1所述的數據獲取的方法，其特徵在於，所述使用所述關鍵詞進行搜索，得到網站的頁面進一步包括:通過設定權重來調整所述網站的優先權；得到的所述網站頁面的信息權重值與網站的優先權成正比。
6.如權利要求5所述的數據獲取的方法，其特徵在於，所述權重的調整方式為人為設定，或者通過機器編輯。
7.如權利要求1所述的數據獲取的方法，其特徵在於，所述使用所述關鍵詞進行搜索，得到網站的頁面後還包括:通過對所述網站的頁面層次進行去噪處理，去除無效頁面和信息重複的頁面。
8.如權利要求1所述的數據獲取的方法，其特徵在於，所述根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算網站頁面的信息權重的計算公式為:信息權重=(信息重複出現次數*權重*0.01)/頁面數量+標籤庫完全匹配次數/此次信息中總匹配成功次數。
9.如權利要求8所述的數據獲取的方法，其特徵在於，獲得信息權重排名最高的I至5個對應信息，用於填寫到不同的單選或多選或手動填寫的文本框中，進行顯示。
10.一種數據獲取系統，其特徵在於，所述系統包括如下模塊: 分詞操作模塊，用於分詞操作，得到關鍵詞； 關鍵詞搜索模塊，用於使用所述關鍵詞進行搜索，得到網站的頁面； 信息爬取和匹配模塊，用於對所述網站的頁面進行信息爬取，根據所述網站的頁面的源文件與正則表達式進行正則匹配，得到匹配結果； 信息分類對比模塊，用於將匹配結果與所述關鍵詞或者與包含有影片視頻標籤的標籤庫進行比對，得到各個頁面的權重和信息重複量，分別將根據所述匹配結果得到的各個頁面的權重和信息重複量信息放置於對應的視頻屬性庫的對應欄位中； 數據分析計算模塊，用於進行數據分析，根據視頻屬性庫的對應欄位中的所述網站的頁面的權重和信息重複量來計算信息權重； 顯示模塊，用於把符合要求的信息權重對應的頁面數據進行顯示。
【文檔編號】G06F17/30GK104133830SQ201410021505
【公開日】2014年11月5日 申請日期:2014年1月17日 優先權日:2013年5月2日
【發明者】段光明 申請人:樂視網信息技術（北京）股份有限公司