數據過濾方法與流程
2023-10-31 08:01:00
本發明涉及數據處理技術領域，尤其涉及一種數據過濾方法。
背景技術：
隨著網際網路的飛速發展，日益膨脹的網絡數據使網際網路用戶逐漸迷失在了信息的海洋之中。為此，各種個性化服務技術被提出來，為不同的用戶提供不同的服務，以滿足不同的需求。協同過濾推薦(collaborativefilteringrecommendation)是在信息過濾和信息系統中正迅速成為一項很受歡迎的技術。與傳統的基於內容過濾直接分析內容進行推薦不同，協同過濾分析用戶興趣，在用戶群中找到指定用戶的相似(興趣)用戶，綜合這些相似用戶對某一信息的評價，形成系統對該指定用戶對此信息的喜好程度預測。
然而，常常會有一些無效數據混雜在其中，造成協同過濾結果不準確，導致預測結果與實際存在偏差。
技術實現要素：
本發明的目的是提供一種數據過濾方法，能夠對於數據進行識別和篩選，濾出有效數據，從而保證後續用於數據計算的數據有效性。
為實現上述目的，本發明提供了一種數據過濾方法，包括：
獲取面向第一用戶的待篩選的目標數據；
確定每個待篩選的目標數據的訪問日誌；所述訪問日誌包括所述目標數據的播放時長、訪問所述目標數據的終端ip地址和訪問動作的時間戳；
驗證第一目標數據的訪問日誌中所述用戶id和所述目標對象id的格式；
當驗證通過時，統計同一終端ip地址對同一目標數據的訪問動作的時間戳，並計算得到所述第一目標數據的訪問頻率；
確定所述第一目標數據的訪問頻率是否超過預定頻率閾值；
當所述第一目標數據的訪問頻率超過預定頻率閾值時，對所述第一目標數據添加所述第一數據屬性；所述第一數據屬性用以表示所述第一目標數據為無效數據；
將所述第一目標數據從所述待篩選的目標數據中刪除。
優選的，所述方法還包括：
當所述驗證不通過時，對所述第一目標數據添加所述第一數據屬性；
根據所述第一數據屬性，將所述第一目標數據從所述待篩選的目標數據中刪除。
優選的，所述訪問日誌還包括：所述第一用戶的用戶id和所述目標數據的目標對象id的格式；在所述對所述第一目標數據添加第一數據屬性之前，所述方法還包括：
確定所述第一目標數據的播放時長是否超過有效播放時間閾值；
當所述第一目標數據的播放時長不超過所述有效播放時間閾值時，對所述第一目標數據添加第一數據屬性。
進一步優選的，所述方法還包括：
當所述第一目標數據的播放時長超過所述有效播放時間閾值時，將所述第一目標數據添加至有效數據集合。
優選的，所述驗證所述用戶id和所述目標對象id的格式具體為：
通過正則方式進行所述用戶id和所述目標對象id的格式的數據校驗。
優選的，當所述第一目標數據的訪問頻率不超過預定頻率閾值時，將所述第一目標數據添加至有效數據集合。
本發明實施例提供的數據過濾方法，通過對目標數據的數據格式和數據訪問頻率的過濾來濾除無效數據，確定有效數據，從而保證後續用於數據計算的數據有效性。
附圖說明
圖1為本發明實施例提供的數據過濾方法的流程圖。
具體實施方式
下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。
本發明實施例提供的數據過濾方法，能夠用於自動的數據有效性的過濾和篩選。
下面結合圖1所示的數據過濾方法的流程圖，以面向用戶的數據過濾服務的應用場景為例，對本發明實施例提供的數據過濾方法進行說明。
如圖1所示，本發明的數據過濾方法包括如下步驟：
步驟110，獲取面向第一用戶的待篩選的目標數據；
具體的，在本實施例中，目標數據是按照用戶屬性存儲的。每個用戶具有一個目標數據的資料庫，用以存儲目標數據。
在具體的例子中，例如在對用戶的影片觀看喜好進行數據過濾的場景中，目標數據可以是用戶觀看影片的影片信息，比如影片名稱、影片id、主演名稱等等；在對用戶的購物喜好進行數據過濾的場景中，目標數據可以是用戶關注商品的商品信息，比如商品名稱、商品id等。對於不同的應用場景，目標數據可以不同，但本發明的方法可以適用於多種場景。
因為目標數據是基於用戶id進行存儲的，所以可以通過用戶id獲取到所需要進行篩選的目標數據。
步驟120，確定每個待篩選的目標數據的訪問日誌；
具體的，訪問日誌是在目標數據被訪問、查看的時候生成的。
訪問日誌可以包括目標數據的播放時長、第一用戶的用戶id和目標數據的目標對象id的格式等。
其中，目標數據的播放時長並不限制於其字面意思所顯示的播放的概念。比如，對於目標數據是用戶觀看影片的影片信息的情況，播放時長可以是用戶觀看影片的時間；又比如對於目標數據是用戶關注商品的商品信息的情況，播放時長可以是指用戶停留在商品頁面上查看的時間，或者在一定時段內的累計查看時間。
用戶的用戶id以及被查看的目標數據的目標對象id的格式也相應的都記錄在訪問日誌中。這裡所說的目標數據的目標對象id是指目標數據的唯一標識信息。比如商品id、影片id等等。
步驟130，驗證第一目標數據的訪問日誌中用戶id和目標對象id的格式，確定數據格式驗證是否通過；
具體的，進行數據過濾時，在本例中首先對數據格式進行校驗，確定待篩選目標數據的數據格式是否正確。
在具體實現中，進行數據格式驗證可以通過正則方式來實現。
當數據格式驗證通過時，執行步驟140，當數據格式驗證不通過時，執行步驟170。
步驟140，統計同一終端ip地址對同一目標數據的訪問動作的時間戳，並計算得到所述第一目標數據的訪問頻率；
具體的，在待篩選的目標數據中可能混入一類無效數據，比如用戶模擬注入或者頻繁調用上報的數據，這些數據需要進行過濾的。
具體可以通過目標數據相關聯的終端ip地址和訪問動作的時間戳來判定。例如可以統計同一終端ip地址對同一目標數據的訪問動作的時間戳，確定對該目標數據的訪問頻率是否超過預定頻率閾值。
當目標數據被訪問時，每次訪問都會添加一個時間戳，因此可以統計一端時間內的時間戳的數量來計算在這段時間內的平均訪問頻率。如果訪問頻率過高，則說明很有可能該數據是被頻繁調用上報的數據，是非正常訪問的數據。因此需要剔除。
步驟150，確定第一目標數據的訪問頻率是否超過預定頻率閾值；
當第一目標數據的訪問頻率超過預定頻率閾值時，執行步驟170。
當第一目標數據的訪問頻率不超過預定頻率閾值時，執行步驟160。
步驟160，確定第一目標數據為有效數據；
具體的，可以對確定為有效數據的第一目標數據添加數據屬性，用以表示其為有效數據。或者也可以將第一目標數據加入有效數據的數據列表中，在後續進行數據處理時，直接通過獲取數據列表中的數據來得到有效數據。
步驟170，對第一目標數據添加第一數據屬性；
具體的，第一數據屬性用以表示第一目標數據為無效數據。通過為目標數據添加數據屬性來標識該數據為無效數據。
步驟180，根據第一數據屬性，將第一目標數據從待篩選的目標數據中刪除。
當然也可以跳過步驟170，直接將無效的第一目標數據從待篩選的目標數據中刪除。
此外，還可以通過設定有效播放時間閾值，可以對播放時間過短的數據進行篩除。因為如果用戶觀看時間過短，雖然是進行了目標數據的訪問，但並不能客觀反映用戶的真實興趣，而往往是因為沒有興趣才會出現觀看時間過短的情況。
比如，以觀看影片為例，觀看時間小於1分鐘，或者小於3分鐘，並不能反映用戶的興趣。
而以查閱商品為例，用戶在商品頁面停留的時間小於5秒鐘，可以認為用戶對該商品沒有興趣，因此可以設定5秒這個時間為播放時間閾值。
為了更加準確的進行數據過濾，對於不同類型的目標數據，可以設置不同的有效播放時間閾值。具體的可以根據目標數據的目標對象id確定相應的有效播放時間閾值。
當第一目標數據的播放時長超過有效播放時間閾值時，確定第一目標數據為有效數據；
當第一目標數據的播放時長不超過有效播放時間閾值時，對第一目標數據添加第一數據屬性，並且根據第一數據屬性，將第一目標數據從待篩選的目標數據中刪除。
本發明實施例提供的數據過濾方法，通過對目標數據的數據格式和數據訪問頻率的過濾來濾除無效數據，確定有效數據，從而保證後續用於數據計算的數據有效性。
專業人員應該還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、計算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
結合本文中所公開的實施例描述的方法或算法的步驟可以用硬體、處理器執行的軟體模塊，或者二者的結合來實施。軟體模塊可以置於隨機存儲器(ram)、內存、只讀存儲器(rom)、電可編程rom、電可擦除可編程rom、寄存器、硬碟、可移動磁碟、cd-rom、或技術領域內所公知的任意其它形式的存儲介質中。
以上所述的具體實施方式，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施方式而已，並不用於限定本發明的保護範圍，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。