一種數據處理方法及系統與流程
2023-07-05 06:45:06 2
本發明涉及移動終端領域，特別涉及一種數據處理方法及系統。
背景技術：
隨著手機等智能移動產品的發展，移動端應用得到了空前發展，比如微信、手機端騰訊新聞等。在這些移動端應用中，通常為了提高用戶體驗，會存在一定的「預拉取」處理。為了方便描述，結合圖1展示了手機新聞端的一個用戶界面，為使用戶在向左右滑動時能夠流暢地閱讀不同頻道的新聞，手機新聞端會在用戶點擊「視頻」頻道時，就預先將「廣東」、「財經」、「娛樂」等頻道的新聞加載到用戶客戶端中，從而產生一組對用戶的曝光數據。這種預拉取處理產生的曝光數據我們稱之為偽曝光數據，因為實際上用戶還沒有看到例子中「廣東」、「財經」、「娛樂」等頻道的新聞，在統計新聞的曝光和點擊數據時，如果不加區分，這種偽曝光數據會造成錯誤的統計結果。
為了解決前面提到的問題，通常的數據統計利用離線存儲和定期運算的方式，先將一段時期內的用戶行為數據集中離線傳輸到一個分布式文件系統中，然後定期對離線數據進行統計，在這種情況下，用戶的全部行為都是可見的，可以通過用戶在預拉取之後的行為區分偽曝光數據和真實的曝光數據，用戶實際點擊的「視頻」和「娛樂」頻道下的新聞產生了真實的曝光，而用戶未點擊的「廣東」、「財經」等頻道下的預拉取曝光數據將被丟棄，不參與統計。
由於離線數據統計方案採用批量處理的計算方式，先將數據存儲在磁碟中，然後定期進行處理，這種計算模式不能產生實時的統計數據，帶來較大的時間延遲，不能滿足當前的實時需求。
技術實現要素：
有鑑於此，本發明實施例提供了一種數據處理方法及系統。
本發明的一個目的是提供一種數據處理方法，包括：
獲取用戶操作客戶端產生的第一數據，其中，所述用戶具有用於標識身份的用戶標識，所述第一數據包括用戶標識、多個與所述用戶標識對應的第二數據及多個第三數據，所述第二數據與所述第三數據一一對應；
配置所述第一數據的所述用戶標識與所述第二數據及所述第三數據一一對應的關係並將所述第一數據作為緩存數據；
獲取所述用戶操作客戶端產生的對象操作數據，所述對象操作數據包括所述用戶標識、被操作的第二數據，其中，所述被操作的對象為所述多個第二數據中的一個；
根據所述用戶標識在所述關係中查詢得到所述用戶標識對應的所述緩存數據；
根據所述被操作的第二數據查詢所述緩存數據中所述被操作的第二數據對應的第三數據；
判斷被操作的第二數據對應的第三數據滿足預設條件時將所述被點擊的第二數據對應的第三數據作為真實數據供後臺使用。
進一步地、所述第一數據為原始曝光數據，所述第二數據為曝光頻道，所述第三數據為曝光頻道新聞ID列表，所述對象操作數據為頻道點擊數據，所述獲取用戶操作客戶端產生的第一數據，其中，所述用戶具有用於標識身份的用戶標識，所述第一數據包括用戶標識、多個與所述用戶標識對應的第二數據及多個第三數據，所述第二數據與所述第三數據一一對應，包括：
獲取用戶操作客戶端產生的原始曝光數據，其中，所述用戶具有用於標識身份的用戶ID，所述原始曝光數據包括用戶ID、多個與所述用戶ID對應的曝光頻道及多個曝光頻道新聞ID列表，所述曝光頻道與所述曝光頻道新聞ID列表一一對應；
所述配置所述第一數據的所述用戶標識與所述第二數據及所述第三數據一一對應的關係並將所述第一數據作為緩存數據，包括：
將所述原始曝光數據以所述用戶ID為key、以曝光頻道及曝光頻道新聞ID列表為value存入基於內存的KV存儲系統中作為曝光緩存；
獲取所述用戶操作客戶端產生的對象操作數據，所述對象操作數據包括所述用戶標識、被操作的第二數據，其中，所述被操作的對象為所述多個第 二數據中的一個，包括：
獲取所述用戶操作客戶端產生的頻道點擊數據，所述頻道點擊數據包括所述用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個；
根據所述用戶標識在所述關係中查詢得到所述用戶標識對應的所述緩存數據，包括：
根據所述用戶ID在所述KV存儲系統中查詢所述用戶ID對應的所述曝光緩存；
根據所述被操作的第二數據查詢所述緩存數據中所述被操作的第二數據對應的第三數據，包括：
根據所述被點擊的曝光頻道查詢所述曝光緩存中所述被點擊的曝光頻道對應的曝光頻道新聞ID列表；
判斷被操作的第二數據對應的第三數據滿足預設條件時將所述被點擊的第二數據對應的第三數據作為真實數據供後臺使用，包括：
判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用。
進一步地、所述曝光頻道新聞ID列表包括曝光時間及有效時間，
所述判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用之前，還包括：
獲取被點擊的曝光頻道的點擊行為發生時間；
計算所述被點擊的曝光頻道新聞ID列表的曝光時間與所述點擊行為發生時間之間的時間差值；
所述判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件，包括：
所述時間差值不大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件。
進一步地、根據所述被點擊的曝光頻道查詢所述曝光緩存中所述被點擊 的曝光頻道對應的曝光頻道新聞ID列表之後，還包括：
判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表未滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為偽曝光數據丟棄。
進一步地、所述根據所述用戶ID在所述KV存儲系統中查詢所述用戶ID對應的所述曝光緩存之前，還包括：
獲取所述用戶操作客戶端產生的新聞點擊數據，所述新聞點擊數據包括所述用戶ID、新聞所在曝光頻道以及新聞ID，其中，所述新聞所在曝光頻道為所述多個曝光頻道中的一個；
所述根據所述用戶ID在所述KV存儲系統中查詢所述用戶ID對應的所述曝光緩存之後，還包括：
根據所述新聞所在曝光頻道查詢所述曝光緩存中所述新聞所在曝光頻道對應的曝光頻道新聞ID列表；
根據所述新聞ID在所述新聞所在曝光頻道對應的曝光頻道新聞ID列表中獲取所述新聞ID對應的位置信息，以使得所述位置信息可供後臺使用。
進一步地、所述有效時間為1分鐘至10分鐘中任意時間。
本發明的另一個目的是提供一種數據處理系統，包括：
第一獲取單元，用於獲取用戶操作客戶端產生的第一數據，其中，所述用戶具有用於標識身份的用戶標識，所述第一數據包括用戶標識、多個與所述用戶標識對應的第二數據及多個第三數據，所述第二數據與所述第三數據一一對應；
存儲單元，用於配置所述第一數據的所述用戶標識與所述第二數據及所述第三數據一一對應的關係並將所述第一數據作為緩存數據；
第二獲取單元，用於獲取所述用戶操作客戶端產生的對象操作數據，所述對象操作數據包括所述用戶標識、被操作的第二數據，其中，所述被操作的對象為所述多個第二數據中的一個；
第一查詢單元，用於根據所述用戶標識在所述關係中查詢得到所述用戶標識對應的所述緩存數據；
第二查詢單元，用於根據所述被操作的第二數據查詢所述緩存數據中所述被操作的第二數據對應的第三數據；
第一判斷單元，用於判斷被操作的第二數據對應的第三數據滿足預設條件時將所述被點擊的第二數據對應的第三數據作為真實數據供後臺使用。
進一步地、第一獲取單元，用於獲取用戶操作客戶端產生的原始曝光數據，其中，所述用戶具有用於標識身份的用戶ID，所述原始曝光數據包括用戶ID、多個與所述用戶ID對應的曝光頻道及多個曝光頻道新聞ID列表，所述曝光頻道與所述曝光頻道新聞ID列表一一對應；
存儲單元，用於將所述原始曝光數據以所述用戶ID為key、以曝光頻道及曝光頻道新聞ID列表為value存入基於內存的KV存儲系統中作為曝光緩存；
第二獲取單元，用於所述用戶操作客戶端產生的頻道點擊數據，所述頻道點擊數據包括所述第一用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個；
第一查詢單元，用於根據所述用戶ID在所述KV存儲系統中查詢所述用戶ID對應的所述曝光緩存；
第二查詢單元，用於根據所述被點擊的曝光頻道查詢所述曝光緩存中所述被點擊的曝光頻道對應的曝光頻道新聞ID列表；
第一判斷單元，用於判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用。
進一步地、所述曝光頻道新聞ID列表包括曝光時間及有效時間，所述數據處理系統還包括：
第三獲取單元，用於獲取被點擊的曝光頻道的點擊行為發生時間；
計算單元，用於計算所述被點擊的曝光頻道新聞ID列表的曝光時間與所述點擊行為發生時間之間的時間差值；
所述第一判斷單元還用於當所述時間差值不大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件。
進一步地、所述數據處理系統還包括：
第二判斷單元，用於判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表未滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為 偽曝光數據丟棄。
進一步地、所述數據處理系統還包括：
第四獲取單元，用於所述用戶操作客戶端產生的新聞點擊數據，所述新聞點擊數據包括所述用戶ID、新聞所在曝光頻道以及新聞ID，其中，所述新聞所在曝光頻道為所述多個曝光頻道中的一個；
第三查詢單元，用於根據所述新聞所在曝光頻道查詢所述曝光緩存中所述新聞所在曝光頻道對應的曝光頻道新聞ID列表；
第四查詢單元，用於根據所述新聞ID在所述新聞所在曝光頻道對應的曝光頻道新聞ID列表中獲取所述新聞ID對應的位置信息，以使得所述位置信息可供後臺使用。
從以上技術方案可以看出，本發明實施例具有以下優點：
本發明提供的數據處理方法及系統，配置所述第一數據的所述用戶標識與所述第二數據及所述第三數據一一對應的關係並將所述第一數據作為緩存數據，根據所述用戶標識在所述關係中查詢得到所述用戶標識對應的所述緩存數據，根據所述被操作的第二數據查詢所述緩存數據中所述被操作的第二數據對應的第三數據，判斷被操作的第二數據對應的第三數據滿足預設條件時將所述被點擊的第二數據對應的第三數據作為真實數據供後臺使用，即只統計真實數據，提高了後臺數據處理的準確性。
附圖說明
圖1是現有技術手機新聞端的示意圖；
圖2a是本發明提供的數據處理方法的一種實施例的流程圖；
圖2b是本發明提供的數據處理方法的另一種實施例的流程圖；
圖3是本發明提供的數據處理方法的另一種實施例的流程圖；
圖4是本發明提供的數據處理方法的另一種實施例的流程圖；
圖5是本發明提供的數據處理系統的一種實施例的結構圖。
具體實施方式
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然， 所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
本發明的說明書和權利要求書及上述附圖中的術語「第一」、「第二」、「第三」「第四」等是用於區別類似的對象，而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換，以便這裡描述的實施例能夠以除了在這裡圖示或描述的內容以外的順序實施。此外，術語「包括」和「具有」以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
結合圖2a所示，本發明提供的數據處理方法的一種實施例，包括：
S1、獲取用戶操作客戶端產生的第一數據，其中，所述用戶具有用於標識身份的用戶標識，所述第一數據包括用戶標識、多個與所述用戶標識對應的第二數據及多個第三數據，所述第二數據與所述第三數據一一對應。
在本實施例中，所述第一數據可以為原始曝光數據，所述第二數據可以為曝光頻道，所述第三數據可以為曝光頻道新聞ID列表，所述對象操作數據可以為頻道點擊數據，用戶在使用客戶端瀏覽網頁新聞時，客戶端會進行預拉取操作，提前為客戶準備好相鄰頻道的新聞ID列表，這部分數據作為原始曝光數據，每個用戶都可以有一個用戶ID，用於標識用戶的身份，每一個用戶ID都會產生原始曝光數據，每一個用戶ID可以對應幾個曝光頻道，每個曝光頻道對應一個曝光頻道新聞ID列表。
S2、配置所述第一數據的所述用戶標識與所述第二數據及所述第三數據一一對應的關係並將所述第一數據作為緩存數據。
這裡提到的關係是為了建立利用用戶標識進行查詢的關係，可以採用KV存儲系統進行，對於KV存儲是利用key-value為格式的存儲系統，通過key可以查詢到對應的value，本領域普通技術人員應當了解，所以對KV存儲的含義不進行具體介紹，利用用戶ID作為key，即在key值列表中，可以有多種用戶ID，不僅限於第一用戶ID，在構建KV存儲系統時，將第一用戶ID 作為key，則將第一用戶ID操作對應預拉取的曝光頻道和曝光頻道新聞ID列表作為value，曝光頻道和曝光頻道新聞ID列表一一對應，即利用第一用戶ID即可查詢到對應的預拉取的曝光頻道和曝光頻道新聞ID列表。
S3、獲取所述用戶操作客戶端產生的對象操作數據，所述對象操作數據包括所述用戶標識、被操作的第二數據，其中，所述被操作的對象為所述多個第二數據中的一個。
被操作的第二數據可以為被點擊的曝光頻道，即用戶實際操作的頻道，建立KV存儲系統後，當接收到第一用戶ID操作客戶端產生的頻道點擊數據，即第一用戶ID點擊了某個頻道即可產生頻道點擊數據，此時說明第一用戶ID的用戶正在瀏覽該頻道下的新聞，所以可以認為對該頻道預拉取的新聞ID列表是用戶看到的，可以作為真實曝光數據使用，所述頻道點擊數據包括所述第一用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個，被點擊的曝光頻道即第一用戶ID的用戶當前瀏覽的頻道。
S4、根據所述用戶標識在所述關係中查詢得到所述用戶標識對應的所述緩存數據。
因為所述關係中用戶標識和緩存數據是一一對應的，可以根據用戶標識查詢的到對應的緩存數據，利用KV存儲系統的特性，根據第一用戶ID為key可以查詢得到資料庫中與所述第一用戶ID對應的曝光緩存，即第一用戶ID預拉取的曝光頻道和曝光頻道新聞ID列表。
S5、根據所述被操作的第二數據查詢所述緩存數據中所述被操作的第二數據對應的第三數據。
獲得了第一用戶ID對應的的曝光頻道和曝光頻道新聞ID列表後，再利用被點擊的曝光頻道查詢曝光緩存中的信息，可以得到被點擊的曝光頻道對應的曝光頻道新聞ID列表。
S6、判斷被操作的第二數據對應的第三數據滿足預設條件時將所述被點擊的第二數據對應的第三數據作為真實數據供後臺使用。
對於得到的第三數據進行有效性驗證，滿足預設條件時候才供後臺使用，但第三數據為曝光頻道新聞列表時，可以採用記錄曝光頻道新聞ID列表的產生時間，並設定有效時間，以接收到用戶對頻道的點擊行為的時間為準，計 算時間間隔是否不大於有效時間，若不大於，這可以確定得到的數據有限，可以將被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用，即用戶真正瀏覽了該頻道的信息，後臺使用可以對真實曝光數據進行統計，作為新聞推薦的參考，提高了新聞推薦的精準度。
本發明提供的數據處理方法，將預拉取產生的原始曝光數據進行KV存儲，再利用頻道點擊數據中的用戶ID在KV存儲的資料庫中查詢得到曝光緩存，利用被點擊頻道將在曝光緩存中查詢到曝光頻道新聞ID列表，將利用被點擊頻道查詢得到的曝光頻道新聞ID列表作為真實曝光數據供後臺使用，使得後臺在進行統計時候，只統計原始曝光數據中經過頻道點擊的曝光頻道新聞ID列表，即只統計真實曝光數據，並且利用KV存儲和預設條件對原始曝光數據進行篩選，提高了後臺數據處理的準確性。
結合圖2b所示，本發明的數據處理方法還提供了一種實施例，其中，，所述第一數據為原始曝光數據，所述第二數據為曝光頻道，所述第三數據為曝光頻道新聞ID列表，所述對象操作數據為頻道點擊數據，所述方法包括：
S101、獲取用戶操作客戶端產生的原始曝光數據，其中，所述用戶具有用於標識身份的用戶ID，所述原始曝光數據包括用戶ID、多個與所述用戶ID對應的曝光頻道及多個曝光頻道新聞ID列表，所述曝光頻道與所述曝光頻道新聞ID列表一一對應。
用戶在使用客戶端瀏覽網頁新聞時，客戶端會進行預拉取操作，提前為客戶準備好相鄰頻道的新聞ID列表，這部分數據作為原始曝光數據，每個用戶都可以有一個用戶ID，用於標識用戶的身份，每一個用戶ID都會產生原始曝光數據，每一個用戶ID可以對應幾個曝光頻道，每個曝光頻道對應一個曝光頻道新聞ID列表，並且每一個曝光頻道新聞ID列表在產生原始曝光數據時候就已經確定，原始數據數據中可以包括多個用戶ID對應的曝光頻道和曝光頻道新聞ID列表，不同的用戶ID進行操作時候都會產生對應的原始曝光數據，例如，用戶ID的用戶正在瀏覽「軍事頻道」，客戶端會將「軍事頻道」相鄰的「社會頻道」的新聞ID列表和「時政頻道」的新聞ID列表進行預拉取作為該用戶ID的原始曝光數據，而當另一個用戶ID的用戶瀏覽「社會頻道」，客戶端會將「社會頻道」相鄰的「軍事頻道」的新聞ID列表和「娛樂 頻道」的新聞ID列表進行預拉取放作為這個用戶ID對應的原始曝光數據，這裡為了方便說明，以用戶ID的操作進行介紹，對此下文中不進行贅述。
S102、將所述原始曝光數據以所述用戶ID為key、以曝光頻道及曝光頻道新聞ID列表為value存入基於內存的KV存儲系統中作為曝光緩存。
對於KV存儲是利用key-value為格式的存儲系統，通過key可以查詢到對應的value，本領域普通技術人員應當了解，所以對KV存儲的含義不進行具體介紹，利用用戶ID作為key，即在key值列表中，可以有多種用戶ID，不僅限於第一用戶ID，在構建KV存儲系統時，將第一用戶ID作為key，則將第一用戶ID操作對應預拉取的曝光頻道和曝光頻道新聞ID列表作為value，曝光頻道和曝光頻道新聞ID列表一一對應，即利用第一用戶ID即可查詢到對應的預拉取的曝光頻道和曝光頻道新聞ID列表，同理，可以利用第二用戶ID，不進行贅述，按照這種方式將原始數據存儲在KV存儲系統的資料庫中，原始曝光數據存儲在KV系統中之後稱為曝光緩存，下文中出現不進行贅述。
S103、獲取以第一用戶ID操作客戶端產生的頻道點擊數據，所述頻道點擊數據包括所述第一用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個。
建立KV存儲系統後，當接收到第一用戶ID操作客戶端產生的頻道點擊數據，即第一用戶ID點擊了某個頻道即可產生頻道點擊數據，此時說明第一用戶ID的用戶正在瀏覽該頻道下的新聞，所以可以認為對該頻道預拉取的新聞ID列表是用戶看到的，可以作為真實曝光數據使用，所述頻道點擊數據包括所述第一用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個，被點擊的曝光頻道即第一用戶ID的用戶當前瀏覽的頻道，例如當前第一用戶ID的用戶在瀏覽「軍事頻道」，則被點擊的曝光頻道為「軍事頻道」，而這個被點擊的曝光頻道「軍事頻道」正是之前預拉取的多個曝光頻道「時政頻道」、「社會頻道」及「軍事頻道」中的一個。
S104、根據所述第一用戶ID在所述KV存儲系統中查詢所述第一用戶ID對應的所述曝光緩存。
利用KV存儲系統的特性，根據第一用戶ID為key可以查詢得到資料庫中與所述第一用戶ID對應的曝光緩存，即第一用戶ID預拉取的曝光頻道和 曝光頻道新聞ID列表，例如，上文中提到的當前操作的「軍事頻道」及「軍事頻道」下的新聞ID列表、「時政頻道」及「時政頻道」下的新聞ID列表以及「社會頻道」及「社會頻道」下的新聞ID列表，下面需要做的是從第一用戶ID對應的預拉取的曝光頻道和曝光頻道新聞ID列表確定用戶已經瀏覽的頻道，即確定真實曝光數據。
S105、根據所述被點擊的曝光頻道查詢所述曝光緩存中所述被點擊的曝光頻道對應的曝光頻道新聞ID列表。
獲得了第一用戶ID對應的的曝光頻道和曝光頻道新聞ID列表後，再利用被點擊的曝光頻道查詢曝光緩存中的信息，可以得到被點擊的曝光頻道對應的曝光頻道新聞ID列表，例如上文中提到的用戶點擊了「軍事頻道」，則根據「軍事頻道」可以在曝光緩存中查詢「軍事頻道」的新聞ID列表，而這個「軍事頻道」的新聞ID列表正是用戶瀏覽的頻道在經過驗證後可以作為真實數據。
S106、判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用。
得到了被點擊的曝光頻道對應的曝光頻道新聞ID列表後，需要進行有效性驗證，例如，對曝光緩存的數據進行時間限制，超過一定時間的曝光緩存會被丟棄，以節省存儲空間，具體可以採用記錄曝光頻道新聞ID列表的產生時間，並設定有效時間，以接收到用戶對頻道的點擊行為的時間為準，計算時間間隔是否不大於有效時間，若不大於，這可以確定得到的數據有限，可以將被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用，即用戶真正瀏覽了該頻道的信息，後臺使用可以對真實曝光數據進行統計，作為新聞推薦的參考，提高了新聞推薦的精準度。
本發明提供的數據處理方法，將預拉取產生的原始曝光數據進行KV存儲，再利用頻道點擊數據中的用戶ID在KV存儲的資料庫中查詢得到曝光緩存，利用被點擊頻道將在曝光緩存中查詢到曝光頻道新聞ID列表，將利用被點擊頻道查詢得到的曝光頻道新聞ID列表作為真實曝光數據供後臺使用，使得後臺在進行統計時候，只統計原始曝光數據中經過頻道點擊的曝光頻道新 聞ID列表，即只統計真實曝光數據，並且利用KV存儲和預設條件對原始曝光數據進行篩選，提高了後臺數據處理的準確性。
結合圖3所示，本發明的數據處理方法還提供了另一種實施例，包括：
S201、獲取用戶操作客戶端產生的原始曝光數據，其中，所述用戶具有用於標識身份的用戶ID，所述原始曝光數據包括用戶ID、多個與所述用戶ID對應的曝光頻道及多個曝光頻道新聞ID列表，所述曝光頻道與所述曝光頻道新聞ID列表一一對應，所述用戶ID至少包括第一用戶ID。
步驟201中與上一實施例中S101相類似，此處不作贅述。
S202、將所述原始曝光數據以所述用戶ID為key、以曝光頻道及曝光頻道新聞ID列表為value存入基於內存的KV存儲系統中作為曝光緩存。
所述曝光頻道新聞ID列表包括曝光時間及有效時間，在KV存儲系統中一併存儲，當查詢到曝光頻道新聞ID列表後可以獲得該列表曝光時間，即列表的生成時間，有效時間用於校驗查詢得到的信息，對於超過有效時間的數據進行丟棄，以節省空間，提高數據統計的準確性，所述有效時間可以靈活進行設定，例如可以設為1分鐘至10分鐘中任意時間，具體可根據需要選擇，在此不進行限定。
S203、獲取以第一用戶ID操作客戶端產生的頻道點擊數據，所述頻道點擊數據包括所述第一用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個。
步驟203中與上一實施例中S103相類似，此處不作贅述。
S204、根據所述第一用戶ID在所述KV存儲系統中查詢所述第一用戶ID對應的所述曝光緩存.
步驟204中與上一實施例中S104相類似，此處不作贅述。
S205、根據所述被點擊的曝光頻道查詢所述曝光緩存中所述被點擊的曝光頻道對應的曝光頻道新聞ID列表。
步驟205中與上一實施例中S105相類似，此處不作贅述。
S206、獲取被點擊的曝光頻道的點擊行為發生時間。
在用戶點擊頻道時記錄當時時間，將點擊發生時間放入到頻道點擊數據中，接收到頻道點擊數據可以解析出點擊發生時間，用來作為判斷曝光時間 是否超出有效時間的基準點。
S207、計算所述被點擊的曝光頻道新聞ID列表的曝光時間與所述點擊行為發生時間之間的時間差值。
在預拉取曝光頻道新聞ID列表時會生成曝光時間，用來提示曝光頻道新聞ID列表的生成時間，利用點擊行為發生時間可以計算曝光頻道新聞ID列表的持續時間，即時間差值，比較時間差值和有效時間的大小可以確定曝光頻道新聞ID列表是否可以作為真實曝光數據使用。
S208、判斷所述時間差值不大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表，若是，則執行S109，若否，則執行S110。
時間差值不大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件，時間差值大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表則不滿足預設條件，本領域普通技術人員應當了解，此處不進行贅述。
S209、將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用。
步驟209中與上一實施例中S106相類似，此處不作贅述。
S210、將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為偽曝光數據丟棄。
後臺需要對真實曝光數據進行統計等操作，因此需要排除偽曝光數據，為了節省KV存儲系統的空間可以將偽曝光數據進行丟棄，即將偽曝光數據進行刪除，以節省空間。
通過提供實時準確的有效曝光數據，得到了更精確的新聞數據分析，減小了原始曝光數據中偽曝光數據造成的統計錯誤。
為了更好的提供準確的推薦數據，針對用戶對具體新聞的操作，本發明的數據處理方法還提供了一種實施例，下面結合圖4進行說明。
S301、獲取用戶操作客戶端產生的原始曝光數據，其中，所述用戶具有用於標識身份的用戶ID，所述原始曝光數據包括用戶ID、多個與所述用戶ID對應的曝光頻道及多個曝光頻道新聞ID列表，所述曝光頻道與所述曝光頻道新聞ID列表一一對應，所述用戶ID至少包括第一用戶ID。
步驟S301與步驟S201相類似，此處不進行贅述。
S302、將所述原始曝光數據以所述用戶ID為key、以曝光頻道及曝光頻道新聞ID列表為value存入基於內存的KV存儲系統中作為曝光緩存。
步驟S302與步驟S202相類似，此處不進行贅述。
S303、獲取以第一用戶ID操作客戶端產生的頻道點擊數據，所述頻道點擊數據包括所述第一用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個。
步驟S303與步驟S203相類似，此處不進行贅述。
S304、獲取以第一用戶ID操作客戶端產生的新聞點擊數據，所述新聞點擊數據包括所述第一用戶ID、新聞所在曝光頻道以及新聞ID，其中，所述新聞所在曝光頻道為所述多個曝光頻道中的一個。
用戶的點擊行為和新聞所處的位置有很大關係，新聞所處位置不同對不同用戶的吸引力不同，因此得到用戶點擊新聞時新聞所處位置，對精準推薦或是數據分析都非常重要，在接收到第一用戶ID的用戶的新聞點擊數據後，根據第一用戶ID查詢基於內存的KV存儲得到第一用戶ID的曝光緩存，根據新聞所在頻道提取曝光緩存中新聞所在頻道的曝光頻道新聞ID列表，因為曝光頻道新聞ID列表中的新聞ID是按序排列的，因此可以查詢得到此次點擊的新聞ID在列表中所處位置，即該新聞在曝光給用戶時所處的推薦位置。
S305、根據所述第一用戶ID在所述KV存儲系統中查詢所述第一用戶ID對應的所述曝光緩存。
步驟S305與步驟S204相類似，此處不進行贅述。
S306、根據所述被點擊的曝光頻道查詢所述曝光緩存中所述被點擊的曝光頻道對應的曝光頻道新聞ID列表。
步驟S306與步驟S205相類似，此處不進行贅述。
S307獲取被點擊的曝光頻道的點擊行為發生時間。
步驟S307與步驟S206相類似，此處不進行贅述。
S308計算所述被點擊的曝光頻道新聞ID列表的曝光時間與所述點擊行為發生時間之間的時間差值。
步驟S308與步驟S207相類似，此處不進行贅述。
S309、判斷所述時間差值不大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表，若是，則執行S310，若否，則執行S313。
時間差值不大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件，時間差值大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表則不滿足預設條件，本領域普通技術人員應當了解，此處不進行贅述。
S310、將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用。
步驟301中與上一實施例中S209相類似，此處不作贅述。
S311、根據所述新聞所在曝光頻道查詢所述曝光緩存中所述新聞所在曝光頻道對應的曝光頻道新聞ID列表。
根據第一用戶ID查詢基於內存的KV存儲得到第一用戶ID的曝光緩存，根據新聞所在頻道提取曝光緩存中新聞所在頻道的曝光頻道新聞ID列表。
S312、根據所述新聞ID在所述新聞所在曝光頻道對應的曝光頻道新聞ID列表中獲取所述新聞ID對應的位置信息，以使得所述位置信息可供後臺使用。
根據新聞所在頻道提取曝光緩存中新聞所在頻道的曝光頻道新聞ID列表，因為曝光頻道新聞ID列表中的新聞ID是按序排列的，因此可以查詢得到此次點擊的新聞ID在列表中所處位置，即該新聞在曝光給用戶時所處的推薦位置，通過對用戶新聞點擊行為的加工處理，得到被點擊新聞所處位置，提供了在推薦位層面的細粒度CTR(中文：點擊通過率，英文:Click Through Rate)數據分析條件。
S313、將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為偽曝光數據丟棄。
後臺需要對真實曝光數據進行統計等操作，因此需要排除偽曝光數據，為了節省KV存儲系統的空間可以將偽曝光數據進行丟棄，即將偽曝光數據進行刪除，以節省空間。
通過實際的新聞推薦業務驗證了此方法通過對用戶新聞點擊行為的加工處理，得到被點擊新聞所處位置，區分了不同推薦位的吸引力，更準確的理解用戶興趣，有效提高了在新聞推薦算法推薦的精準度。
為了便於理解本申請的數據處理方法，下面提供一種應用場景便於理解方案。
用戶在客戶端上瀏覽網頁新聞，當前正在瀏覽的頻道是B頻道，與B頻道相鄰的是A頻道和C頻道，用戶ID為第一用戶ID，為了便於用戶在左右滑動時可以快速查看A頻道或者C頻道中的新聞ID列表，需要預拉取A頻道的頻道列表和C頻道的新聞ID列表，此時進行預拉取操作的時間為曝光時間，定為：10時00分，假設A頻道的新聞ID列表包括a1、a2、a3，B頻道的新聞ID列表為b1、b2、b3，C頻道的新聞ID列表為c1、c2、c3，此時A頻道的新聞ID列表、B頻道的新聞ID列表以及C頻道的新聞ID列表作為原始曝光數據，將這些原始曝光光數據以第一用戶ID為key、A頻道及A頻道的新聞ID列表B頻道及B頻道的新聞ID列表C頻道及C頻道的新聞ID列表以及曝光時間為value存儲KV存儲系統中作為曝光緩存，當第一用戶ID操作A頻道時，生成A頻道的頻道點擊數據，頻道點擊數據中包括第一用戶ID、被點擊的A頻道，以及點擊發生時間(定義為10時05分)和有效時間(定義為10分鐘)，利用第一用戶ID在KV存儲系統中查詢到與第一用戶ID對應的曝光緩存，再利用被點擊的A頻道查詢曝光緩存中對應的A頻道的新聞ID列表a1、a2、a3，根據點擊發生時間和曝光時間計算時間差值為5分鐘，時間差值不大於有效時間，所以原始曝光數據中的A頻道和A頻道的新聞ID列表為真實曝光數據，可以供後臺統計使用，而第一用戶ID的用戶點擊C頻道時刻晚於10時10分(時間差值大於10分，超出有效時間)或者沒有點擊C頻道，則可以將C頻道即C頻道的新聞ID列表作為偽曝光數據進行刪除以節省空間。
上文中介紹了一種數據處理方法，結合圖5所示，對應地，本發明還提供了數據處理系統的一種實施例，包括：
第一獲取單元401，用於獲取用戶操作客戶端產生的第一數據，其中，所述用戶具有用於標識身份的用戶標識，所述第一數據包括用戶標識、多個與所述用戶標識對應的第二數據及多個第三數據，所述第二數據與所述第三數據一一對應；
存儲單元402，用於配置所述第一數據的所述用戶標識與所述第二數據及 所述第三數據一一對應的關係並將所述第一數據作為緩存數據；
第二獲取單元403，用於獲取所述用戶操作客戶端產生的對象操作數據，所述對象操作數據包括所述用戶標識、被操作的第二數據，其中，所述被操作的對象為所述多個第二數據中的一個；
第一查詢單元404，用於根據所述用戶標識在所述關係中查詢得到所述用戶標識對應的所述緩存數據；
第二查詢單元405，用於根據所述被操作的第二數據查詢所述緩存數據中所述被操作的第二數據對應的第三數據；
第一判斷單元406，用於判斷被操作的第二數據對應的第三數據滿足預設條件時將所述被點擊的第二數據對應的第三數據作為真實數據供後臺使用。
可選地，第一獲取單元401，用於獲取用戶操作客戶端產生的原始曝光數據，其中，所述用戶具有用於標識身份的用戶ID，所述原始曝光數據包括用戶ID、多個與所述用戶ID對應的曝光頻道及多個曝光頻道新聞ID列表，所述曝光頻道與所述曝光頻道新聞ID列表一一對應，所述用戶ID至少包括第一用戶ID。
存儲單元402，用於將所述原始曝光數據以所述用戶ID為key、以曝光頻道及曝光頻道新聞ID列表為value存入基於內存的KV存儲系統中作為曝光緩存。
第二獲取單元403，用於獲取以第一用戶ID操作客戶端產生的頻道點擊數據，所述頻道點擊數據包括所述第一用戶ID、被點擊的曝光頻道，其中，所述被點擊頻道為所述多個曝光頻道中的一個。
第一查詢單元404，用於根據所述第一用戶ID在所述KV存儲系統中查詢所述第一用戶ID對應的所述曝光緩存。
第二查詢單元405，用於根據所述被點擊的曝光頻道查詢所述曝光緩存中所述被點擊的曝光頻道對應的曝光頻道新聞ID列表。
第一判斷單元406，用於判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為真實曝光數據供後臺使用。
本發明提供的數據處理系統，將預拉取產生的原始曝光數據進行KV存 儲，再利用頻道點擊數據中的用戶ID在KV存儲的資料庫中查詢得到曝光緩存，利用被點擊頻道將在曝光緩存中查詢到曝光頻道新聞ID列表，將利用被點擊頻道查詢得到的曝光頻道新聞ID列表作為真實曝光數據供後臺使用，使得後臺在進行統計時候，只統計原始曝光數據中經過頻道點擊的曝光頻道新聞ID列表，即只統計真實曝光數據，並且利用KV存儲和預設條件對原始曝光數據進行篩選，提高了後臺數據處理的準確性。
進一步地、所述曝光頻道新聞ID列表包括曝光時間及有效時間，所述數據處理系統還包括：
第三獲取單元407，用於獲取被點擊的曝光頻道的點擊行為發生時間；
計算單元408，用於計算所述被點擊的曝光頻道新聞ID列表的曝光時間與所述點擊行為發生時間之間的時間差值；
所述第一判斷單元還用於當所述時間差值不大於所述有效時間時則被點擊的曝光頻道對應的曝光頻道新聞ID列表滿足預設條件。
進一步地、所述數據處理系統還包括：
第二判斷單元409，用於判斷被點擊的曝光頻道對應的曝光頻道新聞ID列表未滿足預設條件時將所述被點擊的曝光頻道對應的曝光頻道新聞ID列表作為偽曝光數據丟棄。
進一步地、所述數據處理系統還包括：
第四獲取單元410，用於獲取以第一用戶ID操作客戶端產生的新聞點擊數據，所述新聞點擊數據包括所述第一用戶ID、新聞所在曝光頻道以及新聞ID，其中，所述新聞所在曝光頻道為所述多個曝光頻道中的一個；
第三查詢單元411，用於根據所述新聞所在曝光頻道查詢所述曝光緩存中所述新聞所在曝光頻道對應的曝光頻道新聞ID列表；
第四查詢單元412，用於根據所述新聞ID在所述新聞所在曝光頻道對應的曝光頻道新聞ID列表中獲取所述新聞ID對應的位置信息，以使得所述位置信息可供後臺使用。
上文中提到的數據處理系統，這裡還提供了作為數據處理系統載體的終端。
一種終端，包括前面描述的數據處理系統，當然終端還需要包括必要的 硬體結構，下面進行具體介紹。
該終端可以為包括手機、平板電腦、PDA(Personal Digital Assistant，個人數字助理)、車載電腦等任意終端設備，以終端為手機為例：
手機包括：射頻(Radio Frequency，RF)電路、存儲器、輸入單元、觸摸顯示屏、傳感器、音頻電路、無線保真(wireless fidelity，WiFi)模塊、處理器、以及電源等部件。
下面對手機的各個構成部件進行具體的介紹：
RF電路可用於收發信息或通話過程中，信號的接收和發送，特別地，將基站的下行信息接收後，給處理器處理；另外，將設計上行的數據發送給基站。通常，RF電路包括但不限於天線、至少一個放大器、收發信機、耦合器、低噪聲放大器(Low Noise Amplifier，LNA)、雙工器等。此外，RF電路還可以通過無線通信與網絡和其他設備通信。上述無線通信可以使用任一通信標準或協議，包括但不限於全球移動通訊系統(Global System of Mobile communication，GSM)、通用分組無線服務(General Packet Radio Service，GPRS)、碼分多址(Code Division Multiple Access，CDMA)、寬帶碼分多址(Wideband Code Division Multiple Access,WCDMA)、長期演進(Long Term Evolution，LTE)、電子郵件、短消息服務(Short Messaging Service，SMS)等。
存儲器可用於存儲軟體程序以及模塊，處理器通過運行存儲在存儲器的軟體程序以及模塊，從而執行手機的各種功能應用以及數據處理。存儲器可主要包括存儲程序區和存儲數據區，其中，存儲程序區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲數據區可存儲根據手機的使用所創建的數據(比如音頻數據、電話本等)等。此外，存儲器可以包括高速隨機存取存儲器，還可以包括非易失性存儲器，例如至少一個磁碟存儲器件、快閃記憶體器件、或其他易失性固態存儲器件。
輸入單元可用於接收輸入的數字或字符信息，以及產生與手機的用戶設置以及功能控制有關的鍵信號輸入。具體地，輸入單元可包括觸控面板以及 其他輸入設備。觸控面板，也稱為觸控螢幕，可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板上或在觸控面板附近的操作)，並根據預先設定的程式驅動相應的連接裝置。可選的，觸控面板可包括觸摸檢測裝置和觸摸控制器兩個部分。其中，觸摸檢測裝置檢測用戶的觸摸方位，並檢測觸摸操作帶來的信號，將信號傳送給觸摸控制器；觸摸控制器從觸摸檢測裝置上接收觸摸信息，並將它轉換成觸點坐標，再送給處理器，並能接收處理器發來的命令並加以執行。此外，可以採用電阻式、電容式、紅外線以及表面聲波等多種類型實現觸控面板。除了觸控面板，輸入單元還可以包括其他輸入設備。具體地，其他輸入設備可以包括但不限於物理鍵盤、功能鍵(比如音量控制按鍵、開關按鍵等)、軌跡球、滑鼠、操作杆等中的一種或多種。
觸摸顯示屏可用於顯示由用戶輸入的信息或提供給用戶的信息以及手機的各種菜單。觸摸顯示屏可包括顯示面板，可選的，可以採用液晶顯示器(英文：Liquid Crystal Display，簡稱：LCD)、有機發光二極體(英文：Organic Light-Emitting Diode,簡稱：OLED)等形式來配置顯示面板。進一步的，觸控面板可覆蓋顯示面板，當觸控面板檢測到在其上或附近的觸摸操作後，傳送給處理器以確定觸摸事件的類型，隨後處理器根據觸摸事件的類型在顯示面板上提供相應的視覺輸出。
手機還可包括至少一種傳感器，比如光傳感器、運動傳感器以及其他傳感器。具體地，光傳感器可包括環境光傳感器及接近傳感器，其中，環境光傳感器可根據環境光線的明暗來調節顯示面板的亮度，接近傳感器可在手機移動到耳邊時，關閉顯示面板和/或背光。作為運動傳感器的一種，加速計傳感器可檢測各個方向上(一般為三軸)加速度的大小，靜止時可檢測出重力的大小及方向，可用於識別手機姿態的應用(比如橫豎屏切換、相關遊戲、磁力計姿態校準)、振動識別相關功能(比如計步器、敲擊)等；至於手機還可配置的陀螺儀、氣壓計、溼度計、溫度計、紅外線傳感器等其他傳感器，在此不再贅述。
音頻電路可將接收到的音頻數據轉換後的電信號，傳輸到揚聲器，由揚聲器轉換為聲音信號輸出；另一方面，傳聲器將收集的聲音信號轉換為電信 號，由音頻電路接收後轉換為音頻數據，再將音頻數據輸出處理器處理後，經RF電路以發送給比如另一手機，或者將音頻數據輸出至存儲器以便進一步處理。
WiFi屬於短距離無線傳輸技術，手機通過WiFi模塊可以幫助用戶收發電子郵件、瀏覽網頁和訪問流式媒體等，它為用戶提供了無線的寬帶網際網路訪問。
處理器是手機的控制中心，利用各種接口和線路連接整個手機的各個部分，通過運行或執行存儲在存儲器內的軟體程序和/或模塊，以及調用存儲在存儲器內的數據，執行手機的各種功能和處理數據，從而對手機進行整體監控。可選的，處理器可包括一個或多個處理單元；優選的，處理器可集成應用處理器和調製解調處理器，其中，應用處理器主要處理作業系統、用戶界面和應用程式等，調製解調處理器主要處理無線通信。可以理解的是，上述調製解調處理器也可以不集成到處理器中。
手機還包括給各個部件供電的電源(比如電池)，優選的，電源可以通過電源管理系統與處理器邏輯相連，從而通過電源管理系統實現管理充電、放電、以及功耗管理等功能。
儘管未示出，手機還可以包括攝像頭、藍牙模塊等，在此不再贅述。
所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統，裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方， 或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關的硬體來完成，該程序可以存儲於一計算機可讀存儲介質中，存儲介質可以包括：只讀存儲器(ROM，Read Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或光碟等。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬體完成，所述的程序可以存儲於一種計算機可讀存儲介質中，上述提到的存儲介質可以是只讀存儲器，磁碟或光碟等。
以上對本發明所提供的一種數據處理方法即相關設備進行了詳細介紹，對於本領域的一般技術人員，依據本發明實施例的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。