用於智能終端的數據統計分析方法及系統與流程

2023-06-24 18:42:46

本申請涉及數據處理領域，具體涉及一種用於智能終端的數據統計分析方法及系統。

背景技術：

隨著計算機和網際網路技術的迅速發展，人們已經離不開手機、電腦、智能電視等智能終端設備，人們的日常生活也基本都可以被數位化地呈現、記錄和分析。由此，智能終端的使用已經進入了大數據時代。智能終端下的數據統計分析對於幫助人們對目標用戶進行畫像以對目標客戶採用更精準的營銷策略具有重要意義。而其中，用戶對智能電視的觀看行為和互動行為得到的大數據具有越來越高的價值。

在實現本申請的過程中，發明人發現現有技術中至少存在以下問題：傳統電視只是有線電視臺的顯示終端，用戶無法對傳統電視進行除了更換頻道和開關機以外的其他操作，因此對傳統電視的數據進行統計分析在用戶行為分析以得到畫像方面並沒有價值。而現有的智能電視對用戶數據的統計分析過程都基於數據的離線上傳，無法做到實時的統計分析，在現今各種產品與運營方式的競爭越來越激烈，即對統計分析結果的速度要求越來越高的情況下，無法滿足客戶的需求。

技術實現要素：

本申請實施例提供一種用於智能終端的數據統計分析方法及系統，用以解決現有技術中對智能終端上傳的數據進行統計分析實時性較差的問題。

一方面本申請提供了一種用於智能終端的數據統計分析方法，包括：

接收多個終端上傳的包括系統事件和應用事件的數據；

將所述數據分配至多個任務隊列；

對所述多個任務隊列中的所述數據進行標準化驗證；

將所述數據中通過標準化驗證的數據存入資料庫中並進行統計分析。

另一方面本申請提供了一種用於智能終端的數據統計分析系統，包括：

數據接收模塊，用於接收多個終端上傳的包括系統事件和應用事件的數據；

隊列分配模塊，用於將所述數據分配至多個任務隊列；

標準化驗證模塊，用於對所述多個任務隊列中的所述數據進行標準化驗證；

入庫模塊，用於將所述數據中通過標準化驗證的數據存入資料庫中並進行統計分析。

本申請實施例提供的用於智能終端的數據統計分析方法及系統，通過將多個終端上傳的數據分配到多個任務隊列中，使得多個終端上傳數據時保持了有序性；再將任務隊列中的數據放入資料庫之前通過對這些數據進行標準化驗證，可以過濾掉部分與統計分析過程無關的數據，減少了這些數據被放入資料庫後直到統計分析時才被剔除而造成的資源浪費與時間損失，加快了上傳速度，能夠將終端的待統計分析數據以秒級別同步到服務端，從而保證了服務端數據統計分析的實時性，以及顯示數據統計分析結果的實時性。

附圖說明

為了更清楚地說明本申請實施例的技術方案，下面將對實施例描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本申請的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本申請一實施例的用於智能終端的數據統計分析方法的流程圖；

圖2是本申請一實施例的用於智能終端的數據統計分析系統的結構示意圖；

圖3是本申請一實施例的用於智能終端的數據統計分析設備的結構示意圖；

圖4是本申請一實施例的用於智能終端的數據統計分析方法的具體流程圖。

具體實施方式

為使本申請實施例的目的、技術方案和優點更加清楚，下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。

需要說明的是，在不衝突的情況下，本申請中的實施方式及實施方式中的特徵可以相互組合。

本發明可用於眾多通用或專用的計算系統環境或配置中。例如：個人計算機、伺服器計算機、手持設備或可攜式設備、平板型設備、多處理器系統、基於微處理器的系統、置頂盒、可編程的消費電子設備、網絡PC、小型計算機、大型計算機、包括以上任何系統或設備的分布式計算環境等等。

本發明可以在由計算機執行的計算機可執行指令的一般上下文中描述，例如程序模塊。一般地，程序模塊包括執行特定任務或實現特定抽象數據類型的例程、程序、對象、組件、數據結構等等。也可以在分布式計算環境中實踐本發明，在這些分布式計算環境中，由通過通信網絡而被連接的遠程處理設備來執行任務。在分布式計算環境中，程序模塊可以位於包括存儲設備在內的本地和遠程計算機存儲介質中。

最後，還需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」，不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括…...」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

圖1是本申請一實施例的用於智能終端的數據統計分析方法的流程圖。如圖1所示，該方法包括：

S11：接收多個終端上傳的包括系統事件和應用事件的數據；

S12：將所述數據分配至多個任務隊列；

S13：對所述多個任務隊列中的所述數據進行標準化驗證；

S14：將所述數據中通過標準化驗證的數據存入資料庫中並進行統計分析。

本實施例中，終端為智能電視，其中，系統事件包括開機、關機、打開應用、切換應用、進入屏保、退出屏保等操作，應用事件包括當前播放頻道、當前使用應用等可識別的當前觀看或使用的內容。終端將數據上傳至伺服器時，會在待上傳的數據中添加相應的IP位址、上傳時間點等系統信息，使得每個終端上傳的數據都具有各自的標識信息，方便在後續的統計分析過程中對地域、時間等各種維度的統計分析。將數據分配至多個任務隊列則可以根據數據的上傳時間、數據對應的優先級或數據的IP位址等方式進行。

本申請實施例提供的用於智能終端的數據統計分析方法，通過將多個終端上傳的數據分配到多個任務隊列中，使得多個終端上傳數據時保持了有序性；再將任務隊列中的數據放入資料庫之前通過對這些數據進行標準化驗證，可以過濾掉部分與統計分析過程無關的數據，減少了這些數據被放入資料庫後直到統計分析時才被剔除而造成的資源浪費與時間損失，加快了上傳速度，能夠將終端的待統計分析數據以秒級別同步到服務端，從而保證了服務端數據統計分析的實時性，以及顯示數據統計分析結果的實時性。

本申請所示方法的另一實施例中，所述數據的格式至少包括必要格式，S13對所述多個任務隊列中的所述數據進行標準化驗證包括：

S131：對所述數據進行格式驗證；

S132：當所述數據包含必要格式時，對包含必要格式的但不滿足所有格式要求的數據進行數據轉換；

S133：當所述數據不包含必要格式時，刪除所述數據。

本實施例中，必要格式為伺服器接收到的終端上傳的數據必須滿足的預設格式，該預設格式與數據統計分析的維度和內容(例如地域維度、會員級別維度、播放類型維度等及觀看數量、觀看時長、觀看次數等內容)相關。若某個數據的格式不包含必要格式，則表明該數據不是需要被統計的數據，將其上傳的話會造成統計分析資源的浪費。

終端上傳的數據除了必要格式外，還具有其他格式，以其他格式形成的部分包含的信息也在統計分析的範圍內，但需要在統計分析前將該格式進行轉換，以形成統計分析設備可以接收的用於統計分析的格式。

本實施例通過對伺服器接收到的終端上傳的數據進行格式驗證，可以避免將不滿足統計分析需求的數據上傳至統計分析設備進行統計分析造成的資源浪費；並將滿足必要格式但其他格式不符合統計分析要求的數據進行數據的格式轉換，使其能夠被統計分析設備進行相應的數據處理，可以增加統計分析結果的準確性。

本申請所示方法的另一實施例中，S13對所述多個任務隊列中的所述數據進行標準化驗證包括：

S134：根據媒體資源資料庫對通過格式驗證的數據進行信息補充。

本實施例中，通過格式驗證的數據在格式要求上符合了統計分析的需求，但在內容上有可能存在缺失。例如，伺服器接收到終端上傳的數據包含的事件為當前播放的視頻節目，若統計分析設備只獲取到該視頻節目的名稱而進行統計分析的話，其得到的結果不能滿足客戶對數據在多維度下的分析需求，因而對企業、客戶等做出的決策幫助較少。因此，在將數據發送至統計分析設備之前，可以通過媒體資源資料庫將例如該視頻節目的導演、主演、編劇、製片方、投資方、時長等等信息添加至該數據中，加強統計分析結果的全面性，減少統計分析設備在這些維度下進行統計分析時還要先在媒體資源資料庫中進行查詢後再將查詢後的信息返回至自身並與原始數據結合的麻煩，降低了數據統計分析的工作量，加快了數據統計分析的速度，從而提高了數據統計分析的實時性。

本申請所示方法的一可選實施例中，S13對所述多個任務隊列中的所述數據進行標準化驗證包括：

S135：當所述終端上傳的數據中應用事件為當前播放頻道時，從所述媒體資源資料庫中查詢所述當前播放頻道對應的節目信息，並將所述節目信息補充至所述數據中。

本實施例中，當伺服器接收到的來自終端上傳的數據包括的應用事件為當前播放頻道時，需要從媒體資源資料庫中查詢該數據中的當前播放頻道對應的節目單，並根據例如該數據上傳的時間確定節目單中對應時間下的節目是哪個，由此可以確定該數據中的當前播放頻道對應的節目信息。其中，當前播放頻道具有兩種形式，一種是有線電視臺的當前播放頻道，例如CCTV-1、湖南衛視等，另一種是網絡直播的當前播放頻道，例如樂視輪播臺、樂視體育等。不管終端上傳的數據中包括的當前播放頻道是哪種形式，播放頻道都有對應的節目單存在媒體資源資料庫中。而每一個頻道每天播出的節目內容都是不同的，因此，媒體資源資料庫中每一個頻道對應的節目單都需要定時更新，以保證補充至上傳數據中的信息是正確的信息，從而使得對這些數據的統計分析的結果具有較高的準確性。

本申請所示方法的又一實施例中，S14將所述數據中通過標準化驗證的數據存入資料庫中並進行統計分析包括：

S141：將所述數據中通過標準化驗證的數據存入不同的資料庫，並提供相應的接口以供查詢。

本實施例中，伺服器將通過標準化驗證的數據放入不同的資料庫，可以使得統計分析設備對這些數據進行多樣化的統計分析，滿足客戶的全方位需求，從而幫助企業的相關決策。例如，通過對伺服器接收到的通過標準化驗證的數據進行統計分析，得到了黃金時段內核心用戶觀看懸疑類韓劇和燒腦類綜藝節目的比例和時間大幅上升，則可以幫助企業做出更多地引進懸疑類韓劇和燒腦類綜藝節目的決策。

應當理解的是，本申請在上述實施例所示方法步驟後，還包括對放入資料庫的數據進行統計分析以及顯示統計分析結果的過程。其中，由於提供了不同的接口以供查詢，本申請實施例所示方法在顯示統計分析結果時可以得到多個統計分析結果圖表，便於使客戶能夠直觀地感受到統計分析結果。

需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作合併，但是本領域技術人員應該知悉，本申請並不受所描述的動作順序的限制，因為依據本申請，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模塊並不一定是本申請所必須的。

在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。

圖2是本申請一實施例的用於智能終端的數據統計分析系統的結構示意圖。本申請所述的用於智能終端的數據統計分析方法可以基於本實施例中的用於智能終端的數據統計分析系統實施。如圖2所示，該系統包括數據接收模塊21、隊列分配模塊22、標準化驗證模塊23和入庫模塊24。

數據接收模塊21用於接收多個終端上傳的包括系統事件和應用事件的數據；

隊列分配模塊22用於將所述數據分配至多個任務隊列；

標準化驗證模塊23用於對所述多個任務隊列中的所述數據進行標準化驗證；

入庫模塊24用於將所述數據中通過標準化驗證的數據存入資料庫中並進行統計分析。

本申請實施例提供的用於智能終端的數據統計分析系統，通過接收模塊21接收多個終端上傳的數據後，通過隊列分配模塊22將多個終端上傳的數據分配到多個任務隊列中，使得多個終端上傳數據時保持了有序性；再將任務隊列中的數據放入資料庫之前通過標準化驗證模塊23對這些數據進行標準化驗證，可以過濾掉部分與統計分析過程無關的數據，減少了這些數據被放入資料庫後直到統計分析時才被剔除而造成的資源浪費與時間損失，加快了上傳速度，能夠將終端的待統計分析數據以秒級別同步到服務端，從而保證了服務端數據統計分析的實時性，以及顯示數據統計分析結果的實時性。

本申請實施例中可以通過硬體處理器(hardware processor)來實現相關功能模塊。

圖3為本申請實施例提供的一種用於智能終端的數據統計分析伺服器300的結構示意圖，本申請具體實施例並不對用於智能終端的數據統計分析伺服器300的具體實現做限定。如圖3所示，該伺服器300可以包括：

處理器(processor)310、通信接口(Communications Interface)320、存儲器(memory)330、以及通信總線340。其中：

處理器310、通信接口320、以及存儲器330通過通信總線340完成相互間的通信。

通信接口320，用於與比如客戶端等的網元通信。

處理器310，用於執行程序332，具體可以執行上述方法實施例中的相關步驟。

具體地，程序332可以包括程序代碼，所述程序代碼包括計算機操作指令。

處理器310可能是一個中央處理器CPU，或者是特定集成電路ASIC(Application Specific Integrated Circuit)，或者是被配置成實施本申請實施例的一個或多個集成電路。

上述實施例中的伺服器中：

存儲器，用於存放計算機操作指令；

處理器，用於執行所述存儲器存儲的計算機操作指令，以執行：

接收多個終端上傳的包括系統事件和應用事件的數據；

將所述數據分配至多個任務隊列；

對所述多個任務隊列中的所述數據進行標準化驗證；

將所述數據中通過標準化驗證的數據存入資料庫中並進行統計分析。

本申請所示系統的另一實施例中，所述數據的格式至少包括必要格式，所述標準化驗證模塊23用於：

對所述數據進行格式驗證；

當所述數據包含必要格式時，對包含必要格式的但不滿足所有格式要求的數據進行數據轉換；

當所述數據不包含必要格式時，刪除所述數據。

本實施例中，必要格式為系統接收到的終端上傳的數據必須滿足的預設格式，該預設格式與數據統計分析的維度和內容相關。若某個數據的格式不包含必要格式，則表明該數據不是需要被統計的數據，將其上傳的話會造成統計分析資源的浪費。終端上傳的數據除了必要格式外，還具有其他格式，以其他格式形成的部分包含的信息也在統計分析的範圍內，但需要在統計分析前將該格式進行轉換，以形成統計分析設備可以接收的用於統計分析的格式。

本實施例標準化驗證模塊23通過對系統中的接收模塊21接收到的終端上傳的數據進行格式驗證，可以避免將不滿足統計分析需求的數據上傳至統計分析設備進行統計分析造成的資源浪費；標準化驗證模塊23通過將滿足必要格式但其他格式不符合統計分析要求的數據進行數據的格式轉換，使其能夠被統計分析設備進行相應的數據處理，可以增加統計分析結果的準確性。

本申請所示系統的另一實施例中，所述標準化驗證模塊23用於根據媒體資源資料庫對通過格式驗證的數據進行信息補充。

本實施例中，通過格式驗證的數據在格式要求上符合了統計分析的需求，但在內容上有可能存在缺失。例如，系統接收到終端上傳的數據包含的事件為當前播放的視頻節目，若統計分析設備只獲取到該視頻節目的名稱而進行統計分析的話，其得到的結果不能滿足客戶對數據在多維度下的分析需求，因而對企業、客戶等做出的決策幫助較少。因此，在將數據發送至統計分析設備之前，可以通過標準化驗證模塊從媒體資源資料庫將例如該視頻節目的導演、主演、編劇、製片方、投資方、時長等等信息添加至該數據中，加強統計分析結果的全面性，減少統計分析設備在這些維度下進行統計分析時還要先在媒體資源資料庫中進行查詢後再將查詢後的信息返回至自身並與原始數據結合的麻煩，降低了數據統計分析的工作量，加快了數據統計分析的速度，從而提高了數據統計分析的實時性。

本申請所示系統的一可選實施例中，所述標準化驗證模塊用於在所述終端上傳的數據中應用事件為當前播放頻道時，從所述媒體資源資料庫中查詢所述當前播放頻道對應的節目信息，並將所述節目信息補充至所述數據中。

本實施例中，當系統的接收模塊21接收到的來自終端上傳的數據包括的應用事件為當前播放頻道時，需要從媒體資源資料庫中查詢該數據中的當前播放頻道對應的節目單，並根據例如該數據上傳的時間確定節目單中對應時間下的節目是哪個，由此可以確定該數據中的當前播放頻道對應的節目信息。其中，當前播放頻道具有兩種形式，一種是有線電視臺的當前播放頻道，例如CCTV-1、湖南衛視等，另一種是網絡直播的當前播放頻道，例如樂視輪播臺、樂視體育等。不管終端上傳的數據中包括的當前播放頻道是哪種形式，播放頻道都有對應的節目單存在媒體資源資料庫中。而每一個頻道每天播出的節目內容都是不同的，因此，媒體資源資料庫中每一個頻道對應的節目單都需要定期更新，以保證補充至上傳數據中的信息是正確的信息，從而使得對這些數據的統計分析的結果具有較高的準確性。

本申請所示系統的又一實施例中，所述入庫模塊24用於將所述數據中通過標準化驗證的數據存入不同的資料庫，並提供相應的接口以供查詢。

本實施例中，入庫模塊24將通過標準化驗證的數據放入不同的資料庫，可以使得統計分析設備對這些數據進行多樣化的統計分析，滿足客戶的全方位需求，從而幫助企業的相關決策。例如，通過對系統接收到的通過標準化驗證的數據進行統計分析，得到了黃金時段內核心用戶觀看懸疑類韓劇和燒腦類綜藝節目的比例和時間大幅上升，則可以幫助企業做出更多地引進懸疑類韓劇和燒腦類綜藝節目的決策。

應當理解的是，本申請系統實施例除了包括上述系統實施例所示系統模塊外，還包括用於對放入資料庫的數據進行統計分析的統計分析模塊以及顯示統計分析結果的結果顯示模塊。其中，由於提供了不同的接口以供查詢，本申請實施例所示系統的結果顯示模塊可以顯示多個統計分析結果圖表，便於使客戶能夠直觀地感受到統計分析結果。

圖4是本申請一實施例的用於智能終端的數據統計分析方法的具體流程圖。如圖4所示，該方法包括：

步驟401：終端通過接口上報數據，服務端將上報數據放入隊列中等待處理。

步驟402：服務端按順序依次取出隊列中上報數據，進行格式驗證；若通過格式驗證，進入步驟404；否則，進入步驟403。

步驟403：格式驗證失敗的數據，直接拋棄，流程結束。

步驟404：必要格式存在，但不符合入庫標準的數據，進行步驟406。

步驟405：必要格式存在，且符合入庫標準的數據，進入步驟409。

步驟406：從媒體資源資料庫(媒資庫)對數據進行補充，使數據格式滿足入庫標準。

步驟407：將電視臺的播放數據與節目單數據進行關聯，得到當前播放的節目信息。

步驟408：信息補充完成後，進入步驟409。

步驟409：將數據在不同的資料庫中都進行存儲，供不同需求的查詢。

步驟410：資料庫中被記錄的終端的頻道信息，根據節目單自動進行節目內容更新。

步驟411：對資料庫中電視臺播放的終端數據進行批量更新。

步驟412：對各種查詢需求提供查詢接口。

以上所描述的方法實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞動的情況下，即可以理解並實施。

通過以上的實施例的描述，本領域的技術人員可以清楚地了解到各實施例可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體。基於這樣的理解，上述技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品可以存儲在計算機可讀存儲介質中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行各個實施例或者實施例的某些部分所述的方法。

本領域內的技術人員應明白，本申請的實施例可提供為方法、系統、或電腦程式產品。因此，本申請可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本申請可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器和光學存儲器等)上實施的電腦程式產品的形式。

本申請是參照根據本申請實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些電腦程式指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。這些電腦程式指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

最後應說明的是：以上實施例僅用以說明本申請的技術方案，而非對其限制；儘管參照前述實施例對本申請進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本申請各實施例技術方案的精神和範圍。