基於協同過濾的處理方法和系統的製作方法

2023-06-09 13:04:01 2

專利名稱：基於協同過濾的處理方法和系統的製作方法
技術領域：
本發明涉及計算機技術領域，具體涉及一種基於協同過濾的處理方法和系統。
背景技術：
網際網路上的信息資源呈指數膨脹帶來了所謂的「信息過載」和「信息迷向」問題，即人們很難找到自己感興趣的信息，即使找到了一些，也經常混有很多「噪音」。因此出現了面向網際網路的信息檢索、信息過濾和協同過濾等技術。但信息檢索不具有智能性，不能學習用戶的興趣，尤其是對具有特定專業興趣的用戶，輸入相同的關鍵詞只能得到相同的檢索結果。信息過濾不能對同一主題的過濾結果區分質量好壞，並且隨著信息資源的劇增，更有效的過濾需要結合人們的質量評價信息。基於該種需求，出現了推薦系統，推薦系統是為解決信息過載問題而提出的一種智能代理系統，能從大量信息中向用戶自動推薦出符合其興趣偏好或需求的資源。隨著網際網路的普及和飛速發展，推薦系統已經被廣泛應用於各種領域，尤其在電子商務領域，推薦系統得到了越來越多的研究和應用。目前，幾乎所有的大型電子商務網站都不同程度的使用了各種形式的推薦系統，比如Amazon、CDNOff> eBay和當當網上書店等。其中，協同過濾技術在當前推薦系統的應用中獲得了較大的成功。協同過濾是一類推薦算法。協同過濾考慮了用戶的評價信息。協同過濾分析用戶興趣，在用戶群中找到指定用戶的相似(興趣)用戶，綜合這些相似用戶對某一信息的評價，形成系統對該指定用戶對此信息的喜好程度的預測。主要分為基於用戶的協同過濾(User based)和基於商品的(Item based)兩種。例如基於用戶的協同過濾算法,它的基本思想是如果要為一個用戶推薦其沒有的商品，首先計算其它用戶和這個用戶的喜好的相似程度，然後從與其喜好最相似的若干用戶中找到這個用戶沒有的商品進行推薦。基於項目的協同過濾原理類似。在網際網路環境下，用戶和商品都是海量數據，同時由於實效性對算法有一定的時間要求，而現有技術中對於協同過濾的計算基本上是在一個計算伺服器上進行，當遭遇超大量的用戶，比如百萬數量級的時候，其各種矩陣的數據也非常龐大，採用單伺服器計算則時效太慢，並且對於硬體的要求比較高。

發明內容
鑑於上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種基於協同過濾的處理系統和相應的一種基於協同過濾的處理方法。依據本發明的一個方面，提供了一種基於協同過濾的處理方法，包括接收針對主體推薦至少一個項目的請求，根據所述請求啟動至少兩個計算伺服器進行推薦計算過程，所述過程包括針對至少兩個計算伺服器，每個參與計算的計算伺服器獲取各種分塊矩陣數據；所述各分塊矩陣數據包括主體-項目權重矩陣的分塊矩陣數據、協同過濾矩陣的分塊矩陣數據；
每個參與計算的計算伺服器根據所述主體-項目權重矩陣、和協同過濾矩陣確認當前計算伺服器依賴的各個伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量;每個參與計算的計算伺服器將所述被依賴的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量；每個參與計算的計算伺服器針對本地的主體-項目權重矩陣的分塊矩陣數據中的每個主體,利用本地的主體-項目權重矩陣的分塊矩陣數據、本地的協同過濾矩陣的分塊矩陣數據和接收到的分量之間的對應關係，將至少一個項目推薦給所述主體；其中，所述各計算伺服器之間通過調用訊息傳遞接口發送和接收數據。可選的，所述每個參與計算的計算伺服器根據所述主體-項目權重矩陣、和協同過濾矩陣確認當前計算伺服器依賴的各個伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量，包括每個參與計算的計算伺服器獲取其他所有計算伺服器處理的各分塊矩陣數據中分量標識；每個參與計算的計算伺服器根據本地的協同過濾距離矩陣中的分塊矩陣數據，主體-項目權重矩陣的分塊矩陣數據，和其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。依據本發明的另外一個方面，提供了一種基於協同過濾的處理系統，包括請求接收模塊和至少兩個計算伺服器；所述請求接收模塊，適於接收針對主體推薦至少一個項目的請求,根據所述請求啟動至少兩個計算伺服器；至少兩個計算伺服器中每個所述計算伺服器包括分塊矩陣數據獲取模塊，適於每個參與計算的計算伺服器獲取各種分塊矩陣數據；所述各分塊矩陣數據包括主體-項目權重矩陣的分塊矩陣數據、協同過濾矩陣的分塊矩陣數據；依賴計算伺服器確認模塊，適於每個參與計算的計算伺服器根據所述主體-項目權重矩陣、和協同過濾矩陣確認當前計算伺服器依賴的各個伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量；分量發送接收模塊，適於每個參與計算的計算伺服器將所述被依賴的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量；推薦項目計算模塊，適於每個參與計算的計算伺服器針對本地的主體-項目權重矩陣的分塊矩陣數據中的每個主體，利用本地的主體-項目權重矩陣的分塊矩陣數據、本地的協同過濾矩陣的分塊矩陣數據和接收到的分量之間的對應關係，將至少一個項目推薦給所述主體；所述各計算伺服器之間通過調用訊息傳遞接口發送和接收數據。可選的，所述依賴計算伺服器確認模塊包括分量標識獲取模塊，適於每個參與計算的計算伺服器獲取其他所有計算伺服器處理的各分塊矩陣數據中分量標識；
第一依賴伺服器確認模塊，適於每個參與計算的計算伺服器根據所述協同過濾距離矩陣中的分塊矩陣數據，和/或主體-項目權重矩陣的分塊矩陣數據，和其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。可選的，還包括標識發送模塊，適於每個參與計算的計算伺服器將所依賴的各計算伺服器中的各分塊矩陣數據的分量標識，發送給當前計算伺服器依賴的各計算伺服器；進一步的，所述分量發送接收模塊包括第一分量發送接收模塊，適於每個參與計算的計算伺服器根據所述被依賴的分量標識，將所述相應的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量。可選的，所述主體-項目權重矩陣包括用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣；所述協同過濾矩陣為對應用戶標識-項目主體-項目權重矩陣的用戶標識相似矩陣；進一步的，所述分量包括用戶標識-項目主體-項目權重矩陣的分量進和用戶標識-權重均值矩陣分量。可選的，所述第一依賴伺服器確認模塊包括剪枝模塊，適於每個參與計算的計算伺服器針對所述用戶標識相似矩陣中的分塊矩陣數據進行剪枝計算；第二依賴伺服器確認模塊，適於每個參與計算的計算伺服器根據所述剪枝後的所述用戶標識相似矩陣中的分塊矩陣數據，以及所述其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。可選的，所述剪枝模塊包括第一剪枝模塊，適於針對用戶標識相似矩陣中的分塊矩陣數據中每行或每列矩陣數據的每個維度，將每個維度的值進行排序，保留每行或每列中排序靠前的至少一個維度。可選的，所述第二依賴伺服器確認模塊包括第一行/列分量標識轉置模塊，適於每個參與計算的計算伺服器將用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的各分量標識進行行分量標識或列分量標識轉置；第一行/列分量標識對齊模塊，適於將由行分量標識轉置後得到的結果與所述用戶標識相似矩陣的列分量標識對齊，或者將由列分量標識轉置後得到的結果與所述協用戶標識相似矩陣的行分量標識對齊；第一保留模塊，適於針對當前各行或者各列保留的維度，標記對應保留維度的行分量標識或者列分量標識；第一判斷模塊，適於根據所述標記的行分量標識或列分量標識，與本地獲取的用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分塊矩陣數據中的行分量標識或列分量標識比較，判斷本地不存在的行分量標識或列分量標識；
第三依賴伺服器確認模塊，適於根據本地不存在的行分量標識或列分量標識所屬的計算伺服器，確認當前伺服器依賴的各計算伺服器，以及依賴的各計算伺服器中用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分量標識。可選的，所述主體-項目權重矩陣包括用戶標識-項目主體-項目權重矩陣；所述協同過濾矩陣為對應用戶標識-項目主體-項目權重矩陣的項目-項目相似矩陣；進一步的,所述分量包括項目-項目相似矩陣的分量。可選的，所述依賴伺服器確認模塊包括第一候選推薦集計算模塊，適於每個參與計算的計算伺服器根據用戶標識-項目主體-項目權重矩陣計算候選推薦集；第四依賴伺服器確認模塊，適於每個參與計算的計算伺服器根據所述候選推薦集、項目-項目相似矩陣的分塊矩陣數據和用戶標識-項目主體-項目權重矩陣確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。可選的，所述第四依賴伺服器確認模塊包括第二行/列分量標識轉置模塊，適於每個參與計算的計算伺服器將所述項目-項目相似矩陣的各分量標識進行行分量標識或列分量標識轉置；第二行/列分量標識對齊模塊，適於將由行分量標識轉置後得到的結果與所述用戶標識-項目主體-項目權重矩陣的列分量標識對齊，或者將由列分量標識轉置後得到的結果與所述協用戶標識相似矩陣的行分量標識對齊；第二判斷模塊，適於根據所述標記的行分量標識或列分量標識，與本地獲取的用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分塊矩陣數據中的行分量標識或列分量標識比較，判斷本地不存在的行分量標識或列分量標識；第五依賴伺服器確認模塊，適於根據本地不存在的行分量標識或列分量標識所屬的計算伺服器，確認當前伺服器依賴的各計算伺服器，以及依賴的各計算伺服器中用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分量標識。根據本發明的一種基於協同過濾的處理方法可以利用多個計算節點並行的進行協同過濾的推薦計算，由此解決了現有技術針對龐大的矩陣數據計算時效慢，並且對於硬體的要求比較高的問題，高取得了針對需要快速計算推薦項目的需求，可快速針對龐大的矩陣數據計算推薦項目，並且可降低計算系統對硬體的要求，可從整體上降低硬體成本的有益效果。上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的具體實施方式
。


通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中
圖1不出了根據本發明一個實施例的一種基於協同過濾的處理方法實施例一的流程示意圖；圖2不出了根據本發明一個實施例的一種基於協同過濾的處理方法實施例二的流程示意圖；圖3示出了根據本發明一個實施例的User based計算原理的矩陣對照示意圖；圖4示出了根據本發明一個實施例的User based計算原理的兩個計算伺服器矩陣對照示例；圖5不出了根據本發明一個實施例的一種基於協同過濾的處理方法實施例三的流程示意圖；圖6示出了根據本發明一個實施例的Item based的計算原理示意圖；圖7不出了根據本發明一個實施例的一種基於協同過濾的處理系統實施例一的結構示意圖；圖8示出了根據本發明一個實施例的一種基於協同過濾的處理系統實施例二的結構示意圖；以及圖9示出了根據本發明一個實施例的一種基於協同過濾的處理系統實施例三的結構示意圖。
具體實施例方式下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。參照圖1，其示出了本發明一種基於協同過濾的處理方法實施例一的流程示意圖，具體可以包括步驟100，接收針對主體推薦至少一個項目的請求，根據所述請求啟動至少兩個計算伺服器進行推薦計算過程；在本發明實施例中，所述主體可比如網絡中的用戶標識，那麼對於用戶標識在網絡中使用過的或者未使用過的各種項目，系統或者用戶則可請求針對各個用戶標識推薦某個或者某幾個項目，比如針對在網絡中購買的產品，向用戶推薦相關產品。那麼所述至少兩個計算伺服器進行推薦計算過程包括步驟110，針對至少兩個計算伺服器，每個參與計算的計算伺服器獲取各種分塊矩陣數據；所述各分塊矩陣數據包括主體-項目權重矩陣的分塊矩陣數據、協同過濾矩陣的分塊矩陣數據；在本發明中，對於所述主體-項目權重矩陣，可為用戶標識-項目的評分矩陣，比如表一:
權利要求
1.一種基於協同過濾的處理方法，包括接收針對主體推薦至少一個項目的請求，根據所述請求啟動至少兩個計算伺服器進行推薦計算過程，所述過程包括針對至少兩個計算伺服器，每個參與計算的計算伺服器獲取各種分塊矩陣數據；所述各分塊矩陣數據包括主體-項目權重矩陣的分塊矩陣數據、協同過濾矩陣的分塊矩陣數據；每個參與計算的計算伺服器根據所述主體-項目權重矩陣、和協同過濾矩陣確認當前計算伺服器依賴的各個伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量;每個參與計算的計算伺服器將所述被依賴的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量；每個參與計算的計算伺服器針對本地的主體-項目權重矩陣的分塊矩陣數據中的每個主體,利用本地的主體-項目權重矩陣的分塊矩陣數據、本地的協同過濾矩陣的分塊矩陣數據和接收到的分量之間的對應關係，將至少一個項目推薦給所述主體；其中，所述各計算伺服器之間通過調用訊息傳遞接口發送和接收數據。
2.如權利要求1所述的方法，所述每個參與計算的計算伺服器根據所述主體-項目權重矩陣、和協同過濾矩陣確認當前計算伺服器依賴的各個伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量，包括每個參與計算的計算伺服器獲取其他所有計算伺服器處理的各分塊矩陣數據中分量標識；每個參與計算的計算伺服器根據本地的協同過濾距離矩陣中的分塊矩陣數據，主體-項目權重矩陣的分塊矩陣數據，和其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。
3.如權利要求2所述的方法，還包括每個參與計算的計算伺服器將所依賴的各計算伺服器中的各分塊矩陣數據的分量標識，發送給當前計算伺服器依賴的各計算伺服器；進一步的，每個參與計算的計算伺服器將所述被依賴的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量包括所述每個計算伺服器根據所述被依賴的分量標識，將所述相應的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量。
4.如權利要求3所述的方法，所述主體-項目權重矩陣包括用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣；所述協同過濾矩陣為對應用戶標識-項目主體-項目權重矩陣的用戶標識相似矩陣；進一步的，所述分量包括用戶標識-項目主體-項目權重矩陣的分量進和用戶標識-權重均值矩陣分量。
5.如權利要求4所述的方法，所述每個參與計算的計算伺服器根據本地的協同過濾距離矩陣中的分塊矩陣數據，主體-項目權重矩陣的分塊矩陣數據，和其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識包括 每個參與計算的計算伺服器針對所述用戶標識相似矩陣中的分塊矩陣數據進行剪枝計算; 每個參與計算的計算伺服器根據所述剪枝後的所述用戶標識相似矩陣中的分塊矩陣數據，以及所述其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。
6.如權利要求5所述的方法，所述每個參與計算的計算伺服器針對所述用戶標識相似矩陣中的分塊矩陣數據進行剪枝計算包括 針對用戶標識相似矩陣中的分塊矩陣數據中每行或每列矩陣數據的每個維度，將每個維度的值進行排序，保留每行或每列中排序靠前的至少一個維度。
7.如權利要求6所述的方法，所述每個參與計算的計算伺服器根據所述剪枝後的所述用戶標識相似矩陣中的分塊矩陣數據，以及所述其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識包括 每個參與計算的計算伺服器將用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的各分量標識進行行分量標識或列分量標識轉置； 將由行分量標識轉置後得到的結果與所述用戶標識相似矩陣的列分量標識對齊，或者將由列分量標識轉置後得到的結果與所述協用戶標識相似矩陣的行分量標識對齊； 針對當前各行或者各列保留的維度，標記對應保留維度的行分量標識或者列分量標識； 根據所述標記的行分量標識或列分量標識，與本地獲取的用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分塊矩陣數據中的行分量標識或列分量標識比較，判斷本地不存在的行分量標識或列分量標識； 根據本地不存在的行分量標識或列分量標識所屬的計算伺服器，確認當前伺服器依賴的各計算伺服器，以及依賴的各計算伺服器中用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分量標識。
8.如權利要求3所述的方法，所述主體-項目權重矩陣包括用戶標識-項目主體-項目權重矩陣； 所述協同過濾矩陣為對應用戶標識-項目主體-項目權重矩陣的項目-項目相似矩陣； 進一步的，所述分量包括項目-項目相似矩陣的分量。
9.如權利要求8所述的方法，所述每個參與計算的計算伺服器根據本地的協同過濾距離矩陣中的分塊矩陣數據，主體-項目權重矩陣的分塊矩陣數據，和其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識包括 每個參與計算的計算伺服器根據用戶標識-項目主體-項目權重矩陣計算候選推薦集；每個參與計算的計算伺服器根據所述候選推薦集、項目-項目相似矩陣的分塊矩陣數據和用戶標識-項目主體-項目權重矩陣確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。
10.如權利要求9所述的方法，所述每個參與計算的計算伺服器根據所述候選推薦集、 項目-項目相似矩陣的分塊矩陣數據和用戶標識-項目主體-項目權重矩陣確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識包括每個參與計算的計算伺服器將所述項目-項目相似矩陣的各分量標識進行行分量標識或列分量標識轉置；將由行分量標識轉置後得到的結果與所述用戶標識-項目主體-項目權重矩陣的列分量標識對齊，或者將由列分量標識轉置後得到的結果與所述協用戶標識相似矩陣的行分量標識對齊；根據所述標記的行分量標識或列分量標識，與本地獲取的用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分塊矩陣數據中的行分量標識或列分量標識比較， 判斷本地不存在的行分量標識或列分量標識；根據本地不存在的行分量標識或列分量標識所屬的計算伺服器，確認當前伺服器依賴的各計算伺服器，以及依賴的各計算伺服器中用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分量標識。
11.一種基於協同過濾的處理系統,包括請求接收模塊和至少兩個計算伺服器；所述請求接收模塊，適於接收針對主體推薦至少一個項目的請求，根據所述請求啟動至少兩個計算伺服器；至少兩個計算伺服器中每個所述計算伺服器包括分塊矩陣數據獲取模塊，適於每個參與計算的計算伺服器獲取各種分塊矩陣數據；所述各分塊矩陣數據包括主體-項目權重矩陣的分塊矩陣數據、協同過濾矩陣的分塊矩陣數據；依賴計算伺服器確認模塊，適於每個參與計算的計算伺服器根據所述主體-項目權重矩陣、和協同過濾矩陣確認當前計算伺服器依賴的各個伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量；分量發送接收模塊，適於每個參與計算的計算伺服器將所述被依賴的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量；推薦項目計算模塊，適於每個參與計算的計算伺服器針對本地的主體-項目權重矩陣的分塊矩陣數據中的每個主體,利用本地的主體-項目權重矩陣的分塊矩陣數據、本地的協同過濾矩陣的分塊矩陣數據和接收到的分量之間的對應關係，將至少一個項目推薦給所述主體；所述各計算伺服器之間通過調用訊息傳遞接口發送和接收數據。
12.如權利要求11所述的系統，所述依賴計算伺服器確認模塊包括分量標識獲取模塊，適於每個參與計算的計算伺服器獲取其他所有計算伺服器處理的各分塊矩陣數據中分量標識；第一依賴伺服器確認模塊，適於每個參與計算的計算伺服器根據所述協同過濾距離矩陣中的分塊矩陣數據，和/或主體-項目權重矩陣的分塊矩陣數據，和其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。
13.如權利要求12所述的系統，還包括 標識發送模塊，適於每個參與計算的計算伺服器將所依賴的各計算伺服器中的各分塊矩陣數據的分量標識，發送給當前計算伺服器依賴的各計算伺服器； 進一步的，所述分量發送接收模塊包括 第一分量發送接收模塊，適於每個參與計算的計算伺服器根據所述被依賴的分量標識，將所述相應的分量發送給依賴該分量各計算伺服器；並接收各計算伺服器發送的分量。
14.如權利要求13所述的系統， 所述主體-項目權重矩陣包括用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣； 所述協同過濾矩陣為對應用戶標識-項目主體-項目權重矩陣的用戶標識相似矩陣； 進一步的，所述分量包括用戶標識-項目主體-項目權重矩陣的分量進和用戶標識-權重均值矩陣分量。
15.如權利要求14所述的系統，所述第一依賴伺服器確認模塊包括 剪枝模塊，適於每個參與計算的計算伺服器針對所述用戶標識相似矩陣中的分塊矩陣數據進行剪枝計算； 第二依賴伺服器確認模塊，適於每個參與計算的計算伺服器根據所述剪枝後的所述用戶標識相似矩陣中的分塊矩陣數據，以及所述其他所有計算伺服器處理的各分塊矩陣數據中分量標識，確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。
16.如權利要求15所述的裝置，所述剪枝模塊包括 第一剪枝模塊，適於針對用戶標識相似矩陣中的分塊矩陣數據中每行或每列矩陣數據的每個維度，將每個維度的值進行排序，保留每行或每列中排序靠前的至少一個維度。
17.如權利要求16所述的系統，所述第二依賴伺服器確認模塊包括 第一行/列分量標識轉置模塊，適於每個參與計算的計算伺服器將用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的各分量標識進行行分量標識或列分量標識轉置； 第一行/列分量標識對齊模塊，適於將由行分量標識轉置後得到的結果與所述用戶標識相似矩陣的列分量標識對齊，或者將由列分量標識轉置後得到的結果與所述協用戶標識相似矩陣的行分量標識對齊； 第一保留模塊，適於針對當前各行或者各列保留的維度，標記對應保留維度的行分量標識或者列分量標識； 第一判斷模塊，適於根據所述標記的行分量標識或列分量標識，與本地獲取的用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分塊矩陣數據中的行分量標識或列分量標識比較，判斷本地不存在的行分量標識或列分量標識； 第三依賴伺服器確認模塊，適於根據本地不存在的行分量標識或列分量標識所屬的計算伺服器，確認當前伺服器依賴的各計算伺服器，以及依賴的各計算伺服器中用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分量標識。
18.如權利要求13所述的系統，其特徵在於， 所述主體-項目權重矩陣包括用戶標識-項目主體-項目權重矩陣； 所述協同過濾矩陣為對應用戶標識-項目主體-項目權重矩陣的項目-項目相似矩陣； 進一步的，所述分量包括項目-項目相似矩陣的分量。
19.如權利要求18所述的系統，所述依賴伺服器確認模塊包括 第一候選推薦集計算模塊，適於每個參與計算的計算伺服器根據用戶標識-項目主體-項目權重矩陣計算候選推薦集； 第四依賴伺服器確認模塊，適於每個參與計算的計算伺服器根據所述候選推薦集、項目-項目相似矩陣的分塊矩陣數據和用戶標識-項目主體-項目權重矩陣確認當前計算伺服器依賴的各計算伺服器，以及所述依賴的各計算伺服器中的各分塊矩陣數據的分量標識。
20.如權利要求19所述的系統，所述第四依賴伺服器確認模塊包括 第二行/列分量標識轉置模塊，適於每個參與計算的計算伺服器將所述項目-項目相似矩陣的各分量標識進行行分量標識或列分量標識轉置； 第二行/列分量標識對齊模塊，適於將由行分量標識轉置後得到的結果與所述用戶標識-項目主體-項目權重矩陣的列分量標識對齊，或者將由列分量標識轉置後得到的結果與所述協用戶標識相似矩陣的行分量標識對齊； 第二判斷模塊，適於根據所述標記的行分量標識或列分量標識，與本地獲取的用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分塊矩陣數據中的行分量標識或列分量標識比較，判斷本地不存在的行分量標識或列分量標識； 第五依賴伺服器確認模塊，適於根據本地不存在的行分量標識或列分量標識所屬的計算伺服器，確認當前伺服器依賴的各計算伺服器，以及依賴的各計算伺服器中用戶標識-項目主體-項目權重矩陣和用戶標識-權重均值矩陣的分量標識。
全文摘要
本發明公開了一種基於協同過濾的處理方法和系統，涉及計算機技術領域。所述系統包括請求接收模塊和至少兩個計算伺服器；所述請求接收模塊；依賴計算伺服器確認模塊；分量發送接收模塊；推薦項目計算模塊，適於每個參與計算的計算伺服器針對本地的主體-項目權重矩陣的分塊矩陣數據中的每個主體，利用本地的主體-項目權重矩陣的分塊矩陣數據、本地的協同過濾矩陣的分塊矩陣數據和接收到的分量之間的對應關係，將至少一個項目推薦給所述主體；所述各計算伺服器之間通過調用訊息傳遞接口發送和接收數據。本發明可快速針對龐大的矩陣數據計算推薦項目，並且可降低計算系統對硬體的要求，可從整體上降低硬體成本。
文檔編號G06F9/50GK103019860SQ201210518378
公開日2013年4月3日 申請日期2012年12月5日 優先權日2012年12月5日
發明者齊路, 何銳邦, 唐會軍 申請人:北京奇虎科技有限公司, 奇智軟體(北京)有限公司