基於雲計算的推薦系統構建方法
2023-07-21 03:28:51 1
專利名稱：基於雲計算的推薦系統構建方法
技術領域：
本發明涉及一種系統構建方法，尤其涉及一種基於雲計算的推薦系統構建方法， 屬於雲計算及推薦系統構建領域。
背景技術：
隨著電子商務提供越來越多的選擇的同時，其結構也變得越來越複雜，用戶會迷失在大量的商品信息空間中，無法找到自己需要的商品。解決這個問題的一個方法是發展智能推薦系統，依據顧客的偏好或需求為其推薦商品，以幫助顧客完成購買過程。當前只有少數幾個大型電子商務網站(如Amazon、eBay等)針對自己的業務開發了個性化推薦系統，大多數的中小型企業並沒有那麼多精力和資源去投入建設自己的推薦系統。目前推薦系存在的問題是1、不夠靈活；2、沒有充分考慮到商業策略；3、不能根據推薦需求的變化採用不同的推薦策略；4、難以處理大規模數據；5、推薦系統需進行定製開發，集成代價高，移植性差。這些問題限制了推薦系統在實際中的大規模應用。基於雲計算數據挖掘算法的並行性存在一些挑戰。用什麼樣的算法來處理目前的數據挖掘，這是一個首要的問題，並不是所有算法都能夠用雲計算的方式完成目前的任務。
發明內容
本發明針對現有推薦系統存在的缺陷，而提出一種基於雲計算的推薦系統構建方法。該方法包括如下內容(1)構建分布式文件系統層構建多個節點的Hadoop雲平臺，在多個節點中一個為主節點，其餘為從節點；(2)構建分布式計算層採用MapReduce作為分布式並行計算模型，在Hadoop上構建Mahout中間件；(3)定製數據分析中間件層根據業務需求定製Mahout算法庫，在Mahout中間件上實現傳統推進算法、偽分布式推進算法和分布式算法；(4)構建推薦應用層根據用戶不同需求，設置Mahout算法庫中算法的相關參數大小或調用不同算法， 構建應用框架；根據用戶不同需求，在應用框架中調用Mahout算法庫中的不同算法、設置相關參數大小。技術效果本發明提出了一個通用的、擴展性強的推薦系統構建方案，該方案將基於項目的串行推薦算法與MapReduce結合實現並行算法，靈活制定了相應的推薦策略，可有效提高數據處理效率，能完成單機下無法處理的大量數據，並能快速將推薦結果反饋給用戶。
圖1為推薦系統層次結構圖。圖2為推薦系統架構圖。
具體實施例方式下面對本發明作進一步說明。基於雲計算的電子商務個性化推薦系統包括分布式文件系統層、分布式計算層、 數據分析中間件層和推薦應用層，其中分布式文件系統層和分布式計算層是利用Hadoop 構建的，而數據分析中間件層是根據業務應用在Mahout的基礎上定製，並且以服務方式供用戶訪問。系統的每一層都有相應的雲計算管理模塊，包括數據安全、資源監控、資源動態調度、資源動態部署、資源規劃和虛擬化等功能，保證每一層都具有高可靠性和可伸縮性。本發明方法主要包括如下內容(1)構建分布式文件系統層構建多個節點的Hadoop雲平臺，其中一個為主節點，其餘為從節點。該平臺可以提供分布式文件存儲和分布式編程框架Maplteduce。(2)構建分布式計算層在Hadoop上構建Mahout中間件。構建該中間件可以很方便地在該中間件上編寫分布式算法，以供Hadoop執行。(3)定製數據分析中間件層在Mahout上實現傳統推進算法、偽分布式推進算法和分布式算法。這些算法是與分布式編程框架MapReduce結合編寫的，以便分布執行。(4)構建推薦應用層構建應用框架，推薦應用層根據用戶不同需求調用我們定義的算法，即根據不同需求設置算法中的關鍵參數大小或調用不同算法。用戶輸入的數據存儲在分布式文件系統上，推薦應用執行於Hadoop上，執行完結果反饋給用戶。下面對四個系統層進行補充說明。1)分布式文件系統層本發明提出利用Hadoop HDFS(Hadoop的分布式文件系統)實現高可靠的分布式數據文件存儲功能，將海量數據分布存儲在多臺計算機集群上，把文件進行分塊存儲，為實現容錯自動進行分塊複製。2)分布式計算層本發明採用MapReduce (並行計算模型)作為分布式並行計算模型，將大型任務分成很多細粒度的子任務，這些子任務分布式且並行地在多個計算節點上進行調度和計算， 從而在雲平臺上獲得對海量數據的處理能力。3)數據分析中間件層Mahout已經實現了聚類、分類、協同過濾、進化編程等數據挖掘算法，並且允許擴展，根據推薦應用層的業務需求定製我們的Mahout算法庫，並且以服務方式供推薦應用層調用。典型的電子商務推薦內容的生成流程包括數據建模、數據導入、數據預處理、推薦模型處理、數據輸出等過程。數據分析中間件層依託下層的分布式計算層和分布式文件系統層，可以處理海量數據集和快速增長的數據集，比如每日更新的用戶訪問日誌。由於Mahout 是依附於最通用的雲計算平臺Hadoop上，可有效地與其它雲計算中間件進行協調整合。4)推薦應用層實現內容過濾推薦、協同過濾推薦、混合推薦等電子商務推薦應用，滿足電子商務的業務需求。
權利要求
1. 一種基於雲計算的推薦系統構建方法，其特徵在於 該方法包括如下內容(1)構建分布式文件系統層構建多個節點的Hadoop雲平臺，在多個節點中一個為主節點，其餘為從節點；(2)構建分布式計算層採用MapReduce作為分布式並行計算模型，在Hadoop上構建Mahout中間件；(3)定製數據分析中間件層根據業務需求定製Mahout算法庫，在Mahout中間件上實現傳統推進算法、偽分布式推進算法和分布式算法；(4)構建推薦應用層根據用戶不同需求，設置Mahout算法庫中算法的相關參數大小或調用不同算法，構建應用框架；根據用戶不同需求，在應用框架中調用Mahout算法庫中的不同算法、設置相關參數大
2.根據權利要求1所述的基於雲計算的推薦系統構建方法，其特徵在於所述傳統推進算法是與分布式編程框架MapReduce結合編寫的。
3.根據權利要求1所述的基於雲計算的推薦系統構建方法，其特徵在於所述推薦應用層執行於Hadoop上。
全文摘要
本發明公開了一種基於雲計算的推薦系統構建方法，屬於雲計算及推薦系統構建領域。該方法首先構建多個節點的Hadoop雲平臺，然後在Hadoop上構建Mahout中間件，再根據業務需求定製Mahout算法庫，在Mahout中間件上實現傳統推進算法、偽分布式推進算法和分布式算法，最後根據用戶需求構建推薦應用框架。本發明將串行推薦算法與MapReduce結合實現並行算法，可有效提高處理的效率，能完成單機下無法處理的大量數據，並很快地將推薦結果提供給用戶。
文檔編號G06Q30/00GK102169505SQ20111012566
公開日2011年8月31日 申請日期2011年5月16日 優先權日2011年5月16日
發明者邱飛, 陳國慶 申請人:蘇州兩江科技有限公司