基於分布式系統架構的文件傳輸方法及裝置的製作方法

2023-05-27 16:53:41 2

專利名稱：基於分布式系統架構的文件傳輸方法及裝置的製作方法
技術領域：
本發明涉及IT業務支撐技術領域，尤其是涉及一種基於分布式系統架構的文件傳輸方法及裝置。
背景技術：
傳統的通信運營通常採用集中式的管理方式，近年來由於分布式系統具有易擴充性、負載均衡、可靠性好等優點，逐漸的滲透到現代通信運營管理當中。一個分布式系統是若干獨立的節點(計算機)的集合，對使用該系統的用戶來說，分布式系統就相當於一臺計算機。在分布式系統環境下，節點之間的數據文件傳輸一般採用套接字/文件傳輸協議(socket/FTP,File Transfer Protocol)的方式實現,在進行數據文件傳輸時,設置一個控制通道和一個傳輸通道，其中，控制通道用於根據分布式系統的資源信息，將待傳輸的數據文件按照時間或者區域拆分成多個小文件，拆分後的多個小文件通過設置的傳輸通道傳輸到分布式系統中不同的節點中。其中，分布式系統的資源信息包括CPU使用率、I/O資源、內存佔用資源、以及網絡資源等。採用socket/FTP數據傳輸方式進行數據傳輸，由於只單獨設置了一個傳輸通道，因此在分布式系統中如果有大量數據需要進行傳輸時，傳輸速率就比較低，數據在傳輸時丟包率比較高。例如在網際網路以及雲計算架構下，常常需要在多個遠程站點之間進行大量數據文件同步和交互，以保存多個副本，進行負荷分擔和應急容災等功能，這些都需要在數據文件傳輸時提高分布式系統的數據處理性能和傳輸帶寬。為了提高分布式系統的數據處理能力，現有技術中一般採用兩種方案:第一種方案:在進行數據傳輸時，分別設置動態通道和靜態通道，採用動態通道和靜態通道相結合的方式來實現數據在分布式系統中各節點之間的傳輸。其中，靜態通道自始至終連續的傳輸數據文件，在系統資源緊張的情況下，採用動態通道傳輸部分數據文件。第二種方案:在進行數據傳輸時，採用設置多通道的方式，將待傳輸的文件按照設定的規則拆分為多個不同的文件，將拆分後的不同的文件在不同的通道中進行傳輸。上述兩種方式，雖然可以在一定程度上提高分布式系統中數據文件的傳輸速率，但是如果在分布式系統性能很低的情況下，會因為多個傳輸進程之間搶佔系統的CPU、網絡以及內存等資源而影響分布式系統的傳輸速率，進而會造成該系統僵死現象的發生，從而影響了用戶的感知度。

發明內容
本發明實施例提供一種基於分布式系統架構的文件傳輸方法及裝置，能夠較好地提高分布式系統的數據傳輸速率，並節約分布式系統的處理資源。本發明實施例提出的技術方案如下:—種基於分布式系統架構的文件傳輸方法，包括:在接收到文件傳輸指令後，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息；根據採集到的每個系統資源使用情況信息，預測以當前時間點為基準的下一規定時長內至少一個預設時間點上的系統資源使用情況信息；根據預測得到的系統資源使用情況信息，分別確定在下一規定時長內至少一個預設時間點上傳輸文件時所需的節點間通道數和節點間通道傳輸速率；按照接收到的文件傳輸指令，在下一規定時長內傳輸文件過程中，每到達一個預設時間點，根據確定的對應該時間點的節點間通道數和節點間通道傳輸速率，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率；基於實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，對用於傳輸文件的節點間通道數和節點間通道的傳輸速率進行調整；並使用調整後的相應數量的節點間通道和相應的傳輸速率，對文件繼續進行傳輸。一種基於分布式系統架構的文件傳輸裝置，包括:信息採集模塊，用於在接收到文件傳輸指令後，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息；預測模塊，用於根據信息採集模塊採集到的每個系統資源使用情況信息，預測以當前時間點為基準的下一規定時長內至少一個預設時間點上的系統資源使用情況信息；控制模塊，用於根據分析模塊預測得到的系統資源使用情況信息，分別確定在下一規定時長內至少一個預設時間點上傳輸文件時所需的節點間通道數和節點間通道傳輸速率；第一確定模塊，用於按照接收到的文件傳輸指令，在下一規定時長內傳輸文件過程中，每到達一個預設時間點，根據控制模塊確定的對應該時間點的節點間通道數和節點間通道傳輸速率，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率；調整模塊，用於基於第一模塊確定出的實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，對用於傳輸文件的節點間通道數和節點間通道的傳輸速率進行調整；傳輸模塊，用於使用調整模塊調整後的相應數量的節點間通道和相應的傳輸速率，對文件繼續進行傳輸。採用上述技術方案，在接收到文件傳輸指令後，採用過去時長內的系統資源使用情況信息來預測未來規定時長內的系統資源使用情況信息，並根據預測結果，有針對性地調整節點間的通道數和節點間通道傳輸速率，來更適應性地傳輸將要傳輸的文件數據，從而能夠較好地提高分布式系統的數據傳輸速率並節約分布式系統的處理資源，避免了系統的僵死現象，進而提升了用戶的感知度。


圖1為本發明實施例一中，提出的基於分布式系統架構的文件傳輸方法流程圖；圖2為本發明實施例一中，提出的文件列表信息組成結構圖；圖3為本發明實施例一中，提出的分布式系統的結構組成示意圖；圖4為本發明實施例一中，提出的基於分布式系統架構的文件傳輸裝置結構圖；圖5為本發明實施例二中，提出的預測模型組成結構圖；圖6為本發明實施例二中，提出的傳輸小文件示意圖。
具體實施例方式針對現有技術中存在的文件在分布式系統中各節點傳輸時，如果分布式系統性能較低，會因為多個傳輸進程共同存在而搶佔系統的CPU、網絡以及內存等資源而影響分布式系統的傳輸速率，進而使得系統處於僵死狀態的問題，本發明實施例這裡提出一種基於分布式系統架構的文件傳輸方法及裝置，採用分析預測和控制技術，結合分布式系統的歷史資源使用情況信息，預測下一時長內的系統資源使用情況信息，根據預測的結果，計算傳輸文件需要使用的通道數和傳輸速率，然後根據計算出的通道數和傳輸速率來傳輸文件，能夠最大限度地提高文件傳輸速率並節約系統資源，從而避免了因為進程數較多而搶佔系統資源而造成系統僵死的現象發生。下面將結合各個附圖對本發明實施例技術方案的主要實現原理具體實施方式
及其對應能夠達到的有益效果進行詳細地闡述。實施例一 基於分布式系統架構組成，本發明實施例一這裡提出一種基於分布式系統架構的文件傳輸方法，需要說明的是，為便於闡述，本發明實施例一這裡提出的基於分布式系統架構的文件傳輸方法，是針對一個傳輸對話中的一個節點來進行詳細闡述的，對於同一個傳輸對話中的其他各節點，其具體實施方式
均相同或相似。如圖1所示，具體步驟為:步驟11，接收用戶或者前端發來的文件傳輸指令，在接收到文件傳輸指令後，根據傳輸請求分析待傳輸的文件信息，針對待傳輸文件的文件信息和系統的負載情況，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息分別作為樣本數據，對採集到的樣本數據進行聚類分析預測。其中，根據接收到的傳輸指令分析待傳輸的文件信息，可以但不限於包括文件目錄信息、文件名、傳輸文件的目的節點、以及目的節點的口令信息等。並根據獲取的文件信息，對待傳輸的文件進行分析，將待傳輸的文件歸入到相應的文件列表中，如圖2所示，文件列表包括小文件、大文件、中等文件等，將分析得到的文件信息寫入到對應的文件列表中。具體地，文件的大小按照預先設定的閾值來判定，例如，可以預先設定兩個閾值，第一容量閾值M和第二容量閾值N，M < N，如果待傳輸的文件容量大小小於預先設定的M時，確定該待傳輸的文件為小文件，將該待傳輸的文件的大小、文件名以及文件類型等信息寫入到小文件列表信息中指定位置，如果待傳輸的文件容量大小大於預先設定的N時，確定該待傳輸的文件為大文件，將該待傳輸的文件的大小、文件名以及文件類型等信息寫入到大文件列表信息中指定位置，如果待傳輸的文件容量大於預先設定M，且小於預先設定的N時，確定該待傳輸的文件為中等文件，將該待傳輸的文件的大小、文件名以及文件類型等信息寫入到中等文件列表信息中指定位置。較佳地，本發明實施例這裡將第一容量閾值設置為1M，第二容量閾值設置為50M。較佳地，為保證採集到的樣本數據的準確性，在採集到的系統資源使用情況信息中，確定是否存在對預測有影響的不良信息，如果確定存在不良信息，則對確定出的不良信息進行替換處理，並將替換處理後的系統資源使用情況信息作為實際採集到的系統資源使用情況信息。具體地，在採集到的系統資源使用情況信息中，為減輕樣本數據中不良信息對資源預測的影響，需要對採集到的系統資源使用情況信息進行預處理，本發明實施例一這裡採用濾波法對在上一規定時長內每個預設時間點上分別採集到的資源使用情況信息進行預處理，其處理過程如下:步驟一:計算在該預設時間點上採集到的資源使用情況信息的第一均值和第二均值，所述第一均值是指在與該預設時間點相鄰的前一預設時間點上和後一預設時間點上採集到的信息的平均值，所述第二均值是指在已經過去的規定天數中在該預設時間點採集到的信息的平均值。步驟二:在計算得到的第一均值和第二均值與該預設時間點上採集的信息的差值均分別大於預設的第一閾值時，確定在該預設時間點上採集到的信息為不良信息。較佳地，為保證預測結果的精準性，如果採用上述步驟步驟一 步驟二確定出某一預設時間點上採集到的信息是不良信息時，則需要將在該預設時間點上採集到的信息，替換為採用上述步驟一 步驟二中計算得到的第一均值和第二均值的平均值。步驟12，根據採集到的每個系統資源使用情況信息，建立用以預測以當前時間點為基準的下一規定時長內至少一個預設時間點上的系統資源使用情況信息的預測模型。步驟13，根據建立的預測模型預測得到的系統資源使用情況信息，針對預測得到的每個預設時間點上的系統資源使用情況信息，分別確定在下一規定時長內至少一個預設時間點上傳輸文件時所需的節點間通道數和節點間通道傳輸速率。
具體實施方式
為，針對預測得到的每個預設時間點上的系統資源使用情況信息，分別執行:步驟一:將預設的第二閾值與預測得到的該預設時間點上的資源使用情況信息做相關運算，得到第一相關值，並將預測得到的該預設時間點上的信息與預設的第三閾值做相關運算，得到第二相關值。其中，第二閾值與第三閾值的大小可以任意設定，較佳地，本發明實施例一這裡設定第二閾值小於第三閾值。其中，計算第一相關值的方法可以但不限於採用下述兩種方式:第一種方式:將預先設定的第二閾值與預測得到的該預設時間點上的資源使用情況信息相減，然後將得到的差值作為第一相關值。第二種方式:將預先設定的第二閾值與預測得到的該預設時間點上的信息的差值除以第二閾值，得到第一相關值。其中，計算第二相關值的方法可以但不限於採用下述兩種方式:第一種方式:將預測得到的該預設時間點上的信息與預先設定的第三閾值做減法，然後將得到的差值作為第二相關值。第二種方式:將預測得到的該預設時間點上的信息與預設的第三閾值的差值除以第三閾值，得到第二相關值。步驟二:將得到的第一相關值與預設的第一差值調整量的乘積除以預設的浮動百分比，得到第一調整值；並將得到的第二相關值與預設的第二差值調整量的乘積除以所述浮動百分比，得到第二調整值。其中，預先設定的浮動百分比，既不能過大，也不能過小，如果設置的過大，則會導致對系統資源使用情況信息的變化不十分敏感，容易使得在網絡出現擁塞後才會進行調整，反之，如果設置的過小，則會使得分布式系統在文件傳輸過程中調整的比較頻繁，較佳地，根據機器硬體配置和網絡的傳輸帶寬，當CPU偏離預設的第三閾值超過5 %時，按照經驗，應該將節點間的傳輸通道減少2個，節點間通道傳輸速率應該降低3%，如果CPU低於第二閾值5%時，應該將節點間的傳輸通道增加I個，節點間通道傳輸速率應該提高4%，所以本發明實施例一這裡將浮動百分比設置為5 10%的區間內，即可以選擇5 % 10 %區間中的任一數值。步驟三:將得到的第一調整值和第二調整值做求和運算。
可選地，在執行步驟三之前，還可以對得到的第一調整值和/或第二調整值進行校驗處理；根據校驗結果，在確定第一調整值和/或第二調整值為不合理取值時，將第一調整值和/或第二調整值設置為O。較佳地，本發明實施例一這裡對得到的第一調整值和第二調製值均進行校驗處理。步驟四:根據針對每個預設時間點上的系統資源使用情況信息，分別得到的第一調整值和第二調整值做求和運算得到的結果，得到調整值矩陣。步驟五:根據得到的調整值矩陣，確定在該預設時間點上傳輸文件時所需的節點間通道數和傳輸速率。
具體實施方式
為:A，對得到的調整值矩陣進行分析，分別確定在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列，可以但不限於採用下述幾種方式:第一種方式，對得到的調整值矩陣進行分析，分別選取調整值矩陣中每一行的最小值作為在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列。第二種方式，對得到的調整值矩陣進行分析，將每一行的數據相加所得到的和值作為在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列。第三種方式，對得到的調整值矩陣進行分析，分別選取調整值矩陣中每一行的最大值作為在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列。第四種方式，對得到的調整值矩陣進行分析，將每一行的數據相加求取平均值，將得到的平均值作為在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列。較佳地，本發明實施例一這裡為保證調整的幅度比較小，因此使用第一種方式，即分別選取調整值矩陣中每一行的最小值作為在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列。B，根據確定出的調整值序列，分別按照下述公式I和公式2確定以該預設時間點為基準，在下一規定時長內的至少一個預設時間點上傳輸文件時所需的節點間通道數和傳輸速率:通道數i =該預設時間點的通道數+Kli公式I傳輸速率i =該預設時間點的傳輸速率+K2i公式2其中，上述公式I和公式2中，i是以該預設時間點為基準的下一規定時長內的各預設時間點，所述Kli是確定出的對應該預設時間點的節點間通道數調整值序列，所述K2i是確定出的對應該預設時間點的傳輸速率調整值序列，i為在每一規定時長內選擇的預設時間點的數量。步驟14，按照接收到的文件傳輸指令，在下一規定時長內傳輸文件過程中，每到達一個預設時間點，根據確定的對應該時間點的節點間通道數和節點間通道傳輸速率，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率。其中，可以直接將預測得到的對應該時間點的節點間通道數和節點間通道傳輸速率作為在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率。—種較佳的實現方式，為了保證預測的準確性，在到達一個時間點時，採集該時間點上的系統資源實際使用情況信息，將採集到的該時間點上的系統資源使用情況信息，與預測得到的對應該時間點的系統資源使用情況是否一致，在一致時，將確定的對應該時間點的節點間通道數和節點間通道傳輸速率，作為在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，在不一致時，根據採集到的該時間點上的系統資源使用情況信息，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率。並重新按照當前實際採集到的該時間點上的系統資源使用情況信息對後續時間點進行修正。步驟15，基於實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，對用於傳輸文件的節點間通道數和節點間通道的傳輸速率進行調整。例如增加或者減少節點間的通道數目等。步驟16，使用調整後的相應數量的節點間通道和相應的傳輸速率，對文件繼續進行傳輸。
具體實施方式
為:獲得待傳輸的文件，根據獲得的待傳輸的文件的容量大小確定該待傳輸的文件是大文件、中等文件還是小文件，在獲得的文件容量大於預設的第一容量閾值、且系統資源的佔用大於預設的第四閾值時，確定該待傳輸的文件屬於大文件。如果此時分布式系統系能較差，例如CPU、I/O、內存等系統資源使用情況已經超過一定的數值，則此時將獲得的待傳輸的文件做分片處理，得到多個分片文件，使用調整後的相應數量的節點間通道和相應的傳輸速率，分別傳輸各分片文件，相應地，在接收端將接收到的分片文件合成為一個文件。在獲得的文件容量小於預設的第二容量閾值、和/或系統資源的佔用大於預設的第四閾值時，確定該待傳輸的文件是小文件，如果此時分布式系統性能較差，則在調整後的具備相應傳輸速率的相應數量的節點間通道中，選擇一個正在傳輸文件的通道；並使用選擇的通道傳輸獲得的文件。進一步地，如果分布式系統中的網絡傳輸資源處於較差的情況下，還可以做特殊處理，例如在傳輸下一個數據包的時候，將該數據包啟用壓縮處理，然後將壓縮後的數據包使用調整後的節點間的通道數和節點間通道的傳輸速率進行傳輸。並在接收端啟用解壓縮技術，將接收到的數據包做解壓縮處理。使用本發明實施例一這裡提出的基於分布式系統架構的文件傳輸方法，能夠不受人工幹預以及減少節點上的資源負載，並可以靈活的根據系統資源使用情況信息對節點間的傳輸通道、傳輸速率進行動態的調整。分布式系統由各節點共同組成，如圖3所示，本發明實施例還提出一種基於分布式系統架構的文件傳輸裝置，該裝置可以集成在組成分布式系統的各節點中，也可以作為獨立的裝置設置在分布式系統中，較佳地，本發明實施例一這裡將該裝置集成在組成分布式系統的各節點中，其結構組成具體如圖4所示，包括:信息採集模塊401，用於在接收到文件傳輸指令後，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息。預測模塊402，用於根據信息採集模塊401採集到的每個系統資源使用情況信息，預測以當前時間點為基準的下一規定時長內至少一個預設時間點上的系統資源使用情況信息。控制模塊403，用於根據預測模塊402預測得到的系統資源使用情況信息，分別確定在下一規定時長內至少一個預設時間點上傳輸文件時所需的節點間通道數和節點間通道傳輸速率。其中，控制模塊403，包括:相關值計算子模塊，用於針對預測模塊402預測得到的每個預設時間點上的系統資源使用情況信息，將預設的第二閾值與預測得到的該預設時間點上的信息做相關運算，得到第一相關值，並將預測模塊402預測得到的該預設時間點上的信息與預設的第三閾值做相關運算，得到第二相關值。具體地，相關值計算子模塊，具體用於將預設的第二閾值與預測得到的該預設時間點上的信息的差值除以第二閾值，得到第一相關值；並將預測得到的該預設時間點上的信息與預設的第三閾值的差值除以第三閾值，得到第二相關值。調整值計算子模塊，用於將相關值計算子模塊得到的第一相關值與預設的第一差值調整量的乘積除以預設的浮動百分比，得到第一調整值；並將相關值計算子模塊得到的第二相關值與預設的第二差值調整量的乘積除以所述浮動百分比，得到第二調整值；以及將得到的第一調整值和第二調整值做求和運算；根據針對每個預設時間點上的系統資源使用情況信息，分別得到的第一調整值和第二調整值做求和運算得到的結果，得到調整值矩陣。其中，調整值計算子模塊，還用於對得到的第一調整值和/或第二調整值進行校驗處理；根據校驗結果，在確定第一調整值和/或第二調整值為不合理取值時，將第一調整值和/或第二調整值設置為O。確定子模塊，用於根據調整值計算子模塊得到的調整值矩陣，確定在該預設時間點上傳輸文件時所需的節點間通道數和傳輸速率。具體地，確定子模塊，具體用於在調整值計算子模塊得到的調整值矩陣中，分別確定在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列；根據確定出的調整值序列，分別按照下述公式確定以該預設時間點為基準，在下一規定時長內的至少一個預設時間點上傳輸文件時所需的節點間通道數和傳輸速率:通道數i =該預設時間點的通道數+Kli ;傳輸速率1 =該預設時間點的傳輸速率+K2i ；所述i是以該預設時間點為基準的下一規定時長內的各預設時間點，所述Kli是確定出的對應該預設時間點的節點間通道數調整值序列，所述K2i是確定出的對應該預設時間點的傳輸速率調整值序列，i為在每一規定時長內選擇的預設時間點的數量。第一確定模塊404，用於按照接收到的文件傳輸指令，在下一規定時長內傳輸文件過程中，每到達一個預設時間點，根據控制模塊403確定的對應該時間點的節點間通道數和節點間通道傳輸速率，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率。具體地，第一確定模塊404，具體用於採集該時間點上的系統資源使用情況信息；比較採集到的該時間點上的系統資源使用情況信息，與確定的對應該時間點的節點間通道數和節點間通道傳輸速率是否一致；在一致時，將確定的對應該時間點的節點間通道數和節點間通道傳輸速率，作為在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率；在不一致時，根據採集到的該時間點上的系統資源使用情況信息，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率。調整模塊405,用於基於第一確定模塊404確定出的實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，對用於傳輸文件的節點間通道數和節點間通道的傳輸速率進行調整。傳輸模塊406，用於使用調整模塊405調整後的相應數量的節點間通道和相應的傳輸速率，對文件繼續進行傳輸。具體地，傳輸模塊，具體用於獲得待傳輸的文件；在獲得的文件容量大於預設的第一容量閾值、且系統資源的佔用大於預設的第四閾值時，將獲得的文件做分片處理，得到多個分片文件；使用調整模塊調整後的相應數量的節點間通道和相應的傳輸速率，分別傳輸各分片文件，並在接收端將接收到的分片文件合成為一個文件；在獲得的文件容量小於預設的第二容量閾值、和/或系統資源的佔用大於預設的第四閾值時，在調整模塊調整後的具備相應傳輸速率的相應數量的節點間通道中，選擇一個正在傳輸文件的通道；並使用選擇的通道傳輸獲得的文件。上述基於分布式系統架構的文件傳輸裝置，還包括:第二確定模塊407，用於在信息採集模塊401採集到的系統資源使用情況信息中，確定是否存在對預測有影響的不良信息。具體地，第二確定模塊407具體用於針對在上一規定時長內每個預設時間點上分別採集到的資源使用情況信息，分別執行:計算在該預設時間點上採集到的資源使用情況信息的第一均值和第二均值，所述第一均值是指在與該預設時間點相鄰的前一預設時間點上和後一預設時間點上採集到的信息的平均值，所述第二均值是指在已經過去的規定天數中在該預設時間點採集到的信息的平均值；在計算得到的第一均值和第二均值與該預設時間點上採集的信息的差值均分別大於預設的第一閾值時，確定在該預設時間點上採集到的信息為不良信息。替換模塊408，用於對第二確定401模塊確定出的不良信息進行替換處理，並將替換處理後的系統資源使用情況信息作為實際採集到的系統資源使用情況信息。具體地，替換模塊408具體用於將在該預設時間點上採集到的信息，替換為計算得到的第一均值和第二均值的平均值。其中，本發明實施例一這裡提出的基於分布式系統架構的文件傳輸裝置，其結構組成的每個模塊，可以位於分布式系統架構中各節點組成的任一模塊中，也可以單獨設置在分布式系統中，較佳地，本發明實施例這裡，採用將該裝置的各模塊組成集成於分布式系統各節點中的模塊中。實施例二進一步地，在上述實施例一的基礎上，本發明實施例二這裡進一步闡述基於分布式系統架構的文件傳輸方法，具體過程如下:步驟一，接收用戶或者前端發來的文件傳輸指令，該傳輸指令中攜帶待傳輸文件的數目、文件類型以及與傳輸的目的地址相對應的口令信息。其中，傳輸的目的地址對應的口令信息，可以但不限於包括分布式系統架構中目的節點的名稱以及密碼等信息。例如，接收到的文件傳輸指令是將該文件從節點I傳輸至節點2中，則傳輸指令中需要攜帶目的節點2的名稱以及密碼等信息。步驟二，根據接收到的文件傳輸指令，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息作為樣本數據，將採集到的樣本數據進行聚類分析預測。其中，本發明實施例二這裡以採集CPU、內存、I/O、以及網絡資源4個數據作為系統資源使用情況信息。較佳地，本發明實施例二這裡預測的是未來一個小時內的系統資源使用情況信息，由於對於任一時刻來說，其後一時刻的資源變化情況和前一時刻的資源變化情況具有相關性，因此，本發明實施例二這裡以當前時間點位基準，分別採集與當前時間點相關的前6個預設時間點上的系統資源使用情況信息作為樣本數據。假設基準時間點為j，則分別採集Xl = j-5分鐘、X2 = j-ΙΟ分鐘、X3 = j-60分鐘以及X4 =昨天同一 j時刻和X5 =一周前同一 j時刻、X6 =—月前同一 j時刻的系統資源使用情況信息作為採集到的樣本數據如圖5所示。為了保證預測的準確性，需要對採集到的6個樣本數據進行預處理，這裡以對X4時刻採集到的樣本數據為例， 將採集到的X4時刻的資源使用情況做橫向和縱向比較，即把X4時刻的資源使用情況信息和採集到的X3時刻、X5時刻資源使用情況信息的平均值(即對應上述實施例一中的第一均值)做比較，同時將X4時刻的資源使用情況與前兩天的相同時刻的資源使用情況信息的平均值(即對應上述實施例一中的第二均值)進行比較，當與二者的比較均大於預先設定的第一閾值Ql時，確定在X4時刻採集到的信息為不良信息，則為了保證預測的準確性，將X4時刻採集到的信息替換為上述經過計算得到的第一均值和第二均值的平均值。步驟三，根據採集到的6個時刻對應的系統資源使用情況信息，建立預測模型，如圖5所示，輸入採集到的樣本數據，得到預測結果。一種較佳地實現方式，本發明實施例二這裡以j時刻為基準，預測未來一小時內，每5分鐘作為一個預測點為例來詳細闡述。輸入6個樣本數據以後，將會輸出12個預設點的數據。即預測得到的結果是一個12行4列的矩陣Zu，其中i的取值為I 12，j的取值為I 4。該矩陣的行表示每個時間點，列分別表示CPU、內存、I/O、以及網絡資源4個系統資源使用情況信息。本發明實施例二這裡以輸出的
權利要求
1.一種基於分布式系統架構的文件傳輸方法，其特徵在於，包括: 在接收到文件傳輸指令後，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息； 根據採集到的每個系統資源使用情況信息，預測以當前時間點為基準的下一規定時長內至少一個預設時間點上的系統資源使用情況信息； 根據預測得到的系統資源使用情況信息，分別確定在下一規定時長內至少一個預設時間點上傳輸文件時所需的節點間通道數和節點間通道傳輸速率； 按照接收到的文件傳輸指令，在下一規定時長內傳輸文件過程中，每到達一個預設時間點，根據確定的對應該時間點的節點間通道數和節點間通道傳輸速率，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率； 基於實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，對用於傳輸文件的節點間通道數和節點間通道的傳輸速率進行調整；並 使用調整後的相應數量的節點間通道和相應的傳輸速率，對文件繼續進行傳輸。
2.如權利要求1所述的方法，其特徵在於，還包括: 在採集到的系統資源使用情況信息中，確定是否存在對預測有影響的不良信息；以及對確定出的不良信息進行替換處理，並將替換處理後的系統資源使用情況信息作為實際採集到的系統資源使用情況信息。
3.如權利要求2所述的方法，其特徵在於，在採集到的系統資源使用情況信息中，確定是否存在對預測有影響的不良信息，包括: 針對在上一規定時長內每個預設時間點上分別採集到的資源使用情況信息，分別執行: 計算在該預設時間點上採集到的資源使用情況信息的第一均值和第二均值，所述第一均值是指在與該預設時間點相鄰的前一預設時間點上和後一預設時間點上採集到的信息的平均值，所述第二均值是指在已經過去的規定天數中在該預設時間點採集到的信息的平均值； 在計算得到的第一均值和第二均值與該預設時間點上採集的信息的差值均分別大於預設的第一閾值時，確定在該預設時間點上採集到的信息為不良信息。
4.如權利要求3所述的方法，其特徵在於，對確定出的不良信息進行替換處理，包括: 將在該預設時間點上採集到的信息，替換為計算得到的第一均值和第二均值的平均值。
5.如權利要求1所述的方法，其特徵在於，分別確定在下一規定時長內至少一個預設時間點上傳輸文件時所需的節點間通道數和節點間通道傳輸速率，包括: 針對預測得到的每個預設時間點上的系統資源使用情況信息，分別執行: 將預設的第二閾值與預測得到的該預設時間點上的信息做相關運算，得到第一相關值，並將預測得到的該預設時間點上的信息與預設的第三閾值做相關運算，得到第二相關值； 將得到的第一相 關值與預設的第一差值調整量的乘積除以預設的浮動百分比，得到第一調整值；並將得到的第二相關值與預設的第二差值調整量的乘積除以所述浮動百分比，得到第二調整值；將得到的第一調整值和第二調整值做求和運算； 根據針對每個預設時間點上的系統資源使用情況信息，分別得到的第一調整值和第二調整值做求和運算得到的結果，得到調整值矩陣； 根據得到的調整值矩陣，確定在該預設時間點上傳輸文件時所需的節點間通道數和傳輸速率。
6.如權利要求5所述的方法，其特徵在於，將預設的第二閾值與預測得到的該預設時間點上的信息做相關運算，得到第一相關值，包括: 將預設的第二閾值與預測得到的該預設時間點上的信息的差值除以第二閾值，得到第一相關值； 將預測得到的該預設時間點上的信息與預設的第三閾值做相關運算，得到第二相關值，包括: 將預測得到的該預設時間點上的信息與預設的第三閾值的差值除以第三閾值，得到第二相關值。
7.如權利要求5所述的方法 ，其特徵在於，根據得到的調整值矩陣，確定在該預設時間點上傳輸文件時所需的節點間通道數和傳輸速率，包括: 在得到的調整值矩陣中，分別確定在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列； 根據確定出的調整值序列，分別按照下述公式確定以該預設時間點為基準，在下一規定時長內的至少一個預設時間點上傳輸文件時所需的節點間通道數和傳輸速率: 通道數i =該預設時間點的通道數+Kli ； 傳輸速率i =該預設時間點的傳輸速率+K2i ； 所述i是以該預設時間點為基準的下一規定時長內的各預設時間點，所述Kli是確定出的對應該預設時間點的節點間通道數調整值序列，所述K2i是確定出的對應該預設時間點的傳輸速率調整值序列，i為在每一規定時長內選擇的預設時間點的數量。
8.如權利要求5所述的方法，其特徵在於，將得到的第一調整值和第二調整值做求和運算之前，還包括: 對得到的第一調整值和/或第二調整值進行校驗處理； 根據校驗結果，在確定第一調整值和/或第二調整值為不合理取值時，將第一調整值和/或第二調整值設置為O。
9.如權利要求1所述的方法，其特徵在於，根據確定的對應該時間點的節點間通道數和節點間通道傳輸速率，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，包括: 採集該時間點上的系統資源使用情況信息； 比較採集到的該時間點上的系統資源使用情況信息，與確定的對應該時間點的節點間通道數和節點間通道傳輸速率是否一致； 在一致時，將確定的對應該時間點的節點間通道數和節點間通道傳輸速率，作為在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率； 在不一致時，根據採集到的該時間點上的系統資源使用情況信息，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率。
10.如權利要求1所述的方法，其特徵在於，使用調整後的相應數量的節點間通道和相應的傳輸速率，對文件繼續進行傳輸，包括: 獲得待傳輸的文件； 在獲得的文件容量大於預設的第一容量閾值、且系統資源的佔用大於預設的第四閾值時，將獲得的文件做分片處理，得到多個分片文件； 使用調整後的相應數量的節點間通道和相應的傳輸速率，分別傳輸各分片文件，並在接收端將接收到的分片文件合成為一個文件； 在獲得的文件容量小於預設的第二容量閾值、和/或系統資源的佔用大於預設的第四閾值時，在調整後的具備相應傳輸速率的相應數量的節點間通道中，選擇一個正在傳輸文件的通道；並 使用選擇的通道傳輸獲得的文件。
11.一種基於分布式系統架構的文件傳輸裝置，其特徵在於，包括: 信息採集模塊，用於在接收到文件傳輸指令後，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息； 預測模塊，用於根據信息採集模塊採集到的每個系統資源使用情況信息，預測以當前時間點為基準的下一規定時長內至少一個預設時間點上的系統資源使用情況信息； 控制模塊，用於根據分析模塊預測得到的系統資源使用情況信息，分別確定在下一規定時長內至少一個預 設時間點上傳輸文件時所需的節點間通道數和節點間通道傳輸速率；第一確定模塊，用於按照接收到的文件傳輸指令，在下一規定時長內傳輸文件過程中，每到達一個預設時間點，根據控制模塊確定的對應該時間點的節點間通道數和節點間通道傳輸速率，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率；調整模塊，用於基於第一模塊確定出的實際用於傳輸文件的節點間通道數和節點間通道傳輸速率，對用於傳輸文件的節點間通道數和節點間通道的傳輸速率進行調整； 傳輸模塊，用於使用調整模塊調整後的相應數量的節點間通道和相應的傳輸速率，對文件繼續進行傳輸。
12.如權利要求11所述的裝置，其特徵在於，還包括: 第二確定模塊，用於在信息採集模塊採集到的系統資源使用情況信息中，確定是否存在對預測有影響的不良信息； 替換模塊，用於對第二確定模塊確定出的不良信息進行替換處理，並將替換處理後的系統資源使用情況信息作為實際採集到的系統資源使用情況信息。
13.如權利要求12所述的裝置，其特徵在於，所述第二確定模塊，具體用於針對在上一規定時長內每個預設時間點上分別採集到的資源使用情況信息，分別執行:計算在該預設時間點上採集到的資源使用情況信息的第一均值和第二均值，所述第一均值是指在與該預設時間點相鄰的前一預設時間點上和後一預設時間點上採集到的信息的平均值，所述第二均值是指在已經過去的規定天數中在該預設時間點採集到的信息的平均值；在計算得到的第一均值和第二均值與該預設時間點上採集的信息的差值均分別大於預設的第一閾值時，確定在該預設時間點上採集到的信息為不良信息。
14.如權利要求13所述的裝置，其特徵在於，所述替換模塊，具體用於將在該預設時間點上採集到的信息，替換為計算得到的第一均值和第二均值的平均值。
15.如權利要求11所述的裝置，其特徵在於，所述控制模塊，包括: 相關值計算子模塊，用於針對預測模塊預測得到的每個預設時間點上的系統資源使用情況信息，將預設的第二閾值與預測得到的該預設時間點上的信息做相關運算，得到第一相關值，並將預測模塊預測得到的該預設時間點上的信息與預設的第三閾值做相關運算，得到第二相關值； 調整值計算子模塊，用於將相關值計算子模塊得到的第一相關值與預設的第一差值調整量的乘積除以預設的浮動百分比，得到第一調整值；並將相關值計算子模塊得到的第二相關值與預設的第二差值調整量的乘積除以所述浮動百分比，得到第二調整值；以及將得到的第一調整值和第二調整值做求和運算；根據針對每個預設時間點上的系統資源使用情況信息，分別得到的第一調整值和第二調整值做求和運算得到的結果，得到調整值矩陣； 確定子模塊，用於根據調整值計算子模塊得到的調整值矩陣，確定在該預設時間點上傳輸文件時所需的節點間通道數和傳輸速率。
16.如權利要求15所述的裝置，其特徵在於，所述相關值計算子模塊，具體用於將預設的第二閾值與預測得到的該預設時間點上的信息的差值除以第二閾值，得到第一相關值；並將預測得到的該預設時間點上的信息與預設的第三閾值的差值除以第三閾值，得到第二相關值。
17.如權利要求15所述的裝置，其特徵在於，所述確定子模塊，具體用於在調整值計算子模塊得到的調整值矩陣中，分別確定在該預設時間點上傳輸文件時所需的節點間通道數調整值序列和傳輸速率調整值序列；根據確定出的調整值序列，分別按照下述公式確定以該預設時間點為基準，在下一規定時長內的至少一個預設時間點上傳輸文件時所需的節點間通道數和傳輸速率: 通道數i =該預設時間點的通道數+Kli ； 傳輸速率i =該預設時間點的傳輸速率+K2i ； 所述i是以該預設時間點為基準的下一規定時長內的各預設時間點，所述Kli是確定出的對應該預設時間點的節點間通道數調整值序列，所述K2i是確定出的對應該預設時間點的傳輸速率調整值序列，i為在每一規定時長內選擇的預設時間點的數量。
18.如權利要求15所述的裝置，其特徵在於，所述調整值計算子模塊，還用於對得到的第一調整值和/或第二調整值進行校驗處理；根據校驗結果，在確定第一調整值和/或第二調整值為不合理取值時，將第一調整值和/或第二調整值設置為O。
19.如權利要求11所述的裝置，其特徵在於，所述第一確定模塊，具體用於採集該時間點上的系統資源使用情況信息；比較採集到的該時間點上的系統資源使用情況信息，與確定的對應該時間點的節點間通道數和節點間通道傳輸速率是否一致；在一致時，將確定的對應該時間點的節點間通道數和節點間通道傳輸速率，作為在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率；在不一致時，根據採集到的該時間點上的系統資源使用情況信息，確定在該時間點上實際用於傳輸文件的節點間通道數和節點間通道傳輸速率。
20.如權利要求11所述的裝置，其特徵在於，所述傳輸模塊，具體用於獲得待傳輸的文件；在獲得的文件容量大於預設的第一容量閾值、且系統資源的佔用大於預設的第四閾值時，將獲得的文件做分片處理，得到多個分片文件；使用調整模塊調整後的相應數量的節點間通道和相應的傳輸速率，分別傳輸各分片文件，並在接收端將接收到的分片文件合成為一個文件；在獲得的文件容量小於預設的第二容量閾值、和/或系統資源的佔用大於預設的第四閾值時，在調整模塊調整後的具備相應傳輸速率的相應數量的節點間通道中，選擇一個正在傳輸文件的通道； 並使用選擇的通道傳輸獲得的文件。
全文摘要
本發明公開了一種基於分布式系統架構的文件傳輸方法及裝置，包括在接收到文件傳輸指令後，分別採集以當前時間點為基準的上一規定時長內至少一個預設時間點上的系統資源使用情況信息；預測下一規定時長內系統資源使用情況信息；然後分別確定在下一規定時長內至少一個預設時間點上傳輸文件時所需的通道數和傳輸速率；按照接收到的文件傳輸指令，在下一規定時長內傳輸文件過程中，每到達一個預設時間點，根據確定的節點間通道數和傳輸速率，確定實際用於傳輸文件的通道數和傳輸速率進行調整；使用調整後的相應數量的通道和傳輸速率，繼續傳輸文件。使用本發明提出的技術方案，能夠較好地提高分布式系統的數據傳輸速率，並節約系統的處理資源。
文檔編號H04L29/08GK103179171SQ201110441338
公開日2013年6月26日 申請日期2011年12月26日 優先權日2011年12月26日
發明者朱祥磊, 陳丕海, 趙建福, 李世衝, 曹璐 申請人:中國移動通信集團山東有限公司