一種數據處理方法、裝置及伺服器的製造方法
2023-05-18 05:09:46
一種數據處理方法、裝置及伺服器的製造方法
【專利摘要】本發明實施例提供了一種數據處理方法、裝置及伺服器，其中方法包括：根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T；先啟動並運行數據生成任務，並在T時間後，啟動並運行數據執行任務。本發明整體實現了數據生成任務和數據執行任務的並行處理，提高了數據處理的速度，提升了數據處理的效率。
【專利說明】一種數據處理方法、裝置及伺服器
【技術領域】
[0001]本發明涉及信息處理【技術領域】，尤其涉及一種數據處理方法、裝置及伺服器。
【背景技術】
[0002]現有的數據處理過程通常包括數據生成過程和數據執行過程，不論是在測試過程中還是在實際數據處理過程中，數據生成和數據執行常採用串行的方式，即數據執行過程必須等到數據生成過程完成之後再進行，這種串行的方式，拉長了整個數據處理過程，增加了時間成本，效率較低。
【發明內容】
[0003]鑑於上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種數據處理方法、裝置及伺服器。
[0004]基於上述問題，本發明實施例提供的一種數據處理方法，包括:
[0005]根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T ；
[0006]先啟動並運行數據生成任務，並在T時間後，啟動並運行數據執行任務。
[0007]本發明實施例提供的一種數據處理裝置，包括:
[0008]確定模塊，用於根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T ；
[0009]生成任務運行模塊，用於先啟動並運行數據生成任務；
[0010]執行任務運行模塊，用於在啟動並運行數據生成任務T時間後，啟動並運行數據執行任務。
[0011]本發明實施例提供的伺服器，包括本發明實施例提供的上述數據處理的裝置。
[0012]本發明實施例的有益效果包括:
[0013]本發明實施例提供的數據處理方法、裝置及伺服器，首先根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T，然後先啟動並運行數據生成任務,並在T時間後，啟動並運行數據執行任務。這樣,從整體上實現了數據生成任務和數據執行任務的並行處理，提高了數據處理的速度，提升了數據處理的效率。
[0014]上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的【具體實施方式】。
【專利附圖】
【附圖說明】
[0015]通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0016]圖1為本發明實施例提供的數據處理方法的流程圖；
[0017]圖2為本發明實施例提供的計算功率時延譜的流程圖；
[0018]圖3為本發明實施例提供的隨機接入信號的檢測裝置的結構圖。
【具體實施方式】
[0019]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
[0020]下面結合說明書附圖，對本發明實施例提供的一種數據處理方法、裝置及伺服器的【具體實施方式】進行說明。
[0021]本發明實施例提供的一種數據處理方法，如圖1所示，具體包括以下步驟:
[0022]S11、根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T ;
[0023]S12、先啟動並運行數據生成任務；
[0024]S13、在啟動並運行數據任務T時間後，啟動並運行數據執行任務。
[0025]上述S13可以根據預先設置的數據執行任務的結束條件而結束，例如達到預先設置的執行任務迭代總次數或達到執行的總時長就可以結束。
[0026]在本發明實施例中，數據生成任務和數據執行任務，在正常運行狀態都是採用循環迭代執行多次的方式。
[0027]在上述Sll之前，還需要一個預處理過程來確定數據生成任務的運行速度和數據執行任務的運行速度，在這個預處理過程中，需要預先設定一個生成任務和一個數據執行任務以及一個數據池；其中:生成任務用於生成數據並放入設定的數據池，執行任務用於從數據池中取出數據並執行；
[0028]先運行一次數據生成任務，根據運行一次數據生成任務生成的數據量和耗時，計算出每秒生成的數據量，作為數據生成任務的運行速度；
[0029]循環運行數據生成任務，當數據池中的數據量達到運行一次執行任務配置的數據量時，運行一次數據執行任務，根據運行一次數據執行任務執行的數據量和耗時，計算出每秒執行的數據量，作為數據執行任務的運行速度。
[0030]上述運行一次執行任務配置的數據量是預先設置的固定值。
[0031]總體來說，數據生成任務的速度(所有數據生成任務的速度的總和)要大於數據執行任務的速度，以保證數據池中總有數據可以執行。這樣，根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T，具體包括如下兩種情況:
[0032]第一種情況:數據生成任務的運行速度大於所述數據執行任務的運行速度；
[0033]這種情況下，T =運行一次執行任務配置的數據量/數據生成任務的運行速度；
[0034]舉例來說，假設運行一次執行任務配置的數據量為M條，數據生成任務的運行速度為S條/秒，則T = M/S。
[0035]第二種情況，數據生成任務的運行速度小於等於數據執行任務的運行速度；
[0036]這種情況下，T =數據生成任務總耗時-數據執行任務總耗時+運行一次數據執行任務的耗時；其中:
[0037]數據生成任務總耗時=需消耗的數據總量/數據生成任務的運行速度；
[0038]數據執行任務總耗時=需消耗的數據總量/數據執行任務的運行速度，或單次運行數據執行任務的時間*預設的執行任務迭代總次數；
[0039]所需消耗的數據總量=數據執行任務的運行速度*預設的執行任務運行總時長，或運行一次數據執行任務執行的數據量*預設的執行任務迭代總次數。
[0040]在第二種情況下，因為數據生成任務的運行速度小於數據執行任務的運行速度，因此，數據生成任務提前的時間量相對於第一種情況要大一些，預設的執行任務迭代總次數和預設的執行任務運行總時長根據前述數據執行任務的結束條件來確定。
[0041]上述運行一次數據執行任務執行的數據量等於前述運行一次執行任務配置的數據量。
[0042]在S12中啟動數據生成任務之後，開始計時，同時數據生成任務會不斷循環執行，直至T時間之後，執行S13，即啟動並運行數據執行任務的步驟，這樣，本發明實施例提供的數據處理方法，整體實現了數據生成任務和數據執行任務的並行處理，提高了數據處理的速度，提升了數據處理的效率。
[0043]進一步地，預處理過程只是根據運行一次數據生成任務和一次數據執行任務得到的數據生成任務的運行速度和數據執行任務的運行速度，來確定出數據執行任務延遲啟動時長T，在真正開始運行數據生成任務時，數據生成任務採用循環迭代方式多次運行，由於各種因素，此時數據生成任務實際運行速度(或者說數據生成任務單次運行耗費的時間)並不一定與預處理的過程相等，較佳地，可以根據實際運行過程中的情況，對時間T進行動態的調整。
[0044]具體來說，在上述S12即啟動並運行數據生成任務之後，在S13啟動並運行數據執行任務之前，本發明實施例提供的上述數據處理方法，還可以執行下述步驟:
[0045]對數據生成任務進行監測；
[0046]根據監測過程中數據生成任務的平均運行時間，對數據執行任務延遲啟動時長T進行調整。
[0047]進一步地，上述根據監測過程中數據生成任務的平均運行時間，對數據執行任務延遲啟動時長T進行調整，在具體實施時，如圖2所示，通過下述流程實現:
[0048]S21、統計數據生成任務多次迭代運行時每次運行的時間；
[0049]S22、計算數據生成任務多次迭代運行時每次運行的時間的均值；
[0050]S23、根據計算出的均值，計算出數據生成任務的平均運行速度；
[0051]計算方法與前述類似，即使用運行一次數據生成任務生成的數據量除以前述S22中計算得到的每次運行的時間的均值，即得到監測過程中數據生成任務的平均運行速度；
[0052]S24、根據平均運行速度，重新計算數據執行任務延遲啟動時長，假設為T』 ；
[0053]S25、將重新計算出的數據執行任務延遲啟動時長T』與之前確定的數據執行任務延遲啟動時長T的大小進行比較；若均值大於之前確定的數據執行任務延遲啟動時長T的大小，則執行下述S26，否則轉向執行S21 ；
[0054]S26、調整數據執行任務延遲啟動時長T等於前述重新計算出的數據執行任務延遲啟動時長T』。
[0055]基於同一發明構思，本發明實施例還提供了一種數據處理裝置及伺服器，由於這些裝置和伺服器所解決問題的原理與前述數據處理方法相似，因此該裝置和伺服器的實施可以參見前述方法的實施，重複之處不再贅述。
[0056]本發明實施例提供的數據處理裝置，如圖3所示，包括:
[0057]確定模塊301，用於根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T ；
[0058]生成任務運行模塊302，用於先啟動並運行數據生成任務；
[0059]執行任務運行模塊303，用於在啟動並運行數據生成任務T時間後，啟動並運行數據執行任務。
[0060]進一步地，本發明實施例提供的數據處理裝置，如圖3所示，還包括:預處理模塊304，用於設定一個數據生成任務和一個數據執行任務，所述生成任務用於生成數據並放入設定的數據池，所述執行任務用於從數據池中取出數據並執行；先運行一次數據生成任務，根據運行一次數據生成任務生成的數據量和耗時，計算出每秒生成的數據量，作為數據生成任務的運行速度；循環運行數據生成任務，當數據池中的數據量達到運行一次執行任務配置的數據量時，運行一次數據執行任務，根據運行一次數據執行任務執行的數據量和耗時，計算出每秒執行的數據量，作為數據執行任務的運行速度。
[0061]進一步地，上述確定模塊301，具體用於當數據生成任務的運行速度大於所述數據執行任務的運行速度時，T =運行一次執行任務配置的數據量/數據生成任務的運行速度；當所述數據生成任務的運行速度小於等於所述數據執行任務的運行速度時，T =數據生成任務總耗時-數據執行任務總耗時+運行一次數據執行任務的耗時；其中,數據生成任務總耗時=需消耗的數據總量/數據生成任務的運行速度；數據執行任務總耗時=需消耗的數據總量/數據執行任務的運行速度，或單次運行數據執行任務的時間*預設的執行任務迭代總次數；所需消耗的數據總量=數據執行任務的運行速度*預設的執行任務運行總時長，或運行一次數據執行任務執行的數據量*預設的執行任務迭代總次數。
[0062]進一步地，本發明實施例提供的數據處理裝置，如圖3所示，還包括:動態調整模塊305，用於啟動並運行數據執行任務之前，對所述數據生成任務進行監測；根據監測過程中所述數據生成任務的平均運行時間，對數據執行任務延遲啟動時長T進行調整。
[0063]進一步地，上述動態調整模塊305，具體用於統計數據生成任務多次迭代運行時每次運行的時間並計算其均值；根據所述均值，計算出所述數據生成任務的平均運行速度；根據所述平均運行速度，重新計算數據執行任務延遲啟動時長T ;將重新計算出的數據執行任務延遲啟動時長T與之前確定的數據執行任務延遲啟動時長T的大小進行比較；若所述重新計算出的數據執行任務延遲啟動時長T大於之前確定的數據執行任務延遲啟動時長T的大小，則調整數據執行任務延遲啟動時長T等於所述重新計算出的數據執行任務延遲啟動時長T。
[0064]本發明實施例還提供了一種伺服器，該伺服器包括本發明實施例提供的上述數據處理裝置。
[0065]本發明實施例提供的數據處理方法、裝置及伺服器，首先根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T，然後先啟動並運行數據生成任務,並在T時間後，啟動並運行數據執行任務。這樣,從整體上實現了數據生成任務和數據執行任務的並行處理，提高了數據處理的速度，提升了數據處理的效率。
[0066]在此提供的算法和顯示不與任何特定計算機、虛擬系統或者其它設備固有相關。各種通用系統也可以與基於在此的示教一起使用。根據上面的描述，構造這類系統所要求的結構是顯而易見的。此外，本發明也不針對任何特定程式語言。應當明白，可以利用各種程式語言實現在此描述的本發明的內容，並且上面對特定語言所做的描述是為了披露本發明的最佳實施方式。
[0067]在此處所提供的說明書中，說明了大量具體細節。然而，能夠理解，本發明的實施例可以在沒有這些具體細節的情況下實踐。在一些實例中，並未詳細示出公知的方法、結構和技術，以便不模糊對本說明書的理解。
[0068]類似地，應當理解，為了精簡本公開並幫助理解各個發明方面中的一個或多個，在上面對本發明的示例性實施例的描述中，本發明的各個特徵有時被一起分組到單個實施例、圖、或者對其的描述中。然而，並不應將該公開的方法解釋成反映如下意圖:即所要求保護的本發明要求比在每個權利要求中所明確記載的特徵更多的特徵。更確切地說，如下面的權利要求書所反映的那樣，發明方面在於少於前面公開的單個實施例的所有特徵。因此，遵循【具體實施方式】的權利要求書由此明確地併入該【具體實施方式】，其中每個權利要求本身都作為本發明的單獨實施例。
[0069]本領域那些技術人員可以理解，可以對實施例中的設備中的模塊進行自適應性地改變並且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特徵和/或過程或者單元中的至少一些是相互排斥之外，可以採用任何組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特徵以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權利要求、摘要和附圖)中公開的每個特徵可以由提供相同、等同或相似目的的替代特徵來代替。
[0070]此外，本領域的技術人員能夠理解，儘管在此所述的一些實施例包括其它實施例中所包括的某些特徵而不是其它特徵，但是不同實施例的特徵的組合意味著處於本發明的範圍之內並且形成不同的實施例。例如，在下面的權利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
[0071 ] 本發明的各個部件實施例可以以硬體實現，或者以在一個或者多個處理器上運行的軟體模塊實現，或者以它們的組合實現。本領域的技術人員應當理解，可以在實踐中使用微處理器或者數位訊號處理器(DSP)來實現根據本發明實施例的數據處理裝置及伺服器中的一些或者全部部件的一些或者全部功能。本發明還可以實現為用於執行這裡所描述的方法的一部分或者全部的設備或者裝置程序(例如，電腦程式和電腦程式產品)。這樣的實現本發明的程序可以存儲在計算機可讀介質上，或者可以具有一個或者多個信號的形式。這樣的信號可以從網際網路網站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0072]應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制，並且本領域技術人員在不脫離所附權利要求的範圍的情況下可設計出替換實施例。在權利要求中，不應將位於括號之間的任何參考符號構造成對權利要求的限制。單詞「包含」不排除存在未列在權利要求中的元件或步驟。位於元件之前的單詞「一」或「一個」不排除存在多個這樣的元件。本發明可以藉助於包括有若干不同元件的硬體以及藉助於適當編程的計算機來實現。在列舉了若干裝置的單元權利要求中，這些裝置中的若干個可以是通過同一個硬體項來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0073]顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
【權利要求】
1.一種數據處理方法，其特徵在於，包括: 根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T; 先啟動並運行數據生成任務，並在T時間後，啟動並運行數據執行任務。
2.如權利要求1所述的方法，其特徵在於，所述數據生成任務和數據執行任務的執行速度，通過下述方式確定: 設定一個數據生成任務和一個數據執行任務，所述生成任務用於生成數據並放入設定的數據池,所述執行任務用於從數據池中取出數據並執行； 先運行一次數據生成任務，根據運行一次數據生成任務生成的數據量和耗時，計算出每秒生成的數據量，作為數據生成任務的運行速度； 循環運行數據生成任務，當數據池中的數據量達到運行一次執行任務配置的數據量時，運行一次數據執行任務，根據運行一次數據執行任務執行的數據量和耗時，計算出每秒執行的數據量，作為數據執行任務的運行速度。
3.如權利要求1或2所述的方法，其特徵在於，所述根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T，包括: 當所述數據生成任務的運行速度大於所述數據執行任務的運行速度時，T =運行一次執行任務配置的數據量/數據生成任務的運行速度； 當所述數據生成任務的運行速度小於等於所述數據執行任務的運行速度時，T =數據生成任務總耗時-數據執行任務總耗時+運行一次數據執行任務的耗時；其中,數據生成任務總耗時=需消耗的數據總量/數據生成任務的運行速度；數據執行任務總耗時=需消耗的數據總量/數據執行任務的運行速度，或單次運行數據執行任務的時間*預設的執行任務迭代總次數；所需消耗的數據總量=數據執行任務的運行速度*預設的執行任務運行總時長，或運行一次數據執行任務執行的數據量*預設的執行任務迭代總次數。
4.如權利要求1或2所述的方法，其特徵在於，啟動並運行數據執行任務之前，還包括: 對所述數據生成任務進行監測； 根據監測過程中所述數據生成任務的平均運行時間，對數據執行任務延遲啟動時長T進行調整。
5.如權利要求4所述的方法，其特徵在於，根據監測過程中所述數據生成任務的平均運行時間，對數據執行任務延遲啟動時長T進行調整，具體包括: 統計數據生成任務多次迭代運行時每次運行的時間並計算其均值； 根據所述均值，計算出所述數據生成任務的平均運行速度； 根據所述平均運行速度，重新計算數據執行任務延遲啟動時長； 將重新計算出的數據執行任務延遲啟動時長與之前確定的數據執行任務延遲啟動時長T的大小進行比較； 若所述重新計算出的數據執行任務延遲啟動時長大於之前確定的數據執行任務延遲啟動時長T的大小，則調整數據執行任務延遲啟動時長T等於所述重新計算出的數據執行任務延遲啟動時長。
6.一種數據處理裝置，其特徵在於，包括: 確定模塊，用於根據數據生成任務的運行速度和數據執行任務的運行速度，確定數據執行任務延遲啟動時長T ; 生成任務運行模塊，用於先啟動並運行數據生成任務； 執行任務運行模塊，用於在啟動並運行數據生成任務T時間後，啟動並運行數據執行任務。
7.如權利要求6所述的裝置，其特徵在於，還包括:預處理模塊，用於設定一個數據生成任務和一個數據執行任務,所述生成任務用於生成數據並放入設定的數據池,所述執行任務用於從數據池中取出數據並執行；先運行一次數據生成任務，根據運行一次數據生成任務生成的數據量和耗時，計算出每秒生成的數據量，作為數據生成任務的運行速度；循環運行數據生成任務，當數據池中的數據量達到運行一次執行任務配置的數據量時，運行一次數據執行任務，根據運行一次數據執行任務執行的數據量和耗時，計算出每秒執行的數據量，作為數據執行任務的運行速度。
8.如權利要求6或7所述的裝置，其特徵在於，所述確定模塊，具體用於當所述數據生成任務的運行速度大於所述數據執行任務的運行速度時，T=運行一次執行任務配置的數據量/數據生成任務的運行速度；當所述數據生成任務的運行速度小於等於所述數據執行任務的運行速度時，T =數據生成任務總耗時-數據執行任務總耗時+運行一次數據執行任務的耗時；其中，數據生成任務總耗時=需消耗的數據總量/數據生成任務的運行速度；數據執行任務總耗時=需消耗的數據總量/數據執行任務的運行速度，或單次運行數據執行任務的時間*預設的執行任務迭代總次數；所需消耗的數據總量=數據執行任務的運行速度*預設的執行任務運行總時長，或運行一次數據執行任務執行的數據量*預設的執行任務迭代總次數。
9.如權利要求6或7所述的裝置，其特徵在於，還包括: 動態調整模塊，用於啟動並運行數據執行任務之前，對所述數據生成任務進行監測；根據監測過程中所述數據生成任務的平均運行時間，對數據執行任務延遲啟動時長T進行調難iF.0
10.如權利要求9所述的裝置，其特徵在於，動態調整模塊，具體用於統計數據生成任務多次迭代運行時每次運行的時間並計算其均值；根據所述均值，計算出所述數據生成任務的平均運行速度；根據所述平均運行速度，重新計算數據執行任務延遲啟動時長T ;將重新計算出的數據執行任務延遲啟動時長T與之前確定的數據執行任務延遲啟動時長T的大小進行比較；若所述重新計算出的數據執行任務延遲啟動時長T大於之前確定的數據執行任務延遲啟動時長T的大小，則調整數據執行任務延遲啟動時長T等於所述重新計算出的數據執行任務延遲啟動時長T。
11.一種伺服器，其特徵在於，所述伺服器包括如權利要求6-10任一項所述的數據處理裝置。
【文檔編號】G06F9/44GK104267965SQ201410542270
【公開日】2015年1月7日 申請日期:2014年10月14日 優先權日:2014年10月14日
【發明者】張秋生, 王曉濤 申請人:北京國雙科技有限公司