一種定時任務管理方法和系統與流程
2023-12-07 07:26:51
本發明涉及一種計算機技術領域，更確切地說是一種定時任務管理方法和系統。
背景技術：
隨著網際網路的發展，各web網站應用幾乎都會碰到越來越多的定時任務調度的需求。定時任務調度是指由系統在預設的定時時間自動執行後臺任務，所有在指定時間一次性或周期性執行的後臺任務稱之為後臺定時任務。一個定時任務功能項稱之為定時任務項。比如一些電商的需求，需要凌晨把商品的價格修改，這時我們就需要白天先配置好所有需要修改的商品價格，凌晨再去執行修改價格的腳本。
隨著網際網路的發展，每個系統都會遇到越來愈多的運營需求，隨之而來的定時任務也越來越多。隨著定時任務的增加，運維人員參與管理難度隨之增大；各個定時任務執行是否成功，只能通過任務中的程序來判斷，增加開發工作量且無法及時知道定時任務執行結果。
技術實現要素：
針對上述缺陷，本發明提供了一種定時任務管理方法。包括：
管理定時任務，對各個應用系統的定時任務進行統一管理；
輪詢定時任務，根據預設定的時間定期輪詢所有任務，獲取滿足條件的定時任務，然後將滿足條件的定時任務發送給對應的應用系統；
執行定時任務，各應用系統接收定時任務，並生成獨立工作進程執行定時任務。
提供一種定時任務管理方法，所述的管理定時任務可以對定時任務的任務名稱，定時任務執行的類、函數、參數，定時任務觸發時間，定時任務運行環境進行設置；設置完後，將數據保存到資料庫中。
提供一種定時任務管理方法，通過結構化查詢語言的正則匹配獲取所有滿足條件的定時任務。
提供一種定時任務管理方法，將滿足條件的定時任務發送給各應用系統的步驟進一步包括：
同時記錄下所述任務執行的應用帳戶、設備地址和設備開機時間。
提供一種定時任務管理方法，進一步包括對任務完成狀態判斷步驟：
若定時任務執行成功，通知定時任務管理系統更新相應定時任務的執行進程號、結束時間和成功狀態；
若定時任務執行失敗，通知定時任務管理系統更新相應定時任務的結束時間、失敗狀態和失敗原因。
此外，為實現上述目的，本發明還提供一種定時任務管理系統，包括：
定時任務管理單元，用於對各個應用系統的定時任務進行統一管理；
定時任務輪詢單元，用於根據預設定的時間定期輪詢所有任務，獲取滿足條件的定時任務，然後將滿足條件的定時任務發送給對應的應用系統；
定時任務執行單元，用於各應用系統接收定時任務，並生成獨立工作進程執行定時任務。
提供一種定時任務管理系統，所述的定時任務管理單元可以對定時任務的任務名稱，定時任務執行的類、函數、參數，定時任務觸發時間，定時任務運行環境進行設置；設置完後，將數據保存到資料庫中。
提供一種定時任務管理系統，所述的輪詢定時任務單元通過結構化查詢語言的正則匹配獲取所有符合條件的定時任務。
提供一種定時任務管理系統，所述定時任務輪詢單元將所有滿足條件的定時任務發送給各應用系統，並同時記錄下所述定時任務執行的應用帳戶、設備地址和開機時間。
提供一種定時任務管理系統，所述定時任務執行單元進一步包括任務完成狀態判斷模塊：
若定時任務成功完成，任務完成狀態判斷模塊通知定時任務管理系統更新相應的任務進程號、結束時間和成功狀態；
若定時任務執行失敗，任務完成狀態判斷模塊通知定時任務管理系統更新相應的結束時間、失敗狀態和失敗原因。
本發明對照現有技術，解決了定時任務眾多是管理複雜的問題，且能夠及時獲取到定時任務是否執行成功。
以下將結合附圖對本發明的構思、具體結構及產生的技術效果作進一步說明，以充分地了解本發明的目的、特徵和效果。
【附圖說明】
圖1為本發明定時任務管理方法流程圖；
圖2為本發明定時任務執行流程圖；
圖3為本發明定時任務管理系統的單元結構示意圖；
圖4為本發明定時任務管理系統的操作界面示意圖。
【具體實施方式】
應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
圖1為為本發明定時任務管理方法流程圖。
400：對各個應用系統的定時任務進行統一管理；
後臺管理員在定時任務管理後臺首先選擇哪個應用系統的任務。任務包括任務名稱，任務執行的類、函數、參數、觸發時間、環境運行的設置(單機、集群對應進程數)，設置完後，數據保存在資料庫中。
下面給出兩個任務的具體實施例：
(1)比如晚上要做一個修改手機價格的定時任務。
任務名稱：修改XX手機價格。
選擇執行任務的系統：XX手機官網。
類：mobile(類名稱，對應為某個模塊)。
方法：modifyPrice(方法名稱，一個方法可以實現相應的功能)。
參數：mobileId＝123(mobileId為參數名稱，123指XX手機的ID)。
觸發時間：16-03-0-29-00-00(映射關係為年-月-周-日-小時-分鐘參數對應的就是2016年3月29號凌晨觸發)。
運行環境設置：單機進程數：1個，集群設置：0(表示只需要一個進程執行即可無需多餘的進程執行)。
(2)如我們每分鐘從XX物流獲取10個訂單的狀態數據
任務名稱：獲取XX物流訂單狀態。
選擇執行任務的系統：CSM倉儲系統。
類：order(類名稱，對應為某個模塊)。
方法：SyncOrder(方法名稱，一個方法可以實現相應的功能)。
參數：limit＝10,(limit為參數名稱，這裡10表示每次獲取10個訂單)。
觸發時間：00-00-0-00-**-**(映射關係為年-月-周-日-小時-分鐘參數對應的就是每年每月每日每小時每分鐘觸發)。
運行環境設置：單機進程數：2個，集群設置：3(表示只單機可運行的進程為2個，集群有3個可以運行)。
定時任務管理後臺程序主要對任務進行增、刪、改、查，這裡數據存儲於資料庫。管理員後臺通過密碼登陸以後，便可以對任務進行添加、刪除、修改和查找，並將數據存儲於資料庫中。
可選地，以列表形式將任務信息存儲在資料庫中，表中的條目分別對應與定時任務相關的各種信息。以列表形式存儲配置信息可以方便對每個定時任務的配置信息進行查找。由於配置信息可以指示不同定時任務的調起時間和執行定時任務的機器，因此以列表形式存儲配置信息可以方便對定時任務進行調起和監控。
可選地，配置信息可以進一步包括下列項中的一項或多項：多個機器上的定時任務中的每一個定時任務的腳本名稱、腳本參數、腳本屬性信息、最近執行時間、事務成功數、事務失敗數、事務異常數。
可選地，資料庫可以存儲在外部伺服器中，也就是說，資料庫可以是在用於管理定時任務的設備之外的外部資料庫。可選地，資料庫也可以是存儲在用於管理定時任務的設備中的本地資料庫。可以預先將與定時任務相關的配置信息存儲在資料庫中。配置信息可以指示每個定時任務應當何時調起以及應當在哪個機器上執行。這樣，用於管理定時任務的設備可以根據配置信息的指示來按時調起定時任務用於在對應的機器上執行。
當需要新增一個任務的時候，後臺管理員在任務管理模塊中新增一個定時任務，選擇應用系統、填寫對應的任務名稱、執行時間(與crontab功能保持一致)、需執行的類、函數、參數、以及環境運行的設置(單機、集群對應進程數)。通過可配置的方式高效管理所有的定時任務，而不需要運維人員參與，減少人員投入。
該可配置的方式後臺管理員可以根據實際情況靈活配置，並無固定模式或流程設置，非常方便。
500：根據預設定的時間定期輪詢所有任務，獲取滿足條件的定時任務，然後將滿足條件的定時任務發送給對應的應用系統；
通過crontab設置一條輪詢任務，每分鐘定時輪詢所有任務，獲取出所有的符合時間的任務出來。這裡我們通過結構化查詢語言(sql)語法中的正則匹配即可找出所有符合時間的任務，避免每個定時任務一個個去判斷是否為符合時間的任務。根據符合時間的任務中環境運行的設置(單機、集群對應進程數)，對任務進程數進行控制，如：任務進程數超過設定的值，則此任務直接丟棄，不通知應用伺服器；任務設置為只能單機運行時，當集群應用伺服器已有正在執行中此任務機器，就直接丟棄不通知應用伺服器。所以，任務輪詢程序在匹配出服務時間的任務後，對應用伺服器的進程起到了監控的作用，避免任務重複執行導致應用伺服器的壓力上升。
可以理解的是，定時輪詢任務的調起時間可以是具體的時刻，例如每天三點開始執行、每個月的倒數第二天開始執行等。定時輪詢任務的調起時間也可以是每隔一分鐘執行一次、每隔十天執行一次等。
當通過時間的判斷以及進程的管控後，輪詢模塊將所有的任務通過任務通知接口，通知到各應用系統中去，同時記錄下此任務執行的應用伺服器地址(ID)、機器地址(ID)、開始時間。
定時任務管理系統中任務輪詢程序通過一個任務每分鐘來輪詢資料庫中的數據，匹配所有符合當前觸發時間的定時任務，再根據符合時間的任務中環境運行的設置(單機、集群對應進程數)，來對任務進程數進行限制，從而獲取時間及環境運行條件的任務這裡我們定為有效任務。
在獲取符合時間的方法中我們通過結構化查詢語言(sql)語法中的正則匹配來實現，在每個定時任務中設置觸發時間的存儲格式以符合結構化查詢語言(sql)的條件來存儲，避免了每個定時任務一個個去判斷是否為有效任務。通過資料庫鎖機制來限制進程數不超過設置的值。通過此模塊我們達到了有效任務的篩選，有效的限制了重複任務進程的產生降低了伺服器因為進程數過多而導致的伺服器壓力過大甚至宕機的危險。
可選地，設置輪詢任務時可以設置多個定時觸發程序，以保證並發性任務按時執行。在操作時需有授權密鑰，授權密鑰可用於保護任務內容不被洩露。授權的管理人員可通過管理工具對任務進行管理工作。授權的管理人員通過管理工具定義任務，確定任務的執行計劃。授權的管理人員可開啟定義任務管理器，使得任務按執行計劃進入自動執行階段。授權的管理人員可通過管理工具配置或開發執行任務。
600：各應用系統接收定時任務，並生成獨立工作進程執行定時任務。
各應用系統監聽到有任務進來，即生成工作進程執行任務，任務之間互不影響。通過任務對應的類、函數及參數運行對應的腳本直接觸發任務。
為防止對任務的任意篡改，任務定義與任務隊列加密單獨存放，只有在正常授權後通過本系統提供的管理工具管理任務。
任務隊列表存在內存中，同時也保存在磁碟上，保存磁碟上的目的用於伺服器異常終止時備份當時的任務隊列，以便補做任務。
現有技術中最常用的定時任務管理為微軟的任務計劃程序，與任務計劃程序相比，本發明不僅適用於本地應用系統，也適用於遠程服務，適用性更廣；可跨伺服器調用，在執行上實現分布式，執行效率更高；管理人員不需要對伺服器的授權，日常運營維護上更簡單，操作上更具安全性。
各應用系統中任務執行模塊：此模塊相當於應用系統定時任務的進程管理模塊，監聽來自輪詢模塊傳遞過來的有效任務，收到任務後生成工作進程執行任務，任務之間互不影響。通過任務對應的類、函數及參數運行對應的腳本直接觸發任務。這裡各應用系統都包含各自的代碼實現方式，即通過任務中的類、函數以及參數就可以觸發任務的執行程序601。
任務執行，指具體的執行任務，可以是本地應用程式，或是外部的服務。任務執行器必須實現規定的接口：任務執行實體自身能捕獲異常，並將異常通過任務調度接口返回給任務調度處；任務執行後需要調用定時伺服器接口，標明本次任務結束。如果任務執行有多個步驟，執行某個步驟時出現異常，再次執行時只需要執行後續的步驟，此功能需任務自身具有記錄功能(如郵件或簡訊成功生成，在調用發送郵件或簡訊服務時出現異常，再次重試時只需調用發送郵件服務)。
圖2為本發明定時任務執行流程圖，任務執行程序601進一步定時任務完成狀態判斷：
6011：定時任務執行成功，通知定時任務管理系統更新相應定時任務的執行進程號、結束時間和成功狀態；
6012：定時任務執行失敗，通知定時任務管理系統更新相應定時任務的結束時間、失敗狀態和失敗原因。
當定時任務執行成功後通知定時任務管理系統後臺更新相應的任務的進程號PID、結束時間及成功狀態等，若執行失敗則通知更新相應的結束時間、失敗狀態及失敗原因等信息。方便管理人員快速定位任務狀態，在排查問題的情況下，能精準定位到任務的執行應用、執行機器、執行時間、執行進程、失敗信息等。
本實施例中可選地包括任務加載程序，任務加載程序周期性掃描所述資料庫中的定時輪詢任務表，將所述周期內即將執行的定時任務加載到伺服器中，並創建定時任務。
圖3為本發明定時任務管理系統的單元結構示意圖，任務管理系統S700包括：
S400：定時任務管理單元，用於對各個應用系統的定時任務進行統一管理；
S500：定時任務輪詢單元，用於根據預設定的時間定期輪詢所有任務，獲取滿足條件的定時任務，然後將滿足條件的定時任務發送給對應的應用系統；
其中任務管理單元、任務輪詢單元放置在獨立的定時任務管理系統。
優選地，設置輪詢任務時可以設置多個定時觸發模塊，用以保證並發性任務按時執行。在操作時需有授權密鑰，授權密鑰可用於保護任務內容不被洩露。授權的管理人員可通過管理工具對任務進行管理工作。授權的管理人員通過管理工具定義任務，確定任務的執行計劃。授權的管理人員可開啟定義任務管理器，使得任務按執行計劃進入自動執行階段。授權的管理人員可通過管理工具配置或開發執行任務。
S600：各應用系統接收定時任務，並生成獨立工作進程執行定時任務。任務執行單元分置於各應用系統。
本發明定時任務管理系統，多臺應用伺服器接入定時任務管理系統，任務管理系統預先配置好所有應用伺服器ID對應的伺服器的機器ID以及任務通知接口。
圖4為本發明定時任務管理系統的操作界面示意圖，用戶(後臺管理員)登錄後臺設置任務內容，任務設置完成後存儲於資料庫，任務輪詢程序獲得有效任務後，通知各應用伺服器，各應用伺服器通過任務執行程序執行任務，並返回任務狀態信息給後臺伺服器，並將任務執行情況存儲資料庫。
本發明定時任務管理系統中，任務管理單元的任務包括任務名稱、任務執行的類、函數、參數、觸發時間、運行環境的設置，設置完後，數據保存到資料庫中。
下面是給出的兩個任務的具體實施例
(1)比如晚上要做一個修改手機價格的定時任務。
任務名稱：修改XX手機價格。
選擇執行任務的系統：XX手機官網。
類：mobile(類名稱，對應為某個模塊)。
方法：modifyPrice(方法名稱，一個方法可以實現相應的功能)。
參數：mobileId＝123(mobileId為參數名稱，123指XX手機的ID)。
觸發時間：16-03-0-29-00-00(映射關係為年-月-周-日-小時-分鐘參數對應的就是2016年3月29號凌晨觸發)。
運行環境設置：單機進程數：1個，集群設置：0(表示只需要一個進程執行即可無需多餘的進程執行)。
(2)如我們每分鐘從順豐物流獲取10個訂單的狀態數據。
任務名稱：獲取XX物流訂單狀態。
選擇執行任務的系統：CSM倉儲系統。
類：order(類名稱，對應為某個模塊)。
方法：SyncOrder(方法名稱，一個方法可以實現相應的功能)。
參數：limit＝10,(limit為參數名稱，這裡10表示每次獲取10個訂單)。
觸發時間：00-00-0-00-**-**(映射關係為年-月-周-日-小時-分鐘參數對應的就是每年每月每日每小時每分鐘觸發)。
運行環境設置：單機進程數：2個，集群設置：3(表示只單機可運行的進程為2個，集群有3個可以運行)。
可選地，資料庫可以存儲在外部伺服器中，也就是說，資料庫可以是在用於管理定時任務的設備之外的外部資料庫。可選地，資料庫也可以是存儲在用於管理定時任務的設備中的本地資料庫。可以預先將與定時任務相關的配置信息存儲在資料庫中。配置信息可以指示每個定時任務應當何時調起以及應當在哪個機器上執行。這樣，用於管理定時任務的設備可以根據配置信息的指示來按時調起定時任務用於在對應的機器上執行。
本系統還可以包括用戶界面模塊，其配置用於利用用戶界面來呈現後臺定時任務的運行狀態以及與用戶進行交互。作為示例，用戶界面模塊可以例如與作業系統相結合生成圖形用戶界面(GUI)，用以呈現系統上目前運行的後臺定時任務或其子集的信息。例如，可以在GUI上任務標識(ID)、任務狀態以及相關的信息。
用戶界面模塊允許用戶通過交互的方式查看和管理後臺定時任務。作為示例，用戶可以選擇特定的後臺定時任務。作為響應，系統可以向用戶呈現與該任務相關的運行參數、日誌、子任務、資源使用情況或其他任何有關信息。通過用戶界面模塊的操作，克服了現有技術中無法以直觀、可操作的方式來查看和管理後臺定時任務的缺陷。
在某些實施方式中，系統還可以包括備份模塊，其配置用於響應於後臺定時任務和/或所述系統本身的至少一個發生異常而執行備份。具體而言，備份模塊可以在任務監控模塊監控到任何給定後臺定時任務發生異常時，對與該任務有關的數據和信息進行備份。備選地或附加地，當設備本身的運行發生了異常時，備份模塊可以對設備目前處理的所有後臺定時任務進行備份。在此，系統本身的異常可以由設備進行自檢，也可由獨立於系統的設備或過程加以檢測。
另外，根據本發明的實施方式，備份操作可以將數據和信息備份到後臺定時任務所在的相同計算系統中，也可以離臺備份到不同的系統或設備中。此外，根據本發明的實施方式，當一個發生異常的後臺定時任務經過處理被恢復之後，可以刪除與該任務有關的備份以節省存儲資源。
本發明定時任務管理系統中，所述的任務輪詢單元包括時間獲取模塊，通過結構化查詢語言語法的正則匹配獲取所有符合時間的任務。
本發明定時任務管理系統中，所述任務執行單元將所有任務通過任務通知接口通知到各應用系統中，並，
同時記錄下所述任務執行的應用ID(應用帳戶)、機器ID(機器物理地址)和開機時間。
本發明定時任務管理系統中，所述任務執行單元進一步包括：
任務成功完成，通知定時任務管理系統後臺更新相應的任務進程號PID、結束時間和成功狀態。
任務執行失敗，通知定時任務管理系統後臺更新相應的結束時間、失敗狀態和失敗原因。
本實施例中可選地包括任務加載模塊，任務加載模塊周期性掃描所述資料庫中的定時輪詢任務表，將所述周期內即將執行的定時任務加載到伺服器中，並創建定時任務。
本發明對照現有技術，解決了定時任務眾多是管理複雜的問題，且能夠及時獲取到定時任務是否執行成功。
需要說明的是，在本文中，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質(如ROM/RAM、磁碟、光碟)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，伺服器，空調器，或者網絡設備等)執行本發明各個實施例所述的方法。
以上僅為本發明的優選實施例，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍內。