資料庫ram高速緩衝存儲器的製作方法
2023-06-10 20:27:01
專利名稱：資料庫ram高速緩衝存儲器的製作方法
技術領域：
本發明涉及資料庫高速緩衝存儲器，並更具體地涉及多線程進程中共享高速緩衝存儲器的使用。
背景技術：
在需要訪問共享資料庫的多進程應用中，需要資料庫訪問的請求進程向共享進程的中央存儲器提出請求，所述中央存儲器例如是資料庫伺服器。資料庫伺服器檢索所需數據並且將所需數據拷貝到進程間通信(IPC)機制，請求進程可以從其中訪問數據。然而，這需要資料庫伺服器和請求進程之間的同步，其會導致延遲和時間效率低。
一種解決辦法是使每個請求進程緩存其自己的資料庫拷貝。雖然存儲器是密集的，但是這個方法對於小型資料庫來說是可行的。然而，對於大型資料庫，比如象網絡管理系統中典型的大約4GB的資料庫，這個方法顯然是不現實的。
發明內容
根據本發明的一個方面，提供了一種用於提供可訪問存儲在資料庫中的數據的多進程的方法。將數據從資料庫拷貝到共享存儲器中的高速緩衝存儲器，該共享存儲器可由每個進程訪問。維持資料庫和高速緩衝存儲器之間的同步性。對每個進程提供應用程式接口(API)，其包含了用於訪問高速緩衝存儲器內數據的指令。
根據本發明的另一個方面，提供了一種用於存儲資料庫存儲表中的數據的高速緩衝存儲器。該高速緩衝存儲器具有這樣一種數據結構，即對於每個表，其包括存儲該表中數據的數據段的至少一個連結列表。對於每個表，該數據結構包括存儲每個連結列表中第一數據段地址的控制段。該數據結構包括存儲每個控制段地址的主段。
根據本發明的又一個方面，提供一種提供作業同步的方法。對於每個作業來說，將該作業分成任務。將任務集合成一個或多個任務組，每個任務組是用於同步目的的單個操作並且包括至少一個任務。在屬於特定線程伺服器池的輔助線程(worker thread)上執行每個任務。僅依據該作業的最後一個任務的完成而通知所有等待客戶機應用該項作業的完成。
提供了用於執行本發明方法的裝置。將該方法以存儲在計算機可讀介質中的軟體指令的形式來存儲。
本發明的方法和裝置允許多進程訪問具有最小存儲器使用的公用資料庫，同時也保持同步時間最少。通過共享單個高速緩衝存儲器，節省了存儲器並且確保了由不同進程所訪問的數據的同步。通過利用資料庫和共享高速緩衝存儲器之間的單向通知機制確保了資料庫和共享高速緩衝存儲器之間的同步。由於API直接搜索共享高速緩衝存儲器內的數據，而不是通過請求資料庫伺服器，因此伺服器負載不會受到請求應用數目的影響，並且數據讀取時間不會受進程間通信的延遲或者額外的環境切換的影響。一種新的同步方案允許將多處理器用在建立和維護高速緩衝存儲器中，其極大地降低了啟動時間。
參考附圖，從以下優選實施例的詳細說明中本發明的特徵和優點將變得更加明顯，其中圖1是根據本發明一實施例的共享RAM高速緩衝存儲器系統的框圖；圖2是根據本發明一實施例在圖1的共享RAM高速緩衝存儲器的維護期間的消息傳遞的框圖；圖3是根據本發明一實施例的方法流程圖，圖2的輔助線程通過該方法來維護共享高速緩衝存儲器；
圖4是根據本發明一實施例的用作同步請求對象的框圖；圖5是在創建通知組期間的消息傳遞的框圖；圖6是在創建請求期間的消息傳遞的框圖；以及圖7是當完成請求時的消息傳遞的框圖。
應當注意的是，在附圖中，相似的特徵帶有類似的標記。
具體實施例方式
參考圖1，顯示了根據本發明一實施例的實現了共享RAM高速緩衝存儲器的示例系統。資料庫10存儲對於一個或多個請求進程12有意義的數據。控制進程14具有對資料庫10的讀寫訪問。控制進程14也具有對存儲在RAM中的共享高速緩衝存儲器16的讀寫訪問。每個請求進程12具有API 18，其具有對共享RAM高速緩衝存儲器16的只讀訪問。大致地，在操作中，共享高速緩衝存儲器16存儲了在資料庫10中所存儲的數據拷貝，以便由每個請求進程12經由它們各自的API 18來直接訪問。由控制進程14來執行共享高速緩衝存儲器16的創建以及共享高速緩衝存儲器16的維護(共享高速緩衝存儲器和資料庫10之間的同步)。
當首先打開或創建控制進程14時，控制進程14確定共享高速緩衝存儲器16是否存在。如果共享高速緩衝存儲器16不存在，那麼該控制進程14創建一個或多個輔助線程，其將資料庫的內容拷貝到共享高速緩衝存儲器16。輔助線程優選地使用如下所述的同步方案，以便加速共享高速緩衝存儲器16的建立時間。
以允許輔助線程並行地建立共享高速緩衝存儲器16的方式來構造共享高速緩衝存儲器16。控制進程14創建共享高速緩衝存儲器16內的主段。主段包含若干項目。每個主段項存儲共享高速緩衝存儲器16內的不同控制段的位置，每個控制段對應於資料庫10內的唯一的表。每個控制段包含至少一個項目。每個控制段項存儲不同的第一數據段的位置，每個第一數據段對應於唯一的輔助線程。當負責資料庫10中特定表內特定數據的輔助線程開始從該表向共享高速緩衝存儲器16拷貝數據時，該輔助線程因此能將第一數據段定位於要將數據拷貝到的那個位置。任何第一數據段可能會將第二數據段的地址作為它的最後一項，一旦第一數據段已滿，則相應的輔助線程會將數據拷貝到該第二數據段。可重複這樣的過程直到數據段在它的最後一項中存儲了無效地址。事實上，每個控制段會列出要由相應輔助線程用來自對應於控制段的表的數據所填寫的數據段連結列表的初始地址。
參考圖2，根據本發明的一實施例顯示了在資料庫10和共享高速緩衝存儲器16的同步期間的消息傳遞。資料庫伺服器包括用於初始化IPC以便與控制進程14通信的功能。資料庫10內的每個表包括觸發單元。當改變資料庫10內的表的內容時，通過增加記錄、刪除記錄或者更新記錄，激活該觸發單元並且調用資料庫10的資料庫伺服器內所存儲的過程。該存儲的過程創建消息30，並且將消息30附加於消息的第一隊列32。消息30包括表標識符(ID)、行ID以及操作。該消息在長度上優選地為三個整數，每一整數用於三個域中的每一個。操作是表示「添加」、「刪除」以及「更新」的其中之一的標誌。
控制進程14包括控制單元34以及優選地包括控制單元34的至少一個冗餘單元36。如果控制單元34故障，則該冗餘單元36取代如下所述的控制單元的操作。控制單元34監聽由資料庫伺服器創建的IPC中的以第一隊列32中的消息的形式進行的資料庫表的更新。對於每個消息，控制單元34確定表ID和行ID。如果操作是「刪除」或者「更新」，則控制單元34將行狀態標誌38設置為共享高速緩衝存儲器16內的適當的表和行，從而鎖行以及防止任何請求進程12訪問剛被更新或者刪除的任何記錄。控制單元34接著將消息發送到控制進程14內的消息的第二隊列40，並且從第一隊列32中刪除該消息。
控制進程14也包括至少一個輔助線程42。這些輔助線程構成負責共享高速緩衝存儲器16實際更新的多線程進程。採用如下所述的同步方案，每個輔助線程42從第二隊列40讀消息。參考圖3，顯示了根據本發明一實施例的方法流程圖，輔助線程42通過該方法來更新共享高速緩衝存儲器16。輔助線程42從第二隊列40讀消息，接著在步驟50輔助線程確定該消息的操作。如果在步驟52輔助線程確定了操作是「刪除」，那麼在步驟54輔助線程查詢資料庫10以驗證由該消息內的行ID和表ID所識別的那個行實際上已從資料庫中刪除了。如果驗證了刪除，那麼在步驟56輔助線程從共享高速緩衝存儲器16中刪除相應行。如果在步驟54沒有驗證刪除，那麼在步驟58輔助線程丟棄該消息並且創建錯誤報告，以及將行狀態標誌改變成表示將要核查該行的值。該行仍然可由請求進程訪問，但是要再度檢查該行以便由控制進程的核查部分(圖2中未顯示)進行可能的刪除。
如果在步驟52輔助線程確定了該操作不是「刪除」，那麼在步驟60輔助線程確定操作是否是「添加」。如果操作是「添加」，那麼在步驟62輔助線程查詢資料庫10以驗證由消息內的行ID和表ID所識別的行實際上已經添加到資料庫中。如果驗證了添加，那麼在步驟64輔助線程將資料庫10內該行的內容拷貝到共享高速緩衝存儲器16。如果在步驟62沒有驗證添加，那麼在步驟65輔助線程將該行內容拷貝到共享高速緩衝存儲器16，但是在步驟66丟棄該消息並且創建錯誤報告，並且如步驟58一樣將該行標記為將被核查。
如果在步驟60輔助線程確定了該操作不是「添加」，那麼在步驟70輔助線程確定操作是否是「更新」。如果操作是「更新」，那麼在步驟72輔助線程查詢資料庫10以驗證由消息內的行ID和表ID所識別的行實際上已經被更新。如果驗證了更新，那麼在步驟74輔助線程將資料庫10內該行的內容拷貝到共享高速緩衝存儲器16以便更新共享高速緩衝存儲器16。在步驟75，輔助線程復位行狀態標誌以消除已經由控制單元34設置的行鎖。如果在步驟72沒有驗證更新，那麼在步驟76輔助線程丟棄該消息並且創建錯誤報告，以及如步驟58一樣將該行標記為將被核查。
如果在步驟70輔助線程確定操作不是「更新」，那麼操作是一個未知類型。在步驟80輔助線程產生錯誤報告，並且丟棄該消息。
共享高速緩衝存儲器16不等效於資料庫伺服器。相反地，每個請求進程12內的API 18直接訪問共享高速緩衝存儲器16內的數據。每個API 18經由主段來訪問共享高速緩衝存儲器16的共享存儲器段中的數據而不是直接與伺服器進程交互。如果將由API 18訪問的那個行的行狀態標誌標記為更新未決或者刪除未決，則API 18不檢索對於該行的數據。從而通過使用行狀態標誌實現了同步，所述的行狀態標誌是在更新或刪除行時由控制單元34(或者冗餘單元36)所設置的，以及是在一旦驗證了更新或刪除後由輔助線程42所設置的。
為了通過輔助線程加速共享高速緩衝存儲器的創建和維護，採用了參考圖4到圖7所描述的同步方案。參考圖4，顯示了根據本發明一實施例的用作同步請求的對象的框圖；應用線程90與線程伺服器管理單元92進行通信。應用線程90向線程伺服器管理單元92發送通知組和任務請求的請求。在建立和維護共享高速緩衝存儲器16的情況下，應用線程將是控制進程14內的應用，比如控制單元34。線程伺服器管理單元92負責創建和釋放其可能集合成一個或多個輔助線程組96的一個或多個輔助線程94。線程伺服器管理單元92也用作輔助伺服器主命令迴路。即使圖4僅顯示了一個應用線程90，但是應當明白，通常將存在不止一個請求了任務請求以及通知組的應用線程90。
線程伺服器管理單元92向請求管理單元100發送對任務請求的請求。請求管理單元100創建任務請求102，其被發送給內部請求管理單元隊列104上的輔助線程94，每個輔助線程組96有一個請求管理單元隊列104。輔助線程94持續地試圖從相應的請求管理單元隊列中讀取任務請求102用於執行，通過使用計數信號量來限制對每個請求管理單元隊列104的訪問以便在請求管理單元隊列為空時阻止訪問。
線程伺服器管理單元92也向通知管理單元110發送對通知組的請求(以下更詳細地描述)。通知管理單元110負責任務同步，以及創建和刪除通知組。通知管理單元110存儲了它所創建的所有打開的和/或正在執行的通知組對象114的全局列表112。通知管理單元110也將操作118的一個或多個線程指定列表116存儲於通知組對象114。每個對特定線程的列表116列出了對於特定應用線程的通知組對象的操作118。
參考圖5，顯示了根據本發明一實施例的當請求通知組時的消息傳遞的框圖。應用線程90向線程伺服器管理單元92發送對通知組的請求。線程伺服器管理單元92向通知管理單元110發送該請求。響應於該請求，通知管理單元110創建通知組對象(NGO)114。NGO 114允許在完成了應用線程90已經請求(在創建NGO和設置NGO為無效之間)的所有任務時通知到應用線程90。NGO是面向對象編程的對象，並且包括作為組狀態值的請求計數、已完成請求計數、阻塞狀態以及用作阻塞應用線程的條件變量。
如果通知組仍在接受請求那麼組狀態的值是「活動」，並且直到組狀態設置為「無效」該組才能完成。當應用線程90經由NGO操作而關閉該組時將組狀態設置為「無效」。當首次創建NGO 114時，將組狀態設置為「活動」。
請求計數是從創建了NGO以來已經添加到組中的請求的數目的計數。請求計數的初值是「0」。已完成請求計數是已經添加到組中並且已經完成了的請求的數目的計數。已完成請求計數的初值是「0」。
如果通知組當前不保證被阻塞，則阻塞狀態被用於迴避條件等待。只有當將組狀態設置為「無效」，並且或者不向該組做出請求或者已經完成了所有的請求時，才可出現這樣的阻塞狀態。阻塞狀態的初值是「阻塞」。阻塞條件變量用在條件等待調用中。阻塞條件變量會阻塞對變量執行條件等待的所有線程。此阻塞將繼續直到對變量執行了信號或廣播。阻塞狀態的「阻塞」表示該組還沒有完成，並且阻塞於這個組的任何線程都將不會迴避條件變量阻塞。一旦線程達到條件變量，就阻塞它，直到它從另一個線程中接收到繼續信號。阻塞狀態也起到保衛作用，即使通過信號釋放了線程，其也不允許線程繼續，直到阻塞狀態是「解除阻塞」為止。這防止了由於疏忽所致的條件變量的釋放。然而，一旦關閉了組狀態並且已完成請求的數目等於已發送請求的數目(請求計數等於已完成請求計數)，應該就不可能達到阻塞狀態了。在這些條件下，阻塞狀態防止線程阻塞於條件變量並再也不能被激活。
更具體地，應用線程進行調用以等待直到特定的NGO完成。如果NGO尚未完成那麼NGO中的內部例程就調用函數pthread_cond_wait，該函數在存在於NGO內的條件變量的地址中傳送。這有效地阻塞了應用線程的執行直到另一線程調用了函數pthread_cond_signal，其釋放了阻塞於參數條件變量的單個應用線程，或者直到另一線程調用了函數pthread_condition_broadcast，其釋放了阻塞於參數條件變量的所有應用線程。pthread_cond_signal和pthread_cond_broadcast都是原子操作並且不會影響使用同樣的參數變量對pthread_cond_wait的隨後調用的功能。
由於線程不應被阻塞於已經完成的組，因此在NGO已經完成但是還沒有被釋放的時期內，阻塞標誌變量被用來迴避對pthread_cond_wait的調用。一旦已完成請求的數目等於已做出的請求的數目並且NGO狀態是「無效」，則將阻塞標誌設置為「解除阻塞」並且使用NGO的條件變量進行對pthread_cond_broadcast的調用以釋放阻塞於該NGO的任何線程。
一旦通知管理單元110創建了NGO 114，通知管理單元就將NGO 114插入到全局列表112中。通知管理單元也將操作拷貝到NGO 114並且將該操作放在對應於應用線程90的對特定線程的列表116中。那麼，該操作項僅能通過對應用線程90的調用來移除，以關閉NGO 114。沒有別的線程能夠添加請求到該NGO或者關閉該NGO。
參考圖6，顯示了根據本發明一實施例的當請求任務時的消息傳遞的框圖。應用線程90向線程伺服器管理單元92發送對任務的請求。該對任務的請求包括客戶機定義過程的地址和客戶機定義過程所需的任何參數的地址。線程伺服器管理單元92向請求管理單元100發送該請求。響應於該請求，請求管理單元110創建新的請求對象102。在創建之後，請求對象102調用通知管理單元110，其對由對應於應用線程90的對特定線程的列表116內的操作118所識別的打開的NGO 114的請求計數進行遞增。通知管理單元110向新創建的請求對象102返回對應用線程90的對特定線程的列表116中打開的NGO進行的操作的列表的拷貝。
除了對打開的NGO的操作的列表之外，請求對象102也包括將由輔助線程所執行的客戶機定義例程的地址，以及該例程所使用的參數的地址。接著，請求管理單元100將請求對象102插入到對應於與應用線程相關聯的輔助線程組的請求管理單元隊列104中，並使請求管理單元隊列的信號量遞增。
參考圖7，顯示了根據本發明一實施例的當任務完成時的消息傳遞的框圖。當任務完成時，請求管理單元100刪除包含任務(或更確切地說，包含將要執行的例程地址)終止的請求對象102。請求對象102的釋放單元函數向通知管理單元110通知已經完成了該任務請求，並且向通知管理單元提供打開的NGO的操作的列表。接著，通知管理單元110使每個NGO中的已完成請求計數遞增，其中該NGO具有由請求對象102所提供的列表中的操作。由於包含於請求對象102中的操作的列表是在創建請求對象時就存在的操作的列表的拷貝，因此創建請求對象之後創建的任何NGO將不會使它們的已完成請求計數遞增。
如果在遞增了NGO的已完成請求計數之後，遞增了的請求計數等於請求計數，那麼可由通知管理單元刪除該NGO。如果沒有線程被阻塞於該NGO，該NGO具有「無效」狀態，並且已完成請求數目等於請求數目，則刪除該NGO。一旦滿足這些條件，將由導致這些條件被滿足的那個線程來刪除該NGO。
在優選實施例中，控制進程14、至少一個API 18以及資料庫的觸發單元函數都是處理器內的軟體形式出現的，但更通用地，它們也可能是以軟體或硬體的任意組合的形式出現，所述硬體包括集成電路內的硬體。處理器不必是單個設備，而指令可以位於不止一個設備中。
已經使用特定的任務同步方案描述了本發明。本發明可使用其他同步方案，同時仍然實現降低的存儲器使用和更快的讀取時間的好處，但是建立高速緩衝存儲器將會更慢。
已經將本發明的同步方案描述成了在建立高速緩衝存儲器期間控制進程內所使用的。在高速緩衝存儲器的維護期間也可由輔助線程乃至由請求進程內的多線程進程來使用該同步方案。事實上，任何多線程進程都可受益於由此處描述的同步方案所提供的更快的執行時間。
所提供的實施例僅是示範性的，而本領域技術人員將會理解，在不脫離本發明精神的情況下可實現如上所述實施例的變化。邏輯上等效於或類似於如上參考圖3所描述方法的方法也可用於實現本發明的方法。本發明的範圍僅由所附權利要求來定義。
權利要求
1.一種為多個進程提供對存儲在資料庫中的數據的訪問的方法，包括將數據從資料庫拷貝到共享存儲器中的高速緩衝存儲器，該共享存儲器可由每個進程訪問；維持資料庫和高速緩衝存儲器之間的同步性；以及為每個進程提供應用程式接口(API)，其包含了用於訪問高速緩衝存儲器內數據的指令。
2.權利要求1的方法，其中所述的將數據從資料庫拷貝到高速緩衝存儲器的步驟包括構造高速緩衝存儲器以便包括對於資料庫中的每個表，存儲該表中的數據的數據段的至少一個連結列表；對於資料庫中的每個表，存儲在每個連結列表中的第一數據段的地址的控制段；以及存儲每個控制段的地址的主段；以及將數據從每個表中拷貝到高速緩衝存儲器中各自的至少一個連結列表中。
3.權利要求1的方法，其中所述的維持資料庫和高速緩衝存儲器之間的同步性的步驟包括如果刪除或修改了資料庫中的相應行和表則對高速緩衝存儲器中的一部分數據進行行鎖定，直到驗證了該資料庫中的該刪除或修改為止，從而在使資料庫中的刪除或修改與高速緩衝存儲器進行同步的同時防止進程訪問該部分數據。
4.權利要求1的方法，其中所述的維持資料庫和高速緩衝存儲器之間的同步性的步驟包括響應於資料庫的每個改變而產生消息，該消息用於識別被改變的表和行並且識別改變的類型；對於改變類型是刪除或修改行的每個消息，對與該行對應的高速緩衝存儲器中的一部分數據進行行鎖定，從而防止進程訪問該部分數據；以及對於每個消息，根據由該消息指定的改變類型而修改高速緩衝存儲器。
5.權利要求4的方法，其中所述的根據改變的類型而修改高速緩衝存儲器的步驟包括創建至少一個輔助線程，對每個輔助線程分配修改一部分高速緩衝存儲器的任務；創建通知組對象；在每個輔助線程完成其指定任務之後，釋放該通知組對象；以及在釋放該通知組對象之後，移除由該消息所識別的該部分高速緩衝存儲器的任何行鎖定。
6.一種用於存儲來自存儲多個表的資料庫中的數據的高速緩衝存儲器，所述高速緩衝存儲器具有這樣一種數據結構，包括對於每個表，存儲該表中的數據的數據段的至少一個連結列表；對於每個表，存儲在每個連結列表中的第一數據段的地址的控制段；以及存儲每個控制段的地址的主段。
7.一種用於提供作業同步的方法，對於每個作業，所述方法包括將該作業分成多個任務；將所述任務分成至少一個任務組，每個任務組是用於同步目的的單個操作並且包括至少一個任務；在屬於特定線程伺服器池的輔助線程上執行每個任務；以及僅在完成該作業的最後一個任務之後通知所有等待的客戶機應用該作業已完成。
全文摘要
提供了用於提供可由多進程訪問的資料庫的共享RAM高速緩衝存儲器的系統和方法。通過共享單個高速緩衝存儲器而不是資料庫的本地拷貝，節省了存儲器並且確保了由不同進程所訪問的數據的同步。通過使用資料庫和共享高速緩衝存儲器之間的單向通知機制確保了資料庫和共享高速緩衝存儲器間的同步。進程內的客戶機API直接搜索共享高速緩衝存儲器內的數據，而不是通過請求資料庫伺服器。因此伺服器負載不會受到請求應用的數目的影響，並且數據讀取時間不會受到進程間通信的延遲或受到額外的環境切換的影響。新的同步方案允許多進程被用於建立和維護高速緩衝存儲器，其極大地降低了啟動時間。
文檔編號G06F17/30GK1763719SQ20051012832
公開日2006年4月26日 申請日期2005年10月14日 優先權日2004年10月14日
發明者R·M·皮佩, M·C·皮隆, F·M·蘭德裡 申請人:阿爾卡特公司