數據查詢處理方法及裝置與流程

2023-07-20 12:46:41

本發明涉及數據處理技術，具體而言，涉及一種數據查詢處理方法及裝置。

背景技術：

隨著網際網路的迅猛發展，越來越多的網際網路伺服器面臨高並發、海量訪問查詢的問題。為了解決這種問題，目前主要有兩種解決方法，一種是採用分布式存儲的硬體式解決方案；另一種是採用多線程操作的軟體式解決方案。但分布式存儲將會帶來存儲成本的增加；而多線程操作在數據查詢過程中，常會出現數據反饋混亂甚至丟失的情況。

技術實現要素：

有鑑於此，本發明提供一種數據查詢處理方法及裝置，能夠提高數據查詢處理效率。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明的一方面，提供了一種數據查詢處理方法，包括：接收客戶端發送的數據查詢請求；為各數據查詢請求分配一個空閒的數據查詢線程；利用多線程操作，由各數據查詢線程判斷一緩存中是否存儲有其對應的數據查詢請求所請求查詢的數據；當所述數據查詢線程判斷所述緩存中沒有存儲其對應的數據查詢請求所請求查詢的數據時，為所述各數據查詢請求在一資料庫中進行數據查詢；將所述資料庫返回的數據查詢結果寫入所述緩存中；通知所有數據查詢線程，以使各數據查詢線程讀取所述緩存；以及當各數據查詢線程從所述緩存中讀取到其對應的數據查詢請求所請求查詢的數據時，將讀取到的所述數據返回給發送所述數據查詢請求的客戶端。

根據本發明的一實施方式，該方法還包括：當所述數據查詢線程判斷所述緩存中沒有存儲其對應的數據查詢請求所請求查詢的數據時，所述數據查詢線程進入等待狀態。

根據本發明的一實施方式，該方法還包括：當所述數據查詢線程判斷所述緩存中有存儲其對應的數據查詢請求所請求查詢的數據時，從所述緩存中讀取所述數據，並將讀取到的所述數據返回給發送所述數據查詢請求的客戶端。

根據本發明的一實施方式，在為所述數據查詢請求在一資料庫中進行數據查詢之前，該方法還包括：將所述數據查詢請求加入到一查詢隊列中；將從所述查詢隊列中取出的數據查詢請求合併為一資料庫查詢請求；以及根據所述資料庫查詢請求，為所述各數據查詢請求在一資料庫中進行數據查詢。

根據本發明的一實施方式，將從所述查詢隊列中取出的數據查詢請求合併為一資料庫查詢請求包括：當所述查詢隊列中的數據查詢請求數量達到一預設閾值時，將所述數據查詢請求從所述查詢隊列中取出並放置於一取數隊列中；將所述取數隊列中的數據查詢請求合併為一資料庫查詢請求。

根據本發明的一實施方式，將從所述查詢隊列中取出的數據查詢請求合併為一資料庫查詢請求還包括：利用一取數線程，將所述取數隊列中的數據查詢請求合併為所述資料庫查詢請求。

根據本發明的一實施方式，所述資料庫查詢請求為基於sql的查詢請求。

根據本發明的另一方面，提供了一種數據查詢處理裝置，包括：請求接收模塊，用於接收客戶端發送的數據查詢請求；線程分配模塊，用於為各數據查詢請求分配一個空閒的數據查詢線程；緩存判斷模塊，用於利用多線程操作，由各數據查詢線程判斷一緩存中是否存儲有其對應的數據查詢請求所請求查詢的數據；資料庫查詢模塊，用於當所述數據查詢線程判斷所述緩存中沒有存儲其對應的數據查詢請求所請求查詢的數據時，為所述各數據查詢請求在一資料庫中進行數據查詢；緩存寫入模塊，用於將所述資料庫返回的數據查詢結果寫入所述緩存中；線程通 知模塊，用於通知所有數據查詢線程，以使各數據查詢線程讀取所述緩存；以及請求響應模塊，用於當各數據查詢線程從所述緩存中讀取到其對應的數據查詢請求所請求查詢的數據時，將讀取到的所述數據返回給發送所述數據查詢請求的客戶端。

根據本發明的一實施方式，所述緩存判斷模塊還用於當所述數據查詢線程判斷所述緩存中沒有存儲其對應的數據查詢請求所請求查詢的數據時，通知所述數據查詢線程進入等待狀態。

根據本發明的一實施方式，所述請求響應模塊還用於當所述數據查詢線程判斷所述緩存中有存儲其對應的數據查詢請求所請求查詢的數據時，從所述緩存中讀取所述數據，並將讀取到的所述數據返回給發送所述數據查詢請求的客戶端。

根據本發明的一實施方式，該裝置還包括：隊列加入模塊和查詢生成模塊；其中所述隊列加入模塊用於在所述資料庫查詢模塊為所述各數據查詢請求在一資料庫中進行數據查詢；所述查詢生成模塊用於將從所述查詢隊列中取出的數據查詢請求合併為一資料庫查詢請求；所述資料庫查詢模塊還用於根據所述資料庫查詢請求，為所述各數據查詢請求在一資料庫中進行數據查詢。

根據本發明的一實施方式，所述查詢生成模塊包括：請求數量判斷子模塊，用於判斷所述查詢隊列中的數據查詢請求數量是否達到一預設閾值；查詢請求取出子模塊，用於當所述請求數量判斷子模塊判斷所述查詢隊列中的數據查詢請求數量達到所述預設閾值時，將所述數據查詢請求從所述查詢隊列中取出並放置於一取數隊列中；以及查詢請求生成子模塊，用於將所述取數隊列中的數據查詢請求合併為一資料庫查詢請求。

根據本發明的一實施方式，所述查詢請求生成子模塊還用於利用一取數線程，將所述取數隊列中的數據查詢請求合併為所述資料庫查詢請求。

根據本發明的一實施方式，所述資料庫查詢請求為基於sql的查詢請求。

根據本發明的數據查詢處理方法，在採用多線程的基礎上，利用緩 存作為存儲中介，將從資料庫返回的數據查詢結果存儲於緩存中，並通知所有線程來讀取緩存，確定是否有其待查詢的數據。這樣的方法可以避免相關技術中多線程反饋無法直接對應到相應客戶端的混亂問題，同時又充分地發揮了多線程並行操作的高效率。此外，因為緩存中存儲數據查詢結果也是一種自我學習，可以減少相同查詢需求的重複查詢操作，進一步提高了查詢效率。

應當理解的是，以上的一般描述和後文的細節描述僅是示例性的，並不能限制本發明。

附圖說明

通過參照附圖詳細描述其示例實施例，本發明的上述和其它目標、特徵及優點將變得更加顯而易見。

圖1是根據一示例性實施方式示出的一種數據查詢處理方法的流程圖。

圖2是根據一示例性實施方式示出的另一種數據查詢處理方法的流程圖。

圖3是根據一示例性實施方式示出的一種數據查詢處理裝置的框圖。

圖4是根據一示例性實施方式示出的另一種數據查詢處理裝置的框圖。

圖5是根據一示例性實施方式示出的再一種數據查詢處理裝置的框圖。

具體實施方式

現在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應被理解為限於在此闡述的範例；相反，提供這些實施方式使得本發明將更加全面和完整，並將示例實施方式的構思全面地傳達給本領域的技術人員。附圖僅為本發明的示意性圖解，並非一定是按比例繪製。圖中相同的附圖標記表示相同或類似的部分，因而將省略對它們的重複描述。

此外，所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施方式中。在下面的描述中，提供許多具體細節從而給出對本發明的實施方式的充分理解。然而，本領域技術人員將意識到，可以實踐本發明的技術方案而省略所述特定細節中的一個或更多，或者可以採用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知結構、方法、裝置、實現或者操作以避免喧賓奪主而使得本發明的各方面變得模糊。

圖1是根據一示例性實施方式示出的一種數據查詢處理方法的流程圖。該方法可以由伺服器來實施，如圖1所示，數據查詢處理方法10包括：

在步驟s102中，接收客戶端發送的數據查詢請求。

例如，伺服器接收一個客戶端或多個客戶端發送的一個或多個數據查詢請求。當在某一時刻，數據訪問量比較大，伺服器接收到多個數據查詢請求時，稱之為高並發數據請求。

在步驟s104中，為各數據查詢請求分配一個數據查詢線程。

每收到一個數據查詢請求，則為該數據查詢請求分配一個空閒的數據查詢線程。當同時收到多個數據查詢請求時，則分別為多個數據查詢請求分配多個數據查詢線程。通過多線程操作，可同時並行處理多個數據查詢請求，充分發揮多線程的工作效率，加快數據查詢的處理速度。需要說明的是，本領域技術人員應理解，下文中提到的各數據查詢線程執行的操作均為並行的操作。

在步驟s106中，利用多線程操作，由各數據查詢線程判斷一緩存中是否存儲有對應的數據查詢請求所查詢的數據；如果有，則進入步驟s108；否則，進入步驟s110。

該緩存可以設置於伺服器中，也可以設置在伺服器之外，作為一個獨立的物理實體。

在步驟s108中，從該緩存中讀取該數據查詢請求所請求查詢的數據，並將讀取到的該數據返回給發送該數據查詢請求的客戶端。

該緩存中存儲有部分地待查詢數據，因此如果當該數據查詢請求所 請求查詢的數據存儲於該緩存中，則可以直接從緩存中讀取數據，並返回給客戶端，從而避免了對資料庫的查詢操作。未在緩存中取得其對應的查詢數據的數據查詢線程進入等待狀態。

在步驟s110中，為該數據查詢請求在資料庫中進行數據查詢。

在步驟s112中，將該資料庫返回的數據查詢結果寫入緩存中。

之後數據查詢結果可以直接存儲於緩存中，從而使得待下次查詢時，如果有相同的查詢需求，則可以直接從緩存中讀取數據並返回給客戶端。

在步驟s114中，通知所有數據查詢線程，以使各數據查詢線程讀取緩存。

例如可以使用java語言中的notifyall函數通知所有數據查詢線程。

在步驟s116中，當各數據查詢線程從緩存中讀取到其對應的數據查詢請求所述請求查詢的數據時，將讀取到的數據返回給發送該數據查詢請求的客戶端。

本發明的數據查詢處理方法10在採用多線程的基礎上，利用緩存作為存儲中介，將從資料庫返回的數據查詢結果存儲於緩存中，並通知所有線程來讀取緩存，確定是否有其待查詢的數據。這樣的方法可以避免相關技術中多線程反饋無法直接對應到相應客戶端的混亂問題，同時又充分地發揮了多線程並行操作的高效率。此外，因為緩存中存儲數據查詢結果也是一種自我學習，可以減少相同查詢需求的重複查詢操作，進一步提高了查詢效率。

應清楚地理解，本公開描述了如何形成和使用特定示例，但本公開的原理不限於這些示例的任何細節。相反，基於本公開公開的內容的教導，這些原理能夠應用於許多其它實施方式。

圖2是根據一示例性實施方式示出的另一種數據查詢處理方法的流程圖。該方法可以由伺服器來實施，如圖2所示，數據查詢處理方法20包括：

在步驟s202中，接收客戶端發送的數據查詢請求。

例如，伺服器接收一個客戶端或多個客戶端發送的一個或多個數據 查詢請求。當在某一時刻，數據訪問量比較大，伺服器接收到多個數據查詢請求時，稱之為高並發數據請求。

在步驟s204中，為各數據查詢請求分配一個空閒的數據查詢線程。

每收到一個數據查詢請求，則為該數據查詢請求分配一個空閒的數據查詢線程。當同時收到多個數據查詢請求時，則分別為多個數據查詢請求分配多個數據查詢線程。通過多線程操作，可同時並行處理多個數據查詢請求，充分發揮多線程的工作效率，加快數據查詢的處理速度。需要說明的是，本領域技術人員應理解，下文中提到的各數據查詢線程執行的操作均為並行的操作。

在步驟s206中，利用多線程操作，由各數據查詢線程判斷一緩存中是否存儲有對應的數據查詢請求所查詢的數據；如果有，則進入步驟s208；否則，進入步驟s210。

該緩存可以設置於伺服器中，也可以設置在伺服器之外，作為一個獨立的物理實體。

在步驟s208中，從該緩存中讀取該數據查詢請求所請求查詢的數據，並將讀取到的該數據返回給發送該數據查詢請求的客戶端。

該緩存中存儲有部分地待查詢數據，因此如果當該數據查詢請求所請求查詢的數據存儲於該緩存中，則可以直接從緩存中讀取數據，並返回給客戶端，從而避免了對資料庫的查詢操作。

在步驟s210中，將該數據查詢請求加入到一查詢隊列中。

該查詢隊列例如可以採用消息隊列(messagequeue，mq)。為了便於擴展，該查詢隊列也可以為分布式mq。

當沒有從緩存中讀取到數據查詢請求所述請求查詢的數據時，則由數據查詢線程將該數據查詢請求加入到查詢隊列中，同時各數據查詢請求進入等待狀態。

在步驟s212中，將從所述查詢隊列中取出的數據查詢請求合併為一資料庫查詢請求。

為了避免對資料庫的反覆操作，可以將多個資料庫查詢請求合併為一個資料庫查詢請求，從而通過一次資料庫查詢操作獲得多個數據查詢請求的結果。

例如，可以判斷查詢隊列中的數據查詢請求的數量，當該數量達到一預設閾值時，則將其中的數據查詢請求取出，並放置於一取數隊列中。該預設閾值在實際應用時，可以根據實際需求進行設置，本發明不以此為限。之後，將取數隊列中的數據查詢請求合併為該資料庫查詢請求。例如可以利用一單獨的取數進程來進行上述合併資料庫查詢請求的操作。取數隊列也可以實施為mq。

或者，也可以基於定時器，定時地從該查詢隊列中取出其中的數據查詢請求，並放置於取數隊列中，從而使取數隊列將取數隊列中的數據查詢請求合併為該資料庫查詢請求。

該數據查詢請求例如可以為基於sql(structuredquerylanguage，結構化查詢語言)的查詢請求。

在步驟s214中，根據該資料庫查詢請求，在一資料庫中進行數據查詢。

該資料庫例如為sql資料庫。基於該資料庫查詢請求，伺服器向該資料庫請求數據查詢操作。

在步驟s216中，將該資料庫返回的數據查詢結果寫入緩存中。

之後數據查詢結果可以直接存儲於緩存中，從而使得待下次查詢時，如果有相同的查詢需求，則可以直接從緩存中讀取數據並返回給客戶端。

由上述說明可知，本發明的數據查詢處理方法在處理數據查詢請求時，採用多線程操作，充分發揮了多線程的高效性；而在向資料庫進行數據查詢操作及返回查詢結果時，是基於單線程進行的，從而可以有效避免在該過程中採用多線程反饋所引起的混亂問題。

在步驟s218中，通知所有數據查詢線程，以使各數據查詢線程讀取緩存。

例如可以使用java語言中的notifyall函數通知所有數據查詢線程。

在將數據查詢結果返回到緩存後，重新喚醒所有數據查詢線程，繼續利用多線程操作的特性，提高數據處理效率。

在步驟s220中，當各數據查詢線程從緩存中讀取到其對應的數據查 詢請求所述請求查詢的數據時，將讀取到的數據返回給發送該數據查詢請求的客戶端。

進一步地，因在步驟s218中通知了所有數據查詢線程進行讀取操作，但有可能其中的部分數據查詢線程所對應的數據查詢請求還未被合併為資料庫查詢請求，因此該數據查詢線程將讀取不到待查詢的數據，此時該數據查詢線程則繼續等待下次被通知進行讀取操作。

本發明的數據查詢處理方法20在採用多線程的基礎上，利用緩存作為存儲中介，將從資料庫返回的數據查詢結果存儲於緩存中，並通知所有線程來讀取緩存，確定是否有其待查詢的數據。這樣的方法可以避免相關技術中多線程反饋無法直接對應到相應客戶端的混亂問題，同時又充分地發揮了多線程並行操作的高效率。此外，因為緩存中存儲數據查詢結果也是一種自我學習，可以減少相同查詢需求的重複查詢操作，進一步提高了查詢效率。

本領域技術人員可以理解實現上述實施方式的全部或部分步驟被實現為由cpu執行的電腦程式。在該電腦程式被cpu執行時，執行本發明提供的上述方法所限定的上述功能。所述的程序可以存儲於一種計算機可讀存儲介質中，該存儲介質可以是只讀存儲器，磁碟或光碟等。

此外，需要注意的是，上述附圖僅是根據本發明示例性實施方式的方法所包括的處理的示意性說明，而不是限制目的。易於理解，上述附圖所示的處理並不表明或限制這些處理的時間順序。另外，也易於理解，這些處理可以是例如在多個模塊中同步或異步執行的。

下述為本發明裝置實施例，可以用於執行本發明方法實施例。對於本發明裝置實施例中未披露的細節，請參照本發明方法實施例。

圖3是根據一示例性實施方式示出的一種數據查詢處理裝置的框圖。該數據查詢處理裝置可應用於伺服器中。如圖3所示，數據查詢處理裝置30包括：請求接收模塊302、線程分配模塊304、緩存判斷模塊306、資料庫查詢模塊308、緩存寫入模塊310、線程通知模塊312及請求響應模塊314。

其中，請求接收模塊302用於接收客戶端發送的數據查詢請求。

線程分配模塊304用於為各數據查詢請求分配一個數據查詢線程。

緩存判斷模塊306用於利用多線程操作，由各數據查詢線程判斷一緩存中是否存儲有其對應的數據查詢請求所請求查詢的數據。

資料庫查詢模塊308用於當所述數據查詢線程判斷所述緩存中沒有存儲其對應的數據查詢請求所請求查詢的數據時，為所述各數據查詢請求在一資料庫中進行數據查詢；

緩存寫入模塊310用於將所述資料庫返回的數據查詢結果寫入所述緩存中.

線程通知模塊312用於通知所有數據查詢線程，以使各數據查詢線程讀取所述緩存。

請求響應模塊314用於當各數據查詢線程從所述緩存中讀取到其對應的數據查詢請求所請求查詢的數據時，將讀取到的所述數據返回給發送所述數據查詢請求的客戶端。未在緩存中取得其對應的查詢數據的數據查詢線程進入等待狀態。

圖4是根據一示例性實施方式示出的另一種數據查詢處理裝置的框圖。該數據查詢處理裝置可應用於伺服器中。如圖4所示，數據查詢處理裝置40包括：請求接收模塊402、線程分配模塊404、緩存判斷模塊406、資料庫查詢模塊408、隊列加入模塊410、查詢生成模塊412、緩存寫入模塊414、線程通知模塊416及請求響應模塊418。

請求接收模塊402用於接收客戶端發送的數據查詢請求；

線程分配模塊404用於為各數據查詢請求分配一個空閒的數據查詢線程；

緩存判斷模塊406用於利用多線程操作，由各數據查詢線程判斷一緩存中是否存儲有其對應的數據查詢請求所請求查詢的數據；

隊列加入模塊410用於當數據查詢線程判斷緩存中沒有存儲其對應的數據查詢請求所請求查詢的數據時，將該數據查詢請求加入到一查詢隊列中；

查詢生成模塊412用於將從該查詢隊列中取出的數據查詢請求合併為一資料庫查詢請求；

資料庫查詢模塊408用於根據該資料庫查詢請求，在一資料庫中進 行數據查詢；

緩存寫入模塊414用於將該資料庫返回的數據查詢結果寫入該緩存中；

線程通知模塊416用於通知所有數據查詢線程，以使各數據查詢線程讀取緩存；以及

請求響應模塊418用於當各數據查詢線程從緩存中讀取到其對應的數據查詢請求所請求查詢的數據時，將讀取到的數據返回給發送數據查詢請求的客戶端。

在一些實施例中，請求響應模塊418還用於當數據查詢線程判斷該緩存中有存儲其對應的數據查詢請求所請求查詢的數據時，從該緩存中讀取數據，並將讀取到的數據返回給發送數據查詢請求的客戶端。

圖5是根據一示例性實施方式示出的再一種數據查詢處理裝置的框圖。與圖4所示的數據查詢處理裝置40不同的是，圖5所示的數據查詢處理裝置50中的查詢生成模塊512包括：請求數量判斷子模塊5122、查詢請求取出子模塊5124及查詢請求生成子模塊5126。

請求數量判斷子模塊5122用於判斷查詢隊列中的數據查詢請求數量是否達到一預設閾值；

查詢請求取出子模塊5124用於當請求數量判斷子模塊5122判斷查詢隊列中的數據查詢請求數量達到該預設閾值時，將數據查詢請求從查詢隊列中取出並放置於一取數隊列中；以及

查詢請求生成子模塊5126用於將取數隊列中的數據查詢請求合併為一資料庫查詢請求。

在一些實施例中，查詢請求生成子模塊5126還用於利用一取數線程，將取數隊列中的數據查詢請求合併為資料庫查詢請求。

在一些實施例中，資料庫查詢請求為基於sql的查詢請求。

需要注意的是，上述附圖中所示的框圖是功能實體，不一定必須與物理或邏輯上獨立的實體相對應。可以採用軟體形式來實現這些功能實體，或在一個或多個硬體模塊或集成電路中實現這些功能實體，或在不同網絡和/或處理器裝置和/或微控制器裝置中實現這些功能實體。

通過以上的實施方式的描述，本領域的技術人員易於理解，這裡描述的示例實施方式可以通過軟體實現，也可以通過軟體結合必要的硬體的方式來實現。因此，根據本發明實施方式的技術方案可以以軟體產品的形式體現出來，該軟體產品可以存儲在一個非易失性存儲介質(可以是cd-rom，u盤，移動硬碟等)中或網絡上，包括若干指令以使得一臺計算設備(可以是個人計算機、伺服器、移動終端、或者網絡設備等)執行根據本發明實施方式的方法。

以上具體地示出和描述了本發明的示例性實施方式。應可理解的是，本發明不限於這裡描述的詳細結構、設置方式或實現方法；相反，本發明意圖涵蓋包含在所附權利要求的精神和範圍內的各種修改和等效設置。