一種數據獲取方法及裝置與流程
2023-04-26 16:26:41
本發明涉及計算機技術領域，特別是涉及一種數據獲取方法及裝置。
背景技術：
隨著網際網路技術的快速發展，各種各樣的信息通過網際網路進行傳播，人們可以通過網際網路獲取所需的信息。在實際應用中，網際網路公司利用網站提供網絡服務，這樣用戶可以通過訪問網站，獲取自己所需要的信息。
具體的，當網站每次獲取到訪問請求時，其可以根據訪問請求，確定待獲取的數據，並從資料庫獲取待獲取的數據。當網站獲取的訪問請求比較多，並發請求量比較大的時候，將造成訪問資料庫次數增加，從而增大資料庫的壓力，導致資料庫訪問速度比較慢，獲取數據的時間比較長。
技術實現要素：
本發明實施例的目的在於提供一種數據獲取方法及裝置，以提高數據的獲取速度。具體技術方案如下：
第一方面，為了達到上述目的，本發明實施例公開了一種數據獲取方法，所述方法包括：
獲取訪問請求，並確定所述訪問請求對應的目標數據；
判斷緩存中是否存在所述目標數據中的全部數據；其中，所述緩存中存儲有資料庫中部分數據；
如果是，從所述緩存中獲取所述目標數據；
如果否，在所述目標數據中確定存在於所述緩存中的第一數據，以及不存在於所述緩存中的第二數據；
從所述緩存中獲取所述第一數據，從所述資料庫中獲取所述第二數據。
可選的，所述從所述緩存中獲取所述第一數據，從所述資料庫中獲取所述第二數據之後，所述方法還包括：
將所述第二數據存儲到所述緩存中。
可選的，所述緩存中存儲的數據是在緩存有效期內的數據，所述緩存有效期是針對所述資料庫中不同的數據預先設置的。
可選的，所述方法還包括：
獲取針對數據的更改請求；其中，所述更改請求包括以下至少一項：數據修改請求、數據添加請求、數據刪除請求以及數據合併請求；
根據所述更改請求，更改所述資料庫中對應的數據；
確定所述資料庫中已更改數據的標識信息，根據所述標識信息，更新所述緩存中的數據。
可選的，所述從緩存中獲取所述目標數據，包括：
將所述目標數據的標識信息與預先設置的分頁數據的標識信息進行匹配；
根據匹配結果確定所述目標數據是否為分頁數據；
如果是，確定所述目標數據對應的頁碼；從緩存中所述頁碼對應的數據存儲位置獲取所述目標數據，其中，所述緩存預先將在同一個頁碼上的分頁數據，存儲在同一個存儲區域內不同的存儲位置中。
第二方面，為了達到上述目的，本發明實施例還公開了一種數據獲取裝置，所述裝置包括：
第一確定模塊，用於獲取訪問請求，並確定所述訪問請求對應的目標數據；
判斷模塊，用於判斷緩存中是否存在所述目標數據中的全部數據；其中，所述緩存中存儲有資料庫中部分數據；
第一獲取模塊，用於在所述判斷模塊的判斷結果為是的情況下，從所述緩存中獲取所述目標數據；
第二確定模塊，用於在所述判斷模塊的判斷結果為否的情況下，在所述目標數據中確定存在於所述緩存中的第一數據，以及不存在於所述緩存中的第二數據；
第二獲取模塊，用於從所述緩存中獲取所述第一數據，從所述資料庫中獲取所述第二數據。
可選的，所述裝置還包括：
存儲模塊，用於將所述第二數據存儲到所述緩存中。
可選的，所述緩存中存儲的數據是在緩存有效期內的數據，所述緩存有效期是針對所述資料庫中不同的數據預先設置的。
可選的，所述裝置還包括：
第三獲取模塊，用於獲取針對數據的更改請求；其中，所述更改請求包括以下至少一項：數據修改請求、數據添加請求、數據刪除請求以及數據合併請求；
更改模塊，用於根據所述更改請求，更改所述資料庫中對應的數據；
更新模塊，用於確定所述資料庫中已更改數據的標識信息，根據所述標識信息，更新所述緩存中的數據。
可選的，所述第一獲取模塊，包括：
匹配子模塊，用於將所述目標數據的標識信息與預先設置的分頁數據的標識信息進行匹配；
確定子模塊，用於根據匹配結果確定所述目標數據是否為分頁數據；
獲取子模塊，用於在所述確定子模塊的確定結果為是的情況下，確定所述目標數據對應的頁碼；從緩存中所述頁碼對應的數據存儲位置獲取所述目標數據，其中，所述緩存預先將在同一個頁碼上的分頁數據，存儲在同一個存儲區域內不同的存儲位置中。
本發明實施例提供的一種數據獲取方法及裝置，可以在緩存中獲取數據，從緩存中獲取數據的速度比從資料庫中獲取數據的速度快，從而能夠減少獲取數據的時間。當然，實施本發明的任一產品或方法並不一定需要同時達到以上所述的所有優點。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例提供的數據獲取方法的第一種流程示意圖；
圖2為本發明實施例提供的數據獲取方法的第二種流程示意圖；
圖3為本發明實施例提供的數據獲取方法的第三種流程示意圖；
圖4為本發明實施例提供的數據獲取方法的第四種流程示意圖；
圖5為本發明實施例提供的數據獲取裝置的第一種結構示意圖；
圖6為本發明實施例提供的數據獲取裝置的第二種結構示意圖；
圖7為本發明實施例提供的數據獲取裝置的第三種結構示意圖；
圖8為本發明實施例提供的數據獲取裝置的第四種結構示意圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
為了解決現有技術中的問題，本發明實施例提供了一種數據獲取方法及裝置。下面首先對一種數據獲取方法進行詳細說明。
圖1為本發明實施例提供的數據獲取方法的第一種流程示意圖，方法包括：
S101：獲取訪問請求，並確定所述訪問請求對應的目標數據。
需要說明的是，本發明實施例提供的數據獲取方法可以應用於PC(Personal Computer，個人計算機)網際網路中的設備，也可以應用於移動網際網路中的設備。這裡所說的PC網際網路即傳統的網際網路，將計算機網絡互相聯接在一起的方法可稱作「網絡互聯」，在這基礎上發展出覆蓋全世界的全球性網際網路稱網際網路。這裡所說的移動網際網路是指網際網路的技術、平臺、商業模式和應用與移動通信技術結合併實踐的活動的總稱。這裡所說的設備可以為網站中用於處理訪問請求的伺服器。
在本發明實施例中，訪問請求是訪問網站中的網頁的請求。在伺服器獲取到訪問請求之後，可以確定訪問請求對應的目標數據。具體的，可以根據訪問請求中包含的待訪問網頁的標識信息。根據待訪問網頁的標識信息，就可以確定待訪問網頁上需要加載的數據，從而確定目標數據。
示例性的，訪問請求訪問的是移動端的財經視頻網站的首頁，該網站的首頁分為：視頻直播、圖文直播室、操盤計劃和名家動態等版塊。伺服器接收到上述訪問請求後，可以根據訪問請求中包含的首頁的標識信息，確定首頁對應的數據。進一步地，當伺服器獲取到針對各個版塊的訪問請求時，各個版塊中預先設置的需要加載的數據則為目標數據。其中，首頁對應的數據可以理解為在首頁中需要展示的數據，這些數據是預先確定的。當然，首頁中也可以包括部分定時更新的數據，具體的，定時更新的數據可以根據以往數據的訪問的頻率的排序確定，也可以是通過其他方法確定，在本發明實施例中對此不進行限定。
財經視頻網站的視頻直播版塊中，有最新的視頻直播列表以及往期直播回放視頻列表，還可以播放視頻，下拉該版塊，會顯示更多的內容。
圖文直播室版塊中，顯示專家直播室列表。點擊相應的專家直播室，可以進入該專家的圖文直播室進行互動直播。拖動專家直播室列表可顯示更多專家的直播室。其中，各專家直播室在列表中的先後順序可以根據訂閱人數進行排序得到。
名家動態版塊中有根據人氣算法篩選出的名家用戶發布的動態的列表，點擊可查看動態全文詳情，還可以進行評論和轉發等互動操作。滑動該列表，可以加載更多的動態。
操盤計劃版塊中包含專家理財師的操盤計劃列表，顯示操盤計劃預期收益和當前收益等信息。點擊可查看操盤計劃詳情，還可以進行訂閱操作等。
如果訪問請求訪問的是訪問首頁中的某一個版塊的請求，則目標數據是該版塊對應的數據。在首頁中點擊版塊對應的標籤，則對財經視頻網站中的伺服器來說，就是獲取了訪問請求。伺服器根據點擊的標籤對應的版塊的待加載內容，可以確定目標數據。當然，在各個版塊中進行點擊、拖動、滑動等以獲取更多信息的操作，則對財經視頻網站中的伺服器來說，就是獲取了訪問請求。綜上所述，用戶對財經視頻網站進行獲取信息的操作，就是向對財經視頻網站中的伺服器發送了訪問請求。
S102：判斷緩存中是否存在所述目標數據中的全部數據；其中，所述緩存中存儲有資料庫中部分數據，如果是，執行步驟S103，如果否，執行步驟S104。
需要說明的是，這裡所說的緩存可以為Redis或Memcache。Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value(鍵-值)資料庫。其中，ANSI是一種字符代碼，為使計算機支持更多語言，通常使用0x00～0x7f範圍的1個字節來表示1個英文字符。Memcache是一個自由、源碼開放、高性能、分布式的分布式內存對象緩存系統。
在本發明實施例中，可以在緩存中存儲資料庫中的部分數據。具體的，緩存中存儲的數據是在緩存有效期內的數據。例如，一開始，可以在緩存中存儲資料庫的全部數據，當任一數據在緩存中存儲的時間超過其對應的緩存有效期後，就將該數據刪除。緩存中存儲的數據不多於資料庫中的數據。
其中，緩存有效期可以是針對資料庫中不同的數據預先設置的。需要說明的是，緩存有效期可以是根據數據屬性確定的。例如，可以根據數據的點擊率確定。如果一個數據的點擊率比較少，則緩存有效期比較短；如果一個數據的點擊率比較多，則緩存有效期比較長。
當伺服器確定訪問請求對應的目標數據後，其可以判斷緩存中是否存在目標數據中的全部數據。例如，伺服器可以根據目標數據中包括的各數據的標識信息，判斷緩存中是否存在目標數據中的全部數據。
S103：從所述緩存中獲取所述目標數據。
當緩存中包括目標數據中的全部數據時，說明該目標數據在緩存有效期內，伺服器可以從緩存中獲取目標數據。由緩存和資料庫本身的性質所確定的，在緩存中獲取數據的速度比在資料庫中獲取數據的速度快。而且在緩存中獲取數據，能夠減少對資料庫的訪問次數，降低資料庫壓力，提高網站的訪問速度，使得網站可承受的並發訪問的數量大大提高，預防因為並發訪問數量大而造成的宕機。
因為在緩存中獲取數據的速度比在資料庫中獲取數據的速度快，會明顯提高操作的流暢度，有效地解決了卡頓等現象，提高了用戶體驗。
S104：在所述目標數據中確定存在於所述緩存中的第一數據，以及不存在於所述緩存中的第二數據。
在本發明實施例中，緩存中不存在目標數據的全部數據，則說明目標數據全部不在緩存有效期內，或者目標數據中的部分數據不在緩存有效期內。在緩存中能夠查找的數據就是這裡說的第一數據，不能查找到的數據就是第二數據。當然，確定第一數據和第二數據的方法並不僅限於上述示例。
需要說明的是，當目標數據中的全部數據均不在緩存中，則第一數據中不包括任何數據，第二數據為目標數據中的全部數據。
S105：從所述緩存中獲取所述第一數據，從所述資料庫中獲取所述第二數據。
伺服器確定存在於緩存中的第一數據，以及不存在於緩存中的第二數據後，其可以從緩存中獲取第一數據，從資料庫中獲取第二數據，以獲取到全部的目標數據。
應用本發明實施例，可以在緩存中獲取數據，從緩存中獲取數據的速度比從資料庫中獲取數據的速度快，從而能夠減少獲取數據的時間。
圖2為本發明實施例所提供的數據獲取方法的第二種流程示意圖。基於圖1所提供的實施例，本發明實施例所提供的一種數據獲取方法在S105之後，還包括：
S106，將所述第二數據存儲到所述緩存中。
第二數據不在緩存中，為了減少後續獲取數據時對資料庫的訪問次數，伺服器可以將第二數據存儲到緩存中。下次，在第二數據的緩存有效期內，可以直接從緩存中獲取第二數據。這樣減少了數據獲取時間，提高了網站的訪問速度，進而，提高了用戶體驗。
應用本發明實施例，將數據存儲在緩存中，下一次在該數據的緩存有效期內，直接在緩存中獲取該數據，從緩存中獲取數據的速度比從資料庫中獲取數據的速度快，從而能夠減少獲取數據的時間。
在本發明的另一個具體實施例中，參見圖3，提供了數據獲取方法的第三種流程示意圖，與圖1所示實施例相比，本實施例中，從緩存中獲取所述目標數據(S103)，包括：
S1031：將所述目標數據的標識信息與預先設置的分頁數據的標識信息進行匹配。
在本發明實施例中，可以預先針對各分頁數據，設置對應的標識信息。例如，頁碼1的標識信息是標識信息A，頁碼2對應的標識信息是標識信息B，頁碼3對應的標識信息是標識信息C。
在訪問請求中可以包含目標數據的標識信息。其中，不管目標數據中包含一個或多個數據，目標數據的標識信息只有一個。當目標數據中包含多個數據時，目標數據的標識信息是目標數據中所有數據的整體標識信息。
例如，如果目標數據的標識信息是標識信息C，則匹配成功；如果目標數據的標識信息是標識信息M，則匹配失敗。
S1032：根據匹配結果確定所述目標數據是否為分頁數據，如果是，執行步驟S1033。
如果匹配結果為成功，則可以確定目標數據是分頁數據；如果匹配結果為失敗，則可以確定目標數據不是分頁數據。
S1033：確定所述目標數據對應的頁碼；從緩存中所述頁碼對應的數據存儲位置獲取所述目標數據，其中，所述緩存預先將在同一個頁碼上的分頁數據，存儲在同一個存儲區域內不同的存儲位置中。
在本發明實施例中，訪問請求中較為頻繁的請求為加載更多數據的訪問請求。對於這類訪問請求，需要獲取大量的數據，然而獲取到大量的數據之後，用戶並不一定全部需要或者全部查看。因此，可以將分頁加入緩存，當進行目標數據獲取時，獲取的是分頁數據，這樣避免了資源的浪費和頻繁的請求造成的負載過高。
確定目標數據對應的頁碼可以為：將目標數據的標識信息與分頁數據的標識信息進行匹配，匹配到的分頁數據對應的頁碼為目標數據對應的頁碼。當然，並不僅限於上述確定目標數據對應的頁碼的方法。
在本發明實施例中，伺服器可以將緩存中同一個頁碼上的數據存儲在同一個存儲區域內不同存儲位置，這樣可以快速地確定分頁數據的存儲位置，可以提高獲取數據的速度。
同樣的，在本發明實施例中，伺服器還可以將資料庫中同一個頁碼上的數據存儲在同一個存儲區域內不同存儲位置。伺服器在獲取數據時，當目標數據為分頁數據，且不在緩存中時，可以在資料庫中目標數據的頁碼對應的存儲位置中，獲取目標數據。當目標數據是分頁數據，且部分數據不在緩存中，可以從緩存中頁碼對應的數據存儲位置獲取目標數據中的部分數據，在資料庫中目標數據的頁碼對應的存儲位置中，獲取目標數據中的另外一部分數據。
應用本發明實施例，當進行目標數據獲取時，獲取的是分頁數據，這樣避免了資源的浪費和頻繁的請求造成的負載過高。
在本發明實施例的一個可選實施方式，參見圖4，提供了數據獲取方法的第四種流程示意圖，該方法還包括以下步驟：
S107：獲取針對數據的更改請求；其中，所述更改請求包括以下至少一項：數據修改請求、數據添加請求、數據刪除請求以及數據合併請求。
在本發明實施例中，可以隨時對資料庫中的數據進行更改，這裡所說的更改包括數據的修改、數據的添加、數據的刪除、數據的合併。
S108：根據所述更改請求，更改所述資料庫中對應的數據。
伺服器在獲取到更改請求後，確定更改請求中的數據的標識信息。當更改請求為數據修改請求時，數據的標識信息為待修改數據的標識信息，根據數據的標識信息，確定待修改的數據，對待修改數據進行修改。當更改請求為數據添加請求時，數據的標識信息為待添加數據的標識信息，根據數據的標識信息，從數據添加請求中包含的待添加數據的存儲位置，獲取待添加的數據存儲至資料庫。當更改請求為數據刪除請求時，數據的標識信息為待刪除數據的標識信息，根據數據的標識信息，從資料庫中確定待刪除的數據，刪除所確定的數據。當更改請求為數據合併請求時，數據的標識信息為待合併數據的標識信息，根據數據的標識信息，從資料庫中確定待合併的數據，合併所確定的數據。
S109：確定所述資料庫中已更改數據的標識信息，根據所述標識信息，更新所述緩存中的數據。
當根據更改請求對資料庫中的數據進行更改後，為了保證資料庫中的數據與緩存中的數據的同步，還需要更新緩存中的數據。當然，在更新緩存中的數據之前，還需要判斷資料庫中待更改的數據是否在緩存中，如果在的話，才更新緩存中的數據。
當更改請求為數據修改請求時，根據已更改數據的標識信息和更改前的數據標識信息，在緩存中確定修改前的數據，將修改前的數據替換為已修改的數據。當更改請求為數據添加請求時，根據標識信息確定添加的數據，從資料庫中獲取添加的數據，並存儲在緩存中。當更改請求為數據刪除請求時，將待刪除的數據從緩存中刪除。當更改請求為數據合併請求時，在緩存中確定合併前的數據，將合併前的數據替換為已合併的數據。
應用本發明實施例，對資料庫中的數據更改之後，根據資料庫更改的數據的標識信息，更改緩存中的數據，保證了數據的同步，同時也保證了在緩存中獲取的數據的正確性。
與圖1所示的方法實施例相對應，圖5為本發明實施例提供的數據獲取裝置的第一種結構示意圖，該裝置包括第一確定模塊201、判斷模塊202、第一獲取模塊203、第二確定模塊204和第二獲取模塊205，其中，
第一確定模塊201，用於獲取訪問請求，並確定所述訪問請求對應的目標數據；
判斷模塊202，用於判斷緩存中是否存在所述目標數據中的全部數據；其中，所述緩存中存儲有資料庫中部分數據；
第一獲取模塊203，用於在所述判斷模塊的判斷結果為是的情況下，從所述緩存中獲取所述目標數據；
第二確定模塊204，用於在所述判斷模塊的判斷結果為否的情況下，在所述目標數據中確定存在於所述緩存中的第一數據，以及不存在於所述緩存中的第二數據；
第二獲取模塊205，用於從所述緩存中獲取所述第一數據，從所述資料庫中獲取所述第二數據。
應用本發明實施例，可以在緩存中獲取數據，從緩存中獲取數據的速度比從資料庫中獲取數據的速度快，從而能夠減少獲取數據的時間。
具體的，所述緩存中存儲的數據是在緩存有效期內的數據，所述緩存有效期是針對所述資料庫中不同的數據預先設置的。
與圖2所示的方法實施例相對應，圖6為本發明實施例提供的數據獲取裝置的第二種結構示意圖，該裝置還包括存儲模塊206，其中，
存儲模塊206，用於將所述第二數據存儲到所述緩存中。
應用本發明實施例，將數據存儲在緩存中，下一次在該數據的緩存有效期內，直接在緩存中獲取該數據，從緩存中獲取數據的速度比從資料庫中獲取數據的速度快，從而能夠減少獲取數據的時間
與圖3所示的方法實施例相對應，圖7為本發明實施例提供的數據獲取裝置的第三種結構示意圖，第一獲取模塊203包括匹配子模塊2031、確定子模塊2032和獲取子模塊2033，其中，
匹配子模塊2031，用於將所述目標數據的標識信息與預先設置的分頁數據的標識信息進行匹配；
確定子模塊2032，用於根據匹配結果確定所述目標數據是否為分頁數據；
獲取子模塊2033，用於在所述確定子模塊的確定結果為是的情況下，確定所述目標數據對應的頁碼；從緩存中所述頁碼對應的數據存儲位置獲取所述目標數據，其中，所述緩存預先將在同一個頁碼上的分頁數據，存儲在同一個存儲區域內不同的存儲位置中。
應用本發明實施例，當進行目標數據獲取時，獲取的是分頁數據，這樣避免了資源的浪費和頻繁的請求造成的負載過高。
與圖4示的方法實施例相對應，圖8為本發明實施例提供的數據獲取裝置的第四種結構示意圖，裝置還包括：第三獲取模塊207、更改模塊208和更新模塊209，其中，
第三獲取模塊207，用於獲取針對數據的更改請求；其中，所述更改請求包括以下至少一項：數據修改請求、數據添加請求、數據刪除請求以及數據合併請求；
更改模塊208，用於根據所述更改請求，更改所述資料庫中對應的數據；
更新模塊209，用於確定所述資料庫中已更改數據的標識信息，根據所述標識信息，更新所述緩存中的數據。
應用本發明實施例，對資料庫中的數據更改之後，根據資料庫更改的數據的標識信息，更改緩存中的數據，保證了數據的同步，同時也保證了在緩存中獲取的數據的正確性。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
本說明書中的各個實施例均採用相關的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
以上所述僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發明的保護範圍內。