一種地震數據並行存儲系統的製作方法

2023-07-13 11:13:16 1

專利名稱：一種地震數據並行存儲系統的製作方法
技術領域：
本發明涉及一種存儲地震採集數據的地震數據並行存儲系統。
背景技術：
目前，國際上的地震數據採集系統如法國Sercel公司的408UL地震數據採集系 統、美國IO公司的Scorpion地震數據採集系統，均支持多種存儲介質的數據保存，如磁碟、 磁帶機、NAS盤等，數據存儲可靠、高效。但是作為商用系統，其整體數據存儲技術保密。國 內地震領域地震數據採集系統相關存儲方法一般採用直接存儲、環形緩衝存儲或並行存儲 等方法，而本發明所涉及的基於多級緩衝機制的地震數據並行存儲系統首次在我國地震數 據採集系統中使用，在國內屬於首創。

發明內容
本發明的目的是針對地震數據實時存儲的需求特點設計一種基於多級緩衝機制 的具有高可靠性和實時性的地震數據並行存儲系統。該存儲系統在多核/多處理器體系結 構基礎上，利用線程級並行處理技術，針對地震數據採集過程中所可能使用的特性各異的 多種存儲介質，採用多級緩衝處理，並行存儲數據，在保證可靠性的基礎上，提高地震數據 採集過程中的數據存儲效率。本地震數據並行存儲系統主要由兩類部件構成一類是處理部件，另一類是存儲 部件。處理部件包括一級存儲引擎、二級存儲引擎、三級存儲引擎以及存儲調度器。存儲 部件包括一級存儲部件(內存緩衝區)、二級存儲部件(內存映射文件)以及三級存儲部 件(磁帶機、NAS盤等目標存儲設備)。在每次地震數據採集的過程中，數據源源不斷到達，地震數據採集系統中的地震 數據採集線程(是本地震數據並行存儲系統的直接交互者，但不屬於本發明內容)持續地 接收地震數據並存入存儲系統(可以理解為一幀一幀地接收數據，一幀一幀地寫入存儲系 統)。由於目標存儲設備的寫入速度較慢，如果等目標存儲設備寫入完成一幀後再進行下一 幀的接收，那麼會嚴重影響數據的接收，造成數據的丟失。因此，通過提供多級緩衝處理機 制，在目標存儲設備(三級存儲部件)之上提供速度更快的一級存儲部件(內存緩衝區)， 地震數據採集線程在通過一級存儲引擎將數據寫入一級存儲部件之後即可以立刻開始接 收下一幀數據，從而大大提高了數據的接收和存儲效率。此外，在地震採集過程中，為了提 高施工效率，有時需要連續快速放炮。目標存儲設備(三級存儲部件)的寫入速度較慢，如 果要等每炮的數據完全寫入目標存儲設備後才能開始下一炮的採集，則無法實現連續的快 速放炮。而一級存儲部件使用的是內存緩衝區，容量有限，只靠一級存儲部件和二級存儲部 件也無法實現連續的快速放炮。因此設立了基於內存映射文件的二級存儲部件，既可以提 供比目標存儲設備更高的寫入速度，又可以提供足夠的容量，從而可以更好的支持連續的 快速放炮。1) 一級存儲引擎
—級存儲引擎的主要功能是將按時間順序到來的地震數據流進行一定的處理後 及時存入一級存儲部件。所做的處理工作包括時序道序轉換等。一級存儲弓|擎提供了存儲接口。在地震數據採集過程中，地震數據採集線程通過 一級存儲引擎所提供的存儲接口將地震數據存入一級存儲部件。由於此過程速度較快，因 此地震數據採集線程可以迅速進行後續工作。2) 一級存儲部件一級存儲部件的主要功能是按照道序存儲地震數據。一級存儲部件採用的存儲介 質是內存，具有較快的讀寫速度，但容量相對較小，且屬於易失性介質。3) 二級存儲引擎二級存儲引擎的主要功能是將一級存儲部件所存儲的道序地震數據取出，按照目 標文件格式(SEG-Y、SEG-D等)整理之後，寫入二級存儲部件。二級存儲引擎運行於獨立的 線程中。4) 二級存儲部件二級存儲部件的主要功能是按照目標文件格式存儲地震數據。二級存儲部件採用 的存儲介質是硬碟，其讀寫速度比內存慢，但比目標存儲設備快，容量相對較大，數據存儲 持久。二級存儲部件採用了內存映射文件的方式，將硬碟文件映射到一段內存區域。對 內存區域的讀寫，就相當於對文件的讀寫，這就大幅提高了二級存儲引擎向二級存儲部件 的寫入速度。二級存儲引擎寫入完成後，可以進行其它後續工作。二級存儲部件則利用內 存映射文件機制，將內存中的數據交換到硬碟文件。另外，二級存儲部件採用了 RAID技術，從硬體層面保證了硬碟數據文件存儲的可靠性。5)三級存儲引擎三級存儲引擎的主要功能是將二級存儲部件所存儲的標準格式數據文件中的數 據取出，按照目標存儲設備的存儲要求進行必要處理後，寫入三級存儲部件(目標存儲設 備)。三級存儲引擎運行於獨立的線程中。6)三級存儲部件三級存儲部件的主要功能是按照目標文件格式存儲地震數據。三級存儲部件即目 標存儲設備，通常是磁帶機或NAS盤。其讀寫速度慢，容量很大，數據存儲持久。7)存儲調度器存儲調度器的主要功能是對地震數據的並行存儲過程進行調度。調度發生在兩個 方面一方面是對硬體計算設備資源的分配與調度，另一方面是對各存儲引擎的工作調度。本地震數據並行存儲系統所採用的硬體計算設備為多CPU/多核架構的計算設 備。存儲調度器為各級存儲引擎分配硬體計算設備資源。比如在硬體計算設備資源充足 的情況下，為二級存儲引擎和三級存儲引擎都分配獨立的硬體線程(某個CPU內核或某個 CPU內核中的某個超線程)，這樣它們都可以不受限制地獲得計算資源。存儲調度器還對各存儲引擎的工作進行調度。由於各級存儲部件的讀寫速度差異 較大，而各級存儲引擎的工作又是異步進行、相對獨立，因此讀寫速度快的部件所存的數據 會逐漸積累。數據積累過多的話，一旦系統出現問題，會造成大量數據無法寫入目標存儲設備。存儲調度器會根據一定的策略，對各級存儲引擎間的工作步調進行協調，既保持一定程 度的異步處理，從而提高系統的存儲效率，又能在數據積累較多時進行協調，從而降低因數 據積累過多而產生的數據丟失危險。此外，當硬體計算設備資源有限時，各級存儲引擎可能 運行在同一個硬體線程內。這種情況下，同一時刻只能有一個存儲引擎工作。這就需要存 儲調度器按照數據存儲的緊迫性對各級存儲引擎的工作進行調度。數據存儲的緊迫性按照 一級存儲引擎、二級存儲引擎、三級存儲引擎的順序依次降低。發明的效果本發明針對地震數據實時存儲的需求特點而產生，採用多級緩衝處理、並行存儲 數據，在保證可靠性的基礎上，提高地震數據採集過程中的數據存儲效率，在國內屬於首 創。目前，本發明已在我國自主研發的地震數據採集系統中使用，從目前的應用效果看，很 好地滿足了我國自主研發的地震數據採集系統的需求。


圖1 基本框架結構圖2 —級存儲引擎典型工作流程圖3 二級存儲引擎典型工作流程圖4 三級存儲引擎典型工作流程
具體實施例方式本地震數據並行存儲系統主要由兩類部件構成一類是處理部件，另一類是存儲 部件。處理部件包括一級存儲引擎、二級存儲引擎、三級存儲引擎以及存儲調度器。存儲 部件包括一級存儲部件(內存緩衝區)、二級存儲部件(內存映射文件)以及三級存儲部 件(磁帶機、NAS盤等目標存儲設備)。在地震數據採集過程中，本地震數據並行存儲系統的典型工作流程可抽象為以下 幾組步驟。1) 一級存儲引擎典型工作流程1. 1) 一級存儲引擎等待地震數據到達。1. 2)地震數據按時間順序到達，地震採集線程通過一級存儲引擎提供的存儲接口 將時序地震數據傳給一級存儲引擎。1. 3) 一級存儲引擎對時序地震數據進行一定的處理(時序轉道序等)。1. 4) 一級存儲引擎將處理後的地震數據及時存入一級存儲部件。在一級存儲部件 內，按照道序存儲地震數據。1. 5) 一級存儲引擎通知二級存儲引擎，一級存儲部件中已有新數據準備好。1. 6)回到 1. 1)。2) 二級存儲引擎典型工作流程2. 1) 二級存儲引擎等待一級存儲引擎通知。2. 2) 二級存儲引擎收到一級存儲引擎的通知，知道一級存儲部件中已有新數據準 備好。2. 3) 二級存儲引擎從一級存儲部件中取出一定量的道序地震數據。
2. 4) 二級存儲引擎按照目標文件格式(SEG-Y、SEG_D等)整理所取出的地震數據2.5) 二級存儲引擎將整理後的地震數據寫入二級存儲部件。在二級存儲部件內， 按照目標文件格式存儲地震數據。2. 6) 二級存儲引擎通知三級存儲引擎，二級存儲部件中已有新數據準備好。2. 7)回到 2. 1)。3)三級存儲引擎典型工作流程 3. 1)三級存儲引擎等待二級存儲引擎通知。3. 2)三級存儲引擎收到二級存儲引擎的通知，知道二級存儲部件中已有新數據準 備好。3. 3)三級存儲引擎從二級存儲部件中取出一定量的標準格式數據文件中的數據。3. 4)三級存儲引擎對取出的地震數據按照目標存儲設備的存儲要求進行必要處理。3. 5)三級存儲引擎將處理後的地震數據寫入三級存儲部件(目標存儲設備)。在 三級存儲部件內，按照目標文件格式存儲地震數據。3. 6)回到 3. 1)。
權利要求
一種地震數據並行存儲系統，由兩類部件構成一類是處理部件，另一類是存儲部件，其特徵在於處理部件包括一級存儲引擎、二級存儲引擎、三級存儲引擎和存儲調度器；存儲部件包括一級存儲部件、二級存儲部件和三級存儲部件；(1)一級存儲引擎和一級存儲部件一級存儲引擎提供存儲接口與地震數據採集線程連接，等待地震數據到達；當地震數據按時間順序到達，地震採集線程通過一級存儲引擎提供的存儲接口將時序地震數據傳給一級存儲引擎；一級存儲引擎對時序地震數據進行時序轉道序處理；將處理後的地震數據及時存入一級存儲部件內存緩衝區；在一級存儲部件內，按照道序存儲地震數據；一級存儲引擎通知二級存儲引擎，一級存儲部件中已有新數據準備好；回到等待地震數據到達；一級存儲部件採用的存儲介質是內存；(2)二級存儲引擎和二級存儲部件二級存儲引擎等待一級存儲引擎通知；二級存儲引擎收到一級存儲引擎的通知，知道一級存儲部件中已有新數據準備好；二級存儲引擎從一級存儲部件中取出一定量的道序地震數據；二級存儲引擎按照目標文件格式SEG-Y、SEG-D整理所取出的地震數據；二級存儲引擎將整理後的地震數據寫入二級存儲部件；在二級存儲部件內，按照目標文件格式存儲地震數據；二級存儲引擎通知三級存儲引擎，二級存儲部件中已有新數據準備好；回到等待一級存儲引擎通知；二級存儲部件採用了內存映射文件的方式，將硬碟文件映射到一段內存區域；(3)三級存儲引擎三級存儲引擎等待二級存儲引擎通知；三級存儲引擎收到二級存儲引擎的通知，知道二級存儲部件中已有新數據準備好；三級存儲引擎從二級存儲部件中取出一定量的標準格式數據文件中的數據；三級存儲引擎對取出的地震數據按照目標存儲設備的存儲要求進行必要處理；三級存儲引擎將處理後的地震數據寫入三級存儲部件的目標存儲設備；在三級存儲部件內，按照目標文件格式存儲地震數據；回到等待二級存儲引擎通知；三級存儲部件是磁帶機或NAS盤；(4)存儲調度器存儲調度器對地震數據的並行存儲過程進行調度；調度發生在兩個方面一方面是對硬體計算設備資源的分配與調度，在硬體計算設備資源充足的情況下，為二級存儲引擎和三級存儲引擎都分配獨立的硬體線程；另一方面是對各存儲引擎的工作調度；既保持一定程度的異步處理，從而提高系統的存儲效率，又能在數據積累較多時進行協調，從而降低因數據積累過多而產生的數據丟失危險；當硬體計算設備資源有限時，各級存儲引擎可能運行在同一個硬體線程內，按照數據存儲的緊迫性對各級存儲引擎的工作進行調度，數據存儲的緊迫性按照一級存儲引擎、二級存儲引擎、三級存儲引擎的順序依次降低。
全文摘要
本發明涉及一種存儲地震採集數據的地震數據並行存儲系統；由兩類部件構成一類是處理部件，另一類是存儲部件，處理部件包括一級存儲引擎、二級存儲引擎、三級存儲引擎和存儲調度器；存儲部件包括一級存儲部件、二級存儲部件和三級存儲部件；一級存儲引擎提供存儲接口與地震數據採集線程連接，等待地震數據到達；二級存儲引擎等待一級存儲引擎通知；三級存儲引擎等待二級存儲引擎通知；存儲調度器對地震數據的並行存儲過程進行調度；本發明針對地震數據實時存儲的需求特點而產生，採用多級緩衝處理、並行存儲數據，在保證可靠性的基礎上，提高地震數據採集過程中的數據存儲效率。
文檔編號G01V1/24GK101839997SQ20091008032
公開日2010年9月22日 申請日期2009年3月18日 優先權日2009年3月18日
發明者馮謙, 劉勝航, 張寶民, 張 傑, 朱貴冬, 王堃, 王浩, 穆群英, 趙培根, 魏啟 申請人:中國石油天然氣集團公司;中國石油集團東方地球物理勘探有限責任公司