供應鏈網絡商業實證數據組織方法及系統的製作方法

2023-11-01 11:37:57

專利名稱：供應鏈網絡商業實證數據組織方法及系統的製作方法
技術領域：
本發明涉及一種組織供應鏈網絡商業實證數據的方法及其數據處理系統，特別涉 及一種通過商戶敏感信息隱藏技術獲取和組織供應鏈網絡商業實證數據，以及實現該方法 的數據處理計算機軟硬體系統，可廣泛應用於供應鏈管理教學軟體、供應鏈優化軟體及系 統，對供應鏈網絡數理建模、商業智能系統的應用具有良好的經濟效益及市場前景，屬於商 業數據處理技術領域。
背景技術：
供應鏈網絡是社會化大生產的產物，供應鏈管理是適應現代製造業、商業模式提 出的理論。所謂供應鏈，是指產品生產和流通過程所涉及的原材料供應商、生產商、批發商、 零售商以及最終消費者組成的供需網絡。即由物料獲取、物料加工，並將成品送到用戶手中 這一過程所涉及的企業和企業部門組成的一個網絡。近年來，我國供應鏈管理的理論和實踐都取得了廣泛而實質性的成果，供應鏈管 理的理論和方法對我國產業發展的貢獻也越來越顯著地體現出來。供應鏈管理已經從最初 學者的定性科學理論研究探討，發展成為有利於企業日常經營、為企業降本增效的定量優
化工具。目前，世界上多家大型軟體企業開發了供應鏈優化軟體系統，如IBM的ILOG軟體 系統，先進生產排程(APS)軟體系統等。這些軟體系統都以一定的供應鏈網絡數理模型為 基礎，對企業的資源、生產計劃要求、約束條件等進行求解，以實現倉儲設置、物流調度、生 產排程等實際業務邏輯，達到為企業降本增效的目的，產生了很好的經濟效益和社會效應。一般情況下，供應鏈網絡數理模型大多建立在一定的實證數據的基礎之上，國外 的應鏈網絡商業實證數據並不一定適應國內的企業現狀和需求。因此，獲取應鏈網絡商業 實證數據是正確、合理建立供應鏈網絡數理模型的必要前提條件。另一方面，供應鏈管理教學軟體系統，真實的供應鏈管理案例往往具有更好的教 學效果，因此也需要採集和整理真實的應鏈網絡商業實證數據。通常，就某個供應鏈優化客戶企業來說，其自身內部的商業數據比較容易獲得，而 企業之間的應鏈網絡商業實證數據卻很難獲得；而對於供應鏈優化服務供應商來說，即使 掌握了應鏈網絡商業實證數據，也不便於公開和傳播。問題的關鍵在於供應鏈網絡包含大 量的資金流、信息流、物流等商業數據，而每種數據又有各自大量的細化關聯，這些數據很 多都涉及供應鏈網絡中節點企業的內部商業信息，屬於不同程度上的商業機密，而且每個 節點企業的源數據又沒有標準格式，給數據的採集和組織造成很大的困難，尤其是動態的 歷史數據採集更加困難。目前，應鏈網絡商業實證數據的採集有以下三種方法(1)問卷調查方法通過設計紙質、電子的問卷，就某個經濟領域或經濟問題，對相關企業進行問卷調 查，以此收集商業數據信息。優點是數據有效性高，缺點是實效性低、準確性差；
(2)電子商務網站公開數據通過網絡搜尋引擎對B2B、B2C等電子網站進行網頁「爬取」，然後通過整理異構數 據生成實證資料庫。優點是數據實效性高，缺點是數據有效性低，對於一定的數理模型，需 要對原始數據進行整理和篩選；(3)購買商業化的案例資料庫如CEIC企業資料資料庫、CEIC經濟資料庫、CEIC行業資料庫、Chndb中國商業數 據庫等。優點是數據經過整理，有效性高、實效性好，缺點是價格昂貴，一般企業應用無法承 受。供應鏈網絡商業實證數據的公開和傳播也存在著難題，近年來隨著我國對知識產 權、個人信息、商業機密保護的不斷深入，相關的立法速度加快，相關執法的力度也大大增 強。例如2008年10月，國家稅務總局印發了《納稅人涉稅保密信息管理暫行辦法》，其中 第三條明確規定對於納稅人的涉稅保密信息，稅務機關和稅務人員應依法為其保密。除下 列情形外，不得向外部門、社會公眾或個人提供(一 )按照法律、法規的規定應予公布的信息；( 二)法定第三方依法查詢的信息；(三)納稅人自身查詢的信息；(四)經納稅人同意公開的信息。因此一方面是國家、社會對商業信息的保密意識越來越強、法律越來越規範，另一 方面是供應鏈管理、優化對應鏈網絡商業實證數據的大量需求。如何解決兩者的矛盾，為我 國的社會化大生產優化供應鏈、創造更大的經濟和社會價值？為此，本發明提供一種通過商戶敏感信息隱藏技術獲取和組織應鏈網絡商業實證 數據，以及實現該方法的數據處理計算機軟硬體系統，具有時效性高、有效性好、準確性高、 價格便宜的優點。該方法和系統，可廣泛應用於供應鏈管理教學軟體、供應鏈優化軟體，對 供應鏈網絡數理建模、商業智能系統的應用具有良好的經濟效益及市場前景。

發明內容
本發明的首要目的在於提供一種通過商戶敏感信息隱藏技術實現供應鏈網絡企 業間商業實證數據獲取和組織方法，使得既保證了商業信息不洩密，又能有效合理組織應 鏈網絡商業實證數據。本發明的目的還在於提供一套實現該方法的信息處理軟硬體計算機系統。為了解決上述技術問題，本發明是通過以下技術方案實現的本發明提供了一種應鏈網絡商業實證數據組織方法，包括如下步驟獲取供應鏈網絡商業實證數據源經過供應鏈網絡數據字典的識別和匹配，抽取有 效商業實證數據，主要包括商戶名稱、貨物名稱、交易資金、物流信息等；由於不同的供應鏈網絡商業實證數據源的數據結構不同，需要進行異構數據遷 移，將有效商業實證數據整理成鍊表結構的資金流和物流數據結構；生成結構化的商業實證資料庫；統計商業實證資料庫中所有商戶名稱及貨物名稱，並按照某種規則給每一項分配 一個唯一編碼，以此編碼為一個節點，要求編碼必須和原先信息不相關；行規一化處理，要求僅標示節點的權重，而無法復原原 始量化信息；生成商業資料庫；以上步驟即為本發明提出的所謂商戶敏感信息隱藏技術，該部分工作在法律允許 範圍內，在數據源單位完成；經過上述處理，輸出的是以節點編碼為商業信息實體，以規一化權重為數量信息 的鍊表結構的資金流、物流資料庫，可以看出已經隱藏了商戶的所有商業信息，並且任何企 圖從中復原原始信息的可能性都是不存在的，因此此類商業數據可以合法公布和傳播；商業數據以關係型資料庫方式組織存儲，以記錄序號為主鍵，同時每條記錄都存 儲指向前、後級關聯項的序號，以此既可以利用現有商業關係型資料庫組織數據，又可以方 便恢復鍊表結構；在應用這些商業數據時，分配行業角色信息，如供應商A、生產商A、分銷商A等標 示鍊表中的節點，以量化的數據還原節點之間的權重，以實現更好的可讀性和可理解性；也可以直接發布這些商業數據，供第三方供應鏈優化軟體或供應鏈管理教學軟體 使用。本發明中所涉及的商業數據僅是按照我國相關法律規定可以合法獲取和對外公 布的數據，或者經過敏感信息隱藏技術處理之後可以合法對外公布的數據。本發明還提供了一種供應鏈網絡實證數據組織的系統，該系統包括網頁搜尋引擎機群、電子商務商戶數據接口伺服器、財稅數據接口伺服器、異構數 據遷移伺服器、商業實證資料庫伺服器、商戶敏感信息隱藏伺服器、商業資料庫伺服器，以 及應用伺服器。其中網頁搜尋引擎機群、電子商務商戶數據接口伺服器、財稅數據接口伺服器為 供應鏈網絡商業實證數據源支撐系統；異構數據遷移伺服器用於存儲獲取的實證數據，結合供應鏈網絡數據字典的識別 和匹配，抽取有效商業實證數據，並進行異構數據遷移，將有效商業實證數據整理成鍊表結 構的資金流和物流數據結構，最後生成結構化的商業實證資料庫；商業實證資料庫伺服器用於存儲結構化商業實證資料庫；商戶敏感信息隱藏伺服器用於給商戶名稱及貨物名稱進行節點唯一編碼，並對相 應的資金流和物流進行權重規一化處理；商業資料庫伺服器用於以關係型資料庫方式組織存儲的商業數據的鍊表結構；應用伺服器用於分配行業角色信息、發布商業資料庫。其中電子商務商戶數據接口伺服器、財稅數據接口伺服器、異構數據遷移伺服器、 商業實證資料庫伺服器、商戶敏感信息隱藏伺服器屬於所謂商戶敏感信息隱藏技術支撐系 統，安裝在數據源單位，並由數據源單位依法管理。本發明所提供的通過商戶敏感信息隱藏技術實現供應鏈網絡企業間商業實證數 據獲取和組織方法，不僅僅適用於商業信息的獲取和組織，還適用於與商業信息有著類似 保密需求的數據的公開和傳播。


圖1是本發明供應鏈網絡商業實證數據組織方法的原理圖；圖2是本發明供應鏈網絡商業實證數據組織系統的結構框圖；圖3是本發明供應鏈網絡商業實證數據組織系統中具體實施例1中電子商務網頁 數據獲取結構圖；圖4是本發明供應鏈網絡商業實證數據組織系統中具體實施例2中電子商務商戶 數據、財稅數據獲取結構圖；圖5是本發明供應鏈網絡商業實證數據組織方法中具體實施例3中供應鏈網絡數 據字典生成原理圖；圖6是本發明供應鏈網絡商業實證數據組織方法中具體實施例3中供應鏈網絡數 據字典匹配、抽取有效商業實證數據原理圖；圖7是本發明供應鏈網絡商業實證數據組織方法中具體實施例3中供應鏈網絡節 點唯一編碼原理圖；圖8是本發明供應鏈網絡商業實證數據組織方法中具體實施例3中供應鏈網絡權 重規一化原理圖；圖9是本發明供應鏈網絡商業實證數據組織方法中具體實施例3中商業數據存儲 結構圖；圖10是本發明供應鏈網絡商業實證數據組織方法中具體實施例3中商業數據恢 復鏈狀結構原理圖；圖11是本發明供應鏈網絡商業實證數據組織方法中具體實施例3中分配行業角 色效果圖。
具體實施例方式參考附圖，下面將對本發明進行詳細描述。如圖1所示，本發明供應鏈網絡商業實證數據組織方法，其主要步驟包括(1)獲取供應鏈網絡商業實證數據源(101)；(2)經過識別(106)維護供應鏈網絡數據字典(107)；(3)經過匹配(108)抽取有效商業實證數據(102)，主要包括商戶名稱、貨物名稱、 交易資金、物流信息等；(4)將不同數據結構的有效商業實證數據，經過異構數據遷移(103)，整理成鍊表 結構的資金流和物流數據結構；(5)生成商業實證資料庫(104)；(6)為每種商戶名稱及貨物名稱，進行節點唯一編碼(109)，要求編碼必須和原先 信息不相關；(7)對相應的資金流和物流進行權重規一化(105)處理，要求僅標示節點權重，而 無法復原原始量化信息；(8)生成商業資料庫(110)；(9)虛線框內包含的以上步驟即為本發明提出的所謂商戶敏感信息隱藏技術 (100)，該部分工作在法律允許範圍內，在數據源單位完成；
(10)在應用這些商業數據時，可以通過分配行業角色信息(112)或者直接發布 (111)供第三方供應鏈優化軟體或供應鏈管理教學軟體使用。本發明中所涉及的商業數據僅是按照我國相關法律規定可以合法獲取和對外公 布的數據，或者經過敏感信息隱藏技術處理之後可以合法對外公布的數據。如圖2所示，本發明供應鏈網絡商業實證數據組織系統，該系統包括網頁搜尋引擎機群(202)、電子商務商戶數據接口伺服器(203)、財稅數據接口服 務器(204)、異構數據遷移伺服器(205)、商業實證資料庫伺服器(206)、商戶敏感信息隱藏 伺服器(207)、商業資料庫伺服器(208)，以及應用伺服器(209)。各組成部分的功能和作用如下網頁搜尋引擎機群(202)、電子商務商戶數據接口伺服器(203)、財稅數據接口服 務器(204)組成豎虛線框內供應鏈網絡商業實證數據源支撐系統(200)。其中網頁搜索引 擎機群(202)由多臺用於網際網路網頁搜索的PC機組成，優選聯想揚天T4900V商用分體臺 式機；電子商務商戶數據接口伺服器(203)用於連接電子商務網站資料庫；財稅數據接口 伺服器(204)用於連接財稅資料庫，優選聯想萬全SD210X4機架式伺服器。除公開數據外， 其他涉密數據都需在相應法律許可的情況下，按照法律程序獲得；異構數據遷移伺服器(205)用於存儲獲取的實證數據，抽取有效商業實證數據， 並進行異構數據遷移，整理成鍊表結構的資金流和物流數據結構，優選聯想萬全SD210X4 機架式伺服器；商業實證資料庫伺服器(206)用於存儲結構化商業實證資料庫，優選聯想 SureSAS212G2 存儲系統；商戶敏感信息隱藏伺服器(207)用於給商戶名稱及貨物名稱進行節點唯編碼，並 對相應的資金流和物流進行權重規一化處理，優選聯想萬全SD210X4機架式伺服器；商業資料庫伺服器(208)用於以關係型資料庫方式組織存儲的商業數據的鍊表 結構，優選聯想SureSAS212G2存儲系統；應用伺服器(209)用於分配行業角色信息、發布商業資料庫。其中電子商務商戶數據接口伺服器(203)、財稅數據接口伺服器(204)、異構數據 遷移伺服器(205)、商業實證資料庫伺服器(206)、商戶敏感信息隱藏伺服器(207)屬於所 謂商戶敏感信息隱藏技術支撐系統(201)，安裝在數據源單位，並由數據源單位依法管理。如圖3所示，本發明供應鏈網絡商業實證數據組織系統的具體實施例1，採用網頁 搜尋引擎機群(202)獲取電子商務網頁數據，其中網頁搜尋引擎機群(202)由若干搜索引 擎計算機(302)組成，每個搜尋引擎計算機(302)維護多個並發搜索線程，通過公網信道 (303)對網際網路(300)中若干網際網路電於商務網站伺服器(301)的商業數據進行搜索和獲 取。實施例1所獲取的商業數據都是公開的數據，所以採用不加密的公網信道(303)。如圖4所示，本發明供應鏈網絡商業實證數據組織系統的具體實施例2，採用電子 商務商戶數據接口伺服器(203)和電子商務公司數據伺服器(305)連接，或者財稅數據接 口伺服器(204)和財稅數據伺服器(306)連接，通過加密信道(304)互聯，獲取電子商務商 戶數據、財稅數據。實施例2所獲取的商業數據需在法律允許的範圍內，以法律允許的程序 和方式獲得，採用加密信道(304)傳輸。如圖5所示，本發明供應鏈網絡商業實證數據組織方法的具體實施例3，採用生成的方法維護供應鏈網絡數據字典，具體步驟為(1)以產品目錄(401)和行業名錄(402)為基礎，生成原始行業詞條(403)；(2)對獲取數據進行實證數據源解析(404)，獲取實體詞條(405)，可以使用文本 語義分析、中文詞語分割等相關算法實現；(3)在原始行業詞條(403)中查找，判斷是否已經存在(406)；(4)是，則選擇忽略(408)，查找下一個實體詞條(405)；(5)否，則選擇添加新詞條(407)；(6)由原始行業詞條(403)作為種子，不斷添加新詞條(407)，生成供應鏈網絡數 據字典(107)。如圖6所示，本發明供應鏈網絡商業實證數據組織方法的具體實施例3，採用供應 鏈網絡數據字典匹配實現抽取有效商業實證數據，具體步驟為(1)分析商業數據源表單(410)，獲得實體詞條；(2)在供應鏈網絡數據字典(107)中查找相關的實體詞條，並建立一一對應關係， 如「美國微芯」、「PIC16F54」、「九陽豆漿」；(3)抽取量化數據，如 「8.00」、「1，000」、「8，000」；(4)以實體詞條對應供應鏈節點，如「美國微芯」對應供應鏈節點1(411)、「九陽豆 漿」對應供應鏈節點2 (413)，量化數據對應權重，如「8，000」對應供應鏈權重(412)；(5)建立有向鍊表結構(414)。如圖7所示，本發明供應鏈網絡商業實證數據組織方法中具體實施例3，採用供應 鏈網絡節點唯一編碼隱藏商業信息。供應鏈網絡數據字典(107)的每一項都有一個唯一編 碼與之對應，生成實體詞條編碼字典(420)，節點唯一編碼有多種技術可供選擇，例如MD5 編碼、散列編碼等，要求無法還原原始信息；如圖8所示，本發明供應鏈網絡商業實證數據組織方法中具體實施例3，採用供應 鏈網絡權重規一化隱藏量化信息，有多種技術可供選擇，例如指數函數等，要求無法還原 原始信息。最終，供應鏈節點1(411)的「美國微芯」信息替換為唯一編碼供應鏈節點1(421) 的「M0002」;供應鏈節點2(413)的「九陽豆漿」信息替換為唯一編碼供應鏈節點2 (423)的 「M0003」;供應鏈權重(412)的「8，000」替換為規一化供應鏈權重(422)的「0.01」。如圖9所示，本發明供應鏈網絡商業實證數據組織方法中具體實施例3，採用關係 型資料庫存出商業數據的表結構，以記錄的序號(430)為主鍵，基本欄位包括前級關聯項 (431)、後級關聯項(432)、前級權重(433)、後級權重(434)、關聯序號(435)。如圖10所示，本發明供應鏈網絡商業實證數據組織方法中具體實施例3，通過搜 索關聯序號(435)，恢復商業數據鏈狀結構。如圖11所示，本發明供應鏈網絡商業實證數據組織方法中具體實施例3，分配行 業角色，根據實際需要，唯一編碼供應鏈節點1(421)的「M0002」替換成分配角色供應鏈節 點1(521)的「供應商A」；唯一編碼供應鏈節點2 (423)的「M0003」替換成分配角色供應鏈 節點2(523)的「生產商A」；規一化供應鏈權重(422)的「0. 01」替換成分配角色供應鏈權 重(522)的「7，000」。以便於理解和應用。注意到分配角色供應鏈節點1 (521)和供應鏈節點1 (411)已經完全不同；分配角色供應鏈節點2(523)和供應鏈節點2(413)已經完全不同；分配角色供應鏈權重(522)和 供應鏈權重(412)也在數量上沒有關聯性，因此實現了信息隱藏。 本發明供應鏈網絡商業實證數據組織方法的具體實施例3所用數據不是現實數 據，僅為能清晰說明本發明特徵所舉的例子，處理過程也未經過優化處理。
權利要求
一種供應鏈網絡商業實證數據組織方法，包括如下步驟獲取供應鏈網絡商業實證數據源經過供應鏈網絡數據字典的識別和匹配，抽取有效商業實證數據；將不同結構的供應鏈網絡商業實證數據源進行異構數據遷移，整理成鍊表結構的資金流和物流數據結構；生成結構化的商業實證資料庫；統計商業實證資料庫中所有商戶名稱及貨物名稱，並按照某種規則給每一項分配一個唯一編碼，以此編碼為一個節點，要求編碼必須和原先信息不相關；對相應的資金流和物流進行規一化處理，要求僅標示節點的權重，而無法復原原始量化信息；生成商業資料庫；商業數據以關係型資料庫方式組織存儲，以記錄序號為主鍵，同時每條記錄都存儲指向前、後級關聯項的序號，以此既可以利用現有商業關係型資料庫組織數據，又可以方便恢復鍊表結構；在應用商業數據時，分配行業角色信息，也可以直接發布，供第三方供應鏈優化軟體或供應鏈管理教學軟體使用，其特徵在於在獲取商業實證數據時採用所謂商戶敏感信息隱藏技術，為商戶名稱及貨物名稱進行節點唯一編碼，對相應的資金流和物流進行權重規一化處理，從而達到敏感信息隱藏。
2.如權利要求1所述的供應鏈網絡商業實證數據組織方法，其特徵在於商業數據以 關係型資料庫方式組織存儲，以記錄序號為主鍵，同時每條記錄都存儲指向前、後級關聯項 的序號，方便恢復鍊表結構。
3.如權利要求1所述的供應鏈網絡商業實證數據組織方法，其特徵在於在應用商業 數據時，分配行業角色信息，以實現更好的可讀性和可理解性。
4.一種供應鏈網絡商業實證數據組織系統，包括網頁搜尋引擎機群、電子商務商戶 數據接口伺服器、財稅數據接口伺服器、異構數據遷移伺服器、商業實證資料庫伺服器、商 戶敏感信息隱藏伺服器、商業資料庫伺服器，以及應用伺服器，其中，網頁搜尋引擎機群、電子商務商戶數據接口伺服器、財稅數據接口伺服器為供應鏈網 絡商業實證數據源支撐系統；異構數據遷移伺服器用於存儲獲取的實證數據，結合供應鏈網絡數據字典的識別和匹 配，抽取有效商業實證數據，並進行異構數據遷移，將有效商業實證數據整理成鍊表結構的 資金流和物流數據結構，最後生成結構化的商業實證資料庫；商業實證資料庫伺服器用於存儲結構化商業實證資料庫；商戶敏感信息隱藏伺服器用於給商戶名稱及貨物名稱進行節點唯一編碼，並對相應的 資金流和物流進行權重規一化處理；商業資料庫伺服器用於以關係型資料庫方式組織存儲的商業數據的鍊表結構；應用伺服器用於分配行業角色信息、發布商業資料庫。
5.如權利要求4所述的供應鏈網絡商業實證數據組織系統，其特徵在於採用電子商 務商戶數據接口伺服器和電子商務公司數據伺服器連接，或者財稅數據接口伺服器和財稅 數據伺服器連接，通過加密信道互聯，獲取電子商務商戶數據、財稅數據。
6.如權利要求4所述的供應鏈網絡商業實證數據組織系統，其特徵在於電子商務商 戶數據接口伺服器、財稅數據接口伺服器、異構數據遷移伺服器、商業實證資料庫伺服器、 商戶敏感信息隱藏伺服器屬於所謂商戶敏感信息隱藏技術支撐系統，安裝在數據源單位， 並由數據源單位依法管理。
全文摘要
本發明提供一種通過商戶敏感信息隱藏技術獲取和組織供應鏈網絡商業實證數據的方法及其數據處理系統，其主要特徵在於對供應鏈網絡節點進行節點唯一編碼，對量化信息進行權重規一化，並以關係型資料庫組織供應鏈網絡數據鍊表結構，生成商業資料庫無法恢復原始商業信息。該系統包括網頁搜尋引擎機群、電子商務商戶數據接口伺服器、財稅數據接口伺服器、異構數據遷移伺服器、商業實證資料庫伺服器、商戶敏感信息隱藏伺服器、商業資料庫伺服器、應用伺服器。時效性高、有效性好、準確性高、價格便宜，可廣泛應用於供應鏈管理教學、優化軟體及數理建模、商業智能，具有良好經濟效益和市場前景。
文檔編號G06Q30/00GK101950305SQ201010298499
公開日2011年1月19日 申請日期2010年9月30日 優先權日2010年9月30日
發明者傅培華, 朱安定 申請人:浙江工商大學