一種應用於p2p網絡分發系統的數據校驗方法與系統的製作方法
2023-06-07 00:05:46
專利名稱：一種應用於p2p網絡分發系統的數據校驗方法與系統的製作方法
發明涉及一種應用於p2p網絡分發系統的數據校驗方法與系統，屬於計算機網絡、流媒體、視頻處理等多個交叉領域。
背景技術：
P2P (Peer-to-Peer)又被稱為「點對點，，技術，其充分利用客戶的上行帶寬，在下行佔用的同時也佔用上行帶寬，為其他用戶提供資源，實現網絡的加速和擴展，依賴網絡中參與者的計算能力和帶寬，而不是把依賴都聚集在較少的幾臺伺服器上。現有技術中，通過 p2p網絡大量分發數據，如果沒有校驗系統，分發的數據很容易被弄「髒」，這裡髒數據有兩層含義，一是被人故意弄髒，以此來破壞p2p系統無法正確獲取可用文件；二是系統故障、 軟體處理邏輯等原因造成的概率性數據錯誤。髒數據，主要是p2p系統的peer節點中分發造成的。為了避免p2p系統中的peer節點分發髒數據，需要某種辦法阻止髒數據p2p網絡中傳送分發。
發明內容
某一段數據被請求時，在發往對端peer之前，首先應該對其進行校驗，判斷是否是髒數據，不是髒數據才允許傳送。為了實現上述目的，本發明提供一種有效的用於p2p網絡分發系統的數據校驗方法與系統。所述應用於p2p網絡分發系統的數據校驗系統，包括 一臺流媒體伺服器，用於存儲流媒體文件；一個或多個流媒體終端，用於請求及播放流媒體文件；一臺數據校驗伺服器，該校驗伺服器從流媒體伺服器上獲取所有視頻文件，針對每一個文件，將該文件劃分為多個單位段，計算出其每一個單位段的CRC32值，並存儲。按照本發明的應用於p2p網絡分發系統的數據校驗系統，當某個終端正在播放一個視頻文件時， 首先向數據校驗伺服器發送一請求；所述請求內容包括獲取保存著該視頻文件所有單位段CRC32值的xml文件的文件名；以及保存該視頻文件的視頻地址，即視頻文件的調度地址。優選的是，數據校驗伺服器對該請求作出響應，返回終端所需的xml文件；終端在傳送一段視頻數據之前，算出該段數據的CRC32值，並和從數據校驗伺服器獲取的xml裡的同一段視頻數據的CRC32值比較，若相等，則證明該段數據時完好的，可以傳送；否則是已經損壞的髒數據，禁止傳送。本發明進一步提供一種應用於p2p網絡分發系統的數據校驗方法，包括以下步驟
當某個終端正在播放一個視頻時，首先根據該視頻文件的MD5向數據校驗伺服器發送獲取保存著該視頻文件所有單位段CRC32值的xml文件的請求；
數據校驗伺服器接收該請求，並對該請求作出響應，返回終端所需的xml文件； 終端在傳送一段視頻數據之前，算出該段數據的CRC32值，並和從數據校驗伺服器獲取的xml裡的同一段視頻數據的CRC32值比較，若相等，則證明該段數據時完好的，可以傳送；否則是已經損壞的髒數據，禁止傳送。所述請求以http格式發送，請求內容包括數據校驗伺服器上保存的用於記錄該視頻文件所有單位段CRC32值的xml文件名，以及保存該視頻文件的視頻地址，即視頻文件的調度地址。在本發明提供的方法與系統中，伺服器收到客戶端發來的請求令後，首先檢查本地是否存在生成好的校驗文件，如果存在，則回應給客戶端，如果不存在，則開啟一條根據客戶端提供的視頻文件調度地址去cdn伺服器取數據的連接，當獲取第一塊數據時會計算此數據塊的校驗值然後回應給客戶端。優選的是，從cdn獲取的數據時也包含一數據校驗過程，在校驗伺服器向cdn伺服器發送的數據中增加一 CRC32數據校驗層，用於對cdn流出的數據進行單向校驗。本領域技術人員不難看出，本發明包括上述直接描述了的各方案及這些方案的任意組合，也包括構成這些方案的各特徵的任意組合。本發明解決了 p2p網絡分發系統中的數據校驗問題，技術方案易於實現，數據校驗過程簡單有效、佔用的網絡帶寬低。
附圖1為按照本發明的一優選實施例的應用於p2p網絡分發系統的數據校驗系統；
附圖2為按照本發明的p2p網絡分發系統的數據校驗方法的客戶端與checksum伺服器、cdn之間的交互。
具體實施例方式附圖1示出了一種應用於p2p網絡分發系統的數據校驗系統，其為本發明的優選實施方式。所述系統至少包括
一臺流媒體伺服器，用於存儲流媒體文件； 一個或多個流媒體終端，用於請求及播放流媒體文件；
一臺數據校驗伺服器(數據校驗伺服器在系統中所處的位置如圖ι所示checksum伺服器就是數據校驗伺服器)，該校驗伺服器從流媒體伺服器上獲取所有視頻文件，針對每一個文件，將該文件劃分為多個單位段，計算出其每一個單位段的CRC32值，並存儲；
當某個終端peer正在播放一個視頻時，首先根據該視頻文件的MD5從數據校驗伺服器獲取保存著該視頻文件所有單位段CRC32值的xml文件；在傳送一段視頻數據之前，算出該段數據的CRC32值，並和xml裡的同一段視頻數據的CRC32值比較，若相等，則證明該段數據時完好的，可以傳送；否則是已經損壞的髒數據，禁止傳送。上述系統中，只有經過校驗的數據塊才能分發給其他peer。通信協議採用http。經過發明人多次測試，對於分塊的劃分大小為IM時，驗證以及傳輸的效率最高。本發明進一步提供一種應用於p2p網絡分發系統的數據校驗方法，參照附圖2，附圖2示意出了流媒體終端、數據校驗伺服器以及cdn伺服器之間的交互過程，包括以下步驟
客戶端在起一個頻道的時候發起對這個頻道的數據校驗文件的請求，所述請求以http 格式發送，請求內容包括數據校驗伺服器上保存的用於記錄該視頻文件所有單位段CRC32值的ml文件名，以及保存該視頻文件的視頻地址，即視頻文件的調度地址。所述CDN (Content Delivery Network，即內容分發網絡)伺服器能避開網際網路上有可能影響數據傳輸速度和穩定性的瓶頸和環節，使內容傳輸的更快、更穩定。當用戶訪問加入CDN服務的網站時，通過一組預先定義好的策略(如內容類型、地理區域、網絡負載狀況等)，將當時最接近用戶的節點地址提供給用戶，使用戶可以得到快速的服務。上述交互過程中CheCk_reqUest為客戶端向伺服器的請求，其優選的格式如下 GET /{$fname}. xml&url={$url}
比如GET /1827398236. xml&url=http://g3. letv. com/4/44/45/123456, fly 其中，《fnameKxml為伺服器最終生成的文件名。{$url}是視頻文件的調度地址。校驗伺服器接收客戶端發送的請求，並對請求做出響應。其根據客戶端請求的xml 文件名，返回與該文件名相同的存儲在數據校驗伺服器上的用於記錄該視頻文件所有單位段CRC32值的xml文件。客戶端在開啟頻道的時候需要向校驗伺服器請求校驗文件，如果校驗文件時不完整的則需要定時獲取。伺服器收到客戶端發來的請求信令後，首先會檢查本地有沒有生成好的校驗文件，有的話就回應給客戶端，沒有的話會開啟一條根據客戶端提供的url去cdn伺服器取數據的連接，當獲取第一塊數據時會計算此數據塊的校驗值然後回應給客戶端。這樣客戶端就需要定時獲取。更進一步，在圖2所示的CheCk_reSp0nSe過程中，伺服器要返回的xml文件，文件名和請求行的{$fname}. xml —致。其優選格式如下
0
1048576
7326478236
1048576 2091752 </checksum)
權利要求
1.一種應用於P2p網絡分發系統的數據校驗系統，包括流媒體伺服器，用於存儲流媒體文件；一個或多個流媒體終端，用於請求及播放流媒體文件；其特徵在於，還包括數據校驗伺服器，該校驗伺服器從流媒體伺服器上獲取所有視頻文件，針對每一個文件，將該文件劃分為多個單位段，計算出其每一個單位段的CRC32值，並存儲。
2.如權利要求1所述的應用於p2p網絡分發系統的數據校驗系統，其特徵在於該系統設置成當某個終端正在播放一個視頻文件時，首先向數據校驗伺服器發送一請求； 所述請求內容包括獲取保存著該視頻文件所有單位段CRC32值的xml文件的文件名； 以及保存該視頻文件的視頻地址，即視頻文件的調度地址。
3.如權利要求2所述的應用於p2p網絡分發系統的數據校驗系統，其特徵在於該系統設置成數據校驗伺服器對該請求作出響應，返回終端所需的xml文件； 終端在傳送一段視頻數據之前，算出該段數據的CRC32值，並和從數據校驗伺服器獲取的xml裡的同一段視頻數據的CRC32值比較，若相等，則證明該段數據是完好的，可以傳送；否則是已經損壞的髒數據，禁止傳送。
4.如權利要求1-3中任一項所述的應用於p2p網絡分發系統的數據校驗系統，其特徵在於所述單位段大小為IM (10M個字節)。
5.如權利要求3所述的應用於p2p網絡分發系統的數據校驗系統，其特徵在於該系統設置成伺服器收到客戶端發來的請求令後，首先檢查本地是否存在生成好的校驗文件，如果存在，則回應給客戶端，如果不存在，則開啟一條根據客戶端提供的視頻文件調度地址去 cdn伺服器取數據的連接，當獲取第一塊數據時會計算此數據塊的校驗值然後回應給客戶端。
6.如權利要求4所述的應用於p2p網絡分發系統的數據校驗系統，其特徵在於該系統設置成從cdn獲取的數據時也包含一數據校驗過程，在校驗伺服器向cdn伺服器發送的數據中增加一 CRC32數據校驗層，用於對cdn流出的數據進行單向校驗。
7.一種應用於p2p網絡分發系統的數據校驗方法，其特徵在於包括以下步驟 當某個終端正在播放一個視頻時，首先根據該視頻文件的MD5向數據校驗伺服器發送獲取保存著該視頻文件所有單位段CRC32值的xml文件的請求；數據校驗伺服器接收該請求，並對該請求作出響應，返回終端所需的xml文件； 終端在傳送一段視頻數據之前，算出該段數據的CRC32值，並和從數據校驗伺服器獲取的xml裡的同一段視頻數據的CRC32值比較，若相等，則證明該段數據時完好的，可以傳送；否則是已經損壞的髒數據，禁止傳送。
8.如權利要求7所述的方法，其特徵在於所述請求以http格式發送，請求內容包括數據校驗伺服器上保存的用於記錄該視頻文件所有單位段CRC32值的xml文件名，以及保存該視頻文件的視頻地址，即視頻文件的調度地址。
9.如權利要求7或8所述的方法，其特徵在於伺服器收到客戶端發來的請求令後，首先檢查本地是否存在生成好的校驗文件，如果存在，則回應給客戶端，如果不存在，則開啟一條根據客戶端提供的視頻文件調度地址去 cdn伺服器取數據的連接，當獲取第一塊數據時會計算此數據塊的校驗值然後回應給客戶端。
10.如權利要求9所述的方法，其特徵在於從cdn獲取的數據時也包含一數據校驗過程，在校驗伺服器向cdn伺服器發送的數據中增加一 CRC32數據校驗層，用於對cdn流出的數據進行單向校驗。
全文摘要
本發明提供一種應用於p2p網絡分發系統的數據校驗方法和系統，終端正在播放一個視頻時，首先根據該視頻文件的MD5向數據校驗伺服器發送獲取保存著該視頻文件所有單位段CRC32值的xml文件的請求；在傳送一段視頻數據之前，算出該段數據的CRC32值，並和從數據校驗伺服器獲取的xml裡的同一段視頻數據的CRC32值比較，若相等，則證明該段數據時完好的，可以傳送；否則是已經損壞的髒數據，禁止傳送。本發明解決了p2p網絡分發系統中的數據校驗問題，技術方案易於實現，數據校驗過程簡單有效、佔用的網絡帶寬低。
文檔編號H04L29/08GK102255695SQ20111020587
公開日2011年11月23日 申請日期2011年7月22日 優先權日2011年7月22日
發明者李茗 申請人:樂視網信息技術(北京)股份有限公司