一種網際網路埠的整理裝置製造方法
2023-05-23 21:45:01 1
專利名稱:一種網際網路埠的整理裝置製造方法
【專利摘要】本實用新型實施例公開了一種網際網路埠的整理裝置，用於解決了現有的爬蟲程序基於頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非http80埠的域名給取出的，從而避免了cache緩存加速時，在非http80埠服務的影響客戶端對真正源站的訪問的錯誤的技術產生。本實用新型實施例包括：獲取單元，用於獲取域名及與域名相對應的ip地址；建立單元，用於建立與域名相對應的中轉ip地址；解析單元，用於通過重定向方式將域名分組解析至中轉ip地址；提取單元，用於依次分析每組域名的埠，並提取非http80埠相對應的域名。
【專利說明】一種網際網路埠的整理裝置
【技術領域】
[0001]本實用新型涉及網際網路【技術領域】，尤其涉及一種網際網路埠的整理裝置。
【背景技術】
[0002]在基於網際網路的服務埠使用不統一不規範，常常面臨著程式設計師使用非常規的80埠作為http的服務埠，如:8080、8090等埠，以及為了提高訪問用戶登陸網站用戶數據的安全性，使用了 https的ssl數據加密傳輸，相當部分的網站會選擇在同一個域名底下使用http和https兩種協議等，基於這樣兩種網際網路技術中的cache緩存技術，通常使用爬蟲程序，對網際網路頁面進行爬取，然後將頁面內的目標取出，通過判斷協議和域名後面的埠來將非http80埠服務的域名挑出來。
[0003]然而，上述的通過爬蟲程序對非httpSO埠服務的域名挑出來的技術，當頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非http80埠的域名給取出的，從而導致cache緩存錯誤的技術問題。
[0004]因此，為了完善爬蟲程序基於某些場景下無法取出所需的非httpSO埠的域名的技術缺陷，本領域技術人員亟待解決前述的技術問題。
實用新型內容
[0005]本實用新型實施例提供了一種網際網路埠的整理方法及裝置，用於解決了現有的爬蟲程序基於頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非httpSO埠的域名給取出的，從而避免了 cache緩存加速時，在非http80埠服務的影響客戶端對真正源站的訪問的錯誤的技術產生。
[0006]本實用新型實施例中提供的一種網際網路埠的整理裝置，包括:
[0007]獲取單元，用於獲取域名及與所述域名相對應的ip地址；
[0008]建立單元，用於建立與所述域名相對應的中轉ip地址；
[0009]解析單元，用於通過重定向方式將所述域名分組解析至所述中轉ip地址；
[0010]提取單元，用於依次分析每組所述域名的埠，並提取非httpSO埠相對應的所述域名。
[0011]可選地，
[0012]所述的網際網路埠的整理裝置還包括:
[0013]提取單元，用於提取cache緩存中的所有的所述域名。
[0014]可選地，
[0015]建立單元具體包括:
[0016]建立子單元，用於建立多組中轉ip地址；
[0017]分組子單元，用於將所述域名分組對應所述中轉ip地址。
[0018]可選地，
[0019]解析單元具體包括:
[0020]映射子單元，用於對所述域名通過nat平臺分進行nat映射；
[0021]解析子單元，用於通過重定向方式將所述域名分組解析至所述中轉ip地址。
[0022]可選地，
[0023]提取單元具體包括:
[0024]分析子單元，用於通過日誌分析每組所述域名；
[0025]獲取寫入子單元，用於通過所述域名和與之對應的所述中轉ip地址的相對應的所述埠，並寫入資料庫；
[0026]提取子單元，用於提取非http80埠相對應的所述域名。
[0027]所述獲取單元，所述建立單元，所述解析單元，所述提取單元--相互連接。
[0028]可選地，
[0029]所述建立子單元和所述分組子單元相互連接。
[0030]可選地，
[0031]所述映射子單元與所述解析子單元相互連接。
[0032]可選地，
[0033]所述分析子單元，所述獲取寫入子單元，所述提取子單元一一相互連接。
[0034]從以上技術方案可以看出，本實用新型實施例具有以下優點:
[0035]本實用新型實施例提供了一種網際網路埠的整理裝置，包括:獲取單元，用於獲取域名及與域名相對應的ip地址；建立單元，用於建立與域名相對應的中轉ip地址；解析單元，用於通過重定向方式將域名分組解析至中轉ip地址；提取單元，用於依次分析每組域名的埠，並提取非http80埠相對應的域名。本實施例中，通過建立單元先建立與域名相對應的中轉ip地址，再通過解析單元重定向方式將域名分組解析至中轉ip地址，然後依次分析每組域名的埠，最後提取單元提取非httpSO埠相對應的域名的方法，便解決了現有的爬蟲程序基於頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非httpSO埠的域名給取出的，從而避免了 cache緩存加速時，在非http80埠服務的影響客戶端對真正源站的訪問的錯誤的技術產生。
【附圖說明】
[0036]為了更清楚地說明本實用新型實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本實用新型的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其它的附圖。
[0037]圖1為本實用新型實施例提供的一種網際網路埠的整理裝置的一個實施例的結構示意圖；
[0038]圖2為本實用新型實施例提供的一種網際網路埠的整理裝置的另一個實施例的結構示意圖；
[0039]圖3為本實用新型實施例提供的一種網際網路埠的整理裝置的另一個實施例的結構示意圖。
【具體實施方式】
[0040]獲取單元，用於獲取域名及與域名相對應的ip地址；建立單元，用於建立與域名相對應的中轉ip地址；解析單元，用於通過重定向方式將域名分組解析至中轉ip地址；提取單元，用於依次分析每組域名的埠，並提取非httpSO埠相對應的域名。
[0041]為使得本實用新型的目的、特徵、優點能夠更加的明顯和易懂，下面將結合本實用新型實施例中的附圖，對本實用新型實施例中的技術方案進行清楚、完整地描述，顯然，下面所描述的實施例僅僅是本實用新型一部分實施例，而非全部的實施例。基於本實用新型中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本實用新型保護的範圍。
[0042]請參閱圖1，本實用新型實施例中提供的一種網際網路埠的整理裝置的一個實施例包括:
[0043]獲取單元101，用於獲取域名及與域名相對應的ip地址；
[0044]建立單元102，用於建立與域名相對應的中轉ip地址；
[0045]解析單元103，用於通過重定向方式將域名分組解析至中轉ip地址；
[0046]提取單元104，用於依次分析每組域名的埠，並提取非httpSO埠相對應的域名。
[0047]本實施例中，通過建立單元102先建立與域名相對應的中轉ip地址，再通過解析單元103重定向方式將域名分組解析至中轉ip地址，然後依次分析每組域名的埠，最後提取單元104提取非httpSO埠相對應的域名的方法，便解決了現有的爬蟲程序基於頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非httpSO埠的域名給取出的，從而避免了cache緩存加速時，在非http80埠服務的影響客戶端對真正源站的訪問的錯誤的技術產生。
[0048]上面是對網際網路埠的整理裝置的各單元進行詳細的描述，下面將對附加單元進行詳細的描述，請參閱圖2，本實用新型實施例中提供的一種網際網路埠的整理裝置的另一個實施例包括:
[0049]提取單元201，用於提取cache緩存中的所有的域名；
[0050]獲取單元202，用於獲取域名及與域名相對應的ip地址；
[0051]建立單元203，用於建立與域名相對應的中轉ip地址；
[0052]其中，建立單元203還可以進一步包括:
[0053]建立子單元2031，用於建立多組中轉ip地址；
[0054]分組子單元2032，用於將域名分組對應中轉ip地址。
[0055]解析單元204，用於通過重定向方式將域名分組解析至中轉ip地址；
[0056]提取單元205，用於依次分析每組域名的埠，並提取非http80埠相對應的域名。
[0057]本實施例中，通過建立單元203先建立與域名相對應的中轉ip地址，再通過解析單元204重定向方式將域名分組解析至中轉ip地址，然後依次分析每組域名的埠，最後提取單元205提取非httpSO埠相對應的域名的方法，便解決了現有的爬蟲程序基於頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非httpSO埠的域名給取出的，從而避免了cache緩存加速時，在非http80埠服務的影響客戶端對真正源站的訪問的錯誤的技術產生，同時，提取單元201解析根域名下的所有子域名，進一步提高了後續的埠整理的精確度。
[0058]上面是對附加單元進行詳細的描述，下面將對解析單元和提取單元的子單元進行詳細的描述，請參閱圖3，本實用新型實施例中提供的一種網際網路埠的整理裝置的另一個實施例包括:
[0059]提取單元301，用於提取cache緩存中的所有的域名；
[0060]獲取單元302，用於獲取域名及與域名相對應的ip地址；
[0061]建立單元303，用於建立與域名相對應的中轉ip地址；
[0062]其中，建立單元303還可以進一步包括:
[0063]建立子單元3031，用於建立多組中轉ip地址；
[0064]分組子單元3032，用於將域名分組對應中轉ip地址。
[0065]解析單元304，用於通過重定向方式將域名分組解析至中轉ip地址；
[0066]其中，解析單元304還可以進一步包括:
[0067]映射子單元3041，用於對域名通過nat平臺分進行nat映射；
[0068]解析子單元3042，用於通過重定向方式將域名分組解析至中轉ip地址。
[0069]提取單元305，用於依次分析每組域名的埠，並提取非http80埠相對應的域名。
[0070]其中，提取單元305還可以進一步包括:
[0071]分析子單元3051，用於通過日誌分析每組域名；
[0072]獲取寫入子單元3052，用於通過域名和與之對應的中轉ip地址的相對應的埠，並寫入資料庫；
[0073]提取子單元3053，用於提取非http80埠相對應的域名。
[0074]本實施例中，通過建立單元303先建立與域名相對應的中轉ip地址，再通過解析單元304重定向方式將域名分組解析至中轉ip地址，然後依次分析每組域名的埠，最後提取單元305提取非httpSO埠相對應的域名的方法，便解決了現有的爬蟲程序基於頁面不是通過頁面牽引，而是直接通過瀏覽器輸入進行訪問的，以及頁面的可訪問內容不在根域名底下時，是無法通過爬蟲程序將所需的非httpSO埠的域名給取出的，從而避免了cache緩存加速時，在非http80埠服務的影響客戶端對真正源站的訪問的錯誤的技術產生，同時，提取單元301解析根域名下的所有子域名，進一步提高了後續的埠整理的精確度，以及映射子單元3041通過nat映射和分組的方法，更優地提高了網際網路埠的整理技術。
[0075]以上所述，以上實施例僅用以說明本實用新型的技術方案，而非對其限制；儘管參照前述實施例對本實用新型進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本實用新型各實施例技術方案的精神和範圍。
【權利要求】
1.一種網際網路埠的整理裝置，其特徵在於，包括: 獲取單元，用於獲取域名及與所述域名相對應的ip地址； 建立單元，用於建立與所述域名相對應的中轉ip地址； 解析單元，用於通過重定向方式將所述域名分組解析至所述中轉ip地址； 提取單元，用於依次分析每組所述域名的埠，並提取非httpSO埠相對應的所述域名； 所述獲取單元，所述建立單元，所述解析單元，所述提取單元--相互連接； 另一提取單元，用於提取cache緩存中的所有的所述域名。2.根據權利要求1所述的網際網路埠的整理裝置，其特徵在於，建立單元具體包括: 建立子單元，用於建立多組中轉ip地址； 分組子單元，用於將所述域名分組對應所述中轉ip地址。3.根據權利要求1所述的網際網路埠的整理裝置，其特徵在於，解析單元具體包括: 映射子單元，用於對所述域名通過nat平臺分進行nat映射； 解析子單元，用於通過重定向方式將所述域名分組解析至所述中轉ip地址。4.根據權利要求1所述的網際網路埠的整理裝置，其特徵在於，提取單元具體包括: 分析子單元，用於通過日誌分析每組所述域名； 獲取寫入子單元，用於通過所述域名和與之對應的所述中轉ip地址的相對應的所述埠，並寫入資料庫； 提取子單元，用於提取非httpSO埠相對應的所述域名。5.根據權利要求2所述的網際網路埠的整理裝置，其特徵在於，所述建立子單元和所述分組子單元相互連接。6.根據權利要求3所述的網際網路埠的整理裝置，其特徵在於，所述映射子單元與所述解析子單元相互連接。7.根據權利要求4所述的網際網路埠的整理裝置，其特徵在於， 所述分析子單元，所述獲取寫入子單元，所述提取子單元一一相互連接。
【文檔編號】H04L29-12GK204291056SQ201420519140
【發明者】周豐傑, 康向榮 [申請人]北京浩瀚深度信息技術股份有限公司