python爬數據速度(抓取51cto自己博客訪問量)
2023-05-14 14:15:43 1
python爬數據速度?介於本人有點懶的原因,想知道下我自己的博客的訪問量,故有了這篇博文,今天小編就來聊一聊關於python爬數據速度?接下來我們就一起去研究一下吧!

python爬數據速度
介於本人有點懶的原因,想知道下我自己的博客的訪問量,故有了這篇博文。
用到的庫有BeautifulSoup、requests、re、ssl,主要是抓取博客的標題及閱讀量,其它大家可以看著增加,這裡只是一個例子,下面是乾貨上來:
註:本文是抓取51cto的博客,其它博客系統,需要大家自己更改下,我這裡只提供下思路,希望可以幫到大家
#!/usr/local/python3/bin/python3import re,ssl# 全局取消證書驗證ssl._create_default_https_context = ssl._create_unverified_contextimport requestsfrom bs4 import BeautifulSoupurl = "https://blog.51cto.com/xxxxxx"data = []head = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/71.0.3578.98 Safari/537.36"}req = requests.get(url,headers=head)html = req.textbs = BeautifulSoup(html,'html.parser')con =)#獲取自己博客的文章名稱pat = re.compile(r'(.*?)')#獲取自己博客文章的評論數findTl = re.compile(r'(.*)')for i in con: i = str(i) title = re.findall(pat,i) data.append(title) yd = re.findall(findTl,i) data.append(yd)a = data[0]b = data[1]c = []for i in range(0,len(a)): c.append(a[i] " " b[i])for i in c: print(i)
最終效果如下:
aaaaa 閱讀 64
我的自己 閱讀 600
。。。。。。。。
,