python爬蟲解析

A. python爬蟲如何寫

Python的爬蟲庫其實很多，像常見的urllib，requests，bs4，lxml等，初始入門爬蟲的話，可以學習一下requests和bs4(BeautifulSoup)這2個庫，比較簡單，也易學習，requests用於請求頁面，BeautifulSoup用於解析頁面，下面我以這2個庫為基礎，簡單介紹一下Python如何爬取網頁靜態數據和網頁動態數據，實驗環境win10+python3.6+pycharm5.0，主要內容如下：

Python爬取網頁靜態數據

這個就很簡單，直接根據網址請求頁面就行，這里以爬取糗事網路上的內容為例：

1.這里假設我們要爬取的文本內容如下，主要包括昵稱、內容、好笑數和評論數這4個欄位：

打開網頁源碼，對應網頁結構如下，很簡單，所有欄位內容都可以直接找到：

2.針對以上網頁結構，我們就可以編寫相關代碼來爬取網頁數據了，很簡單，先根據url地址，利用requests請求頁面，然後再利用BeautifulSoup解析數據（根據標簽和屬性定位）就行，如下：

程序運行截圖如下，已經成功爬取到數據：

Python爬取網頁動態數據

很多種情況下，網頁數據都是動態載入的，直接爬取網頁是提取不到任何數據的，這時就需要抓包分析，找到動態載入的數據，一般情況下就是一個json文件（當然，也敬鏈譽可能是其他類型的文件，像xml等），然後請求解析這個json文件，就能獲取到我們需要的數據，這里以爬取人人貸上面的散標數據為例：

1.這里假設我們爬取的數據如下，主要包括年亮段利率，借款標題，期限，金額，進度這5個欄位：

2.按F12調出開發者工具，依次點擊「Network」->「XHR」，F5刷新頁面，就可以找到動態載入的json文件，具體信息如下：

3.接著，針對以上抓包分析，我們就可以編寫相關代碼來爬取數據了，基本思路和上面的靜態網頁差不多，先利用requests請求json，然後再利用python自帶的json包解析數據就行，如下：

程序運行截圖如下，已經成功獲取到數據：

至此，我們就完成了利用python來爬取網頁數據。總的來說，整個過程很簡單，requests和BeautifulSoup對於初學者來說，非常容易學習，也易掌握，可以學習使用一下，後期熟悉後，可以學習一下scrapy爬蟲框架，可以明顯提高開發效率，非常不錯，當然，網頁中要是有加密、驗證碼等，這個就需要自己好好琢磨，研究對策了，網上也有相關教程和資料，感興趣的話，可以搜一下，希望以上分喚陸享的內容能對你上有所幫助吧，也歡迎大家評論、留言。

B. python爬蟲如何分析一個將要爬取的網站

首先，你去爬取一個網站，

你會清楚這個網站是屬於什麼類型的網站（新聞，論壇，貼吧等等）。

你會清楚你需要哪部分的數據。

你需要去想需要的數據你將如何編寫表達式去解析。

你會碰到各種反爬措施，無非就是各種網路各種解決。當爬取成本高於數據成本，你會選擇放棄。

你會利用你所學各種語言去解決你將要碰到的問題，利用各種語言的client組件去請求你想要爬取的URL，獲取到HTML，利用正則，XPATH去解析你想要的數據，然後利用sql存儲各類資料庫。

C. python爬蟲如何分析一個將要爬取的網站

爬取網頁數據，需要一些工具，比如requests，正則表達式，bs4等，解析網頁首推bs4啊，可以通過標簽和節點抓取扒拍數據。

正巧簡悶，我最近發布了一篇文章就是抓取網頁數據分析的，有完整的抓取步驟，你可以看一下?不好意思給自己打了一下廣春咐羨告?

D. python爬蟲：微博評論分析

最近王和李的離婚亮嫌轎鬧得沸沸揚揚，相信大夥們都已經吃了不少的瓜。本文結合李的第一篇文章發文下面的網友們的評論來看看大家到底怎麼看待這件事。

數據來自該地址： https://weibo.com/5977512966/L6w2sfDXb#comment

爬取的下面的全部評論：

微博的網頁屬於Ajax渲染，當我們向下滑動的時候會顯示的評論，地址欄的URL不變，需要找到實際的請求URL。

1、右擊【檢查】，找到【Network】

2、確定每頁的內容URL

這里是首頁部分

滑動之後顯示每頁內容的URL；

3、每頁的URL地址

從第二頁開始的URL地址多的部分是max_id，剛好這個參數的值是前一頁的返回內容：

4、介紹第一頁的爬取

比如我們可以獲取第一個用戶的相關信息：

最終我們可以看到第一頁爬取的數據展示：

參考上面的邏輯可以爬取到微博下面的全部評論

導入需要的庫：

查看我們爬取到數據的基本信息，我們導入前5行數據：

基本信息：查看數據的shape形狀，總共是47638行，8個欄位，並且不存在缺失值。

將敬肆我們爬取到的格林威治形式的時間轉成熟悉的標准化時間形式：

國內的省份中北京、廣東、上海、江蘇都是吃瓜的大省份！

果然：女性真的很愛吃瓜🍉遠超男性

通過點贊數和回復數來看看這篇微博下的火爆評論：

有位網友的評論87萬+的點贊數！666

同樣還是這位網友的評論，回復數也是No.1

從點贊數和回復數的整體分布者棚來看，這條評論真的是別樹一幟！已經完全偏離了其他的數據：

查看原數據我們發現這條評論就是：

看來以前的很多爆料都被錘啦！

通過用戶的年齡和點贊數、回復數來看，用戶年齡在7、8、9、10年時的用戶更為活躍；年齡偏大或者新生的微博用戶的評論較少。

同時點贊數也集中在2000-5000之間的部分

從用戶的評論時間點來看，當李發了第一篇文之後，瞬間引爆了評論（左側密集部分）；這條微博沉寂了4天，沒有想到23號的晚上又火了

將粉絲的評論內容分詞找到他們的重點：

重點關注下前50個詞語：

除了兩位當事人， 粉絲還比較關心他們的孩子 。畢竟孩子是無辜的，但是他們的瓜不正是孩子引起的嗎？個人的看法。

總之：不管是王還是李，如果真的是渣男或者渣女，請上十字架，阿門！

Python爬蟲有一個非常厲害的框架Scrapy，我聯系了北京大學出版社送兩書：《Python網路爬蟲框架Scrapy從入門到精通》。 精選兩位走心留言的小夥伴

對Python爬蟲感興趣的朋友也可以直接購買喔。

E. python爬蟲是幹嘛的

爬蟲技術是一種自動化程序。

爬蟲就是一種可以從網頁上抓取數據信息並保存的自動化程序，它的原理就是模擬瀏覽器發送網路請求，接受請求響應，然後按照一定的規則自動抓取互聯網數據。

搜索引擎通過這些爬蟲從一個網站爬到另一個網站，跟蹤網頁中的鏈接，訪問更多的網頁，這個過程稱為爬行，這些新的網址會被存入資料庫等待搜索。簡而言之，爬蟲就是通過不間斷地訪問互聯網，然後從中獲取你指定的信息並返回給你。而我們的互聯網上，隨時都有無數的爬蟲在爬取數據，並返回給使用者。

爬蟲技術的功能

1、獲取網頁

獲取網頁可以簡單理解為向網頁的伺服器發送網路請求，然後伺服器返回給我們網頁的源代碼，其中通信的底層原理較為復雜，而Python給我們封裝好了urllib庫和requests庫等，這些庫可以讓我們非常簡單的發送各種形式的請求。

2、提取信息

獲取到的網頁源碼內包含了很多信息，想要進提取到我們需要的信息，則需要對源碼還要做進一步篩選。可以選用python中的re庫即通過正則匹配的形式去提取信息，也可以採用BeautifulSoup庫（bs4）等解析源代碼，除了有自動編碼的優勢之外，bs4庫還可以結構化輸出源代碼信息，更易於理解與使用。

3、保存數據

提取到我們需要的有用信息後，需要在Python中把它們保存下來。可以使用通過內置函數open保存為文本數據，也可以用第三方庫保存為其它形式的數據，例如可以通過pandas庫保存為常見的xlsx數據，如果有圖片等非結構化數據還可以通過pymongo庫保存至非結構化資料庫中。