python爬蟲webkit

❶ python什麼爬蟲庫好用

請求庫：
1. requests 這個庫是爬蟲最常用的一個庫
2. Selenium Selenium 是一個自動化測試工具，利用它我們可以驅動瀏覽器執行特定的動作，如點擊、下拉等操作 對於一些用JS做誼染的頁面來說，這種抓取方式是非常有效的。
3.ChomeDrive 安裝了這個庫，才能驅動Chrome瀏覽器完成相應的操作
4.GeckoDriver 使用W3C WebDriver兼容客戶端與基於Gecko的瀏覽器進行交互的代理。
5.PhantomJS PhantomJS 是一個無界面 、可腳本編程的 WebKit 瀏覽器引擎，它原生支持多種Web標准：Dom操作，css選擇器，json，Canvas以及SVG。
6.aiohttp 之前接收requests庫是一個阻塞式HTTP請求庫，當我們發送一個請求後。程序會一直等待伺服器響應，直到伺服器響應後，程序才會最下一步處理。其實，這個過程比較耗時間。如果程序可以在等待的過程中做一些其他的事情，如進行請求的調度，響應的處理等，那麼爬蟲的效率就會比之前的那種方式有很大的提升。 而aiohttp就是這樣一個提供非同步web服務的庫。使用說這個庫用起來還是相當方便的。
解析庫：
1.lxml lxml是python的一個解析庫，這個庫支持HTML和xml的解析，支持XPath的解析方式，而且效率也是非常高的，深受廣大程序員的熱愛
2.Beautiful Soup Beautiful Soup也是python里一個HTML或XMl的解析庫，它可以很方便的懂網頁中提取數據，擁有強大的API和多種解析方式。
3.pyquery 同樣是一個強大的網頁解析工具，它提供了和 jQuery 類似的語法來解析HTML 文梢，

資料庫：
1.mysql 資料庫
2.MongoDB Mo goDB 是由 ＋＋語言編寫的非關系型資料庫， 是一個基於分布式文件存儲的開源資料庫系統內容存儲形式類似 JSON 對象，它的欄位值可以包含其他文檔、數組及文檔數組，非常靈活
3.Redis 是一個基於 存的高效的非關系型資料庫，

存儲庫：
1.PyMySOL
2.PyMongo
3.redis-py
4.RedisDump

web庫：
1.Flask 是一個輕量級的Web服務程序，它簡單，易用，靈活
2.Tornado 是一個支持非同步的Web框架，通過使用非阻塞I/O流，可以支持成千上萬的開放式連接。

❷ python爬蟲返回錯誤

你的腳本里寫的有點問題，正常情況下不應該直接使用except來捕獲所有錯誤，因為這樣你根本看不到錯誤的原因，根據你圖片里那爬取異常四個字，誰知道錯誤原因呢？正常的代碼應該是這樣寫：
except Exception as e:
print("錯誤原因是：", e)
這樣才能把系統給發送的異常信息顯示出來，根據異常信息才能判斷是哪一步執行出錯了。
根據你圖片中的代碼信息，很有可能是你在鏈接中給出的參數出錯了，就是那個keyword值。你可以把異常結果發出來就能看的比較明顯了。
不知道我講清楚了沒有，希望可以幫助到你。

❸ 如何入門 Python 爬蟲

鏈接：https://pan..com/s/1wMgTx-M-Ea9y1IYn-UTZaA

課程簡介

畢業不知如何就業？工作效率低經常挨罵？很多次想學編程都沒有學會？

Python 實戰：四周實現爬蟲系統，無需編程基礎，二十八天掌握一項謀生技能。

帶你學到如何從網上批量獲得幾十萬數據，如何處理海量大數據，數據可視化及網站製作。

課程目錄

開始之前，魔力手冊 for 實戰學員預習

第一周：學會爬取網頁信息

第二周：學會爬取大規模數據

第三周：數據統計與分析

第四周：搭建 Django 數據可視化網站

......

❹ python 爬蟲更換useragent後還是403，怎麼解決，代碼如下

簡單說：除了User-Agent的header之前，還可能需要其他（更有效的，能防止被對方檢測出來你是爬蟲）的header。但是具體是哪個，則需要你自己調試找出來才行。

具體如何調試找出來，有哪些header？

答：詳見我教程（此處不給貼地址，只能給你看圖，你自己搜）：

❺ python爬蟲偽裝瀏覽器出現問題求助

聲明：以下代碼在Python 3.3中編寫調試完成！

首先我是這樣做的：

import urllib.request
url = "http://www.oschina.net/"
data = urllib.request.urlopen(url).read()
print(data)

結果發現不行，OSC加了保護，不止是OSC，CSDN等等很多網站都這樣，這就必須要偽裝瀏覽器正常訪問了，類似蜘蛛爬蟲一樣，那麼只有給代碼加上一個Header，再試試讀取HTML。

Chrome如何查看你的瀏覽器的Header：

一圖全解，有木有。

F12打開開發人員工具，其他瀏覽器也有類似功能，很方便哦，這里我們只需要Request Headers中的User-Agent就可以了。

各種糾結呀，網上許多代碼都是Python2的，我用的3.3，import很多都不一樣了，沒辦法只有翻Python的官方文檔，全英文有點苦，還好我的Chrome可以隨時翻譯，減輕負擔呀。

在官方文檔3.3中找到了urllib.request的文檔：docs.python.org/3/library/urllib.request.html

在Examples中找到了一個addheaders的方法，試了一下果然能行，下面就是代碼。

'''
Created on 2013-1-27
@author: isaced
'''
import urllib.request

url = "http://www.oschina.net/"
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')

opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()

print(data)

到這里就能輸出頁面的HTML了，也可以直接保存成本地HTML文件，打開正常。
另外對於這編碼問題還是有點迷茫。
另收藏一條很有用的語句，type()，類似於C語言中的typeof()，可以print出來直接查看數據類型，很方便！

❻ python網路爬蟲怎麼學習

現行環境下，大數據與人工智慧的重要依託還是龐大的數據和分析採集，類似於淘寶 京東 網路 騰訊級別的企業 能夠通過數據可觀的用戶群體獲取需要的數據，而一般企業可能就沒有這種通過產品獲取數據的能力和條件，想從事這方面的工作，需掌握以下知識：
1. 學習Python基礎知識並實現基本的爬蟲過程
一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析並且存儲數據 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
2.了解非結構化數據的存儲
爬蟲抓取的數據結構復雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。
3. 掌握一些常用的反爬蟲技巧
使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。
4.了解分布式存儲
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以了。

❼ 如何用python寫出爬蟲

先檢查是否有API

API是網站官方提供的數據介面，如果通過調用API採集數據，則相當於在網站允許的范圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API介面的訪問則處於網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據採集的需求並不是很獨特，那麼有API則應優先採用調用API的方式。

數據結構分析和數據存儲

爬蟲需求要十分清晰，具體表現為需要哪些欄位，這些欄位可以是網頁上現有的，也可以是根據網頁上現有的欄位進一步計算的，這些欄位如何構建表，多張表如何連接等。值得一提的是，確定欄位環節，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的欄位，這既有可能是由於網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵欄位——這並不是幾分鍾看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。

對於大規模爬蟲，除了本身要採集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。

資料庫並沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型資料庫MySQL等，也可以選擇非關系型資料庫MongoDB等；對於普通的結構化數據一般存在關系型資料庫即可。sqlalchemy是一個成熟好用的資料庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。

數據流分析

對於要批量爬取的網頁，往上一層，看它的入口在哪裡；這個是根據採集范圍來確定入口，比如若只想爬一個地區的數據，那從該地區的主頁切入即可；但若想爬全國數據，則應更往上一層，從全國的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節點一層層往裡進入即可。

值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低於真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小於等於300頁就表示該條件下沒有缺漏；最後把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。

明確了大規模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然後把這個模式復制到整體。對於單個網頁，採用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲採集的數據是寫入源代碼里還是通過AJAX調用JSON數據。

同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要麼找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要麼採用下文所述的模擬瀏覽器的方式。

數據採集

之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優勢更明顯，受眾更廣，這得益於其成熟的爬蟲框架，以及其他的在計算機系統上更好的性能。scrapy是一個成熟的爬蟲框架，直接往裡套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定製化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，並成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。

下載到了源碼之後，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX非同步載入JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。

解析工具

源碼下載後，就是解析數據了，常用的有兩種方法，一種是用BeautifulSoup對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。

BeautifulSoup比較簡單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者CSSSelector標記好了，直接復制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。

正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字元串，所以正則表達式可以大顯身手，而且處理速度很快。

對於HTML結構固定，即同樣的欄位處tag、id和class名稱都相同，採用BeautifulSoup解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下BeautifulSoup就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區的經度都是介於113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。

數據整理

一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由於大部分都是字元串，所以主要也就是字元串的處理方式了。

字元串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字元或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然後截取一部分。

如果字元串處理的需求太復雜以致常規的字元串處理方法不好解決，那就要請出正則表達式這個大殺器。

Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將採集的數據整合成一張表，呈現最終的存儲效果。

寫入資料庫

如果只是中小規模的爬蟲，可以把最後的爬蟲結果匯合成一張表，最後導出成一張表格以便後續使用；但對於表數量多、單張表容量大的大規模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在資料庫中，既方便存儲，也方便進一步整理。

寫入資料庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對於對表結構沒有嚴格要求的情況下可以採用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用資料庫引擎來執行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。

❽ 用python寫爬蟲程序怎麼調用工具包selenium

from selenium import webdriver # 用來驅動瀏覽器的
from selenium.webdriver import ActionChains # 破解滑動驗證碼的時候用的 可以拖動圖片
from selenium.webdriver.common.by import By # 按照什麼方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys # 鍵盤按鍵操作
from selenium.webdriver.support import expected_conditions as EC # 和下面WebDriverWait一起用的
from selenium.webdriver.support.wait import WebDriverWait # 等待頁面載入某些元素

❾ python爬蟲中怎麼寫反爬蟲

1、通過UA判斷：UA是UserAgent，是要求瀏覽器的身份標志。
UA是UserAgent，是要求瀏覽器的身份標志。反爬蟲機制通過判斷訪問要求的頭部沒有UA來識別爬蟲，這種判斷方法水平很低，通常不作為唯一的判斷標准。反爬蟲非常簡單，可以隨機數UA。
2、通過Cookie判定：Cookie是指會員帳戶密碼登錄驗證
Cookie是指會員帳戶密碼登錄驗證，通過區分該帳戶在短時間內爬行的頻率來判斷。這種方法的反爬蟲也很困難，需要多賬戶爬行。
3、通過訪問頻率判定
爬蟲類經常在短時間內多次訪問目標網站，反爬蟲類機制可以通過單個IP訪問的頻率來判斷是否是爬蟲類。這樣的反爬方式難以反制，只能通過更換IP來解決。
4、通過驗證碼判定
驗證碼是反爬蟲性價比高的實施方案。反爬蟲通常需要訪問OCR驗證碼識別平台，或者使用TesseractOCR識別，或者使用神經網路訓練識別驗證碼。
5、動態性頁面載入
使用動態載入的網站通常是為了方便用戶點擊和查看，爬蟲無法與頁面互動，這大大增加了爬蟲的難度。
一般情況下，用戶對網站進行信息爬取時，都要受到「爬蟲」的約束，使用戶在獲取信息時受到一定的阻礙

❿ 如何用python爬取js動態生成內容的頁面

抓取js動態生成的內容的頁面有兩種基本的解決方案

1用dryscrape庫動態抓取頁面
js腳本是通過瀏覽器來執行並返回信息的，所以，抓取js執行後的頁面，一個最直接的方式就是用python模擬瀏覽器的行為。WebKit 是一個開源的瀏覽器引擎，python提供了許多庫可以調用這個引擎，dryscrape便是其中之一，它調用webkit引擎來處理包含js等的網頁！

2 selenium web測試框架

selenium是一個web測試框架，它允許調用本地的瀏覽器引擎發送網頁請求，所以，它同樣可以實現抓取頁面的要求。