scrapypython3教程

㈠ 關於python的學習

1、Python 介紹

學習一門新的語言之前，首先簡單了解下這門語言的背景。Python 是一種面向對象的解釋型計算機程序設計語言，由荷蘭人 Guido van Rossum 於 1989 年發明，第一個公開發行版發行於 1991 年。Python 在設計上堅持了清晰劃一的風格，這使得 Python 成為一門易讀、易維護，並且被大量用戶所歡迎的、用途廣泛的語言。Python 具有豐富和強大的庫。它常被昵稱為膠水語言，能夠把用其他語言製作的各種模塊(尤其是 C/C++)很輕松地聯結在一起。

2、Python 技術浪潮

IT行業熱門技術，更新換代非常的快，技術的浪潮一波接著一波，最初的浪潮無疑是桌面時代，使用 C# 搭建桌面應用開始嶄露頭角，MFC 還是計算機科學專業必學會的東西。接著就是以網站搭建為應用的背景，PHP，Ruby 等語言為主的。再到近幾年非常火熱的以移動開發為應用背景，java(Android 開發)或者 OC(iOS 開發)語言為主。很明顯如今的浪潮就是以大數據和機器學習為應用背景，Python 語言為主。站在風尖浪口，豬都可以飛的起來。抓住這波技術浪潮，對於從事 IT 行業的人員來說有莫大的幫助。

3、Python 學習

學習一項新的技術，起步時最重要的是什麼?就是快速入門。學習任何一個學科的知識時，都有一個非常重要的概念：最少必要知識。當需要獲得某項技能的時候，一定要想辦法在最短的時間里弄清楚都有哪些最少必要知識，然後迅速掌握它們。

對於快速入門 python 來說最少必要知識，有以下幾點。

(1) Python 基礎語法

找一本淺顯易懂，例子比較好的教程，從頭到尾看下去。不要看很多本，專注於一本。把裡面的常式都手打一遍，搞懂為什麼。推薦去看《簡明python教程》，非常好的一本 Python 入門書籍。

(2)Python 實際項目

等你對 Python 的語法有了初步的認識，就可以去找些 Python 實際項目來練習。對於任何計算機編程語言來說，以實際項目為出發點，來學習新的技術，是非常高效的學習方式。在練習的過程中你會遇到各種各樣的問題：基礎的語法問題(關鍵字不懂的拼寫)，代碼毫無邏輯，自己的思路無法用代碼表達出來等等。這時候針對出現的問題，找到對應解決辦法，比如，你可以重新查看書本上的知識(關於基礎語法問題)，可以通過谷歌搜索碰到的編譯錯誤(編輯器提示的錯誤)，學習模仿別人已有的代碼(寫不出代碼)等等。已實際項目來驅動學習，會讓你成長非常的快。Python 實際項目網上非常的多，大家可以自己去搜索下。合理利用網路資源，不要意味的只做伸手黨。

(3) Python 的學習規劃

當你把上面兩點做好以後，你就已經入門了 Python，接下來就是規劃好自己的以後的學習規劃。能找到一個已經會 Python 的人。問他一點學習規劃的建議，然後在遇到卡殼的地方找他指點。這樣會事半功倍。但是，要學會搜索，學會如何更好地提問，沒人會願意回答顯而易見的問題。當然如果你身邊沒有人會 Python，也可以在網上搜索相應的資料。

Python 可以做的事非常的多，比如：Python 可以做日常任務，比如自動備份你的MP3;可以做網站，很多著名的網站像知乎、YouTube 就是 Python 寫的;可以做網路游戲的後台，很多在線游戲的後台都是 Python 開發的。每個人都有自己感興趣的方向，有的對網站開發比較感興趣，有的對數據處理感興趣，有的對後台感興趣。所以你們可以根據自己感興趣的方向，網上搜索相關資料，加以深入的學習，規劃好自己未來的方向。只要堅持，你就能精通 Python，成為未來搶手的人才。

㈡ 如何用Python爬取搜索引擎的結果

我選取的是爬取網路知道的html 作為我的搜索源數據，目前先打算做網頁標題的搜索，選用了 Python 的 scrapy 庫來對網頁進行爬取，爬取網頁的標題，url，以及html，用sqlist3來對爬取的數據源進行管理。
爬取的過程是一個深度優先的過程，設定四個起始 url ，然後維護一個資料庫，資料庫中有兩個表，一個 infoLib，其中存儲了爬取的主要信息：標題，url ，html；另一個表為urlLib，存儲已經爬取的url，是一個輔助表，在我們爬取每個網頁前，需要先判斷該網頁是否已爬過（是否存在urlLib中）。在數據存儲的過程中，使用了SQL的少量語法，由於我之前學過 MySQL ，這塊處理起來比較駕輕就熟。
深度優先的網頁爬取方案是：給定初始 url，爬取這個網頁中所有 url，繼續對網頁中的 url 遞歸爬取。代碼逐段解析在下面，方便自己以後回顧。
1.建一個 scrapy 工程：
關於建工程，可以參看這個scrapy入門教程，通過運行:

[python] view plain
scrapy startproject ***

在當前目錄下建一個scrapy 的項目，然後在 spiders 的子目錄下建立一個 .py文件，該文件即是爬蟲的主要文件，注意：其中該文件的名字不能與該工程的名字相同，否則，之後調用跑這個爬蟲的時候將會出現錯誤，見ImportError。
2.具體寫.py文件：

[python] view plain
import scrapy
from scrapy import Request
import sqlite3

class rsSpider(scrapy.spiders.Spider): #該類繼承自 scrapy 中的 spider
name = "" #將該爬蟲命名為 「知道」，在執行爬蟲時對應指令將為： scrapy crawl
#download_delay = 1 #只是用於控制爬蟲速度的，1s/次，可以用來對付反爬蟲
allowed_domains = ["..com"] #允許爬取的作用域
url_first = 'http://..com/question/' #用於之後解析域名用的短字元串
start_urls = ["http://..com/question/647795152324593805.html", #python
"http://..com/question/23976256.html", #database
"http://..com/question/336615223.html", #C++
"http://..com/question/251232779.html", #operator system
"http://..com/question/137965104.html" #Unix programing
] #定義初始的 url ，有五類知道起始網頁

#add database
connDataBase = sqlite3.connect(".db") #連接到資料庫「.db」
cDataBase = connDataBase.cursor() #設置定位指針
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS infoLib
(id INTEGER PRIMARY KEY AUTOINCREMENT,name text,url text,html text)''')
#通過定位指針操作資料庫，若.db中 infoLib表不存在，則建立該表，其中主鍵是自增的 id（用於引擎的docId）,下一列是文章的標題，然後是url，最後是html

#url dataBase
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS urlLib
(url text PRIMARY KEY)''')
#通過定位指針操作資料庫，若.db中urlLib表不存在，則建立該表，其中只存了 url，保存已經爬過的url，之所以再建一個表，是猜測表的主鍵應該使用哈希表存儲的，查詢速度較快，此處其實也可以用一個外鍵將兩個表關聯起來

2. .py文件中的parse函數：

.py文件中的parse函數將具體處理url返回的 response，進行解析，具體代碼中說明：

[python] view plain
def parse(self,response):
pageName = response.xpath('//title/text()').extract()[0] #解析爬取網頁中的名稱
pageUrl = response.xpath("//head/link").re('href="(.*?)"')[0] #解析爬取網頁的 url，並不是直接使用函數獲取，那樣會夾雜亂碼
pageHtml = response.xpath("//html").extract()[0] #獲取網頁html

# judge whether pageUrl in cUrl
if pageUrl in self.start_urls:
#若當前url 是 start_url 中以一員。進行該判斷的原因是，我們對重復的 start_url 中的網址將仍然進行爬取，而對非 start_url 中的曾經爬過的網頁將不再爬取
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(pageUrl,))
lines = self.cDataBase.fetchall()
if len(lines): #若當前Url已經爬過
pass #則不再在資料庫中添加信息，只是由其為跟繼續往下爬
else: #否則，將信息爬入資料庫
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
else: #此時進入的非 url 網頁一定是沒有爬取過的（因為深入start_url之後的網頁都會先進行判斷，在爬取，在下面的for循環中判斷）
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))

self.connDataBase.commit() #保存資料庫的更新

print "-----------------------------------------------" #輸出提示信息，沒啥用

for sel in response.xpath('//ul/li/a').re('href="(/question/.*?.html)'): #抓出所有該網頁的延伸網頁，進行判斷並對未爬過的網頁進行爬取
sel = "http://..com" + sel #解析出延伸網頁的url
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(sel,)) #判斷該網頁是否已在資料庫中
lines = self.cDataBase.fetchall()
if len(lines) == 0: #若不在，則對其繼續進行爬取
yield Request(url = sel, callback=self.parse)

㈢ Python 3 網路爬蟲學習建議

用py3寫爬蟲的話，強力推薦這本書，應該是目前最系統最完善介紹python爬蟲的書。可以去圖靈社區買電子版。書的內容很新也很系統，從beautifulSoup，requests到ajax，圖像識別，單元測試。比起絕大多數blog零散的教程要好的多，看完書後就可以去做些實戰項目，這個時候可以去github上找類似的項目借鑒下。英文版pdf：個人覺得英文版更好）中文版pdf：這本書內容比較淺，我表示贊同。但是對於新手來說，看完這本書，對於爬蟲基礎的應用與概念絕對有了初步的了解。其實國內有一本講爬蟲的好書，《自己動手寫網路爬蟲》，這本書除了介紹爬蟲基本原理，包括優先順序，寬度優先搜索，分布式爬蟲，多線程，還有雲計算，數據挖掘內容。只不過用了java來實現，但是思路是相同的。有這幾個包基本上就夠用了。當初學習爬蟲的時候一點都不懂，甚至連爬蟲是什麼都不知道就在學了，但是懷著不懂裝懂的精神，到現在基本上也算對爬蟲了解一二。正如你所說，爬蟲是個大坑！因為這不僅僅是Python的事，想要學好爬蟲，需要學習：網路基礎知識（post/get/抓包）、（推薦）正則表達式（re模塊）、多線程/多進程、資料庫（儲存）。還有各種各樣的問題：Python蛋疼的編碼問題、遇到Ajax就要用selenium（效率低）、遇到驗證碼腫么辦（我放棄）、需要模擬登錄（我直接用cookies，在這里推薦requests，用法是：被網站禁ip等等所以，如果你是想學爬蟲，那麼就慢慢磨吧。但是你是想學習機器學習，網上那麼多的數據集，可以不必專門學。

㈣ python爬蟲什麼教程最好

可以看這個教程：網頁鏈接

此教程 通過三個爬蟲案例來使學員認識Scrapy框架、了解Scrapy的架構、熟悉Scrapy各模塊。

此教程的大致內容：

1、Scrapy的簡介。

主要知識點：Scrapy的架構和運作流程。

2、搭建開發環境：

主要知識點：Windows及linux環境下Scrapy的安裝。

3、Scrapy Shell以及Scrapy Selectors的使用。

4、使用Scrapy完成網站信息的爬取。

主要知識點：創建Scrapy項目(scrapy startproject)、定義提取的結構化數據(Item)、編寫爬取網站的Spider並提取出結構化數據(Item)、編寫Item Pipelines來存儲提取到的Item(即結構化數據)。

㈤ 在python3.5.2中怎麼安裝scrapy

安裝方法
首先安裝wheel
pip install wheel11
安裝完成後驗證是否成功
wheel11
安裝成功是這樣
然後去上邊的網站下載Scrapy庫，
進到網站=>搜索』Scrapy』=>下載
把下載的.whl文件放在一個容易尋找的地址（我放在了D:\）
然後在控制台進入該地址

㈥ 使用python3進行網頁抓取

先用get方法獲取網頁源碼，然後用正則表達式提取需要的部分（能用一些庫更好）

㈦ python3 scrapy怎麼爬取<div>內的多個<br>

我今天剛學了這個，你用xpath寫好選擇路徑就會返回形成一個列表，列表中有你想要的信息

㈧ python3.6自學教程，用pyCharm的，有沒有Scrapy框架的教程

在利用pycharm安裝scrapy包是遇到了挺多的問題。在折騰了差不多折騰了兩個小時之後總算是安裝好了。期間各種谷歌和網路，發現所有的教程都是利用命令行窗口安裝的。發現安裝scrapy需要的包真是多的要死啊。沒有專門針對pycharm安裝的。因此這里將自己的安裝經驗分享一下，希望能幫助一些pythoner少走一些彎路（廢話到此為止，下面正題。。）

首先呢，你肯定要安裝好了pycharm了，然後就是利用偉大的pycharm的自動查找安裝第三方包，pycharm可以幫你找到大多數的第三方包，不需要你自己去網上查找和下載了。他會自動查找符合你添加python解釋器的第三方模塊。

然後就要告訴你在哪裡可以利用pycharm安裝第三方的包了，首先打開pycharm的左上角的File然後找到setting的選項

打開了setting之後就像上圖選定的藍色的選項，然後就會出現已經安裝好了的第三方的包。有沒有發現圖片的右側有一個綠色的加號，點進那個加號，然後就會出現如下的窗口。

找到了圖中標記了的Path，選中之後點擊下面的編輯，然後在出現的路徑的後面加分號；，然後就開始添加你的python解釋器的路徑，如C:Python27,然後繼續添加你的scrapy所在的文件夾（一定要注意前面添加；）如我的是在H:

然後就大功告成了。

然後就是創建scrapy的工程了

在空目錄下按住Shift鍵右擊，選擇「在此處打開命令窗口」，輸入一下命令：

scrapy startproject tutorial

㈨ Python爬蟲教程和Python學習路徑有哪些

現在之所以有這么多的小夥伴熱衷於爬蟲技術，無外乎是因為爬蟲可以幫我們做很多事情，比如搜索引擎、採集數據、廣告過濾等，以Python為例，Python爬蟲可以用於數據分析，在數據抓取方面發揮巨大的作用。
但是這並不意味著單純掌握一門Python語言，就對爬蟲技術觸類旁通，要學習的知識和規范還有喜很多，包括但不僅限於HTML 知識、HTTP/HTTPS 協議的基本知識、正則表達式、資料庫知識，常用抓包工具的使用、爬蟲框架的使用等。而且涉及到大規模爬蟲，還需要了解分布式的概念、消息隊列、常用的數據結構和演算法、緩存，甚至還包括機器學習的應用，大規模的系統背後都是靠很多技術來支撐的。
零基礎如何學爬蟲技術？對於迷茫的初學者來說，爬蟲技術起步學習階段，最重要的就是明確學習路徑，找准學習方法，唯有如此，在良好的學習習慣督促下，後期的系統學習才會事半功倍，游刃有餘。
用Python寫爬蟲，首先需要會Python，把基礎語法搞懂，知道怎麼使用函數、類和常用的數據結構如list、dict中的常用方法就算基本入門。作為入門爬蟲來說，需要了解 HTTP協議的基本原理，雖然 HTTP 規范用一本書都寫不完，但深入的內容可以放以後慢慢去看，理論與實踐相結合後期學習才會越來越輕松。關於爬蟲學習的具體步驟，我大概羅列了以下幾大部分，大家可以參考：
網路爬蟲基礎知識:
爬蟲的定義
爬蟲的作用
Http協議
基本抓包工具(Fiddler)使用
Python模塊實現爬蟲：
urllib3、requests、lxml、bs4 模塊大體作用講解
使用requests模塊 get 方式獲取靜態頁面數據
使用requests模塊 post 方式獲取靜態頁面數據
使用requests模塊獲取 ajax 動態頁面數據
使用requests模塊模擬登錄網站
使用Tesseract進行驗證碼識別
Scrapy框架與Scrapy-Redis：
Scrapy 爬蟲框架大體說明
Scrapy spider 類
Scrapy item 及 pipeline
Scrapy CrawlSpider 類
通過Scrapy-Redis 實現分布式爬蟲
藉助自動化測試工具和瀏覽器爬取數據：
Selenium + PhantomJS 說明及簡單實例
Selenium + PhantomJS 實現網站登錄
Selenium + PhantomJS 實現動態頁面數據爬取
爬蟲項目實戰：
分布式爬蟲+ Elasticsearch 打造搜索引擎

㈩ 如何在linux下安裝支持python3的scrapy

如何在linux下安裝支持python3的scrapy
window)的歷史內容已經被tmux接管了，所以原來console/terminal提供的Shift+PgUp/PgDn所顯示的內容並不是當前窗口的歷史內容，所以要用C-b
[進入-mode，然後才能用PgUp/PgDn/游標/Ctrl-S等鍵在-mode中移動。
如果要啟用滑鼠滾輪來卷動窗口內容的話，可以按C-b
:然後輸入
setw
mode-mouse
on
這就可以了。如果要對所有窗口開啟的話:
setw
-g
mode-mouse
on