scrapypython3教程

㈠ 关于python的学习

1、Python 介绍

学习一门新的语言之前，首先简单了解下这门语言的背景。Python 是一种面向对象的解释型计算机程序设计语言，由荷兰人 Guido van Rossum 于 1989 年发明，第一个公开发行版发行于 1991 年。Python 在设计上坚持了清晰划一的风格，这使得 Python 成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python 具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块(尤其是 C/C++)很轻松地联结在一起。

2、Python 技术浪潮

IT行业热门技术，更新换代非常的快，技术的浪潮一波接着一波，最初的浪潮无疑是桌面时代，使用 C# 搭建桌面应用开始崭露头角，MFC 还是计算机科学专业必学会的东西。接着就是以网站搭建为应用的背景，PHP，Ruby 等语言为主的。再到近几年非常火热的以移动开发为应用背景，java(Android 开发)或者 OC(iOS 开发)语言为主。很明显如今的浪潮就是以大数据和机器学习为应用背景，Python 语言为主。站在风尖浪口，猪都可以飞的起来。抓住这波技术浪潮，对于从事 IT 行业的人员来说有莫大的帮助。

3、Python 学习

学习一项新的技术，起步时最重要的是什么?就是快速入门。学习任何一个学科的知识时，都有一个非常重要的概念：最少必要知识。当需要获得某项技能的时候，一定要想办法在最短的时间里弄清楚都有哪些最少必要知识，然后迅速掌握它们。

对于快速入门 python 来说最少必要知识，有以下几点。

(1) Python 基础语法

找一本浅显易懂，例子比较好的教程，从头到尾看下去。不要看很多本，专注于一本。把里面的例程都手打一遍，搞懂为什么。推荐去看《简明python教程》，非常好的一本 Python 入门书籍。

(2)Python 实际项目

等你对 Python 的语法有了初步的认识，就可以去找些 Python 实际项目来练习。对于任何计算机编程语言来说，以实际项目为出发点，来学习新的技术，是非常高效的学习方式。在练习的过程中你会遇到各种各样的问题：基础的语法问题(关键字不懂的拼写)，代码毫无逻辑，自己的思路无法用代码表达出来等等。这时候针对出现的问题，找到对应解决办法，比如，你可以重新查看书本上的知识(关于基础语法问题)，可以通过谷歌搜索碰到的编译错误(编辑器提示的错误)，学习模仿别人已有的代码(写不出代码)等等。已实际项目来驱动学习，会让你成长非常的快。Python 实际项目网上非常的多，大家可以自己去搜索下。合理利用网络资源，不要意味的只做伸手党。

(3) Python 的学习规划

当你把上面两点做好以后，你就已经入门了 Python，接下来就是规划好自己的以后的学习规划。能找到一个已经会 Python 的人。问他一点学习规划的建议，然后在遇到卡壳的地方找他指点。这样会事半功倍。但是，要学会搜索，学会如何更好地提问，没人会愿意回答显而易见的问题。当然如果你身边没有人会 Python，也可以在网上搜索相应的资料。

Python 可以做的事非常的多，比如：Python 可以做日常任务，比如自动备份你的MP3;可以做网站，很多着名的网站像知乎、YouTube 就是 Python 写的;可以做网络游戏的后台，很多在线游戏的后台都是 Python 开发的。每个人都有自己感兴趣的方向，有的对网站开发比较感兴趣，有的对数据处理感兴趣，有的对后台感兴趣。所以你们可以根据自己感兴趣的方向，网上搜索相关资料，加以深入的学习，规划好自己未来的方向。只要坚持，你就能精通 Python，成为未来抢手的人才。

㈡ 如何用Python爬取搜索引擎的结果

我选取的是爬取网络知道的html 作为我的搜索源数据，目前先打算做网页标题的搜索，选用了 Python 的 scrapy 库来对网页进行爬取，爬取网页的标题，url，以及html，用sqlist3来对爬取的数据源进行管理。
爬取的过程是一个深度优先的过程，设定四个起始 url ，然后维护一个数据库，数据库中有两个表，一个 infoLib，其中存储了爬取的主要信息：标题，url ，html；另一个表为urlLib，存储已经爬取的url，是一个辅助表，在我们爬取每个网页前，需要先判断该网页是否已爬过（是否存在urlLib中）。在数据存储的过程中，使用了SQL的少量语法，由于我之前学过 MySQL ，这块处理起来比较驾轻就熟。
深度优先的网页爬取方案是：给定初始 url，爬取这个网页中所有 url，继续对网页中的 url 递归爬取。代码逐段解析在下面，方便自己以后回顾。
1.建一个 scrapy 工程：
关于建工程，可以参看这个scrapy入门教程，通过运行:

[python] view plain
scrapy startproject ***

在当前目录下建一个scrapy 的项目，然后在 spiders 的子目录下建立一个 .py文件，该文件即是爬虫的主要文件，注意：其中该文件的名字不能与该工程的名字相同，否则，之后调用跑这个爬虫的时候将会出现错误，见ImportError。
2.具体写.py文件：

[python] view plain
import scrapy
from scrapy import Request
import sqlite3

class rsSpider(scrapy.spiders.Spider): #该类继承自 scrapy 中的 spider
name = "" #将该爬虫命名为 “知道”，在执行爬虫时对应指令将为： scrapy crawl
#download_delay = 1 #只是用于控制爬虫速度的，1s/次，可以用来对付反爬虫
allowed_domains = ["..com"] #允许爬取的作用域
url_first = 'http://..com/question/' #用于之后解析域名用的短字符串
start_urls = ["http://..com/question/647795152324593805.html", #python
"http://..com/question/23976256.html", #database
"http://..com/question/336615223.html", #C++
"http://..com/question/251232779.html", #operator system
"http://..com/question/137965104.html" #Unix programing
] #定义初始的 url ，有五类知道起始网页

#add database
connDataBase = sqlite3.connect(".db") #连接到数据库“.db”
cDataBase = connDataBase.cursor() #设置定位指针
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS infoLib
(id INTEGER PRIMARY KEY AUTOINCREMENT,name text,url text,html text)''')
#通过定位指针操作数据库，若.db中 infoLib表不存在，则建立该表，其中主键是自增的 id（用于引擎的docId）,下一列是文章的标题，然后是url，最后是html

#url dataBase
cDataBase.execute('''''CREATE TABLE IF NOT EXISTS urlLib
(url text PRIMARY KEY)''')
#通过定位指针操作数据库，若.db中urlLib表不存在，则建立该表，其中只存了 url，保存已经爬过的url，之所以再建一个表，是猜测表的主键应该使用哈希表存储的，查询速度较快，此处其实也可以用一个外键将两个表关联起来

2. .py文件中的parse函数：

.py文件中的parse函数将具体处理url返回的 response，进行解析，具体代码中说明：

[python] view plain
def parse(self,response):
pageName = response.xpath('//title/text()').extract()[0] #解析爬取网页中的名称
pageUrl = response.xpath("//head/link").re('href="(.*?)"')[0] #解析爬取网页的 url，并不是直接使用函数获取，那样会夹杂乱码
pageHtml = response.xpath("//html").extract()[0] #获取网页html

# judge whether pageUrl in cUrl
if pageUrl in self.start_urls:
#若当前url 是 start_url 中以一员。进行该判断的原因是，我们对重复的 start_url 中的网址将仍然进行爬取，而对非 start_url 中的曾经爬过的网页将不再爬取
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(pageUrl,))
lines = self.cDataBase.fetchall()
if len(lines): #若当前Url已经爬过
pass #则不再在数据库中添加信息，只是由其为跟继续往下爬
else: #否则，将信息爬入数据库
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))
else: #此时进入的非 url 网页一定是没有爬取过的（因为深入start_url之后的网页都会先进行判断，在爬取，在下面的for循环中判断）
self.cDataBase.execute('INSERT INTO urlLib (url) VALUES (?)',(pageUrl,))
self.cDataBase.execute("INSERT INTO infoLib (name,url,html) VALUES (?,?,?)",(pageName,pageUrl,pageHtml))

self.connDataBase.commit() #保存数据库的更新

print "-----------------------------------------------" #输出提示信息，没啥用

for sel in response.xpath('//ul/li/a').re('href="(/question/.*?.html)'): #抓出所有该网页的延伸网页，进行判断并对未爬过的网页进行爬取
sel = "http://..com" + sel #解析出延伸网页的url
self.cDataBase.execute('SELECT * FROM urlLib WHERE url = (?)',(sel,)) #判断该网页是否已在数据库中
lines = self.cDataBase.fetchall()
if len(lines) == 0: #若不在，则对其继续进行爬取
yield Request(url = sel, callback=self.parse)

㈢ Python 3 网络爬虫学习建议

用py3写爬虫的话，强力推荐这本书，应该是目前最系统最完善介绍python爬虫的书。可以去图灵社区买电子版。书的内容很新也很系统，从beautifulSoup，requests到ajax，图像识别，单元测试。比起绝大多数blog零散的教程要好的多，看完书后就可以去做些实战项目，这个时候可以去github上找类似的项目借鉴下。英文版pdf：个人觉得英文版更好）中文版pdf：这本书内容比较浅，我表示赞同。但是对于新手来说，看完这本书，对于爬虫基础的应用与概念绝对有了初步的了解。其实国内有一本讲爬虫的好书，《自己动手写网络爬虫》，这本书除了介绍爬虫基本原理，包括优先级，宽度优先搜索，分布式爬虫，多线程，还有云计算，数据挖掘内容。只不过用了java来实现，但是思路是相同的。有这几个包基本上就够用了。当初学习爬虫的时候一点都不懂，甚至连爬虫是什么都不知道就在学了，但是怀着不懂装懂的精神，到现在基本上也算对爬虫了解一二。正如你所说，爬虫是个大坑！因为这不仅仅是Python的事，想要学好爬虫，需要学习：网络基础知识（post/get/抓包）、（推荐）正则表达式（re模块）、多线程/多进程、数据库（储存）。还有各种各样的问题：Python蛋疼的编码问题、遇到Ajax就要用selenium（效率低）、遇到验证码肿么办（我放弃）、需要模拟登录（我直接用cookies，在这里推荐requests，用法是：被网站禁ip等等所以，如果你是想学爬虫，那么就慢慢磨吧。但是你是想学习机器学习，网上那么多的数据集，可以不必专门学。

㈣ python爬虫什么教程最好

可以看这个教程：网页链接

此教程 通过三个爬虫案例来使学员认识Scrapy框架、了解Scrapy的架构、熟悉Scrapy各模块。

此教程的大致内容：

1、Scrapy的简介。

主要知识点：Scrapy的架构和运作流程。

2、搭建开发环境：

主要知识点：Windows及linux环境下Scrapy的安装。

3、Scrapy Shell以及Scrapy Selectors的使用。

4、使用Scrapy完成网站信息的爬取。

主要知识点：创建Scrapy项目(scrapy startproject)、定义提取的结构化数据(Item)、编写爬取网站的Spider并提取出结构化数据(Item)、编写Item Pipelines来存储提取到的Item(即结构化数据)。

㈤ 在python3.5.2中怎么安装scrapy

安装方法
首先安装wheel
pip install wheel11
安装完成后验证是否成功
wheel11
安装成功是这样
然后去上边的网站下载Scrapy库，
进到网站=>搜索’Scrapy’=>下载
把下载的.whl文件放在一个容易寻找的地址（我放在了D:\）
然后在控制台进入该地址

㈥ 使用python3进行网页抓取

先用get方法获取网页源码，然后用正则表达式提取需要的部分（能用一些库更好）

㈦ python3 scrapy怎么爬取<div>内的多个<br>

我今天刚学了这个，你用xpath写好选择路径就会返回形成一个列表，列表中有你想要的信息

㈧ python3.6自学教程，用pyCharm的，有没有Scrapy框架的教程

在利用pycharm安装scrapy包是遇到了挺多的问题。在折腾了差不多折腾了两个小时之后总算是安装好了。期间各种谷歌和网络，发现所有的教程都是利用命令行窗口安装的。发现安装scrapy需要的包真是多的要死啊。没有专门针对pycharm安装的。因此这里将自己的安装经验分享一下，希望能帮助一些pythoner少走一些弯路（废话到此为止，下面正题。。）

首先呢，你肯定要安装好了pycharm了，然后就是利用伟大的pycharm的自动查找安装第三方包，pycharm可以帮你找到大多数的第三方包，不需要你自己去网上查找和下载了。他会自动查找符合你添加python解释器的第三方模块。

然后就要告诉你在哪里可以利用pycharm安装第三方的包了，首先打开pycharm的左上角的File然后找到setting的选项

打开了setting之后就像上图选定的蓝色的选项，然后就会出现已经安装好了的第三方的包。有没有发现图片的右侧有一个绿色的加号，点进那个加号，然后就会出现如下的窗口。

找到了图中标记了的Path，选中之后点击下面的编辑，然后在出现的路径的后面加分号；，然后就开始添加你的python解释器的路径，如C:Python27,然后继续添加你的scrapy所在的文件夹（一定要注意前面添加；）如我的是在H:

然后就大功告成了。

然后就是创建scrapy的工程了

在空目录下按住Shift键右击，选择“在此处打开命令窗口”，输入一下命令：

scrapy startproject tutorial

㈨ Python爬虫教程和Python学习路径有哪些

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。
但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。
零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。
用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：
网络爬虫基础知识:
爬虫的定义
爬虫的作用
Http协议
基本抓包工具(Fiddler)使用
Python模块实现爬虫：
urllib3、requests、lxml、bs4 模块大体作用讲解
使用requests模块 get 方式获取静态页面数据
使用requests模块 post 方式获取静态页面数据
使用requests模块获取 ajax 动态页面数据
使用requests模块模拟登录网站
使用Tesseract进行验证码识别
Scrapy框架与Scrapy-Redis：
Scrapy 爬虫框架大体说明
Scrapy spider 类
Scrapy item 及 pipeline
Scrapy CrawlSpider 类
通过Scrapy-Redis 实现分布式爬虫
借助自动化测试工具和浏览器爬取数据：
Selenium + PhantomJS 说明及简单实例
Selenium + PhantomJS 实现网站登录
Selenium + PhantomJS 实现动态页面数据爬取
爬虫项目实战：
分布式爬虫+ Elasticsearch 打造搜索引擎

㈩ 如何在linux下安装支持python3的scrapy

如何在linux下安装支持python3的scrapy
window)的历史内容已经被tmux接管了，所以原来console/terminal提供的Shift+PgUp/PgDn所显示的内容并不是当前窗口的历史内容，所以要用C-b
[进入-mode，然后才能用PgUp/PgDn/光标/Ctrl-S等键在-mode中移动。
如果要启用鼠标滚轮来卷动窗口内容的话，可以按C-b
:然后输入
setw
mode-mouse
on
这就可以了。如果要对所有窗口开启的话:
setw
-g
mode-mouse
on