python爬虫代理

‘壹’ “2022 年”崔庆才 python3 爬虫教程 - 代理的使用方法

前面我们介绍了多种请求库，如 urllib、requests、Selenium、Playwright 等用法，但是没有统一梳理代理的设置方法，本节我们来针对这些库来梳理下代理的设置方法。

在本节开始之前，请先根据上一节了解一下代理的基本原理，了解了基本原理之后我们可以更好地理解和学习本节的内容。

另外我们需要先获取一个可用代理，代理就是 IP 地址和端口的组合，就是 : 这样的格式。如果代理需要访问认证，那就还需要额外的用户名密码两个信息。

那怎么获取一个可用代理呢？

使用搜索引擎搜索 “代理” 关键字，可以看到许多代理服务网站，网站上会有很多免费或付费代理，比如快代理的免费 HTTP 代理：https://www.kuaidaili.com/free/ 上面就写了很多免费代理，但是这些免费代理大多数情况下并不一定稳定，所以比较靠谱的方法是购买付费代理。付费代理的各大代理商家都有套餐，数量不用多，稳定可用即可，我们可以自行选购。

另外除了购买付费 HTTP 代理，我们也可以在本机配置一些代理软件，具体的配置方法可以参考 https://setup.scrape.center/proxy-client，软件运行之后会在本机创建 HTTP 或 SOCKS 代理服务，所以代理地址一般都是 127.0.0.1: 这样的格式，不同的软件用的端口可能不同。

这里我的本机安装了一部代理软件，它会在本地 7890 端口上创建 HTTP 代理服务，即代理为 127.0.0.1:7890。另外，该软件还会在 7891 端口上创建 SOCKS 代理服务，即代理为 127.0.0.1:7891，所以只要设置了这个代理，就可以成功将本机 IP 切换到代理软件连接的服务器的 IP 了。

在本章下面的示例里，我使用上述代理来演示其设置方法，你也可以自行替换成自己的可用代理。

设置代理后，测试的网址是 http://httpbin.org/get，访问该链接我们可以得到请求的相关信息，其中返回结果的 origin 字段就是客户端的 IP，我们可以根据它来判断代理是否设置成功，即是否成功伪装了 IP。

好，接下来我们就来看下各个请求库的代理设置方法吧。

首先我们以最基础的 urllib 为例，来看一下代理的设置方法，代码如下：

运行结果如下：

这里我们需要借助 ProxyHandler 设置代理，参数是字典类型，键名为协议类型，键值是代理。注意，此处代理前面需要加上协议，即 http:// 或者 https://，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理。不过这里我们把代理本身设置为了 HTTP 协议，即前缀统一设置为了 http://，所以不论访问 HTTP 还是 HTTPS 协议的链接，都会使用我们配置的 HTTP 协议的代理进行请求。

创建完 ProxyHandler 对象之后，我们需要利用 build_opener 方法传入该对象来创建一个 Opener，这样就相当于此 Opener 已经设置好代理了。接下来直接调用 Opener 对象的 open 方法，即可访问我们所想要的链接。

运行输出结果是一个 JSON，它有一个字段 origin，标明了客户端的 IP。验证一下，此处的 IP 确实为代理的 IP，并不是真实的 IP。这样我们就成功设置好代理，并可以隐藏真实 IP 了。

如果遇到需要认证的代理，我们可以用如下的方法设置：

这里改变的只是 proxy 变量，只需要在代理前面加入代理认证的用户名密码即可，其中 username 就是用户名，password 为密码，例如 username 为 foo，密码为 bar，那么代理就是 foo:[email protected]:7890。

如果代理是 SOCKS5 类型，那么可以用如下方式设置代理：

此处需要一个 socks 模块，可以通过如下命令安装：

这里需要本地运行一个 SOCKS5 代理，运行在 7891 端口，运行成功之后和上文 HTTP 代理输出结果是一样的：

结果的 origin 字段同样为代理的 IP，代理设置成功。

对于 requests 来说，代理设置非常简单，我们只需要传入 proxies 参数即可。

这里以我本机的代理为例，来看下 requests 的 HTTP 代理设置，代码如下：

运行结果如下：

和 urllib 一样，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理，不过这里统一使用了 HTTP 协议的代理。

运行结果中的 origin 若是代理服务器的 IP，则证明代理已经设置成功。

如果代理需要认证，那么在代理的前面加上用户名和密码即可，代理的写法就变成如下所示：

这里只需要将 username 和 password 替换即可。

如果需要使用 SOCKS 代理，则可以使用如下方式来设置：

这里我们需要额外安装一个包 requests[socks]，相关命令如下所示：

运行结果是完全相同的：

另外，还有一种设置方式，即使用 socks 模块，也需要像上文一样安装 socks 库。这种设置方法如下所示：

使用这种方法也可以设置 SOCKS 代理，运行结果完全相同。相比第一种方法，此方法是全局设置的。我们可以在不同情况下选用不同的方法。

httpx 的用法本身就与 requests 的使用非常相似，所以其也是通过 proxies 参数来设置代理的，不过与 requests 不同的是，proxies 参数的键名不能再是 http 或 https，而需要更改为 http:// 或 https://，其他的设置是一样的。

对于 HTTP 代理来说，设置方法如下：

对于需要认证的代理，也是改下 proxy 的值即可：

这里只需要将 username 和 password 替换即可。

运行结果和使用 requests 是类似的，结果如下：

对于 SOCKS 代理，我们需要安装 httpx-socks 库，安装方法如下：

这样会同时安装同步和异步两种模式的支持。

对于同步模式，设置方法如下：

对于异步模式，设置方法如下：

和同步模式不同的是，transport 对象我们用的是 AsyncProxyTransport 而不是 SyncProxyTransport，同时需要将 Client 对象更改为 AsyncClient 对象，其他的不变，运行结果是一样的。

Selenium 同样可以设置代理，这里以 Chrome 为例来介绍其设置方法。

对于无认证的代理，设置方法如下：

运行结果如下：

代理设置成功，origin 同样为代理 IP 的地址。

如果代理是认证代理，则设置方法相对比较繁琐，具体如下所示：

这里需要在本地创建一个 manifest.json 配置文件和 background.js 脚本来设置认证代理。运行代码之后，本地会生成一个 proxy_auth_plugin.zip 文件来保存当前配置。

运行结果和上例一致，origin 同样为代理 IP。

SOCKS 代理的设置也比较简单，把对应的协议修改为 socks5 即可，如无密码认证的代理设置方法为：

运行结果是一样的。

对于 aiohttp 来说，我们可以通过 proxy 参数直接设置。HTTP 代理设置如下：

如果代理有用户名和密码，像 requests 一样，把 proxy 修改为如下内容：

这里只需要将 username 和 password 替换即可。

对于 SOCKS 代理，我们需要安装一个支持库 aiohttp-socks，其安装命令如下：

我们可以借助于这个库的 ProxyConnector 来设置 SOCKS 代理，其代码如下：

运行结果是一样的。

另外，这个库还支持设置 SOCKS4、HTTP 代理以及对应的代理认证，可以参考其官方介绍。

对于 Pyppeteer 来说，由于其默认使用的是类似 Chrome 的 Chromium 浏览器，因此其设置方法和 Selenium 的 Chrome 一样，如 HTTP 无认证代理设置方法都是通过 args 来设置的，实现如下：

运行结果如下：

同样可以看到设置成功。

SOCKS 代理也一样，只需要将协议修改为 socks5 即可，代码实现如下：

运行结果也是一样的。

相对 Selenium 和 Pyppeteer 来说，Playwright 的代理设置更加方便，其预留了一个 proxy 参数，可以在启动 Playwright 的时候设置。

对于 HTTP 代理来说，可以这样设置：

在调用 launch 方法的时候，我们可以传一个 proxy 参数，是一个字典。字典有一个必填的字段叫做 server，这里我们可以直接填写 HTTP 代理的地址即可。

运行结果如下：

对于 SOCKS 代理，设置方法也是完全一样的，我们只需要把 server 字段的值换成 SOCKS 代理的地址即可：

运行结果和刚才也是完全一样的。

对于有用户名和密码的代理，Playwright 的设置也非常简单，我们只需要在 proxy 参数额外设置 username 和 password 字段即可，假如用户名和密码分别是 foo 和 bar，则设置方法如下：

这样我们就能非常方便地为 Playwright 实现认证代理的设置。

以上我们就总结了各个请求库的代理使用方式，各种库的设置方法大同小异，学会了这些方法之后，以后如果遇到封 IP 的问题，我们可以轻松通过加代理的方式来解决。

本节代码：https://github.com/Python3WebSpider/ProxyTest

‘贰’ 爬虫python入门难学吗

只要自己肯努力！是很好学的！
计算机基础、网络基础，这些先基本了解一下，然后选择一个编程技术方向，现在热门的编程岗位就是Web前端、java，如果是为了就业可以考虑这两个技术方向，如果是对编程感兴趣，可以学Python，语法简单，可以迅速做一些小项目。
"编程"就是我们为了完成某项任务, 将解决问题的步骤, 用计算机能够理解的语言写成指令, 这就是"编程". 而后, 计算机会根据这些指令一步步执行, 最后完成任务.
编程语言有很多种，只需要精通一门编程语言或者说一个技术方向就可以了，可以结合自身，选择一门自己喜欢并合适自己的。

HTML5+JS（web前端开发）
什么是前端？在网站上看到的一切图片、文字、视频、都是前端写的。
目前web前端开发还是热门编程方向，这门语言对于零基础的学员来说学起来难度不大。

Java
java仍然是市场上最流行和最火爆的编程语言，常常跟企业联系在一起, 因为具备一些很好的语言特性, 以及丰富的框架, 在企业应用中最被青睐。

Python
Python是动态形的灵活的解释性语言，从软件开发到Web开发，Python都有在被使用，因为他的解释性，适合轻量级开发，Python是很多新手会选择的编程语言。

C语言
C语言，语法较多，时间相对还是比较多的，所以也可以考虑从C语言入手，因为打好编程基础，以后再学其他语言会很快上手。如果是快速就业，不太适合C语言

C++
和C语言一样，语法有一定难度，C++是一种最广泛支持范式的编程语言，。当然如果C学的不错，C++上手也会快。

‘叁’ python中，进行爬虫抓取怎么样能够使用代理IP

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1.利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2.使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3.把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

‘肆’ pythonhttp代理多ip巨量http好用

巨量http好用。
http代理是web代理的一种，是Internet上进行信息传输时使用最为广泛的一种非常简单的通信协议。www连接请求、浏览网页、下载数据都是采用的是http代理。它通常绑定在代理服务器的80、3128、8080等端口上。部分局域网对协议进行了限制，只允许用户通过http协议访问外部网站。

‘伍’ 如何使用Python实现爬虫代理IP池

第一步：找IP资源

IP资源并不丰富，换句话说是供不应求的，因此一般是使用动态IP。

免费方法，直接在网络上找，在搜索引擎中一搜索特别多能够提供IP资源的网站，进行采集即可。

付费方法，通过购买芝麻ip上的IP资源，并进行提取，搭建IP池。

‘陆’ Python爬虫笔记（二）requests模块get，post，代理

  import requests

  base_url = 'https://www..com'

  response = requests.get(base_url)

        url=请求url，

        headers =请求头字典，

        params = 请求参数字典。

        timeout = 超时时长，

    )---->response对象

  服务器响应包含：状态行（协议，状态码）、响应头，空行，响应正文

    字符串格式：response.text

    bytes类型：response.content

        response.headers['cookie']

    response.text获取到的字符串类型的响应正文，

    其实是通过下面的步骤获取的：

        response.text = response.content.decode(response.encoding)

    产生的原因：编码和解码的编码格式不一致造成的。

        str.encode('编码')---将字符串按指定编码解码成bytes类型

        bytes.decode('编码')---将bytes类型按指定编码编码成字符串。

    a、response.content.decode('页面正确的编码格式')

        <meta http-equiv="content-type" content="text/html;charset=utf-8">

    b、找到正确的编码，设置到response.encoding中

        response.encoding = 正确的编码

        response.text--->正确的页面内容。

  a、没有请求参数的情况下，只需要确定url和headers字典。

  b、get请求是有请求参数。

    在chrome浏览器中，下面找query_string_params,

    将里面的参数封装到params字典中。

  c、分页主要是查看每页中，请求参数页码字段的变化，

  找到变化规律，用for循环就可以做到分页。

  requests.post(

    url=请求url，

    headers = 请求头字典，

    data=请求数据字典

    timeout=超时时长

  )---response对象

  post请求一般返回数据都是json数据。

（1）response.json()--->json字符串所对应的python的list或者dict

（2）用 json 模块。

    json.loads(json_str)---->json_data(python的list或者dict)

    json.mps(json_data)--->json_str

  post请求能否成功，关键看**请求参数**。

  如何查找是哪个请求参数在影响数据获取？

  --->通过对比，找到变化的参数。

  变化参数如何找到参数的生成方式，就是解决这个ajax请求数据获取的途径。

**寻找的办法**有以下几种：

    （1）写死在页面。

    （2）写在js中。

    （3）请求参数是在之前的一条ajax请求的数据里面提前获取好的。

  代理形象的说，他是网络信息中转站。

  实际上就是在本机和服务器之间架了一座桥。

  a、突破自身ip访问现实，可以访问一些平时访问不到网站。

  b、访问一些单位或者团体的资源。

  c、提高访问速度。代理的服务器主要作用就是中转，

  所以一般代理服务里面都是用内存来进行数据存储的。

  d、隐藏ip。

    ftp代理服务器---21,2121

    HTTP代理服务器---80,8080

    SSL/TLS代理：主要用访问加密网站。端口：443

    telnet代理 ：主要用telnet远程控制，端口一般为23

    高度匿名代理：数据包会原封不动转化，在服务段看来，就好像一个普通用户在访问，做到完全隐藏ip。

    普通匿名代理：数据包会做一些改动，服务器有可能找到原ip。

    透明代理：不但改动数据，还会告诉服务，是谁访问的。

    间谍代理：指组织或者个人用于记录用户传输数据，然后进行研究，监控等目的的代理。   

  proxies = {

    '代理服务器的类型':'代理ip'

  }

  response = requests.get(proxies = proxies)

  代理服务器的类型:http,https,ftp

  代理ip:http://ip:port

‘柒’ 分布式爬虫用哪家免费代理IP好

IP地址各位基本都是了解的，这儿简单的介绍一下定义。IP地址指的是互联网协议地址，简易的说便是互联网分配给网络设备的门牌号，为了能更好地使网络中的计算机能够互相访问，而且了解对方是谁。
很多时候在我们要想保护自身网络访问安全性指数，或是突破目标网站IP限制，就一定要通过特殊方法来实现，这就是代理IP。代理ip在我们的日常生活中使用得十分广，尤其是在在分布式爬虫行业，现阶段市面上较为常见的代理IP有免费的和收费的两种，在这儿不推荐分布式爬虫用免费代理IP，这是为什么呢？原因有三点：
一、资源贫乏：网络中真真正正能用的免费代理ip总数并没有很多，不能满足分布式爬虫对于代理IP的大量需求。
二、IP不稳定：免费代理ip没有专业人员维护，而且任何一个人都能够使用，当然影响IP连接效果。
三、隐匿性不高：隐匿性指能够隐藏真实IP地址的成都，隐匿性越高，安全性越高。而免费代理ip在这方面是薄弱的。

‘捌’ 代理IP对于Python爬虫有多重要

在python爬虫方面的应该中，需要更换iP的场景是时常的事。而这个时候爬虫代理ip就派上用场了。他的好处是特别多的。不仅能防止ip被封，并且能减少许多人工方面的工作。节省更多的营销成本。
在互联网时代绝大多数的工作都要通过互联网交易，尤其是一些代理程序问题，更要使用大量的爬虫编写或是频繁地更换ip地址，这些互联网工作程序所使用到爬虫代理技术的机会有很多。那么，爬虫的代理技术能帮助互联网工作什么方面?
爬虫代理是利用开发商开发的爬虫软件替代我们日程工作中不能解决的频繁更换ip地址问题，比如在网站频繁多次注册账号，在网店开刷各类信誉流量，以及我们在使用到刷机业务都需要使用开发商最新开发的代理爬虫技术手段更新业务。
爬虫代理技术是由开发商提供的新技术，在未来将会更多更好的帮助人们进行互联网工作。更多的帮助人们节约时间解决问题节省成本，这些都是爬虫的代理技术所能帮到大家的。