python爬虫虫师

Ⅰ 《Selenium2自动化测试实战基于python语言》epub下载在线阅读全文，求百度网盘云资源

《Selenium 2自动化测试实战》（虫师）电子书网盘下载免费在线阅读

链接: https://pan..com/s/10-u3cNcxi8pZlq2FEpkv4A

提取码: egvs

书名：Selenium 2自动化测试实战

作者：虫师

豆瓣评分：8.1

出版社：电子工业出版社

出版年份：2016-1-1

页数：324

内容简介：

《Selenium 2自动化测试实战——基于Python语言》共分 14 章。第 1 章是自动化测试相关基础知识的介绍；第 2 章到第 10 章是《Selenium 2自动化测试实战——基于Python语言》的重点，循 序渐进地介绍了自动化测试所用到的技术；第 11 章通过一个具体的项目综合运用了前面章节所介绍 的技术与技巧；第 12 章到第 14 章选取了当前最热门的技术进行了介绍，旨在扩展测试人员的综合技 术能力。 《Selenium 2自动化测试实战——基于Python语言》的写作目的并不是为了简单地告诉读者如何使用一个自动化测试工具，而是希望读者在学习

《Selenium 2自动化测试实战——基于Python语言》的内容后能够提高综合的技术高度与宽度，从而摆脱简单的手工测试，向高级测试工程师的道路 迈进。

Ⅱ 【网络爬虫教学】虫师终极武器之Chromium定制开发系列（六）

Hi，大家好，欢迎大家观看由IT猫之家打造的【网络爬虫教学】虫师终极武器之Chromium定制开发系列教学文章的第六篇，如果您是第一次观看本系列教程，请先移步到 这里 看完前面的文章后再回来哦！大家在学习的过程中，有任何疑问可以留言或加入我们的QQ技术交流群进行探讨： 544185435

前言

前面我们已经实现了多个FP重点检测对象的接口随机化，事实上只要完成这些接口的重写就足以应付大多网站了，不过我们既然要定制就做足全套吧，在FP检测脚本中，尚且还有一些也算是较为重要的判断依据，如：系统字体检测、浏览器插件(plugins) 检测、以及非人为触发事件检测isTrusted等。

FontStyle 随机化的实现

由于每台设备的字体可能存在差异等原因使得第三方服务可以轻松的通过获取字体来判断请求的客户端是否为同一客户端，我们知道Chromium为了规避安全的风险，不对JS提供太多的可用权限，比如字体读取，JS本不具备这种检测权限，但FP巧妙的利用了字体的（长、宽、描边）等属性来精确的判断出客户端是否包含了哪些字体，最终导出一串哈希值以便于作为有力的凭证，另除了这种方式，FP还通过Flash接口来调用字体进行判断（需浏览器支持）

对于系统字体接口的随机，我们可以从传入的font-Style着手，在之前的Canvas随机方案中，我们有做过类似的操作，就直接篡改传入的Style，而对于字体我们也是可以这么干的，只需将其替换成指定的字体即可。

要想实现该接口的随机化，我们首先得要搞懂网站对这个接口的检测是如何实现的以及它是如何运作的，而最好最直接的方法就是直接从目标网站分析并找到答案，我们可以打开 browserleaks  然后在关键处下断点，从上图我们可以看到它预设了一堆的常见字体。

从上图，我们可以看到一串：mmm₹▁₺ꜽ�₸׆ẞॿmmmmmmmlli 这样的字符，在我接触过的脚本中它们都会以这种形式作为检测的基准，至于为何一定要用这给字符串，大家可以参考下这篇文章，这位大佬已经解释得很清楚： JavaScript/CSS Font Detector | JavaScript / CSS 字体检测器

从图中我们可以看出，它每次循环都会通过接口style.fontFamily来为当前标签设置字体并获取其宽度与高度，进而与原始的字体进行一一比对，一旦不相等则表示该字体存在，通过该方法几乎可以100%的测得准确结果，而我们要想实现该接口的随机化，可以考虑从两个点着手，首先，就像前面说的，接口每次都会通过 style.fontFamily 来设置字体，那么我们完全可以在这里进行篡改，只要保证每次传入的字体都不一致，则表示肯定会与结果有出入从而达到了随机化的目的，其二，既然它是通过字体的宽度与高度来判断是否成立的，那么我们也可以hook该接口返回随机偏移的数值，从而达到随机化的目的。

通过API查询，我们可以很方便的找到该接口的路径，我们只需按自己的需求实现随机化即可，在这，我建议大家直接修改它的头文件，因为我尝试修改cc文件并未成功，当然大家也可以自行尝试，万一是我操作姿势不对呢，啊哈哈….

plugins 接口随机化的实现

事实上，单单依赖这个插件指纹，服务端是无法判断出是否同一客户端的，也就是说只要完成前面的所有指纹伪造，基本上可以瞒天过海了，但为了满足部分强迫症的看官，我还是有必要将这个给拉出来讲解了。

我们直接在控制台中输入：navigator.plugins，来看看这个插件到底包含了什么

我们可以看到，基本上 navigator.plugins 的子项包含了：四个字段以及2个对象（事实上是一个对象），而事实上我们浏览器里的这个对象基本上都是一样的，所以我开头说可以忽略掉这个接口，我们可以查看每个子项，可以发现它的字段是一样的，同样包含了： name、 filename 、 description 、 MimeType ；那么这样就好办了，直接从以上的字段着手即可。

通过API查询，我们定位到这个 navigator.plugins 的接口位于：third_party\blink\renderer\moles\plugins目录下，我们只需对其实现随机化即可。

上图是插件随机化后的效果，经过篡改：String DOMPlugin::name()、String DOMPlugin::filename()、String DOMPlugin::description()我们可以很轻松的便实现了该接口的随机化。

接口事件触发之底层篡改大法

在FP脚本检测的过程中，还有一项作为检测最为重要的评判指标 “isTrusted”，之所以将它留到最后讲，是为了体现它的价值与其重要性，该字段通常会出现在事件被触发的时，它也是唯一的一个不可直接通过JS语法进行篡改的字段，也就是说前面介绍的所有接口其实我们都是可以通过JS去篡改的，（篡改是没问题，但不见得一定能用，因为部分网站是有针对这个进行检测的），而这个 “isTrusted ”则是例外。

我们来看看上图，我们随便定义了一个鼠标事件以及坐标的事件，然后我们可以发现，它们都携带了一个“ isTrusted ”的字段，并且它的值为false，通过上图我们可以发现，这个接口并不能重写，因为它是只读的，覆盖不了，而我也有尝试过在茫茫网海中寻找可通过JS改写的方案，最终都以失败告终，当然，也有老外告诉我，它们可以通过配合扩展插件去实现，但必须得借助debugger来实现，并且无法取消弹窗，而这方法我也尝试过，是成功了，但是及其耗资源，所以我才打算将其以基于底层的方式实现。

我们再来看看真实触发事件的情况，我们从上图中可以看出，当我们以真实鼠标去触发它， “ isTrusted ” 是为真的，而部分网站以该字段作为判断的依旧，从而判断你是否为机器人；事实上这个接口并不属于是否同一客户端的判断范畴，而是为了校验客户端是否人为发起的请求。

Event 接口的isTrusted是一个 Boolean 类型的只读属性.当事件由用户操作生成时为true，由脚本创建或修改,或通过调用 EventTarget.dispatchEvent 生成,为false；从这里我们可以看到通过脚本创建或者修改的都会返回false，从而我们可以更加肯定这个字段是肯定会被网站作为重要的判断依旧的。

通过API我们顺藤摸瓜的找到了接口的路径，并将其篡改为true，而，因为所有的事件（如：MouseEvent、PointEvent） 都是派生与event ，所以一旦在其根源修改了，所有的事件都势必会返回真，从而达到我们想要的目的。

最后，附上一张篡改后的效果图，以表示成功。

作者寄语

感谢大家一直阅读本系列文章，到本文为止，我们已经实现了FP里的大部分检测，而通过这些属性的伪造，我们已经可以在大部分网站上执行了，而由于接口都是随机的，所以网站无法确认是否为同一客户端，从而达到了真正的匿名效果；但部分网站还是采用的Cookie形式来记录的，所以，我们也可以通过隐身模式或者通过第三方扩展来屏蔽。另外，请大家不要再私下问我怎么不完全把接口暴露出来，之类的话，首先，一旦方法暴露，势必会遭到第三方网站进行特征收集，没有什么是绝对的，收集过多的数据，照样可以判断你是机器人，或者直接屏蔽你的浏览器，其二，研究是需要时间与精力的，如果大家都是抱着做伸手党的心思来讨要结果，那么您可能找错方向了，天天研究头发都白了，你伸下手就想要，有这么好的事欢迎留言告诉我，我也想要；最后如果大家有业务需求可以找我合作，JS逆向或浏览器定制均可。

Ⅲ Python写静态HTML

因为近期工作需要，常常要将测试结果/数据统计、汇总和展示，因此会有写静态HTML的需求，本文记录下python写静态HTML的小技巧

灵感时来源于unittest测试框架最常用的报告插件： HTMLTestRunner ，该插件本身基于python2且已经更新了，好在 @虫师 一直在维护和更新这个插件，使得它能继续被大家所使用，了解详情请移步： SeldomQA/HTMLTestRunner

回到HTMLTestRunner报告插件，阅读源码发现，作者只用了一个python文件便巧妙的将写HTML、页面绘制和数据嵌入搞定了。进一步分析可以看到，作者先是在Template基类中定义了测试报告的HTML结构模板和各个模块/表格模板，然后再以格式化输入的形式给每一个模板中填充目标数据，再将填充好的模板以格式化输入的形式填充到HTML结构模板中，最后再将所有内容写成一个HTML文件即可。

可以看到，这样的设计其实优点在于非常小巧和轻量，缺点在于可维护和可移植性差，数据量小还尚可，不太适合大量数据的统计和绘制。

这种设计的关键在于建模板，然后 按需 填充数据，最后再写HTML，通常我的做法是：

Ⅳ 【Python】【压力测试】Locust压力测试工具

性能测试参数

熟悉 Apache ab 工具的同学都知道，它是没有界面的，通过命令行执行。 Locust 同样也提供的命令行运行，好处就是更节省客户端资源。

启动参数：
--no-web 表示不使用Web界面运行测试。
-c 设置虚拟用户数。
-r 设置每秒启动虚拟用户数。
-t 设置设置运行时间。

出现的报错及解决办法：
使用Locust进行性能测试，Locust no-web模式执行命令locust -f zkxl_verify_ locust.py --host= https://www..com --no-web -c 10 -r 2 -t 1m
提示locust: error: unrecognized arguments: --no-web -c

参考locust官方文档 https://docs.locust.io/en/latest/running-locust-without-web-ui.html?highlight=no-web
将命令参数--no-web 更改为 --headless，将命令中指定用户并发数的参数 -c 改为 -u，即更改命令为：locust -f zkxl_verify_ locust.py --host= https://www..com --headless -u 10 -r 2 -t 1m 即可.

locust的测试数据可以保存到CSV文件中，有两种方法可以进行此操作：
首先，通过Web UI运行Locust时，可以在“Download Data”选项卡下得到CSV文件。
其次，可以使用标签运行Locust，该标签将定期保存两个CSV文件。如果计划使用--no-web标签以自动化方式运行Locust

文件将被命名为example_response_times.csv 和 example_stats.csv （使用--csv=example）并记录Locust构建的信息。
如果你想要更快(慢)的写入速度，也可以自动以写入频率：

此数据将写入两个文件，并将_response_times.csv和_stats.csv添加到你提供的名称中：

和

打开命令提示符（或Linux终端），输入 locust --help 。

参考： 官方文档

一旦单台机器不够模拟足够多的用户时，Locust支持运行在多台机器中进行压力测试。

为了实现这个，你应该在 master 模式中使用 --master 标记来启用一个 Locust 实例。这个实例将会运行你启动测试的 Locust 交互网站并查看实时统计数据。master 节点的机器自身不会模拟任何用户。相反，你必须使用 --slave 标记启动一台到多台 Locustslave 机器节点，与标记 --master-host 一起使用(指出master机器的IP/hostname)。

常用的做法是在一台独立的机器中运行master，在slave机器中每个处理器内核运行一个slave实例。

在 master 模式下启动 Locust:

在每个 slave 中执行(192.168.0.14 替换为你 msater 的IP):

参数

--master

设置 Locust 为 master 模式。网页交互会在这台节点机器中运行。

--slave

设置 Locust 为 slave 模式。

--master-host=X.X.X.X

可选项，与 --slave 一起结合使用，用于设置 master 模式下的 master 机器的IP/hostname(默认设置为127.0.0.1)

--master-port=5557

可选项，与 --slave 一起结合使用，用于设置 master 模式下的 master 机器中 Locust 的端口(默认为5557)。注意，locust 将会使用这个指定的端口号，同时指定端口+1的号也会被占用。因此，5557 会被使用，Locust将会使用 5557 和 5558。

--master-bind-host=X.X.X.X`

可选项，与 --master 一起结合使用。决定在 master 模式下将会绑定什么网络接口。默认设置为*(所有可用的接口)。

--master-bind-port=5557

可选项，与 --master 一起结合使用。决定哪个网络端口 master 模式将会监听。默认设置为 5557。注意 Locust 会使用指定的端口号，同时指定端口+1的号也会被占用。因此，5557 会被使用，Locust 将会使用 5557 和 5558。

--expect-slaves=X

在 no-web 模式下启动 master 时使用。master 将等待X连接节点在测试开始之前连接。

如下图，我启动了一个 master 和两个 slave，由两个 slave 来向被测试系统发送请求。

client属性：

TaskSet类:实现了虚拟用户所执行任务的调度算法，包括规划任务执行顺序(schele_task)、挑选下一个任务(execute_next_task)、执行任务(execute_task)、休眠等待(wait)、中断控制(interrupt)等等。
在此基础上，我们就可以在TaskSet子类中采用非常简洁的方式来描述虚拟用户的业务测试场景，对虚拟用户的所有行为(任务)进行组织和描述，并可以对不同任务的权重进行配置。

在TaskSet子类中定义任务信息时，可以采取两种方式， @task 装饰器和 tasks 属性。

@task(1)中的数字表示任务的执行频率，数值越大表示执行的频率越高

采用tasks属性定义任务：

tasks = {test_job1:1, test_job2:2}中，test_job1:1,test_job2:2表示事件执行的频率，即test_job2的执行频率是test_job1的两倍

on_start函数是在Taskset子类中使用比较频繁的函数。在正式执行测试前执行一次，主要用于完成一些初始化的工作。
例如，当测试某个搜索功能，而该搜索功能又要求必须为登录态的时候，就可以先在on_start中进行登录操作，HttpLocust使用到了requests.Session，因此后续所有任务执行过程中就都具有登录态了

在TaskSequence类中，[email protected]_task()可以用来控制任务的执行顺序；里面的数值越小执行越靠前；

在Taskset类中，内置WAIT_TIME功能，它用于确定模拟用户在执行任务之间将等待多长时间。Locust提供了一些内置的函数，返回一些常用的wait_time方法。
1、 between(min,max)函数 ：用得比较多的函数
wait_time = between(3.0, 10.5)：任务之间等待的时间是3到10.5秒之间的任意时间
还可以用任意函数来定义等待时间， 比如平均1秒的等待时间
wait_time = lambda self: random.expovariate(1) 1000
2、 constant(number) 函数：
wait_time=constant(3)：任务之间等待的时候是3秒钟，且等待的时候不能超过任务运行的总时间，也就是在执行py文件时设置的时间
3、 constant_pacing(number) *函数:
wait_time=constant_pacing(3)：所以任务每隔3秒执行，但是当到达运行的总时间时，任务运行结束；

现实中有很多任务其实也是有嵌套结构的，比如用户打开一个网页首页后，用户可能会不喜欢这个网页直接离开，或者喜欢就留下来，留下来的话，可以选择看书、听音乐、或者离开；

在有Taskset嵌套的情况下，执行子任务时, 通过 self.interrupt() 来终止子任务的执行, 来回到父任务类中执行, 否则子任务会一直执行；

在上一页的案例中，在stay这个类中，对interrupt()方法的调用是非常重要的，这可以让一个用户跳出stay这个类有机会执行leave这个任务，否则他一旦进入stay任务就会一直在看书或者听音乐而难以自拔。

在进行接口多用户并发测试时，数据的重复使用可能会造成脚本的失败，那么需要对用户数据进行参数化来使脚本运行成功。
已登录功能为例：

创建 login_user() 方法，定义登录字典 users , 通过randint 随机获取字典中的用户数据。
在 login() 登录任务中，调用 login_user() 方法实现 随机用户的登录。

在此我们举出网络搜索的例子，假设每个人搜索的内容是不相同的；那么我们可以假设把数据放到队列中，然后从队列中依次把数据取出来；
可以利用python中Queue队列来进行处理；

Queue的种类 ：
Queue.Queue(maxsize=0)：先进先出队列
Queue.LifoQueue(maxsize=0)：后进先出队列
Queue.PriorityQueue(maxsize=0)：构造一个优先队列

参数maxsize是个整数，指明了队列中能存放的数据个数的上限。一旦达到上限，插入会导致阻塞，直到队列中的数据被消费掉。如果maxsize小于或者等于0，队列大小没有限制

Queue的基本方法 ：

个别情况下测试数据可重复使用，因此我们可以把参数化数据定义为一个列表，在列表中取出数据；

在某些请求中，需要携带之前response中提取的参数，常见场景就是session_id。Python中可用通过re正则匹配，对于返回的html页面，可用采用lxml库来定位获取需要的参数；
我们以Phpwind登陆的来进行举例，在登陆的接口中需要把token参数传给服务器，token的值由页的接口返回；

方法一：使用正则表达式
方法二：采用lxml库来定位获取需要的参数

技术点：
1、导模块：lxml模块
2、etree.HTML() 从返回html页面获取html文件的dom结构
3、xpath() 获取token的xpath路径

catch_response = True ：布尔类型，如果设置为 True, 允许该请求被标记为失败。
通过 client.get() 方法发送请求，将整个请求的给 response， 通过 response.status_code 得请求响应的 HTTP 状态码。如果不为 200 则通过 response.failure('Failed!') 打印失败！

参考文章：
https://www.jianshu.com/p/a48f4af81e67
https://www.cnblogs.com/fnng/p/6081798.html
http://class.itest.info/locust 【虫师】
https://cloud.tencent.com/developer/article/1594240 【官方文档的中文翻译】

Ⅳ 《Selenium2自动化测试实战基于Python语言》epub下载在线阅读，求百度网盘云资源

《Selenium3自动化测试实战——基于Python语言》（虫师）电子书网盘下载免费在线阅读

资源链接：

链接: https://pan..com/s/1XbV04rpaStpEO5d3je2RsA

提取码: pk92

书名：Selenium3自动化测试实战——基于Python语言

作者：虫师

豆瓣评分：7.0

出版社：电子工业出版社

出版年份：2019-7

页数：272

内容简介：

《Selenium3自动化测试实战——基于Python语言》共分 14章，第 1章介绍了自动化测试相关的基础知识。第 2章到第 10章是本书的重点，从环境搭建，到 WebDriver API介绍，再到单元测试框架的使用，循序渐进地介绍了自动化测试所用到的知识，最后再通过项目将这些知识串联起来。第 11章详细介绍了如何使用 Jenkins配置自动化测试项目。第 12章到第 14章介绍了移动自动化测试工具 appium的使用。

《Selenium3自动化测试实战——基于Python语言》的写作目的并不是简单地告诉读者如何使用一个自动化测试工具，而是希望读者在学习本书的内容后能够提升技术高度、拓展技术宽度，从而摆脱简单的手工测试，向高级测试工程师迈进。