python分布式框架
‘壹’ python爬虫框架哪个好用
爬虫框架中比较好用的是 Scrapy 和PySpider。pyspider上手更简单，操作更加简便，因为它增加了 WEB 界面，写爬虫迅速，集成了phantomjs，可以用来抓取js渲染的页面。Scrapy自定义程度高，比 PySpider更底层一些，适合学习研究，需要学习的相关知识多，不过自己拿来研究分布式和多线程等等是非常合适的。
PySpider
PySpider是binux做的一个爬虫架构的开源化实现。主要的功能需求是：
抓取、更新调度多站点的特定的页面
需要对页面进行结构化信息提取
灵活可扩展，稳定可监控
pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫
通过python脚本进行结构化信息的提取，follow链接调度抓取控制，实现最大的灵活性
通过web化的脚本编写、调试环境。web展现调度状态
抓取环模型成熟稳定，模块间相互独立，通过消息队列连接，从单进程到多机分布式灵活拓展
pyspider的架构主要分为 scheler（调度器）, fetcher（抓取器）, processor（脚本执行）：
各个组件间使用消息队列连接，除了scheler是单点的，fetcher 和 processor 都是可以多实例分布式部署的。 scheler 负责整体的调度控制
任务由 scheler 发起调度，fetcher 抓取网页内容， processor 执行预先编写的python脚本，输出结果或产生新的提链任务（发往 scheler），形成闭环。
每个脚本可以灵活使用各种python库对页面进行解析，使用框架API控制下一步抓取动作，通过设置回调控制解析动作。
‘贰’ 有没有基于Python的某某数据分布式存储的案例
有很多基于Python的数据分布式存储的案例。以下是其中几个：
Apache Hadoop：Hadoop是一个基于Java的开源框架，但是它也提供了Python API。Hadoop是一个分布式存储和计算平台，用于手慎处理大规模数据集。
Apache Spark：Spark是一个快速通用的计算引擎，可用于大规模数据处理郑薯稿。它支持Python语言，并提供了Python API。
Apache Cassandra：Cassandra是一个高度可伸缩的分布式数据库，具有强大的容错能力。Cassandra提供了Python驱动程序，可用于Python应用程序。
Apache HBase：HBase是一个分布式非关系型数据库，可在Hadoop集群上运行。它支持Python API。
PySpark：PySpark是Spark的喊孝Python API，它允许您使用Python编写Spark作业。
‘叁’ python的爬虫框架有哪些
实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。
高效的Python爬虫框架。分享给大家。
1.Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。
2.PySpider
pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
3.Crawley
Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
4、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。
5.Newspaper
Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。
6、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
7.Grab
Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具
8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
‘肆’ python的爬虫框架有哪些
爬虫框架需要URL、页面下载器、爬虫调度器、网页解析器、数据处理
爬虫框架要处理很多的URL，我们需要设计一个队列存储所有要处理的 URL，这种先进先出的数据结构非常符合这个需求。 将所有要下载的URL存储在待处理队列中，每次下载会取出一个，队列中就会少一个。我们知道有些URL的下载会有反爬虫策略，所以针对这些请求需要做一些特殊的设置，进而可以对URL进行封装抽出 Request。
页面下载器如果没有，用户就要编写网络请求的处理代码，这无疑对每个 URL 都是相同的动作。 所以在框架设计中我们直接加入它就好了，至于使用什么库来进行下载都是可以的，你可以用 httpclient 也可以用okhttp在本文中我们使用一个超轻量级的网络请求库 oh-my-request (没错，就是在下搞的)。优秀的框架设计会将这个下载组件置为可替换，提供默认的即可。
爬虫调度器，调度器和我们在开发 web 应用中的控制器是一个类似的概念，它用于在下载器、解析器之间做流转处理。 解析器可以解析到更多的 URL 发送给调度器，调度器再次的传输给下载器，这样就会让各个组件有条不紊的进行工作。
网页解析器我们知道当一个页面下载完成后就是一段 HTML 的 DOM 字符串表示，但还需要提取出真正需要的数据以前的做法是通过String的API 或者正则表达式的方式在DOM 中搜寻，这样是很麻烦的，框架 应该提供一种合理、常用、方便的方式来帮助用户完成提取数据这件事儿。常用的手段是通过xpath或者css选择器从DOM中进行提取，而且学习这项技能在几乎所有的爬虫框架中都是适用的。
数据处理，普通的爬虫程序中是把网页解析器和数据处理器合在一起的，解析到数据后马上处理。 在一个标准化的爬虫程序中，他们应该是各司其职的，我们先通过解析器将需要的数据解析出来，可能是封装成对象。然后传递给数据处理器，处理器接收到数据后可能是存储到数据库，也可能通过接口发送给老王。
‘伍’ python爬取大量数据(百万级)
当用python爬取大量网页获取想要的数据时，最重要的问题是爬虫中断问题，python这种脚本语言，一中断
进程就会退出，怎么在中断后继续上次爬取的任务就至关重要了。这里就重点剖析这个中断问题。
第一个问题: 简单点的用动态代理池就能解决，在爬取大量数据的时候，为了速度不受影响，建议使用一些缓
存的中间件将有效的代理 ip 缓存起来，并定时更新。这里推荐 github 这个仓库
https://github.com/jhao104/proxy_pool ， 它会做ip有效性验证并将 ip 放入 redis ，不过实现过于复杂
了，还用到了 db ，个人觉得最好自己修改一下。困难点的就是它会使用别的请求来进行判断当前的ip是否
是爬虫，当我们过于聚焦我们的爬虫请求而忽略了其他的请求时，可能就会被服务器判定为爬虫，进而这个ip
会被列入黑名单，而且你换了ip一样也会卡死在这里。这种方式呢，简单点就用 selenium + chrome 一个一个
去爬，不过速度太慢了。还是自己去分析吧，也不会过复杂的。
第二个问题： 网络连接超时是大概率会遇到的问题，有可能是在爬取的时候本地网络波动，也有可能是爬
取的服务端对ip做了限制，在爬取到了一定量级的时候做一些延迟的操作，使得一些通用的 http 库超时
（ urllib ）。不过如果是服务端动的手脚一般延迟不会太高，我们只需要人为的设置一个高一点的
timeout 即可（30 秒），最好在爬取开始的时候就对我们要用的爬取库进行一层封装，通用起来才好改
动。
第三个问题: 在解析大量静态页面的时候，有些静态页面的解析规则不一样，所以我们就必须得做好断点
续爬的准备了（ PS : 如果简单的忽略错误可能会导致大量数据的丢失，这就不明智了）。那么在调试的过
程中断点续爬有个解决方案，就是生产者和消费者分离，生产者就是产生待爬 url 的爬虫，消费者就是爬取
最终数据的爬虫。最终解析数据就是消费者爬虫了。他们通过消息中间件连接，生产者往消息中间件发送待
爬取的目标信息，消费者从里面取就行了，还间接的实现了个分布式爬取功能。由于现在的消费中间件都有
ack 机制，一个消费者爬取链接失败会导致消息消费失败，进而分配给其他消费者消费。所以消息丢失的
概率极低。不过这里还有个 tips ， 消费者的消费超时时间不能太长，会导致消息释放不及时。还有要开启
消息中间价的数据持久化功能，不然消息产生过多而消费不及时会撑爆机器内存。那样就得不偿失了。
第四个问题： 这种情况只能 try except catch 住了，不好解决，如果单独分析的话会耗费点时间。但在
大部分数据 （99%） 都正常的情况下就这条不正常抛弃就行了。主要有了第三个问题的解决方案再出现这
种偶尔中断的问就方便多了。
希望能帮到各位。
‘陆’ Python语言的测试开发完整学习路线
这里整理了一份基于Python语言的测试开发完整学习路线，对软件测试感兴趣的朋友可根据这份大纲来学习：
第一阶段：专业基础课程
阶段目标：
1.熟练掌握IT核心技术：编程，数据库，操作系统，版本控制
2.能够熟练运用所学技术搭建各类服务器环境
3.深入理解软件研发过程各种疑难杂症及处理手段
4.掌握Python编程技术谨培大并熟练运用Python进行程序设计
知识点：
1、Web页面元素，布局，CSS样式，盒模型，JavaScript程序设计，函数，基础算法，正则表达式。
2、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，建模工具深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为软件测试和测试开发打下基础。
3、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境部署，Shell编程Linux作为一个主流的服务器操作系统，是每一个测试开发工程师必须掌握的重点技术，并且能够熟练运用。
4、Python编程基础，语法规则，函数，数据类型，PDBC，培养扎实的Python编程基本功，同时对Python核心对象编程有熟练的运用。
5、Python面向对象，异常处理，文件IO，多线程，网络编程，PyQT界面开发，深入理解面向对象编程，异常处理机制，多线程原理，网络协议知识，并熟练运用于项目中。
第二阶段：专业核心课程
阶段目标：
1.熟练应用所学知识完成一个标准的软件测试项目
2.熟练运用Python完成GUI测试，接口测试和性能测试开发
3.对测试开发技术体系和实现原理有深入的理解
4.灵活运用测试开发技术解决项目中的各种问题
知识点：
1、软件工程，软件质量，系统测试流程，方法，专业术语，测试用例设计，禅道管理工具，测试报告，缺陷管理理解软件工程的各类实际问题，理解系统测试的理论、方法与过程，熟练运用测试用例设计方法高效设计测试用例。
2、测试需求分析，测试方案设计，测试用例设计，测试项目实施，缺陷报告与测试报告，深入理解系统测试各个过程和关键环节，熟练完成系统测试项目。
3、SikuliX框架，框架，SeleniumWebDriver框架，基础框架，Android应用，Monkey测试，Appium移动端测试框架，移动端测试框架综合运用各类应用操作平台，完成各种自动化测试框架的学习和应用，深入理解GUI自动化测试技术及相应框架的测试开发。
4、Python单元测试框架，网络通信协议，HTTP与HTTPS协议，WebService与WebSocket协议，Python的接口测试库，PostMan与SoapUI接口测试工具通过对代码级接口测试和协议级接口测试的测试开发实战，灵活运用Python开发接口测试脚本，熟练运用各类接口测试工具。
5、性能测试原理，指标体系，场景设计，实施过程，JMeter工具应用，BeanShell脚本开发，PythonLocust性能测试框架深入理解性能测试技术体系和方法论，熟练运用JMeter性能测试工具和Locust性能测试框架实施对任意系统的性能测试。
第三阶段：综合实战项目
阶段目标：
1.将软件测试和测试开发技术灵活运用于项目中
2.具备较强的测试开发能力，独立完成测试开发项目
3.综合运用软件测试技术，满足企业中高级人才需求
4.对所学技术有深入的理解并具备独立解决问题的能力
知识点：
1、测试需求分析，同行评审，测试计划，测试方案，测试用例，配置管理，持续集成。通过对大型企业级应用系统的测试项目实战，强化理解系统测试项目的实施过程与技术细节。
2、接口测试设计与实施，回归测试，冒烟测试，安全性测试，框架应用，UI自动化实战将各类自动化测试技术结合项目实战演练，强化对自动化测试技术的运中埋用，同时掌握更多的测试框架。
3、性能测试项目实战，LoadRunner性能测试工具，总结通过综合项目实战，将全套测试技术融入到项目中，强化学习效果和项目经验祥竖。
4、Python原生测试框架开发，包括Monkey，UI，图像识别，云测试平台，HTML测试报告，持续集成，KDT关键字驱动框架开发等原生技术实现通过大量的Python原生代码开发，深入理解自动化测试开发技术的底层实现原理，完全抛弃对工具的依赖，做到真正的测试开发技术。
5、基于测试框架的设计思路和实现手段，自主实现一套测试框架能够独立完成一套自动化测试框架，并能够直接用于实际项目中。
6、持续集成与Jenkins，安全性测试原理与工具，Python爬虫开发与Scrapy框架，提升软件测试其它类技术，增强知识面，提升竞争力，助力职业发展。
补充知识
2、UML统一建模语言、五种图、类图、类图详解、用例图、时序图。
3、Dubbo分布式开发框架，Oracle关系型数据库管理系统，MongoDB非关系型数据库管理系统。
4、大数据开发框架Hadoop/MapRece/Spark。
5、Android与iOS的原生应用开发与WebApp开发。
6、OpenCV图像处理框架、TensorFlow深度学习框架，Lucene全文搜索引擎与中文分词框架Ik-Analyzer，视频处理算法与框架等。
‘柒’ python面试之分布式
主要用于分散压力，所以分布式的服务都是部署在不同的服务器上的，再将服务做集群
根据“分层”的思想进行拆分。
例如，可以将一个项目根据“三层架构” 拆分
然后再分开部署 ：
根据业务进行拆分。
例如，可以根据业务逻辑，将“电商项目”拆分成 “订单项目”、“用户项目”和“秒杀项目” 。显然这三个拆分后的项目，仍然可以作为独立的项目使用。像这种拆分的方法，就成为垂直拆分
主要用于分散能力，主要是将服务的颗粒度尽量细化，且自成一脉，压力这块并不是其关注的点，所以多个微服务是可以部署在同一台服务器上的
微服务可以理解为一种 非常细粒度的垂直拆分 。例如，以上“订单项目”本来就是垂直拆分后的子项目，但实际上“订单项目”还能进一步闹蔽拆分为“购物项目”、“结算项目”和“售后项目”，如图
现在看图中的“订单项目”，它完全可以作为一个分布式项目的组成元素，但就不适合作为微服务的组成元素了（因为它还能再拆，而微服务应该是不能再拆的“微小”服务，类似于“原子性”）
分布式服务需要提供给别的分布式服务去调用，单独拆出来 未必外部可用
微服务自成一脉，可以系统内部调用，也可以单独提供服务
为什么需要用分布式锁，见下图
变量A存在三个服务器内存中（这个变量A主要体现是在一个类中的一个成员变量，是一个有状态的对象），如果不加任何控制的话，变量A同时都会在分配一块内存，三个请求发过来同时对这个变量操作，显然结果是不对的！即使不是同时发过来，三个请求分别操作三个不同内存区域的数据，变量A之间不存在共享，也不具有可见性，处理的结果也是不对的。
分布式锁应该具备哪些条件：
1、在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行；
2、高可用的获取锁与释液姿州放锁；
3、高性能的获取锁与释放锁；
4、具备可重入特性；
5、具备锁失效机制，防止死锁；
6、具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败
Redis性能高
命令简单，实现方便
使用setnx加锁，key为锁名，value随意不重复就行（一般用uuid）
给锁添加expire时间，超过该时间redis过期（即自动释放锁）
设置获取锁的超时时间，若超过时间，则放弃获取锁
通过锁名获取锁值
比较锁值和当前uuid是否一致，一致则释放锁（通过delete命令删除redis键值对）
2PC：two phase commit protocol，二阶段提交协议，是一种强一致性设计。
同步阻塞（导致长久的资源锁定） ，只有第一阶段全部正常完成（返回失败，回字返回超时都会返回 “准备失败” ），才会进入第二阶段
因为协调者可册码能会在任意一个时间点（发送准备命令之前，发送准备命令之后，发送回滚事务命令之前，发送回滚事务命令之后，发送提交事务命令之前，发送提交事务命令之后）故障，导致资源阻塞。
T：try，指的是预留，即资源的预留和锁定，注意是预留
C：confirm，指的是确认操作，这一步其实就是真正的执行了
C：cancel，指的是撤销操作，可以理解为把预留阶段的动作撤销了
从思想上看和 2PC 差不多，都是先试探性的执行，如果都可以那就真正的执行，如果不行就回滚。
适用于对实时性要求没那么高的业务场景，如：短信通知