python分布式框架
『壹』 python爬蟲框架哪個好用
爬蟲框架中比較好用的是 Scrapy 和PySpider。pyspider上手更簡單，操作更加簡便，因為它增加了 WEB 界面，寫爬蟲迅速，集成了phantomjs，可以用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學習研究，需要學習的相關知識多，不過自己拿來研究分布式和多線程等等是非常合適的。
PySpider
PySpider是binux做的一個爬蟲架構的開源化實現。主要的功能需求是：
抓取、更新調度多站點的特定的頁面
需要對頁面進行結構化信息提取
靈活可擴展，穩定可監控
pyspider的設計基礎是：以python腳本驅動的抓取環模型爬蟲
通過python腳本進行結構化信息的提取，follow鏈接調度抓取控制，實現最大的靈活性
通過web化的腳本編寫、調試環境。web展現調度狀態
抓取環模型成熟穩定，模塊間相互獨立，通過消息隊列連接，從單進程到多機分布式靈活拓展
pyspider的架構主要分為 scheler（調度器）, fetcher（抓取器）, processor（腳本執行）：
各個組件間使用消息隊列連接，除了scheler是單點的，fetcher 和 processor 都是可以多實例分布式部署的。 scheler 負責整體的調度控制
任務由 scheler 發起調度，fetcher 抓取網頁內容， processor 執行預先編寫的python腳本，輸出結果或產生新的提鏈任務（發往 scheler），形成閉環。
每個腳本可以靈活使用各種python庫對頁面進行解析，使用框架API控制下一步抓取動作，通過設置回調控制解析動作。
『貳』 有沒有基於Python的某某數據分布式存儲的案例
有很多基於Python的數據分布式存儲的案例。以下是其中幾個：
Apache Hadoop：Hadoop是一個基於Java的開源框架，但是它也提供了Python API。Hadoop是一個分布式存儲和計算平台，用於手慎處理大規模數據集。
Apache Spark：Spark是一個快速通用的計算引擎，可用於大規模數據處理鄭薯稿。它支持Python語言，並提供了Python API。
Apache Cassandra：Cassandra是一個高度可伸縮的分布式資料庫，具有強大的容錯能力。Cassandra提供了Python驅動程序，可用於Python應用程序。
Apache HBase：HBase是一個分布式非關系型資料庫，可在Hadoop集群上運行。它支持Python API。
PySpark：PySpark是Spark的喊孝Python API，它允許您使用Python編寫Spark作業。
『叄』 python的爬蟲框架有哪些
實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。
高效的Python爬蟲框架。分享給大家。
1.Scrapy
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。
2.PySpider
pyspider 是一個用python實現的功能強大的網路爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，後端使用常用的資料庫進行爬取結果的存儲，還能定時設置任務與任務優先順序等。
3.Crawley
Crawley可以高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
4、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
5.Newspaper
Newspaper可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。
6、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
7.Grab
Grab是一個用於構建Web刮板的Python框架。藉助Grab，您可以構建各種復雜的網頁抓取工具，從簡單的5行腳本到處理數百萬個網頁的復雜非同步網站抓取工具
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
『肆』 python的爬蟲框架有哪些
爬蟲框架需要URL、頁面下載器、爬蟲調度器、網頁解析器、數據處理
爬蟲框架要處理很多的URL，我們需要設計一個隊列存儲所有要處理的 URL，這種先進先出的數據結構非常符合這個需求。 將所有要下載的URL存儲在待處理隊列中，每次下載會取出一個，隊列中就會少一個。我們知道有些URL的下載會有反爬蟲策略，所以針對這些請求需要做一些特殊的設置，進而可以對URL進行封裝抽出 Request。
頁面下載器如果沒有，用戶就要編寫網路請求的處理代碼，這無疑對每個 URL 都是相同的動作。 所以在框架設計中我們直接加入它就好了，至於使用什麼庫來進行下載都是可以的，你可以用 httpclient 也可以用okhttp在本文中我們使用一個超輕量級的網路請求庫 oh-my-request (沒錯，就是在下搞的)。優秀的框架設計會將這個下載組件置為可替換，提供默認的即可。
爬蟲調度器，調度器和我們在開發 web 應用中的控制器是一個類似的概念，它用於在下載器、解析器之間做流轉處理。 解析器可以解析到更多的 URL 發送給調度器，調度器再次的傳輸給下載器，這樣就會讓各個組件有條不紊的進行工作。
網頁解析器我們知道當一個頁面下載完成後就是一段 HTML 的 DOM 字元串表示，但還需要提取出真正需要的數據以前的做法是通過String的API 或者正則表達式的方式在DOM 中搜尋，這樣是很麻煩的，框架 應該提供一種合理、常用、方便的方式來幫助用戶完成提取數據這件事兒。常用的手段是通過xpath或者css選擇器從DOM中進行提取，而且學習這項技能在幾乎所有的爬蟲框架中都是適用的。
數據處理，普通的爬蟲程序中是把網頁解析器和數據處理器合在一起的，解析到數據後馬上處理。 在一個標准化的爬蟲程序中，他們應該是各司其職的，我們先通過解析器將需要的數據解析出來，可能是封裝成對象。然後傳遞給數據處理器，處理器接收到數據後可能是存儲到資料庫，也可能通過介面發送給老王。
『伍』 python爬取大量數據(百萬級)
當用python爬取大量網頁獲取想要的數據時，最重要的問題是爬蟲中斷問題，python這種腳本語言，一中斷
進程就會退出，怎麼在中斷後繼續上次爬取的任務就至關重要了。這里就重點剖析這個中斷問題。
第一個問題: 簡單點的用動態代理池就能解決，在爬取大量數據的時候，為了速度不受影響，建議使用一些緩
存的中間件將有效的代理 ip 緩存起來，並定時更新。這里推薦 github 這個倉庫
https://github.com/jhao104/proxy_pool ， 它會做ip有效性驗證並將 ip 放入 redis ，不過實現過於復雜
了，還用到了 db ，個人覺得最好自己修改一下。困難點的就是它會使用別的請求來進行判斷當前的ip是否
是爬蟲，當我們過於聚焦我們的爬蟲請求而忽略了其他的請求時，可能就會被伺服器判定為爬蟲，進而這個ip
會被列入黑名單，而且你換了ip一樣也會卡死在這里。這種方式呢，簡單點就用 selenium + chrome 一個一個
去爬，不過速度太慢了。還是自己去分析吧，也不會過復雜的。
第二個問題： 網路連接超時是大概率會遇到的問題，有可能是在爬取的時候本地網路波動，也有可能是爬
取的服務端對ip做了限制，在爬取到了一定量級的時候做一些延遲的操作，使得一些通用的 http 庫超時
（ urllib ）。不過如果是服務端動的手腳一般延遲不會太高，我們只需要人為的設置一個高一點的
timeout 即可（30 秒），最好在爬取開始的時候就對我們要用的爬取庫進行一層封裝，通用起來才好改
動。
第三個問題: 在解析大量靜態頁面的時候，有些靜態頁面的解析規則不一樣，所以我們就必須得做好斷點
續爬的准備了（ PS : 如果簡單的忽略錯誤可能會導致大量數據的丟失，這就不明智了）。那麼在調試的過
程中斷點續爬有個解決方案，就是生產者和消費者分離，生產者就是產生待爬 url 的爬蟲，消費者就是爬取
最終數據的爬蟲。最終解析數據就是消費者爬蟲了。他們通過消息中間件連接，生產者往消息中間件發送待
爬取的目標信息，消費者從裡面取就行了，還間接的實現了個分布式爬取功能。由於現在的消費中間件都有
ack 機制，一個消費者爬取鏈接失敗會導致消息消費失敗，進而分配給其他消費者消費。所以消息丟失的
概率極低。不過這里還有個 tips ， 消費者的消費超時時間不能太長，會導致消息釋放不及時。還有要開啟
消息中間價的數據持久化功能，不然消息產生過多而消費不及時會撐爆機器內存。那樣就得不償失了。
第四個問題： 這種情況只能 try except catch 住了，不好解決，如果單獨分析的話會耗費點時間。但在
大部分數據 （99%） 都正常的情況下就這條不正常拋棄就行了。主要有了第三個問題的解決方案再出現這
種偶爾中斷的問就方便多了。
希望能幫到各位。
『陸』 Python語言的測試開發完整學習路線
這里整理了一份基於Python語言的測試開發完整學習路線，對軟體測試感興趣的朋友可根據這份大綱來學習：
第一階段：專業基礎課程
階段目標：
1.熟練掌握IT核心技術：編程，資料庫，操作系統，版本控制
2.能夠熟練運用所學技術搭建各類伺服器環境
3.深入理解軟體研發過程各種疑難雜症及處理手段
4.掌握Python編程技術謹培大並熟練運用Python進行程序設計
知識點：
1、Web頁面元素，布局，CSS樣式，盒模型，JavaScript程序設計，函數，基礎演算法，正則表達式。
2、資料庫知識，範式，MySQL配置，命令，建庫建表，數據的增刪改查，約束，視圖，存儲過程，函數，觸發器，事務，游標，建模工具深入理解資料庫管理系統通用知識及MySQL資料庫的使用與管理。為軟體測試和測試開發打下基礎。
3、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與許可權，環境部署，Shell編程Linux作為一個主流的伺服器操作系統，是每一個測試開發工程師必須掌握的重點技術，並且能夠熟練運用。
4、Python編程基礎，語法規則，函數，數據類型，PDBC，培養扎實的Python編程基本功，同時對Python核心對象編程有熟練的運用。
5、Python面向對象，異常處理，文件IO，多線程，網路編程，PyQT界面開發，深入理解面向對象編程，異常處理機制，多線程原理，網路協議知識，並熟練運用於項目中。
第二階段：專業核心課程
階段目標：
1.熟練應用所學知識完成一個標準的軟體測試項目
2.熟練運用Python完成GUI測試，介面測試和性能測試開發
3.對測試開發技術體系和實現原理有深入的理解
4.靈活運用測試開發技術解決項目中的各種問題
知識點：
1、軟體工程，軟體質量，系統測試流程，方法，專業術語，測試用例設計，禪道管理工具，測試報告，缺陷管理理解軟體工程的各類實際問題，理解系統測試的理論、方法與過程，熟練運用測試用例設計方法高效設計測試用例。
2、測試需求分析，測試方案設計，測試用例設計，測試項目實施，缺陷報告與測試報告，深入理解系統測試各個過程和關鍵環節，熟練完成系統測試項目。
3、SikuliX框架，框架，SeleniumWebDriver框架，基礎框架，Android應用，Monkey測試，Appium移動端測試框架，移動端測試框架綜合運用各類應用操作平台，完成各種自動化測試框架的學習和應用，深入理解GUI自動化測試技術及相應框架的測試開發。
4、Python單元測試框架，網路通信協議，HTTP與HTTPS協議，WebService與WebSocket協議，Python的介面測試庫，PostMan與SoapUI介面測試工具通過對代碼級介面測試和協議級介面測試的測試開發實戰，靈活運用Python開發介面測試腳本，熟練運用各類介面測試工具。
5、性能測試原理，指標體系，場景設計，實施過程，JMeter工具應用，BeanShell腳本開發，PythonLocust性能測試框架深入理解性能測試技術體系和方法論，熟練運用JMeter性能測試工具和Locust性能測試框架實施對任意系統的性能測試。
第三階段：綜合實戰項目
階段目標：
1.將軟體測試和測試開發技術靈活運用於項目中
2.具備較強的測試開發能力，獨立完成測試開發項目
3.綜合運用軟體測試技術，滿足企業中高級人才需求
4.對所學技術有深入的理解並具備獨立解決問題的能力
知識點：
1、測試需求分析，同行評審，測試計劃，測試方案，測試用例，配置管理，持續集成。通過對大型企業級應用系統的測試項目實戰，強化理解系統測試項目的實施過程與技術細節。
2、介面測試設計與實施，回歸測試，冒煙測試，安全性測試，框架應用，UI自動化實戰將各類自動化測試技術結合項目實戰演練，強化對自動化測試技術的運中埋用，同時掌握更多的測試框架。
3、性能測試項目實戰，LoadRunner性能測試工具，總結通過綜合項目實戰，將全套測試技術融入到項目中，強化學習效果和項目經驗祥豎。
4、Python原生測試框架開發，包括Monkey，UI，圖像識別，雲測試平台，HTML測試報告，持續集成，KDT關鍵字驅動框架開發等原生技術實現通過大量的Python原生代碼開發，深入理解自動化測試開發技術的底層實現原理，完全拋棄對工具的依賴，做到真正的測試開發技術。
5、基於測試框架的設計思路和實現手段，自主實現一套測試框架能夠獨立完成一套自動化測試框架，並能夠直接用於實際項目中。
6、持續集成與Jenkins，安全性測試原理與工具，Python爬蟲開發與Scrapy框架，提升軟體測試其它類技術，增強知識面，提升競爭力，助力職業發展。
補充知識
2、UML統一建模語言、五種圖、類圖、類圖詳解、用例圖、時序圖。
3、Dubbo分布式開發框架，Oracle關系型資料庫管理系統，MongoDB非關系型資料庫管理系統。
4、大數據開發框架Hadoop/MapRece/Spark。
5、Android與iOS的原生應用開發與WebApp開發。
6、OpenCV圖像處理框架、TensorFlow深度學習框架，Lucene全文搜索引擎與中文分詞框架Ik-Analyzer，視頻處理演算法與框架等。
『柒』 python面試之分布式
主要用於分散壓力，所以分布式的服務都是部署在不同的伺服器上的，再將服務做集群
根據「分層」的思想進行拆分。
例如，可以將一個項目根據「三層架構」 拆分
然後再分開部署 ：
根據業務進行拆分。
例如，可以根據業務邏輯，將「電商項目」拆分成 「訂單項目」、「用戶項目」和「秒殺項目」 。顯然這三個拆分後的項目，仍然可以作為獨立的項目使用。像這種拆分的方法，就成為垂直拆分
主要用於分散能力，主要是將服務的顆粒度盡量細化，且自成一脈，壓力這塊並不是其關注的點，所以多個微服務是可以部署在同一台伺服器上的
微服務可以理解為一種 非常細粒度的垂直拆分 。例如，以上「訂單項目」本來就是垂直拆分後的子項目，但實際上「訂單項目」還能進一步鬧蔽拆分為「購物項目」、「結算項目」和「售後項目」，如圖
現在看圖中的「訂單項目」，它完全可以作為一個分布式項目的組成元素，但就不適合作為微服務的組成元素了（因為它還能再拆，而微服務應該是不能再拆的「微小」服務，類似於「原子性」）
分布式服務需要提供給別的分布式服務去調用，單獨拆出來 未必外部可用
微服務自成一脈，可以系統內部調用，也可以單獨提供服務
為什麼需要用分布式鎖，見下圖
變數A存在三個伺服器內存中（這個變數A主要體現是在一個類中的一個成員變數，是一個有狀態的對象），如果不加任何控制的話，變數A同時都會在分配一塊內存，三個請求發過來同時對這個變數操作，顯然結果是不對的！即使不是同時發過來，三個請求分別操作三個不同內存區域的數據，變數A之間不存在共享，也不具有可見性，處理的結果也是不對的。
分布式鎖應該具備哪些條件：
1、在分布式系統環境下，一個方法在同一時間只能被一個機器的一個線程執行；
2、高可用的獲取鎖與釋液姿州放鎖；
3、高性能的獲取鎖與釋放鎖；
4、具備可重入特性；
5、具備鎖失效機制，防止死鎖；
6、具備非阻塞鎖特性，即沒有獲取到鎖將直接返回獲取鎖失敗
Redis性能高
命令簡單，實現方便
使用setnx加鎖，key為鎖名，value隨意不重復就行（一般用uuid）
給鎖添加expire時間，超過該時間redis過期（即自動釋放鎖）
設置獲取鎖的超時時間，若超過時間，則放棄獲取鎖
通過鎖名獲取鎖值
比較鎖值和當前uuid是否一致，一致則釋放鎖（通過delete命令刪除redis鍵值對）
2PC：two phase commit protocol，二階段提交協議，是一種強一致性設計。
同步阻塞（導致長久的資源鎖定） ，只有第一階段全部正常完成（返回失敗，回字返回超時都會返回 「准備失敗」 ），才會進入第二階段
因為協調者可冊碼能會在任意一個時間點（發送准備命令之前，發送准備命令之後，發送回滾事務命令之前，發送回滾事務命令之後，發送提交事務命令之前，發送提交事務命令之後）故障，導致資源阻塞。
T：try，指的是預留，即資源的預留和鎖定，注意是預留
C：confirm，指的是確認操作，這一步其實就是真正的執行了
C：cancel，指的是撤銷操作，可以理解為把預留階段的動作撤銷了
從思想上看和 2PC 差不多，都是先試探性的執行，如果都可以那就真正的執行，如果不行就回滾。
適用於對實時性要求沒那麼高的業務場景，如：簡訊通知