python庫知乎

『壹』 知乎上有哪些 python 牛人

知乎上有哪些 Python 牛人?

我個人比較推崇limodou. 謙虛, 有實力, 愛分享, 這些標簽讓李大哥在Python界口碑一直很好, 另外, 他的ulipad, 一直是很多python初學者最喜歡用的編輯器. Uliweb也是很優秀的web框架
國內還有很多人, Python寫的都很牛, 但是接觸不多, 就不推薦了

知乎上有哪些 Android 開發的大牛

有興趣就去 Star 下 android-dev- · GitHub 和 android-dev- · GitHub 這里有你耳熟能詳的開源庫作者、博文作者！
收集了 國外著名開發者 25 人，包括 Github 地址、Blog 地址以及重點貢獻介紹
收集了 國內部分開發者 32人，包括 Github 地址、Blog 地址以及重點貢獻介紹

知乎上有哪些 JavaScript 高手

提供一些名字給你。不過有些是記不得了。
winter，朴靈，元彥，賀師俊，寸志，Jim Liu，題葉，月影，祖明，董必正，司徒正美，大漠，小芋頭君，拔赤，死馬，豪情，貘吃饃香，張雲龍，小爝，顧軼靈，趙望野，張克軍，愚人碼頭，堂主，Cat Chen，情封，一絲，玉伯。
vue.js 尤雨溪。
他們都屬於在知乎上比較活躍，並且能帶來很多新知識和思路的前輩。也可以看看他們以前的回答，必有收獲。

python有哪些種類 ipython numpython cpython 知乎

IPython與標准Python的最大區別在於： ipython是一種工具，會對命令提示符的每一行進行編號。 python是語言，ipython也是基於python開發的。

知乎上有哪些感情高手

知乎 搜問題 -哪些收藏夾關注數超過一萬？情感 生活 生存 神笑話輪蘆段 一些經典整理。關注有時間看看。

NBA史上有哪些牛人？

沒牛人··他們不是牛··連牛B都沒有 懂？ 那叫明星謝謝!

淘寶上有哪些oversize的店 知乎

在淘寶上應該有大碼店，
但是具體有多少家，
應該沒有相關統計吧，
沒事臘譽的時候到網上去遛一遛。

知乎上有哪些資料分析的大牛？

用表單大師做資料管理和嘩緩分析，你自己就是大牛！操作簡單，通過簡單拖崽就可以操作了，無需技術背景支撐都可以用。利用表單大師的報表可以生成圖形化的多維度分析。

『貳』 Python爬取知乎與我所理解的爬蟲與反爬蟲

關於知乎驗證碼登陸的問題，用到了Python上一個重要的圖片處理庫PIL,如果不行，就把圖片存到本地，手動輸入。

通過對知乎登陸是的抓包，可以發現登陸知乎，需要post三個參數，一個是賬號，一個是密碼，一個是xrsf。
這個xrsf隱藏在表單裡面，每次登陸的時候，應該是伺服器隨機產生一個字元串。所有，要模擬登陸的時候，必須要拿到xrsf。

用chrome （或者火狐 httpfox 抓包分析）的結果：

所以，必須要拿到xsrf的數值，注意這是一個動態變化的參數，每次都不一樣。

拿到xsrf，下面就可以模擬登陸了。
使用requests庫的session對象，建立一個會話的好處是，可以把同一個用戶的不同請求聯系起來，直到會話結束都會自動處理cookies。

注意：cookies 是當前目錄的一個文件，這個文件保存了知乎的cookie，如果是第一個登陸，那麼當然是沒有這個文件的，不能通過cookie文件來登陸。必須要輸入密碼。

這是登陸的函數，通過login函數來登陸，post 自己的賬號，密碼和xrsf 到知乎登陸認證的頁面上去，然後得到cookie，將cookie保存到當前目錄下的文件裡面。下次登陸的時候，直接讀取這個cookie文件。

這是cookie文件的內容

以下是源碼：

運行結果：

https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu

反爬蟲最基本的策略：

爬蟲策略：
這兩個都是在http協議的報文段的檢查，同樣爬蟲端可以很方便的設置這些欄位的值，來欺騙伺服器。

反爬蟲進階策略：
1.像知乎一樣，在登錄的表單裡面放入一個隱藏欄位，裡面會有一個隨機數，每次都不一樣，這樣除非你的爬蟲腳本能夠解析這個隨機數，否則下次爬的時候就不行了。
2.記錄訪問的ip，統計訪問次數，如果次數太高，可以認為這個ip有問題。

爬蟲進階策略：
1.像這篇文章提到的，爬蟲也可以先解析一下隱藏欄位的值，然後再進行模擬登錄。
2.爬蟲可以使用ip代理池的方式，來避免被發現。同時，也可以爬一會休息一會的方式來降低頻率。另外，伺服器根據ip訪問次數來進行反爬，再ipv6沒有全面普及的時代，這個策略會很容易造成誤傷。（這個是我個人的理解）。

通過Cookie限制進行反爬蟲：
和Headers校驗的反爬蟲機制類似，當用戶向目標網站發送請求時，會再請求數據中攜帶Cookie，網站通過校驗請求信息是否存在Cookie，以及校驗Cookie的值來判定發起訪問請求的到底是真實的用戶還是爬蟲，第一次打開網頁會生成一個隨機cookie，如果再次打開網頁這個Cookie不存在，那麼再次設置，第三次打開仍然不存在，這就非常有可能是爬蟲在工作了。

反爬蟲進進階策略：
1.數據投毒，伺服器在自己的頁面上放置很多隱藏的url，這些url存在於html文件文件裡面，但是通過css或者js使他們不會被顯示在用戶看到的頁面上面。（確保用戶點擊不到）。那麼，爬蟲在爬取網頁的時候，很用可能取訪問這個url，伺服器可以100%的認為這是爬蟲乾的，然後可以返回給他一些錯誤的數據，或者是拒絕響應。

爬蟲進進階策略：
1.各個網站雖然需要反爬蟲，但是不能夠把網路，谷歌這樣的搜索引擎的爬蟲給幹了（幹了的話，你的網站在網路都說搜不到！）。這樣爬蟲應該就可以冒充是網路的爬蟲去爬。（但是ip也許可能被識破，因為你的ip並不是網路的ip）

反爬蟲進進進階策略：
給個驗證碼，讓你輸入以後才能登錄，登錄之後，才能訪問。

爬蟲進進進階策略：
圖像識別，機器學習，識別驗證碼。不過這個應該比較難，或者說成本比較高。

參考資料：
廖雪峰的python教程
靜覓的python教程
requests庫官方文檔
segmentfault上面有一個人的關於知乎爬蟲的博客，找不到鏈接了

『叄』 python圖像處理庫 哪個好 知乎

1.scikit-image
scikit-image是一個開源的Python包，適用於numpy數組。它實現了用於研究，教育和工業應用的演算法和實用工具。即使是那些剛接觸Python生態系統的人，它也是一個相當簡單直接的庫。此代碼是由活躍的志願者社區編寫的，具有高質量和同行評審的性質。
2.Numpy
Numpy是Python編程的核心庫之一，並為數組提供支持。圖像本質上是包含數據點像素的標准Numpy數組。因此，我們可以通過使用基本的NumPy操作，例如切片、掩膜和花式索引，來修改圖像的像素值。可以使用skimage載入圖像並使用matplotlib顯示圖像。
3.Scipy
scipy是Python的另一個類似Numpy的核心科學模塊，可用於基本的圖像操作和處理任務。特別是子模塊scipy.ndimage，提供了在n維NumPy數組上操作的函數。該包目前包括線性和非線性濾波，二值形態學，B樣條插值和對象測量等功能函數。
4. PIL/Pillow
PIL是Python編程語言的一個免費庫，它支持打開、操作和保存許多不同的文件格式的圖像。然而，隨著2009年的最後一次發布，它的開發停滯不前。但幸運的是還有Pillow，一個PIL積極開發的且更容易安裝的分支，它能運行在所有主要的操作系統，並支持Python3。這個庫包含了基本的圖像處理功能，包括點運算、使用一組內置卷積核的濾波和色彩空間的轉換。
5.OpenCV-Python
OpenCV是計算機視覺應用中應用最廣泛的庫之一
。OpenCV-Python是OpenCV的python版API。OpenCV-Python的優點不只有高效，這源於它的內部組成是用C/C++編寫的，而且它還容易編寫和部署。這使得它成為執行計算密集型計算機視覺程序的一個很好的選擇。
6.SimpleCV
SimpleCV也是一個用於構建計算機視覺應用程序的開源框架。有了它，你就可以訪問幾個高性能的計算機視覺庫，如OpenCV，而且不需要先學習了解位深度、文件格式、顏色空間等。它的學習曲線大大小於OpenCV，正如它們的口號所說「計算機視覺變得簡單」。
7.Mahotas
Mahotas是另一個計算機視覺和圖像處理的Python庫。它包括了傳統的圖像處理功能例如濾波和形態學操作以及更現代的計算機視覺功能用於特徵計算，包括興趣點檢測和局部描述符。該介面是Python語言，適合於快速開發，但是演算法是用C語言實現的，並根據速度進行了調優。Mahotas庫速度快，代碼簡潔，甚至具有最小的依賴性。
8.SimpleITK
ITK或者Insight Segmentation and Registration
Toolkit是一個開源的跨平台系統，為開發人員提供了一套廣泛的圖像分析軟體工具
。其中,SimpleITK是建立在ITK之上的簡化層，旨在促進其在快速原型設計、教育、解釋語言中的應用。SimpleITK是一個圖像分析工具包，包含大量支持一般過濾操作、圖像分割和匹配的組件。SimpleITK本身是用C++寫的，但是對於包括Python以內的大部分編程語言都是可用的。
9.pgmagick
pgmagick是GraphicsMagick庫的一個基於python的包裝。GraphicsMagick圖像處理系統有時被稱為圖像處理的瑞士軍刀。它提供了一個具有強大且高效的工具和庫集合，支持以88種主要格式讀取、寫入和操作圖像。
10.Pycairo
Pycairo是圖像處理庫cairo的一組Python捆綁。Cairo是一個用於繪制矢量圖形的2D圖形庫。矢量圖形很有趣，因為它們在調整大小或轉換時不會失去清晰度。Pycairo是cairo的一組綁定，可用於從Python調用cairo命令。