python库知乎

‘壹’ 知乎上有哪些 python 牛人

知乎上有哪些 Python 牛人?

我个人比较推崇limodou. 谦虚, 有实力, 爱分享, 这些标签让李大哥在Python界口碑一直很好, 另外, 他的ulipad, 一直是很多python初学者最喜欢用的编辑器. Uliweb也是很优秀的web框架
国内还有很多人, Python写的都很牛, 但是接触不多, 就不推荐了

知乎上有哪些 Android 开发的大牛

有兴趣就去 Star 下 android-dev- · GitHub 和 android-dev- · GitHub 这里有你耳熟能详的开源库作者、博文作者！
收集了 国外着名开发者 25 人，包括 Github 地址、Blog 地址以及重点贡献介绍
收集了 国内部分开发者 32人，包括 Github 地址、Blog 地址以及重点贡献介绍

知乎上有哪些 JavaScript 高手

提供一些名字给你。不过有些是记不得了。
winter，朴灵，元彦，贺师俊，寸志，Jim Liu，题叶，月影，祖明，董必正，司徒正美，大漠，小芋头君，拔赤，死马，豪情，貘吃馍香，张云龙，小爝，顾轶灵，赵望野，张克军，愚人码头，堂主，Cat Chen，情封，一丝，玉伯。
vue.js 尤雨溪。
他们都属于在知乎上比较活跃，并且能带来很多新知识和思路的前辈。也可以看看他们以前的回答，必有收获。

python有哪些种类 ipython numpython cpython 知乎

IPython与标准Python的最大区别在于： ipython是一种工具，会对命令提示符的每一行进行编号。 python是语言，ipython也是基于python开发的。

知乎上有哪些感情高手

知乎 搜问题 -哪些收藏夹关注数超过一万？情感 生活 生存 神笑话轮芦段 一些经典整理。关注有时间看看。

NBA史上有哪些牛人？

没牛人··他们不是牛··连牛B都没有 懂？ 那叫明星谢谢!

淘宝上有哪些oversize的店 知乎

在淘宝上应该有大码店，
但是具体有多少家，
应该没有相关统计吧，
没事腊誉的时候到网上去遛一遛。

知乎上有哪些资料分析的大牛？

用表单大师做资料管理和哗缓分析，你自己就是大牛！操作简单，通过简单拖崽就可以操作了，无需技术背景支撑都可以用。利用表单大师的报表可以生成图形化的多维度分析。

‘贰’ Python爬取知乎与我所理解的爬虫与反爬虫

关于知乎验证码登陆的问题，用到了Python上一个重要的图片处理库PIL,如果不行，就把图片存到本地，手动输入。

通过对知乎登陆是的抓包，可以发现登陆知乎，需要post三个参数，一个是账号，一个是密码，一个是xrsf。
这个xrsf隐藏在表单里面，每次登陆的时候，应该是服务器随机产生一个字符串。所有，要模拟登陆的时候，必须要拿到xrsf。

用chrome （或者火狐 httpfox 抓包分析）的结果：

所以，必须要拿到xsrf的数值，注意这是一个动态变化的参数，每次都不一样。

拿到xsrf，下面就可以模拟登陆了。
使用requests库的session对象，建立一个会话的好处是，可以把同一个用户的不同请求联系起来，直到会话结束都会自动处理cookies。

注意：cookies 是当前目录的一个文件，这个文件保存了知乎的cookie，如果是第一个登陆，那么当然是没有这个文件的，不能通过cookie文件来登陆。必须要输入密码。

这是登陆的函数，通过login函数来登陆，post 自己的账号，密码和xrsf 到知乎登陆认证的页面上去，然后得到cookie，将cookie保存到当前目录下的文件里面。下次登陆的时候，直接读取这个cookie文件。

这是cookie文件的内容

以下是源码：

运行结果：

https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu

反爬虫最基本的策略：

爬虫策略：
这两个都是在http协议的报文段的检查，同样爬虫端可以很方便的设置这些字段的值，来欺骗服务器。

反爬虫进阶策略：
1.像知乎一样，在登录的表单里面放入一个隐藏字段，里面会有一个随机数，每次都不一样，这样除非你的爬虫脚本能够解析这个随机数，否则下次爬的时候就不行了。
2.记录访问的ip，统计访问次数，如果次数太高，可以认为这个ip有问题。

爬虫进阶策略：
1.像这篇文章提到的，爬虫也可以先解析一下隐藏字段的值，然后再进行模拟登录。
2.爬虫可以使用ip代理池的方式，来避免被发现。同时，也可以爬一会休息一会的方式来降低频率。另外，服务器根据ip访问次数来进行反爬，再ipv6没有全面普及的时代，这个策略会很容易造成误伤。（这个是我个人的理解）。

通过Cookie限制进行反爬虫：
和Headers校验的反爬虫机制类似，当用户向目标网站发送请求时，会再请求数据中携带Cookie，网站通过校验请求信息是否存在Cookie，以及校验Cookie的值来判定发起访问请求的到底是真实的用户还是爬虫，第一次打开网页会生成一个随机cookie，如果再次打开网页这个Cookie不存在，那么再次设置，第三次打开仍然不存在，这就非常有可能是爬虫在工作了。

反爬虫进进阶策略：
1.数据投毒，服务器在自己的页面上放置很多隐藏的url，这些url存在于html文件文件里面，但是通过css或者js使他们不会被显示在用户看到的页面上面。（确保用户点击不到）。那么，爬虫在爬取网页的时候，很用可能取访问这个url，服务器可以100%的认为这是爬虫干的，然后可以返回给他一些错误的数据，或者是拒绝响应。

爬虫进进阶策略：
1.各个网站虽然需要反爬虫，但是不能够把网络，谷歌这样的搜索引擎的爬虫给干了（干了的话，你的网站在网络都说搜不到！）。这样爬虫应该就可以冒充是网络的爬虫去爬。（但是ip也许可能被识破，因为你的ip并不是网络的ip）

反爬虫进进进阶策略：
给个验证码，让你输入以后才能登录，登录之后，才能访问。

爬虫进进进阶策略：
图像识别，机器学习，识别验证码。不过这个应该比较难，或者说成本比较高。

参考资料：
廖雪峰的python教程
静觅的python教程
requests库官方文档
segmentfault上面有一个人的关于知乎爬虫的博客，找不到链接了

‘叁’ python图像处理库 哪个好 知乎

1.scikit-image
scikit-image是一个开源的Python包，适用于numpy数组。它实现了用于研究，教育和工业应用的算法和实用工具。即使是那些刚接触Python生态系统的人，它也是一个相当简单直接的库。此代码是由活跃的志愿者社区编写的，具有高质量和同行评审的性质。
2.Numpy
Numpy是Python编程的核心库之一，并为数组提供支持。图像本质上是包含数据点像素的标准Numpy数组。因此，我们可以通过使用基本的NumPy操作，例如切片、掩膜和花式索引，来修改图像的像素值。可以使用skimage加载图像并使用matplotlib显示图像。
3.Scipy
scipy是Python的另一个类似Numpy的核心科学模块，可用于基本的图像操作和处理任务。特别是子模块scipy.ndimage，提供了在n维NumPy数组上操作的函数。该包目前包括线性和非线性滤波，二值形态学，B样条插值和对象测量等功能函数。
4. PIL/Pillow
PIL是Python编程语言的一个免费库，它支持打开、操作和保存许多不同的文件格式的图像。然而，随着2009年的最后一次发布，它的开发停滞不前。但幸运的是还有Pillow，一个PIL积极开发的且更容易安装的分支，它能运行在所有主要的操作系统，并支持Python3。这个库包含了基本的图像处理功能，包括点运算、使用一组内置卷积核的滤波和色彩空间的转换。
5.OpenCV-Python
OpenCV是计算机视觉应用中应用最广泛的库之一
。OpenCV-Python是OpenCV的python版API。OpenCV-Python的优点不只有高效，这源于它的内部组成是用C/C++编写的，而且它还容易编写和部署。这使得它成为执行计算密集型计算机视觉程序的一个很好的选择。
6.SimpleCV
SimpleCV也是一个用于构建计算机视觉应用程序的开源框架。有了它，你就可以访问几个高性能的计算机视觉库，如OpenCV，而且不需要先学习了解位深度、文件格式、颜色空间等。它的学习曲线大大小于OpenCV，正如它们的口号所说“计算机视觉变得简单”。
7.Mahotas
Mahotas是另一个计算机视觉和图像处理的Python库。它包括了传统的图像处理功能例如滤波和形态学操作以及更现代的计算机视觉功能用于特征计算，包括兴趣点检测和局部描述符。该接口是Python语言，适合于快速开发，但是算法是用C语言实现的，并根据速度进行了调优。Mahotas库速度快，代码简洁，甚至具有最小的依赖性。
8.SimpleITK
ITK或者Insight Segmentation and Registration
Toolkit是一个开源的跨平台系统，为开发人员提供了一套广泛的图像分析软件工具
。其中,SimpleITK是建立在ITK之上的简化层，旨在促进其在快速原型设计、教育、解释语言中的应用。SimpleITK是一个图像分析工具包，包含大量支持一般过滤操作、图像分割和匹配的组件。SimpleITK本身是用C++写的，但是对于包括Python以内的大部分编程语言都是可用的。
9.pgmagick
pgmagick是GraphicsMagick库的一个基于python的包装。GraphicsMagick图像处理系统有时被称为图像处理的瑞士军刀。它提供了一个具有强大且高效的工具和库集合，支持以88种主要格式读取、写入和操作图像。
10.Pycairo
Pycairo是图像处理库cairo的一组Python捆绑。Cairo是一个用于绘制矢量图形的2D图形库。矢量图形很有趣，因为它们在调整大小或转换时不会失去清晰度。Pycairo是cairo的一组绑定，可用于从Python调用cairo命令。