脚本网站知乎

‘壹’ 油猴怎么用

直接在应用商店内下载油猴，打开Chrome浏览器扩展程序页面，拖拽到页面即可完成安装。打开油猴设置初学者或高级配置模式。打开网站点击地址栏右侧的油猴图标可以看到已经成功启用。

是Mozilla Firefox的一个附加组件。它让用户安装一些脚本使大部分HTML为主的网页于用户端直接改变得更方便易用。随着Greasemonkey脚本常驻于浏览器，每次随着目的网页打开而自动做修改，使得运行脚本的用户印象深刻地享受其固定便利性。

Greasemonkey可替网页加入些新功能、修正网页错误、组合来自不同网页的数据、或者数繁不及备载的其他功能。写得好的Greasemonkey脚本甚至可让其输出与被修改的页面集成得天衣无缝，像是原本网页里的一部分。

相关信息

大部分Greasemonkey使用者脚本都是自行撰写，使用对某网站专用的JavaScript代码，透过文档对象模型(DOM)接口对网页内容做操作。维护了个 Greasemonkey 数据库。该数据库描述哪个网址网页对应到哪个脚本。

当使用者加载匹配的网页，Greasemonkey便呼叫相关的脚本，而该脚本便为该页加入输出结果、删除该页的部分、或者移动碍眼的部分。Greasemonkey脚本亦能透过非网域绑定的XMLHTTP要求来查询外部HTTP资源。

‘贰’ 学python可以做什么

1WEB开发

在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内发展的很不错。

尽管目前Python并不是做Web开发的首选，但一直都占有不可忽视的一席。Python中有各类Web框架，无论是简单而可以自由搭配的微框架还是全功能的大型MVC框架都一应俱全，这在需要敏捷开发的Web项目中也是十分具有优势的。广泛使用（或曾经广泛使用）Python提供的大型Web服务包括知乎、豆瓣、Dropbox等网站。加之Python本身的“胶水”特性，很容易实现在需要大规模性能级计算时整合其它语言，同时保留Web开发时的轻便快捷。

除此之外，Python中还有大量“开箱即用”的模块，用于与各种其它网站的对接等相关功能。如果希望开发个微信公众号相关功能，wechat-sdk/weixin-python等包，能够使你几乎完全不用管文档中提及的各种服务器交互细节，专注于功能实现即能完成开发。

目前，国内的Python web开发主要有两个技术栈：

（1）Django

Django是一个高级的敏捷web开发框架，如果学会了，撸一个网站很快。当然如果纯粹比撸网站的速度，基于ruby的Ruby on rails显然更快，但是Django有一个优势就是性能优秀，更适合国内网站的应用场景。国外的着名图片社区Pinterest早期也是基于Django开发的，承受了用户快速增长的冲击。所以说如果你想快速开发一个网站，还能兼顾APP客户端的API调用需求，Django是可以信赖的。

（2）Flask

相对于Django，Flask则是一个轻量级的web框架，Flask的最大的优势是性能优越，适合配合手机客户端开发后台API服务。国内基于Flask的Restful API服务这快很火，也是需求最大的。知名的比如网络、网易、小米、陌陌等等很多公司都有基于Flask的应用部署。当然，如果你想做一个传统的web网站，还是建议使用Django，Flask的优势是后端、API，不适合构建全功能网站。

2网络爬虫

网络爬虫是Python比较常用的一个场景，国际上，google在早期大量地使用Python语言作为网络爬虫的基础，带动了整个Python语言的应用发展。以前国内很多人用采集器搜刮网上的内容，现在用Python收集网上的信息比以前容易很多了。

Python在这个方面有许多工具上的积累，无论是用于模拟HTTP请求的Requests、用于HTML DOM解析的PyQuery/BeautifulSoup、用于自动化分布式爬取任务的Scrapy，还是用于最简化数据库访问的各种ORM，都使得Python成为数据爬取的首选语言之一。特别是，爬取后的数据分析与计算是Python最为擅长的领域，非常容易整合。目前Python比较流行的网络爬虫框架是功能非常强大的scrapy。

3人工智能与机器学习

人工智能是现在非常火的一个方向，AI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架，大多是Python的实现，为什么呢？

因为Python足够动态、具有足够性能，这是AI技术所需要的技术特点。比如基于Python的深度学习库、深度学习方向、机器学习方向、自然语言处理方向的一些网站基本都是通过Python来实现的。机器学习，尤其是现在火爆的深度学习，其工具框架大都提供了Python接口。Python在科学计算领域一直有着较好的声誉，其简洁清晰的语法以及丰富的计算工具，深受此领域开发者喜爱。

6桌面程序

Python也可以用于桌面软件开发（如sublime text等），甚至移动端开发（参看kivy）。Python简洁方便，各种工具包齐全的环境，能大幅度减少开发者的负担。着名的UI框架QT有Python语言的实现版本PyQT。Python简单易用的特性加上QT的优雅，可以很轻松的开发界面复杂的桌面程序，并且能轻松实现跨平台特性。

7多媒体应用

可以用Python里面的PIL、Piddle、ReportLab 等模块对图象、声音、视频、动画等进行处理，还可以用Python生成动态图表和统计分析图表。另外，还可以利用PyOpenGl模块非常快速有效的编写出三维场景。

‘叁’ 给知乎写了个调用 MathJax 来显示 LaTeX 公式的脚本，大家看看效果如何

题主说的写个脚本，可我没看到你的脚本啊，自然没法评判，更不会知道效果怎样了。那我们还是来了解这两个名词含义吧，有助于以后在类似问题上找出答案来的。

还要很多呢，这里就说这几个，需要的可以上网查找。

‘肆’ Python爬取知乎与我所理解的爬虫与反爬虫

关于知乎验证码登陆的问题，用到了Python上一个重要的图片处理库PIL,如果不行，就把图片存到本地，手动输入。

通过对知乎登陆是的抓包，可以发现登陆知乎，需要post三个参数，一个是账号，一个是密码，一个是xrsf。
这个xrsf隐藏在表单里面，每次登陆的时候，应该是服务器随机产生一个字符串。所有，要模拟登陆的时候，必须要拿到xrsf。

用chrome （或者火狐 httpfox 抓包分析）的结果：

所以，必须要拿到xsrf的数值，注意这是一个动态变化的参数，每次都不一样。

拿到xsrf，下面就可以模拟登陆了。
使用requests库的session对象，建立一个会话的好处是，可以把同一个用户的不同请求联系起来，直到会话结束都会自动处理cookies。

注意：cookies 是当前目录的一个文件，这个文件保存了知乎的cookie，如果是第一个登陆，那么当然是没有这个文件的，不能通过cookie文件来登陆。必须要输入密码。

这是登陆的函数，通过login函数来登陆，post 自己的账号，密码和xrsf 到知乎登陆认证的页面上去，然后得到cookie，将cookie保存到当前目录下的文件里面。下次登陆的时候，直接读取这个cookie文件。

这是cookie文件的内容

以下是源码：

运行结果：

https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu

反爬虫最基本的策略：

爬虫策略：
这两个都是在http协议的报文段的检查，同样爬虫端可以很方便的设置这些字段的值，来欺骗服务器。

反爬虫进阶策略：
1.像知乎一样，在登录的表单里面放入一个隐藏字段，里面会有一个随机数，每次都不一样，这样除非你的爬虫脚本能够解析这个随机数，否则下次爬的时候就不行了。
2.记录访问的ip，统计访问次数，如果次数太高，可以认为这个ip有问题。

爬虫进阶策略：
1.像这篇文章提到的，爬虫也可以先解析一下隐藏字段的值，然后再进行模拟登录。
2.爬虫可以使用ip代理池的方式，来避免被发现。同时，也可以爬一会休息一会的方式来降低频率。另外，服务器根据ip访问次数来进行反爬，再ipv6没有全面普及的时代，这个策略会很容易造成误伤。（这个是我个人的理解）。

通过Cookie限制进行反爬虫：
和Headers校验的反爬虫机制类似，当用户向目标网站发送请求时，会再请求数据中携带Cookie，网站通过校验请求信息是否存在Cookie，以及校验Cookie的值来判定发起访问请求的到底是真实的用户还是爬虫，第一次打开网页会生成一个随机cookie，如果再次打开网页这个Cookie不存在，那么再次设置，第三次打开仍然不存在，这就非常有可能是爬虫在工作了。

反爬虫进进阶策略：
1.数据投毒，服务器在自己的页面上放置很多隐藏的url，这些url存在于html文件文件里面，但是通过css或者js使他们不会被显示在用户看到的页面上面。（确保用户点击不到）。那么，爬虫在爬取网页的时候，很用可能取访问这个url，服务器可以100%的认为这是爬虫干的，然后可以返回给他一些错误的数据，或者是拒绝响应。

爬虫进进阶策略：
1.各个网站虽然需要反爬虫，但是不能够把网络，谷歌这样的搜索引擎的爬虫给干了（干了的话，你的网站在网络都说搜不到！）。这样爬虫应该就可以冒充是网络的爬虫去爬。（但是ip也许可能被识破，因为你的ip并不是网络的ip）

反爬虫进进进阶策略：
给个验证码，让你输入以后才能登录，登录之后，才能访问。

爬虫进进进阶策略：
图像识别，机器学习，识别验证码。不过这个应该比较难，或者说成本比较高。

参考资料：
廖雪峰的python教程
静觅的python教程
requests库官方文档
segmentfault上面有一个人的关于知乎爬虫的博客，找不到链接了

‘伍’ 知乎 linux命令和shell脚本的区别

准确上讲应该说是
shell
脚本文件编程（当然了，在该
shell
脚本文件中也可以包含
linux
系统命令）。shell
脚本文件是一个文本文件，它是将你需要完成的各种复杂功能通过编写
shell
程序来实现。例如：模式匹配（awk）
、字符串替换功能（sed）等。在
awk
和
sed
等工具的使用中肯定需要使用正则表达式的熟练使用，而
linux
命令是指
linux
系统的基本操作命令，例如：ls
列出文件名命令、cat
filename、cd
改变子目录命令等等。这就是它们之间的区别。