python淘宝爬虫
A. python的应用前景。
目前python被用的还是蛮多的，一些大公司如Google（实现web爬虫和搜索引擎中的很多组件），Yahoo（管理讨论组），NASA，YouTube（视频分享服务大部分由Python编写）等等对Python都很青睐。而国内的豆瓣可以说是给Python予千万宠爱了，它的前台后台清一色的都是Python的身影。另外，我们计算机视觉这块用的很频繁的OpenCV也提供了Python的接口，网上还提供了不少Python的机器学习的库（例如milk，scikit-learn，Pylearn2等），Deep learning的一个知名的Python的库theano，自然语言处理的库NLTK。此外，Python为数学、科学、工程和绘图等提供了有趣的标准库（例如，NumPy ，SciPy和matplotlib等），Python占有的用户群越来越广。
通过网络大概了解了下python的应用领域，如：系统运维、科学计算、人工智能、网络编程(如搜索引擎、爬虫、服务器编程)、web开发、云计算系统、图形化、教育等等等…………好吧，一堆看不懂的，只注意到了“爬虫”、“科学计算”和“图形化”三个关键词，简单理解就是爬数据、分析挖掘和图形展示。
Python的应用
在数据爬虫方面，利用rullib、requests、BeautifulSoup、re、Scrapy等模块进行爬取想要的网站资料，如搜房、淘宝、京东、微信、今日头条、中国知网、新浪、贴吧、金融界、电影论坛等等，真正的实现所见即所得。
在数据处理方面，利用Pandas、Numpy、Scipy、PyMVPA等模块可以帮助你在计算巨型数组、矢量分析、神经网络等方面高效率完成工作。尤其是在教育科研方面，可以发挥出独特的优势。
在数据展示方面，利用ReportLab 、matplotlib、basemap 等模块可以生成相应的统计图表或地图等。另外，利用PyOpenGl模块，可以非常迅速的编写出三维场景。
总之是集数据采集、分析、挖掘及展示等功能于一体，典型的万金油。另外，如果是专业学习python，真是工资高得让人羡慕，具体多少就不说了，感兴趣的可以去查查。
B. python网络爬虫怎么学习
现行环境下，大数据与人工智能的重要依托还是庞大的数据和分析采集，类似于淘宝 京东 网络 腾讯级别的企业 能够通过数据可观的用户群体获取需要的数据，而一般企业可能就没有这种通过产品获取数据的能力和条件，想从事这方面的工作，需掌握以下知识：
1. 学习Python基础知识并实现基本的爬虫过程
一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。
Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，我们可以按照requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。
2.了解非结构化数据的存储
爬虫抓取的数据结构复杂 传统的结构化数据库可能并不是特别适合我们使用。我们前期推荐使用MongoDB 就可以。
3. 掌握一些常用的反爬虫技巧
使用代理IP池、抓包、验证码的OCR处理等处理方式即可以解决大部分网站的反爬虫策略。
4.了解分布式存储
分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具就可以了。
C. python爬虫需要什么基础
网页知识
html，js,css，xpath这些知识，虽然简单，但一定需要了解。 你得知道这些网页是如何构成的，然后才能去分解他们.
HTTP知识
一般爬虫你需要模拟浏览器的操作，才能去获取网页的信息
如果有些网站需要登录，才能获取更多的资料，你得去登录，你得把登录的账号密码进行提交
有些网站登录后需要保存cookie信息才能继续获取更多资料
url,url2
beautiul Soup
正则表达式
有了正则表达式才能更好的分割网页信息，获取我们想要的数据，所以正则表达式也是需要了解的.
一些重要的爬虫库
数据库
爬取到的数据我们得有个地方来保存，可以使用文件，也可以使用数据库，这里我会使用mysql，还有更适合爬虫的MongoDB数据库，以及分布式要用到的redis 数据库
爬虫框架
PySpider和Scrapy这两个爬虫框架是非常NB的,简单的爬虫可以使用urllib与urllib2以及正则表达式就能完成，但高级的爬虫还得用这两个框架。 这两个框架需要另行安装。后面一起学习.
反爬虫
有时候你的网站数据想禁止别人爬取，可以做一些反爬虫处理操作。 打比方网络上就无法去查找淘宝上的数据，这样就避开了搜索引擎的竞争，淘宝就可以搞自己的一套竞价排名
分布式爬虫
使用多个redis实例来缓存各台主机上爬取的数据。
爬虫要学的东西还是挺多的，想把爬虫玩得666，基本就是这些知识点吧！
D. python网络爬虫可以干啥
Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。爬虫就是自动遍历一个网站的网页，并把内容都下载下来