python淘寶爬蟲
A. python的應用前景。
目前python被用的還是蠻多的，一些大公司如Google（實現web爬蟲和搜索引擎中的很多組件），Yahoo（管理討論組），NASA，YouTube（視頻分享服務大部分由Python編寫）等等對Python都很青睞。而國內的豆瓣可以說是給Python予千萬寵愛了，它的前台後台清一色的都是Python的身影。另外，我們計算機視覺這塊用的很頻繁的OpenCV也提供了Python的介面，網上還提供了不少Python的機器學習的庫（例如milk，scikit-learn，Pylearn2等），Deep learning的一個知名的Python的庫theano，自然語言處理的庫NLTK。此外，Python為數學、科學、工程和繪圖等提供了有趣的標准庫（例如，NumPy ，SciPy和matplotlib等），Python佔有的用戶群越來越廣。
通過網路大概了解了下python的應用領域，如：系統運維、科學計算、人工智慧、網路編程(如搜索引擎、爬蟲、伺服器編程)、web開發、雲計算系統、圖形化、教育等等等…………好吧，一堆看不懂的，只注意到了「爬蟲」、「科學計算」和「圖形化」三個關鍵詞，簡單理解就是爬數據、分析挖掘和圖形展示。
Python的應用
在數據爬蟲方面，利用rullib、requests、BeautifulSoup、re、Scrapy等模塊進行爬取想要的網站資料，如搜房、淘寶、京東、微信、今日頭條、中國知網、新浪、貼吧、金融界、電影論壇等等，真正的實現所見即所得。
在數據處理方面，利用Pandas、Numpy、Scipy、PyMVPA等模塊可以幫助你在計算巨型數組、矢量分析、神經網路等方面高效率完成工作。尤其是在教育科研方面，可以發揮出獨特的優勢。
在數據展示方面，利用ReportLab 、matplotlib、basemap 等模塊可以生成相應的統計圖表或地圖等。另外，利用PyOpenGl模塊，可以非常迅速的編寫出三維場景。
總之是集數據採集、分析、挖掘及展示等功能於一體，典型的萬金油。另外，如果是專業學習python，真是工資高得讓人羨慕，具體多少就不說了，感興趣的可以去查查。
B. python網路爬蟲怎麼學習
現行環境下，大數據與人工智慧的重要依託還是龐大的數據和分析採集，類似於淘寶 京東 網路 騰訊級別的企業 能夠通過數據可觀的用戶群體獲取需要的數據，而一般企業可能就沒有這種通過產品獲取數據的能力和條件，想從事這方面的工作，需掌握以下知識：
1. 學習Python基礎知識並實現基本的爬蟲過程
一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析並且存儲數據 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
2.了解非結構化數據的存儲
爬蟲抓取的數據結構復雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。
3. 掌握一些常用的反爬蟲技巧
使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。
4.了解分布式存儲
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以了。
C. python爬蟲需要什麼基礎
網頁知識
html，js,css，xpath這些知識，雖然簡單，但一定需要了解。 你得知道這些網頁是如何構成的，然後才能去分解他們.
HTTP知識
一般爬蟲你需要模擬瀏覽器的操作，才能去獲取網頁的信息
如果有些網站需要登錄，才能獲取更多的資料，你得去登錄，你得把登錄的賬號密碼進行提交
有些網站登錄後需要保存cookie信息才能繼續獲取更多資料
url,url2
beautiul Soup
正則表達式
有了正則表達式才能更好的分割網頁信息，獲取我們想要的數據，所以正則表達式也是需要了解的.
一些重要的爬蟲庫
資料庫
爬取到的數據我們得有個地方來保存，可以使用文件，也可以使用資料庫，這里我會使用mysql，還有更適合爬蟲的MongoDB資料庫，以及分布式要用到的redis 資料庫
爬蟲框架
PySpider和Scrapy這兩個爬蟲框架是非常NB的,簡單的爬蟲可以使用urllib與urllib2以及正則表達式就能完成，但高級的爬蟲還得用這兩個框架。 這兩個框架需要另行安裝。後面一起學習.
反爬蟲
有時候你的網站數據想禁止別人爬取，可以做一些反爬蟲處理操作。 打比方網路上就無法去查找淘寶上的數據，這樣就避開了搜索引擎的競爭，淘寶就可以搞自己的一套競價排名
分布式爬蟲
使用多個redis實例來緩存各台主機上爬取的數據。
爬蟲要學的東西還是挺多的，想把爬蟲玩得666，基本就是這些知識點吧！
D. python網路爬蟲可以幹啥
Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。爬蟲就是自動遍歷一個網站的網頁，並把內容都下載下來