python大數據

① 大數據和python有關系嗎

什麼是大數據?無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
為什麼說Python大數據？
大數據涉及數據挖掘以及數據處理，而Python是數據最佳註解，這就是Python和大數據的聯系。
數據挖掘無疑是很多公司或者個人的首選，畢竟大部分公司都沒有生產數據的能力，所以只能依靠數據挖掘。而網路爬蟲是Python傳統強勢領域，擁有爬蟲框架Scrapy、HTTP工具包urlib2、HTML解析工具beautifulsoup、XML解析器lxml等。
Python由於能夠很好地支持協程操作，基於此發展起來很多並發庫，比如說Gevent、Eventlet等框架，有了對高並發的支持，網路爬蟲才是真正達到大數據規模。
數據處理，有了數據之後我們還需要進行處理，才可以找到適合自己的數據。在數據處理方面，Python也是數據科學家最喜歡的語言之一，這是因為Python本身就是一門工程性語言，數據科學家用Python實現的演算法，可以直接應用，更加省事。
也正因為種種原因，讓Python語言成為很多公司處理大數據的首選。

② python為什麼適合大數據

因為方便啊。
在大數據面前，用什麼語言開發，執行起來都需要很長時間，都是慢。
那麼，執行速度方面已經沒有意義了，寫起來舒服的好處就凸顯出來了。
試想一下，對於一個大數據任務，你用C寫的程序要跑兩個小時，別人用python寫的要跑四個小時，沒人會盯首屏幕兩個小時，所以一般都會晚上下班時開始跑，第二天早上來看結果。那麼，對於一個晚上的時間來說，兩個小時和四個小時，是沒有差別的，第二天早上你都一樣可以看到結果。
在這種情況下，python的方便靈活就比C的艱深晦澀有吸引力了。

③ 學python好還是大數據好

本人學習大數據時間不久，2年左右吧，只能從個人經驗給你一點建議，希望你少走一點彎路。
首先，你說到你剛接觸大數據，你要明白大數據范圍超級廣，你具體想要學習哪個方向呢？數據挖掘？還是機器學習深度學習？亦或nlp（自然語言處理）？（我主要學數據挖掘，嗚啦啦啦）
我給所有問我大數據該怎麼入門的人都會有如下建議：學好數學！學好數學！學好數學！重要的事說三遍，不然你怎麼理解各種模型的構建？所以從理解演算法開始，什麼svn啦，knn啦，k means啦，總之各種聚類分類的演算法，把它搞懂，絕對有用。
扯遠了，不好意思…言歸正傳，回到語言的選擇問題。java和python這兩個語言，我給你從這幾個方面解釋一下：
1. python是腳本語言，無需編譯，java則是需要編譯的語言
2. 我在letitcode（大概是這么拼）上測試過好多次，同一個功能的程序竟然是java性能好很多
3. 平時我們做項目，都是用python寫個demo去測試，真正發行的版本，是用java寫的
4. 許多大數據平台（如spark），都提供多種語言的介面，所以你不用擔心學一種語言沒處用的問題
看到了吧？python和java的地位差別在企業中就是一個低一個高，氮素！以我個人的觀點來看，我還是建議你先學python。
為啥膩？我可不是要坑你，而是因為：
1. 很多java中幾行的代碼，python中一行就搞定，學會了python，還怕學不會java？
2. python上手快，簡潔事兒少
3. （個人經驗）我學數據挖掘入門是用的scikit-learn（一個python庫），當時用的超爽的好吧！幾分鍾搞個模型出來。當然現在看來那不算什麼啦，可當時真的體驗很好，特有成就感。相反拿java寫程序我就各種別扭，總覺得啰嗦得很
4. 其實，我覺得scala更適合大數據…linkedin後台好像就是它寫的，但是我覺得scala難，再加上種種原因，一直沒來得及學
以上就是我的看法。
最後給你推薦個小工具：jupyter notebook，一個在線互動式編譯器，不但支持python在線編譯，還支持matplotlib及各種繪圖庫哦！在你前期做數據清洗和特徵提取的時候很有用。

④ 如何使用Python分析大數據

互聯網創業離不開數據，如果能自己做個數據爬蟲，那豈不是一件很美好的事情嗎？
其實自己做數據挖掘不是夢，學點Python的基本功能，5步就能讓你成為一個爬蟲高手！

⑤ PYTHON是大數據嗎

不是，Python不是大數據，Python是一門計算機編程語言，可用於數據分析、數據處理等領域。

⑥ python支持大數據框架嗎

百萬級別數據是小數據，python處理起來不成問題，但python處理數據還是有些問題的

Python處理大數據的劣勢：

1、python線程有gil，通俗說就是多線程的時候只能在一個核上跑，浪費了多核伺服器。在一種常見的場景下是要命的：並發單元之間有巨大的數據共享或者共用（例如大dict），多進程會導致內存吃緊，多線程則解決不了數據共享的問題，單獨的寫一個進程之間負責維護讀寫這個數據不僅效率不高而且麻煩

2、python執行效率不高，在處理大數據的時候，效率不高，這是真的，pypy（一個jit的python解釋器，可以理解成腳本語言加速執行的東西）能夠提高很大的速度，但是pypy不支持很多python經典的包，例如numpy（順便給pypy做做廣告，土豪可以捐贈一下PyPy - Call for donations）

3、絕大部分的大公司，用java處理大數據不管是環境也好，積累也好，都會好很多

Python處理數據的優勢（不是處理大數據）：

1、異常快捷的開發速度，代碼量巨少

2、豐富的數據處理包，不管正則也好，html解析啦，xml解析啦，用起來非常方便

3、內部類型使用成本巨低，不需要額外怎麼操作（java，c++用個map都很費勁）

4、公司中，很大量的數據處理工作工作是不需要面對非常大的數據的

5、巨大的數據不是語言所能解決的，需要處理數據的框架（hadoop， mpi。。。。）雖然小眾，但是python還是有處理大數據的框架的，或者一些框架也支持python

6、編碼問題處理起來太太太方便了

綜上所述：

1、python可以處理大數據

2、python處理大數據不一定是最優的選擇

3. python和其他語言（公司主推的方式）並行使用是非常不錯的選擇

4. 因為開發速度，你如果經常處理數據，而且喜歡linux終端，而且經常處理不大的數據（100m一下），最好還是學一下python

⑦ Python在大數據領域是怎麼來應用的

有些辦法。比如使用array, numpy.array。 主要的思路是節約內存的使用，同時提高數據查詢的效率。

如果能夠注意這些內容，處理幾個GB的數據還是輕松的。 接下來就是分布式計算。 按maprece的思路。數據盡量在本地處理。所以演算法上要優化。主要是分段。

不管怎麼說。這幾個方面所有的語言都是相同的。即使你用的是C語言也一樣要考慮到這些。大數據因為量大，演算法也需要改進。

對於不能改進的演算法（好象還沒有遇到）也只好用python接C的擴展模塊了。 好在python與C有很好的介面。輕松就接上。

最近比較流行的方法是使用cython，一方面可以略略提高速度，另一方面與C有無縫的介面。

java在處理大數據方面速度與易用性略略占優勢。C++也經常會使用在核心演算法上。語言本身都不是問題。大部分時候大數據還是在處理演算法本身而不是語言。

在原型階段python很方便，快速，靈活。所以大數據處理中python是幾種語言中最適合的。特別是早期探索階段。業務與演算法經常變更。到了後期基本上都是C++了。java比較適合工程化階段。

⑧ Python 適合大數據量的處理嗎

python可以處理大數據，python處理大數據不一定是最優的選擇。適合大數據處理。而不是大數據量處理。 如果大數據量處理，需要採用並用結構，比如在hadoop上使用python，或者是自己做的分布式處理框架。

python的優勢不在於運行效率，而在於開發效率和高可維護性。針對特定的問題挑選合適的工具，本身也是一項技術能力。

Python處理數據的優勢（不是處理大數據）：

1. 異常快捷的開發速度，代碼量巨少

2. 豐富的數據處理包，不管正則也好，html解析啦，xml解析啦，用起來非常方便

3. 內部類型使用成本巨低，不需要額外怎麼操作（java，c++用個map都很費勁）

4. 公司中，很大量的數據處理工作工作是不需要面對非常大的數據的

5. 巨大的數據不是語言所能解決的，需要處理數據的框架（hadoop， mpi）雖然小眾，但是python還是有處理大數據的框架的，或者一些框架也支持python。

(8)python大數據擴展閱讀：

Python處理數據缺點：

Python處理大數據的劣勢：

1、python線程有gil，通俗說就是多線程的時候只能在一個核上跑，浪費了多核伺服器。在一種常見的場景下是要命的：並發單元之間有巨大的數據共享或者共用（例如大dict）。

多進程會導致內存吃緊，多線程則解決不了數據共享的問題，單獨的寫一個進程之間負責維護讀寫這個數據不僅效率不高而且麻煩

2、python執行效率不高，在處理大數據的時候，效率不高，這是真的，pypy（一個jit的python解釋器，可以理解成腳本語言加速執行的東西）能夠提高很大的速度，但是pypy不支持很多python經典的包，例如numpy。

3. 絕大部分的大公司，用java處理大數據不管是環境也好，積累也好，都會好很多。

參考資料來源：網路-Python