python大数据

① 大数据和python有关系吗

什么是大数据?无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
为什么说Python大数据？
大数据涉及数据挖掘以及数据处理，而Python是数据最佳注解，这就是Python和大数据的联系。
数据挖掘无疑是很多公司或者个人的首选，毕竟大部分公司都没有生产数据的能力，所以只能依靠数据挖掘。而网络爬虫是Python传统强势领域，拥有爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具beautifulsoup、XML解析器lxml等。
Python由于能够很好地支持协程操作，基于此发展起来很多并发库，比如说Gevent、Eventlet等框架，有了对高并发的支持，网络爬虫才是真正达到大数据规模。
数据处理，有了数据之后我们还需要进行处理，才可以找到适合自己的数据。在数据处理方面，Python也是数据科学家最喜欢的语言之一，这是因为Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直接应用，更加省事。
也正因为种种原因，让Python语言成为很多公司处理大数据的首选。

② python为什么适合大数据

因为方便啊。
在大数据面前，用什么语言开发，执行起来都需要很长时间，都是慢。
那么，执行速度方面已经没有意义了，写起来舒服的好处就凸显出来了。
试想一下，对于一个大数据任务，你用C写的程序要跑两个小时，别人用python写的要跑四个小时，没人会盯首屏幕两个小时，所以一般都会晚上下班时开始跑，第二天早上来看结果。那么，对于一个晚上的时间来说，两个小时和四个小时，是没有差别的，第二天早上你都一样可以看到结果。
在这种情况下，python的方便灵活就比C的艰深晦涩有吸引力了。

③ 学python好还是大数据好

本人学习大数据时间不久，2年左右吧，只能从个人经验给你一点建议，希望你少走一点弯路。
首先，你说到你刚接触大数据，你要明白大数据范围超级广，你具体想要学习哪个方向呢？数据挖掘？还是机器学习深度学习？亦或nlp（自然语言处理）？（我主要学数据挖掘，呜啦啦啦）
我给所有问我大数据该怎么入门的人都会有如下建议：学好数学！学好数学！学好数学！重要的事说三遍，不然你怎么理解各种模型的构建？所以从理解算法开始，什么svn啦，knn啦，k means啦，总之各种聚类分类的算法，把它搞懂，绝对有用。
扯远了，不好意思…言归正传，回到语言的选择问题。java和python这两个语言，我给你从这几个方面解释一下：
1. python是脚本语言，无需编译，java则是需要编译的语言
2. 我在letitcode（大概是这么拼）上测试过好多次，同一个功能的程序竟然是java性能好很多
3. 平时我们做项目，都是用python写个demo去测试，真正发行的版本，是用java写的
4. 许多大数据平台（如spark），都提供多种语言的接口，所以你不用担心学一种语言没处用的问题
看到了吧？python和java的地位差别在企业中就是一个低一个高，氮素！以我个人的观点来看，我还是建议你先学python。
为啥腻？我可不是要坑你，而是因为：
1. 很多java中几行的代码，python中一行就搞定，学会了python，还怕学不会java？
2. python上手快，简洁事儿少
3. （个人经验）我学数据挖掘入门是用的scikit-learn（一个python库），当时用的超爽的好吧！几分钟搞个模型出来。当然现在看来那不算什么啦，可当时真的体验很好，特有成就感。相反拿java写程序我就各种别扭，总觉得啰嗦得很
4. 其实，我觉得scala更适合大数据…linkedin后台好像就是它写的，但是我觉得scala难，再加上种种原因，一直没来得及学
以上就是我的看法。
最后给你推荐个小工具：jupyter notebook，一个在线交互式编译器，不但支持python在线编译，还支持matplotlib及各种绘图库哦！在你前期做数据清洗和特征提取的时候很有用。

④ 如何使用Python分析大数据

互联网创业离不开数据，如果能自己做个数据爬虫，那岂不是一件很美好的事情吗？
其实自己做数据挖掘不是梦，学点Python的基本功能，5步就能让你成为一个爬虫高手！

⑤ PYTHON是大数据吗

不是，Python不是大数据，Python是一门计算机编程语言，可用于数据分析、数据处理等领域。

⑥ python支持大数据框架吗

百万级别数据是小数据，python处理起来不成问题，但python处理数据还是有些问题的

Python处理大数据的劣势：

1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用（例如大dict），多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦

2、python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy（一个jit的python解释器，可以理解成脚本语言加速执行的东西）能够提高很大的速度，但是pypy不支持很多python经典的包，例如numpy（顺便给pypy做做广告，土豪可以捐赠一下PyPy - Call for donations）

3、绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多

Python处理数据的优势（不是处理大数据）：

1、异常快捷的开发速度，代码量巨少

2、丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便

3、内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）

4、公司中，很大量的数据处理工作工作是不需要面对非常大的数据的

5、巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi。。。。）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python

6、编码问题处理起来太太太方便了

综上所述：

1、python可以处理大数据

2、python处理大数据不一定是最优的选择

3. python和其他语言（公司主推的方式）并行使用是非常不错的选择

4. 因为开发速度，你如果经常处理数据，而且喜欢linux终端，而且经常处理不大的数据（100m一下），最好还是学一下python

⑦ Python在大数据领域是怎么来应用的

有些办法。比如使用array, numpy.array。 主要的思路是节约内存的使用，同时提高数据查询的效率。

如果能够注意这些内容，处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按maprece的思路。数据尽量在本地处理。所以算法上要优化。主要是分段。

不管怎么说。这几个方面所有的语言都是相同的。即使你用的是C语言也一样要考虑到这些。大数据因为量大，算法也需要改进。

对于不能改进的算法（好象还没有遇到）也只好用python接C的扩展模块了。 好在python与C有很好的接口。轻松就接上。

最近比较流行的方法是使用cython，一方面可以略略提高速度，另一方面与C有无缝的接口。

java在处理大数据方面速度与易用性略略占优势。C++也经常会使用在核心算法上。语言本身都不是问题。大部分时候大数据还是在处理算法本身而不是语言。

在原型阶段python很方便，快速，灵活。所以大数据处理中python是几种语言中最适合的。特别是早期探索阶段。业务与算法经常变更。到了后期基本上都是C++了。java比较适合工程化阶段。

⑧ Python 适合大数据量的处理吗

python可以处理大数据，python处理大数据不一定是最优的选择。适合大数据处理。而不是大数据量处理。 如果大数据量处理，需要采用并用结构，比如在hadoop上使用python，或者是自己做的分布式处理框架。

python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。

Python处理数据的优势（不是处理大数据）：

1. 异常快捷的开发速度，代码量巨少

2. 丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便

3. 内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）

4. 公司中，很大量的数据处理工作工作是不需要面对非常大的数据的

5. 巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python。

(8)python大数据扩展阅读：

Python处理数据缺点：

Python处理大数据的劣势：

1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用（例如大dict）。

多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦

2、python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy（一个jit的python解释器，可以理解成脚本语言加速执行的东西）能够提高很大的速度，但是pypy不支持很多python经典的包，例如numpy。

3. 绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多。

参考资料来源：网络-Python