python在大数据中的应用

⑴ 为什么从事大数据行业，一定要学习python

你好，这主要是因为Python在处理大数据方面有着得天独厚的优势。
以后您如果再遇到类似的问题，可以按照下面的思路去解决：
1、发现问题:往往生活在世界中，时时刻刻都处在这各种各样的矛盾中，当某些矛盾放映到意识中时,个体才发现他是个问题，并要求设法去解决它。这就是发现问题的阶段。从问题的解决的阶段性看，这是第一阶段，是解决问题的前提。
2、分析问题:要解决所发现的问题，必须明确问题的性质，也就是弄清楚有哪些矛盾、哪些矛盾方面，他们之间有什么关系,以明确所要解决的问题要达到什么结果，所必须具备的条件、其间的关系和已具有哪些条件,从而找出重要的矛盾、关键矛盾之所在。
3、提出假设:在分析问题的基础上，提出解决问题的假设,即可采用的解决方案,其中包括采取什么原则和具体的途径和方法，但所有这些往往不是简单现成的，而且有多种多样的可能。但提出假设是问题解决的关键阶段，正确的假设引导问题顺利得到解决,不正确不恰当的假设则使问题的解决走弯路或导向歧途。
4、校验假设:假设只是提出n种可能解决方案,还不能保证问题必定能获得解决，所以问题解决的最后一步是对假设进行检验。不论哪种检验如果未能获得预期结果，必须重新另提出假设再进行检验，直至获得正确结果，问题才算解决。

⑵ Python能用来做什么

Python 语言主要有以下用途：
1) 简单：Python 是一种代表简单主义思想的语言。阅读一个良好的 Python 程序就感觉像是在读英语一样，尽管这个英语的要求非常严格。Python 的这种伪代码本质是其优点之一，使用户能够专注于解决问题而不是去搞明白语言本身。
2) 易学：Python 有极其简单的语法，非常容易上手。
3) 免费、开源：Python 是 FLOSS（自由/开源软件）之一。简单来说，用户可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS 是基于一个团体分享知识的概念，这也是为什么 Python 如此优秀的原因之一：它由一群希望看到 Python 更加优秀的人创造，并被他们不断改进。
4) 高层语言：使用 Python 语言编写程序时，不用考虑如何管理程序使用的内存等底层细节。
5) 可移植性强：由于它的开源本质，Python 已经被移植在许多平台上。如果 Python 程序没有使用依赖于系统的特性，那么程序不用修改就可以在下述任意平台上面运行。这些平台包括 Linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/390、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE、Pocket PC 和 Symbian。
6) 解释型语言：编译型语言（如 C 或 C++）源程序从源文件（即 C 或 C++ 语言）转换到二进制代码（即 0 和 1）的过程通过编译器和不同的标记、选项完成，当运行程序的时候，连接器把程序从硬盘复制到内存中并且运行。而 Python 程序不需要编译成二进制代码，直接从源代码运行程序。
在计算机内部，Python 解释器把源代码转换成字节码的中间形式，然后再把它翻译成计算机使用的机器语言并运行。因此，用户不再需要操心如何编译程序、如何确保指定了正确的模块或包文件等细节，所有这一切使得使用 Python 更加简单。同时，由于只需要把 Python 程序拷贝到另外一台计算机上即可工作，这也使得 Python 程序更加易于移植。
7) 面向对象：Python 既支持面向过程的编程也支持面向对象的编程。在面向过程的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在面向对象的语言中，程序是由数据和功能组合而成的对象构建起来的。与其他语言（如 C++ 和 java）相比，Python 以一种非常强大又简单的方式实现面向对象编程。
8) 可扩展性强：如果希望把一段关键代码运行得更快或希望某些算法不公开，可以使用 C 或 C++ 语言编写这部分程序，然后在 Python 程序中调用它们。
9) 可嵌入性强：可以把 Python 嵌入 C/C++ 程序，从而向用户提供脚本功能。
10) 丰富的扩展库：Python 扩展库很庞大，可以帮助处理包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、ftp、电子邮件、XML、XML-RPC、HTML、WAV 文件、密码系统、GUI（图形用户界面）、Tk 以及其他与系统有关的操作。只要安装了 Python，所有这些功能都是可用的，这被称作 Python 的“功能齐全”理念。除了扩展库以外，还有许多其他高质量的库，如 wxPython、Twisted 和 Python 图像库等。

⑶ Python可以应用在哪些领域

Python语言通俗易懂、简单易学、容易上手，而且具有丰富的第三方库，是非常不错的选择，应用领域也是非常广泛的，比如说：
1、人工智能：Python是人工智能的首选语言，选择人工智能作为就业方向是理所当然的。
2、大数据：Python在大数据上比java更加具有效率，大数据虽然难学，但是Python可以更好的和大数据进行对接，尤其是大数据分析这个方向。
3、网络爬虫：爬虫是进行数据采集的利器，利用Python可以更快的提升对数据抓取的精准程度和速度。
4、全栈工程师：全栈工程师是指掌握多种技能，并能利用多种技能独立完成产品的人，也叫全端工程师
5、自动化运维：运维工作者对Python的需求也很大;
6、自动化测试：Python十分高效，目前做自动化测试的大部分的工作者都需要学习Python帮助提高测试效率。用Python测试也可以说是测试人员必备的工具了。

⑷ Python在大数据领域是怎么来应用的

有些办法。比如使用array, numpy.array。 主要的思路是节约内存的使用，同时提高数据查询的效率。

如果能够注意这些内容，处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按maprece的思路。数据尽量在本地处理。所以算法上要优化。主要是分段。

不管怎么说。这几个方面所有的语言都是相同的。即使你用的是C语言也一样要考虑到这些。大数据因为量大，算法也需要改进。

对于不能改进的算法（好象还没有遇到）也只好用python接C的扩展模块了。 好在python与C有很好的接口。轻松就接上。

最近比较流行的方法是使用cython，一方面可以略略提高速度，另一方面与C有无缝的接口。

java在处理大数据方面速度与易用性略略占优势。C++也经常会使用在核心算法上。语言本身都不是问题。大部分时候大数据还是在处理算法本身而不是语言。

在原型阶段python很方便，快速，灵活。所以大数据处理中python是几种语言中最适合的。特别是早期探索阶段。业务与算法经常变更。到了后期基本上都是C++了。java比较适合工程化阶段。

⑸ Python 适合大数据量的处理吗

python可以处理大数据，python处理大数据不一定是最优的选择。适合大数据处理。而不是大数据量处理。 如果大数据量处理，需要采用并用结构，比如在hadoop上使用python，或者是自己做的分布式处理框架。

python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。

Python处理数据的优势（不是处理大数据）：

1. 异常快捷的开发速度，代码量巨少

2. 丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便

3. 内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）

4. 公司中，很大量的数据处理工作工作是不需要面对非常大的数据的

5. 巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python。

(5)python在大数据中的应用扩展阅读：

Python处理数据缺点：

Python处理大数据的劣势：

1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用（例如大dict）。

多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦

2、python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy（一个jit的python解释器，可以理解成脚本语言加速执行的东西）能够提高很大的速度，但是pypy不支持很多python经典的包，例如numpy。

3. 绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多。

参考资料来源：网络-Python

⑹ 为什么大数据用python

Python 已经成为较受欢迎的程序设计语言之一。自从2004年以后，python的使用率呈线性增长。2011年1月，它被TIOBE编程语言排行榜评为2010年度语言。由于Python语言的简洁性、易读性以及可扩展性，在国外用Python做科学计算的研究机构日益增多，一些知名大学已经采用Python来教授程序设计课程。

数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是较重要的语言。

那么，今天我们就来分析一下，Python之于大数据的意义和作用。

相关推荐：《Python入门教程》

什么是大数据？

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

为什么是python大数据？

从大数据的网络介绍上看到，大数据想要成为信息资产，需要有两步，一是数据怎么来，二是数据处理。

数据怎么来：

在数据怎么来这个问题上，数据挖掘无疑是很多公司或者个人的优选，毕竟大部分公司或者个人是没有能力产生这么多数据的，只能是挖掘互联网上的相关数据。

网络爬虫是Python的传统强势领域，较流行的爬虫框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能够独当一面的类库。

当然，网络爬虫并不仅仅只是打开网页，解析HTML怎么简单。高效的爬虫要能够支持大量灵活的并发操作，常常要能够同时几千甚至上万个网页同时抓取，传统的线程池方式资源浪费比较大，线程数上千之后系统资源基本上就全浪费在线程调度上了。

Python由于能够很好的支持协程(Coroutine)操作，基于此发展起来很多并发库，如Gevent，Eventlet，还有Celery之类的分布式任务框架。被认为是比AMQP更高效的ZeroMQ也是较早就提供了Python版本。有了对高并发的支持，网络爬虫才真正可以达到大数据规模。

数据处理：

有了大数据，那么也需要处理，才能找到适合自己的数据。而在数据处理方向，Python也是数据科学家较喜欢的语言之一，这是因为Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直接用在产品中，这对于大数据初创公司节省成本是非常有帮助的。

正是因为这些原因，才让python语言成为很多公司处理大数据的优选。加之python本身具有简单、易学、库多等原因，让越来越多的人选择转行python开发。

⑺ python可以应用在哪些领域

① Web开发：众多大型网站均为 python 开发。
豆瓣：公司几乎所有的业务均是通过 python 开发的
知乎：国内最大的问答社区，通过 python 开发(Quora) 春雨医生：国内知名的在线医疗网站是用 python 开发的
还有搜狐、金山、腾讯、盛大、网易、网络、阿里、淘宝、薯仔、新浪、果壳等公司都在使用 python 完成各种各样的任务。
国外的网站：
谷歌：Google App Engine、code.Google.com、Google earth、谷歌爬虫、Google 广告等项目都在大量使用 python 开发
CIA：美国中情局网站就是用 python 开发的
NASA：美国航天局(NASA)大量使用 python 进行数据分析和运算
YouTube：世界上最大的视频网站 YouTube 就是 python 开发的
Dropbox：美国最大的在线云存储网站，全部用 python 实现，每天网站处理 10 亿个文件的上传和下载
Instagram：美国最大的图片分享社交网站，每天超过 3 千万张照片被分享，全部用 python 开发
Facebook：大量的基础库均通过 python 实现的
Redhat：世界上最流行的 Linux 发新版本中的 yum 包管理工具就是用 python 开发的
② 爬虫：
现在是大数据时代，爬虫是属于运营的比较多的一个场景吧,比如谷歌的爬虫早期就是用跑Python写的，如果你对采集数据、处理数据感兴趣，爬虫工程师将会是一个很好的选择。
③ 数据分析：
一般我们用爬虫爬到了大量的数据之后，我们需要处理数据用来分析，不然爬虫白爬了，我们最终的目的就是分析数据，在这方面关于数据分析的库也是非常的丰富的，各种图形分析图等都可以做出来。也是非常的方便，其中诸如Seaborn这样的可视化库，能够仅仅使用一两行就对数据进行绘图，而利Pandas和Numpy、scipy则可以简单地对大量数据进行筛选、回归等计算。
④ 人工智能：
Python近年来被人们熟知的主要原因就是人工智能领域的兴起。
Python在科学计算领域一直有着较好的声誉，其简洁清晰的语法以及丰富的计算工具，深受此领域开发者喜爱。
python 由于具有编写简单、改动少等特点。特别适合用在机器学习方向。并且提供了丰富的库。减少了学习人工智能的成本。

⑻ 大数据与python有什么关系，学完大数据以后能做Python吗

大数据可以看作一门学科，python是一种编程语言，大数据的课程安排中肯定包含python学习。

给你举个例子：南京北大青鸟大数据学习需要掌握：Java编程基础，Hadoop生态圈，Spark相关技术，Python，项目开发实战，系统管理优化，企业使用阿里云平台开发所需要的技术等。

毕业后可以从事python相关工作。

⑼ Python编程能用在哪些方面

1、web开发：python的诞生历史比web还要早，python是解释型编程语言，开发效率高，非常适合进行web开发。它有上百种web开发框架，有很多成熟的模板技术，选择python开发web应用，不但开发效率高，速度也是非常快的。常用的web开发框架有：Django、Flask、Tornado 等。
2、网络爬虫：网络爬虫是python非常常见的一个场景，国际上其实google在早期大量地使用Python语言作为网络爬虫的基础，推动python发展，以前国内很多人采集网上的内容，现在就可以用python来实现了。
3、人工智能：人工智能是非常火的一个方向，AI浪潮让python语言未来充满潜力。现在python有很多库都是针对人工智能的，比如numpy,
scipy做数值计算的，sklearn做机器学习的，pybrain做神经网络等。在人工智能领域，数据分析、机器学习、神经网络、深度学习等都是主流语言。
4、数据分析：数据分析处理方面，python有非常完备的生态环境。大数据分析涉及到分布式计算、数据可视化、数据库操作等，python都有成熟的模板可以完成其功能，对于Hadoop-MapRece和Spark，都可以直接使用Python完成计算逻辑，是非常便利的。
5、自动化运维：python对于服务器是非常重要的，目前几乎所有Linux发行版本中都带有python编辑器，使用python脚本进行批量化文件部署和运行调整都成了Linux服务器很不错的选择。python有很多方便的工具，比如说调控ssh/sftp用的paramiko，到监控服务用的supervisor等，让运维变得更加简单。

⑽ Python可以做大数据吗

Python是数据科学家十分喜爱的编程语言，其内置了很多由C语言编写的库，操作起来更加方便，Python在网络爬虫的传统应用领域，在大数据的抓取方面具有先天优势，目前，最流行的爬虫框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能够独当一面的Python类库。

相关推荐：《Python基础教程》

Python十分适合数据抓取工作，对于大数据的处理，具有一定的局限性：

Python在大数据处理方面的优势：

1. 异常快捷的开发速度，代码量少；

2. 丰富的数据处理包，使用十分方便；

3. 内部类型使用成本低；

4. 百万级别数据可以采用Python处理。

Python在大数据处理方面的劣势：

1. python线程有gil，多线程的时候只能在一个核上跑，浪费了多核服务器；

2. python执行效率不高，在处理大数据的时候，效率不高；

3. 10亿级别以上的数据Python效率低。

Python适合大数据的抓取、载入和分发，相比于其他语言更加简单、高效；求一些常用的统计量和求一些基本算法的结果，Python也有现成的高效的库，但是针对大数据处理，Python具有一定的局限于，因此，涉及大数据处理时，可以用Python做整个流程的框架，核心CPU密集操作可以采用C语言等编程语言！