python开发spark

A. 学习python开发可以从事哪些岗位

下面我们来说一下Python具体的工作岗位以及其岗位要求：

Python后台开发工程师：主要是负责搭建和改进平台产品的后台，并与前端开发工程师相互配合完成整体产品的开发工作。要求工程师具备至少一门Python Web开发框架（Tornado、Django、Flask等），了解并熟悉Mysql/Redis/MongoDB。还要熟悉分布式、微服务、高性能Web服务的开发。

Python爬虫开发工程师：爬虫开发工程师并非我们预想的那样，只是负责为公司爬取相对应的数据内容。爬虫开发工程师主要负责对传统网页、SNS及微博等各种网站信息高效采集与正确解析，然后对用户数据进行整理分析，参与建模的构建，总结分析不同网站、网页的结构特点及规律，负责爬虫架构设计和研发，参与爬虫核心算法和策略优化研究。需要开发工程师熟悉了解robot规则、selenium、mitmproxy、pymouse等内容。当然作为爬虫开发工程师一定要有一定的职业情况，所有工作都需要在合理合法的需求下进行。

Python全栈开发工程师：是指可以使用Python相关工具，独立完成网站开发，称之为全栈开发。全栈开发工程师需要掌握非常多的技能，包括：项目管理、前后端开发、界面设计、产品设计、数据库开发、多端产品等等。

自动化运维工程师：是在基本的运维工作的基础上，实现运维工作的自动化，并且对自动化程序进行优化提升。需要从业者在掌握基本的运营工作的前提下，掌握Python中的IPy、Ansible、Saltstack等常用模块。

自动化测试工程师：首要要完成测试的基本工作，包括测试计划、测试用例、黑盒测试、性能测试等等。其次要是完成产品的自动化测试的部署以及维护工作，并且不断尝试新的方法，新的工具，以提高测试的效率。需要掌握Python以及selenium相关的技能。

数据分析师：指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。需要从业者了解行业相关业务知识、相关管理工作、掌握足够的数据分析方法、了解数据分析工具使用、能够完成数据分析建模等，工作内容偏重于分析，同样也要掌握一定的开发能力，例如R语言和Python语言。

数据分析开发工程师：根据数据分析师的建模完成数据相关的开发工作，搭建仓库、完成数据存储、数据处理、计算处理以及报表开发等工作。需要从业者熟练应用数据库、数据建模开发、Python相关数据科学知识等技能。

人工智能开发工程师：根据企业人工智能AI相关的开发需求，完成相应产品或者功能开发。需要从业者掌握充分的数据理论基础、Python开发基础、机器学习理论与实践、深度学习理论与实践、自然语言处理等一系列相关的开发技能。

Python游戏开发工程师：主要负责游戏服务端的逻辑开发。需要从业者掌握Python各种性能优化方法、soket网络编程知识、运维相关基础知识、以及Python相关的游戏开发库与框架。此外还可以将Python开发相关工作按照岗位晋升分为初级Python开发工程师、中级Python开发工程师、高级Python开发工程师、项目经理、架构师、CTO等。主要是根据从业者工作年限，在某个就业方向的工作经验以及解决问题的能力进行定位。

无论是哪个就业方向，扎实的学习好Python相关知识是重中之重，在互联网行业，无论是大厂还是创业创新的公司，招聘人才的最核心要求是技术能力，只有自己的能力和岗位匹配的时候，才能获得更多的工作机会。

B. 如何运行含spark的python脚本

1、Spark脚本提交/运行/部署1.1spark-shell（交互窗口模式）运行Spark-shell需要指向申请资源的standalonespark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell启动完后，可以在交互窗口中输入Scala命令，进行操作，其中spark-shell已经默认生成sc对象，可以用：valuser_rdd1=sc.textFile(inputpath,10)读取数据资源等。1.2spark-shell（脚本运行模式）上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077

C. 用Python语言写Spark

Spark 是一种广泛使用的大数据处理框架，PySpark 是其与 Python 的集成接口，允许开发者用 Python 语言编写 Spark 程序。我们将通过一个简单的字符统计程序来探索如何使用 PySpark 来进行基本的操作。首先，我们需要准备一个名为 a.csv 的文件。这个文件包含了我们要分析的数据。接着，使用编辑器，如 IntelliJ IDEA 新建一个文件名 `myfirstpyspark.py`。在启动 PySpark 程序之前，需要初始化 SparkSession 对象，它是所有操作的起点。对于本地单机模式，使用 "local[*]" 表示使用所有 CPU 核心，这种模式通常能满足开发阶段的需求，并且实现多线程并行运行，使代码编写过程变得简单。Spark 还支持其他分布式模式，如 Standalone，Yarn 和 Mesos 等。

构建好 session 后，我们可以开始进行文件读取。首先，让我们读取我们的 CSV 文件。通过使用 `session.read` 函数，可以创建一个读对象。同时，还可以根据文件类型，如 parquet、json 或 elasticsearch，选择对应的读取对象。通常，读取 CSV 文件时需要设置一些参数，例如是否包含头部（默认是 True）和 CSV 的结构（字段名称和类型）。

创建好 DataFrame 后，我们就可以进行数据操作。在这个例子中，我们想要统计文件中每个词的出现次数。在 PySpark 中，这可以通过一行代码轻松实现。在代码中引入 `pyspark.sql.functions as f`，方便使用内置的 UDF 函数。在这里，我们对文本字段进行分割，使用 explode 函数展开为多行，并命名为 `word`。然后，通过 groupBy 和 count 函数进行聚合统计。 若要对结果进行排序，我们同样可以轻松实现这一操作。

若需要自定义函数以满足特殊需求，PySpark 支持通过定义普通的 Python 函数来创建 UDF，然后在代码中使用它，以提供更为灵活的数据处理能力。通过这些高级用法，可以极大地增强 PySpark 应用程序的威力。

在完成所有的代码编写后，只需通过指定的命令来运行这个 PySpark 程序即可开始数据处理和分析过程。至此，我们已经完成了从基本的文件读取到数据分析的全过程，能够使用 PySpark 开发复杂应用，并且通过自定义 UDF 函数来处理各种特定需求。这个示例展示了 PySpark 的强大功能，使其成为大数据处理领域中不可或缺的工具。