python開發spark

A. 學習python開發可以從事哪些崗位

下面我們來說一下Python具體的工作崗位以及其崗位要求：

Python後台開發工程師：主要是負責搭建和改進平台產品的後台，並與前端開發工程師相互配合完成整體產品的開發工作。要求工程師具備至少一門Python Web開發框架（Tornado、Django、Flask等），了解並熟悉Mysql/Redis/MongoDB。還要熟悉分布式、微服務、高性能Web服務的開發。

Python爬蟲開發工程師：爬蟲開發工程師並非我們預想的那樣，只是負責為公司爬取相對應的數據內容。爬蟲開發工程師主要負責對傳統網頁、SNS及微博等各種網站信息高效採集與正確解析，然後對用戶數據進行整理分析，參與建模的構建，總結分析不同網站、網頁的結構特點及規律，負責爬蟲架構設計和研發，參與爬蟲核心演算法和策略優化研究。需要開發工程師熟悉了解robot規則、selenium、mitmproxy、pymouse等內容。當然作為爬蟲開發工程師一定要有一定的職業情況，所有工作都需要在合理合法的需求下進行。

Python全棧開發工程師：是指可以使用Python相關工具，獨立完成網站開發，稱之為全棧開發。全棧開發工程師需要掌握非常多的技能，包括：項目管理、前後端開發、界面設計、產品設計、資料庫開發、多端產品等等。

自動化運維工程師：是在基本的運維工作的基礎上，實現運維工作的自動化，並且對自動化程序進行優化提升。需要從業者在掌握基本的運營工作的前提下，掌握Python中的IPy、Ansible、Saltstack等常用模塊。

自動化測試工程師：首要要完成測試的基本工作，包括測試計劃、測試用例、黑盒測試、性能測試等等。其次要是完成產品的自動化測試的部署以及維護工作，並且不斷嘗試新的方法，新的工具，以提高測試的效率。需要掌握Python以及selenium相關的技能。

數據分析師：指的是不同行業中，專門從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。需要從業者了解行業相關業務知識、相關管理工作、掌握足夠的數據分析方法、了解數據分析工具使用、能夠完成數據分析建模等，工作內容偏重於分析，同樣也要掌握一定的開發能力，例如R語言和Python語言。

數據分析開發工程師：根據數據分析師的建模完成數據相關的開發工作，搭建倉庫、完成數據存儲、數據處理、計算處理以及報表開發等工作。需要從業者熟練應用資料庫、數據建模開發、Python相關數據科學知識等技能。

人工智慧開發工程師：根據企業人工智慧AI相關的開發需求，完成相應產品或者功能開發。需要從業者掌握充分的數據理論基礎、Python開發基礎、機器學習理論與實踐、深度學習理論與實踐、自然語言處理等一系列相關的開發技能。

Python游戲開發工程師：主要負責游戲服務端的邏輯開發。需要從業者掌握Python各種性能優化方法、soket網路編程知識、運維相關基礎知識、以及Python相關的游戲開發庫與框架。此外還可以將Python開發相關工作按照崗位晉升分為初級Python開發工程師、中級Python開發工程師、高級Python開發工程師、項目經理、架構師、CTO等。主要是根據從業者工作年限，在某個就業方向的工作經驗以及解決問題的能力進行定位。

無論是哪個就業方向，扎實的學習好Python相關知識是重中之重，在互聯網行業，無論是大廠還是創業創新的公司，招聘人才的最核心要求是技術能力，只有自己的能力和崗位匹配的時候，才能獲得更多的工作機會。

B. 如何運行含spark的python腳本

1、Spark腳本提交/運行/部署1.1spark-shell（交互窗口模式）運行Spark-shell需要指向申請資源的standalonespark集群信息，其參數為MASTER，還可以指定executor及driver的內存大小。sudospark-shell--executor-memory5g--driver-memory1g--masterspark://192.168.180.216:7077spark-shell啟動完後，可以在交互窗口中輸入Scala命令，進行操作，其中spark-shell已經默認生成sc對象，可以用：valuser_rdd1=sc.textFile(inputpath,10)讀取數據資源等。1.2spark-shell（腳本運行模式）上面方法需要在交互窗口中一條一條的輸入scala程序；將scala程序保存在test.scala文件中，可以通過以下命令一次運行該文件中的程序代碼：sudospark-shell--executor-memory5g--driver-memory1g--masterspark//192.168.180.216:7077

C. 用Python語言寫Spark

Spark 是一種廣泛使用的大數據處理框架，PySpark 是其與 Python 的集成介面，允許開發者用 Python 語言編寫 Spark 程序。我們將通過一個簡單的字元統計程序來探索如何使用 PySpark 來進行基本的操作。首先，我們需要准備一個名為 a.csv 的文件。這個文件包含了我們要分析的數據。接著，使用編輯器，如 IntelliJ IDEA 新建一個文件名 `myfirstpyspark.py`。在啟動 PySpark 程序之前，需要初始化 SparkSession 對象，它是所有操作的起點。對於本地單機模式，使用 "local[*]" 表示使用所有 CPU 核心，這種模式通常能滿足開發階段的需求，並且實現多線程並行運行，使代碼編寫過程變得簡單。Spark 還支持其他分布式模式，如 Standalone，Yarn 和 Mesos 等。

構建好 session 後，我們可以開始進行文件讀取。首先，讓我們讀取我們的 CSV 文件。通過使用 `session.read` 函數，可以創建一個讀對象。同時，還可以根據文件類型，如 parquet、json 或 elasticsearch，選擇對應的讀取對象。通常，讀取 CSV 文件時需要設置一些參數，例如是否包含頭部（默認是 True）和 CSV 的結構（欄位名稱和類型）。

創建好 DataFrame 後，我們就可以進行數據操作。在這個例子中，我們想要統計文件中每個詞的出現次數。在 PySpark 中，這可以通過一行代碼輕松實現。在代碼中引入 `pyspark.sql.functions as f`，方便使用內置的 UDF 函數。在這里，我們對文本欄位進行分割，使用 explode 函數展開為多行，並命名為 `word`。然後，通過 groupBy 和 count 函數進行聚合統計。 若要對結果進行排序，我們同樣可以輕松實現這一操作。

若需要自定義函數以滿足特殊需求，PySpark 支持通過定義普通的 Python 函數來創建 UDF，然後在代碼中使用它，以提供更為靈活的數據處理能力。通過這些高級用法，可以極大地增強 PySpark 應用程序的威力。

在完成所有的代碼編寫後，只需通過指定的命令來運行這個 PySpark 程序即可開始數據處理和分析過程。至此，我們已經完成了從基本的文件讀取到數據分析的全過程，能夠使用 PySpark 開發復雜應用，並且通過自定義 UDF 函數來處理各種特定需求。這個示例展示了 PySpark 的強大功能，使其成為大數據處理領域中不可或缺的工具。