python运维项目

㈠ python就业方向有哪些

① Web开发：众多大型网站均为 python 开发。

豆瓣：公司几乎所有的业务均是通过 python 开发的

知乎：国内最大的问答社区，通过 python 开发(Quora) 春雨医生：国内知名的在线医疗网站是用 python 开发的

还有搜狐、金山、腾讯、盛大、网易、网络、阿里、淘宝、薯仔、新浪、果壳等公司都在使用 python 完成各种各样的任务。

国外的网站：

谷歌：Google App Engine、code.Google.com、Google earth、谷歌爬虫、Google 广告等项目都在大量使用 python 开发

CIA：美国中情局网站就是用 python 开发的

NASA：美国航天局(NASA)大量使用 python 进行数据分析和运算

YouTube：世界上最大的视频网站 YouTube 就是 python 开发的

Dropbox：美国最大的在线云存储网站，全部用 python 实现，每天网站处理 10 亿个文件的上传和下载

Instagram：美国最大的图片分享社交网站，每天超过 3 千万张照片被分享，全部用 python 开发

Facebook：大量的基础库均通过 python 实现的

Redhat：世界上最流行的 linux 发新版本中的 yum 包管理工具就是用 python 开发的

② 爬虫：

现在是大数据时代，爬虫是属于运营的比较多的一个场景吧,比如谷歌的爬虫早期就是用跑Python写的，如果你对采集数据、处理数据感兴趣，爬虫工程师将会是一个很好的选择。

③ 数据分析：

一般我们用爬虫爬到了大量的数据之后，我们需要处理数据用来分析，不然爬虫白爬了，我们最终的目的就是分析数据，在这方面关于数据分析的库也是非常的丰富的，各种图形分析图等都可以做出来。也是非常的方便，其中诸如Seaborn这样的可视化库，能够仅仅使用一两行就对数据进行绘图，而利Pandas和Numpy、scipy则可以简单地对大量数据进行筛选、回归等计算。

④ 人工智能：

Python近年来被人们熟知的主要原因就是人工智能领域的兴起。

Python在科学计算领域一直有着较好的声誉，其简洁清晰的语法以及丰富的计算工具，深受此领域开发者喜爱。

python 由于具有编写简单、改动少等特点。特别适合用在机器学习方向。并且提供了丰富的库。减少了学习人工智能的成本。

Python开发工程师、爬虫工程师、人工智能工程师都是发展很不错的就业岗位，在招聘网站上的岗位需求也是比较大的。

㈡ python都可以干什么

Python的应用方向

1. 常规软件开发

Python支持函数式编程和OOP面向对象编程，能够承担任何种类软件的开发工作，因此常规的软件开发、脚本编写、网络编程等都属于标配能力。

2. 科学计算

随着NumPy，SciPy，Matplotlib，Enthoughtlibrarys等众多程序库的开发，Python越来越适合于做科学计算、绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python是一门通用的程序设计语言，比Matlab所采用的脚本语言的应用范围更广泛，有更多的程序库的支持。虽然Matlab中的许多高级功能和toolbox目前还是无法替代的，不过在日常的科研开发之中仍然有很多的工作是可以用Python代劳的。

3. 自动化运维

这几乎是Python应用的自留地，作为运维工程师首选的编程语言，Python在自动化运维方面已经深入人心，比如Saltstack和Ansible都是大名鼎鼎的自动化平台。

4. 云计算

开源云计算解决方案OpenStack就是基于Python开发的，搞云计算的同学都懂的。

5. WEB开发

基于Python的Web开发框架不要太多，比如耳熟能详的Django，还有Tornado，Flask。其中的Python+Django架构，应用范围非常广，开发速度非常快，学习门槛也很低，能够帮助你快速的搭建起可用的WEB服务。

6. 网络爬虫

也称网络蜘蛛，是大数据行业获取数据的核心工具。没有网络爬虫自动地、不分昼夜地、高智能地在互联网上爬取免费的数据，那些大数据相关的公司恐怕要少四分之三。能够编写网络爬虫的编程语言有不少，但Python绝对是其中的主流之一，其Scripy爬虫框架应用非常广泛。

7. 数据分析

在大量数据的基础上，结合科学计算、机器学习等技术，对数据进行清洗、去重、规格化和针对性的分析是大数据行业的基石。Python是数据分析的主流语言之一。

8. 人工智能

Python在人工智能大范畴领域内的机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。

参考：网页链接

㈢ 请问python大神自动化运维为什么要使用python

运维学习Python到底能够带来多大的收益？
上午我QQ的一个运维技术群不知道什么时候开始聊起作为运维人有没有必要再学习一门编程语言，学什么最好等，一开始开始我没看，没想到竟然在群里讨论了近2个小时，一般情况这种问题的都是运维新人，可能目前运维整体情况还不太了解，所以为了让更多的让新入行朋友不在迷茫，今天呢我就这个问题表达下我的看法。

一、那作为运维人员要不要学习一门编程语言？

我给出的答案是：“如果不学习一门编程语言，再过2年你可能就得下岗”，我这绝不是危言耸听，不信你搜下现在对运维岗位的技能要求看看，但如果不够深刻，那接下里我们从现在运维的情况和未来运维的发展来分析下具体原因：

早些年的运维，基本是会部署个环境，懂点linux命令，再往后点呢，能用shell写出日常用的自动化脚本，满足业务的需求基本就可以了，企业对运维要求也是这些，一句话：别出事。但随着计算机技术的发展，凡是跟技术沾边的都经过不断迭代更新，运维属于技术机的一个分支，也经历了翻天覆地变化，现在这个时期我个人判断是要体现运维价值的时代，所以不创造价值的工作将逐渐被自动化运维平台所取代，也就是说之前上线部署很复杂的操作，通过一个运维自动化平台点点鼠标就可以完成实现，彻底拜托了对人的依赖，这个时期最明显的就是各个公司基本都有自己的运维平台，要么再建设中，要么已经建完了，如果平台就已建完，出于对公司人力成本的考虑，最基础的运维操作会由类似客服部门的人来负责，所以随着时间的推移，一些只做日常操作的运维将逐渐从公司消失，那按这个逻辑，既然要搭建运维平台，用shell肯定是不能满足了，所以你必须学习一门编程语言，这样你才可能拿到进入这个行业的门票。

以上就是我对大家所讨论问题的看法，不对的地方请斧正，如果您也认同，请让更多的人看到，让密迷茫的人不在迷茫，最后一句话送给大家共勉，做技术：

时间千万不要浪费在选择上，而要多用在行动上！
Python是个非常牛B的脚本语言，能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的Web界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来，你才有资格跟老板谈重视。加企鹅Q秋：444加513和089连在一起，如果你想学习，这就是你的一个学习机会，提升你的个人价值，你跟大牛只差一次努力的学习！吹过牛逼不如努力一搏，还在迷茫，还在停滞不前的运维终究会被努力的别人所超越！

㈣ 如何基于Python构建一个可扩展的运维自动化平台

Django- 一个开放源代码的 Web 应用框架，由 Python 写成，采用了 MVC 的软件设计模式；
rpyc- 一个 Python 实现的 RPC 和分布式计算的工具。支持同步和异步操作、回调等；
saltstack 、 ansible 、 func - 基本 Python 开发的自动化配置管理与流程控制组件；
Mysql- 是一个非常流行的关系型数据库管理系统。
二、平台架构设计
1、 OMServer 架构图

大家对这个架构应该不会感到陌生，三层结构也是目前主流的运营平台架构。
2、 架构说明
OMServer 平台为三层架构，分别为 WEB 交互层、分布式计算层、集群管理服务层。
1） 、第一层：即为 WEB 交互层，典型的 B/S 架构，以供管理员操作的交互平台，也是 OMServer 的核心，基于 Django 开发；
2） 、第二层：分布式计算层，提供与主控端的连接通道，采用的是 rpyc 传输协议，协议操作流程：前端模块参数 -> 加密传输 -> 任务执行 -> 返回结果集 -> 解密输出。
3） 、第三层：集群管理服务层，整合 Python 主流的远程操作组件（支持 Saltstack 、 Anaible、 Func ），对被控端（业务服务器集群）进行管理，其中主控端可以根据不同 IDC 环境，采用多地多点的管理方式，可提升冗余度及执行效率。主控端操作模块以不同 Python 文件加以区分，便于维护，可灵活定制操作逻辑及横向扩展等特点。

㈤ Python学习，有哪些方向可以选择

Python的就业方向有很多，但是只有选择适合自己的才能支撑自己走得更远。

1、常规软件开发

Python支持函数式编程和OOP面向对象编程，能够承担任何种类软件的开发工作，因此常规的软件开发、脚本编写、网络编程等都属于标配能力。

2、爬虫

顾名思义，就是用Python收集和爬取互联网的信息，也是很多小伙伴们学习Python的第一驱动力，总觉得Python就是天然为爬虫而生，简单快速，可能靠人力一周才能完成的工作，你泡着咖啡、跑10分钟爬虫即可，真的非常有成就感。无论营销、运营还是产品经理，高效获取有效数据已成为职场必备技能。

3、Python数据分析

如今公司的产品都建立在对用户的分析之上，也就是所有的商业公司都需要这样一个角色，学会了爬虫，便有了数据来源，运用这些数据以及相应的爬虫库和excel表格，就可以进行简单的数据分析。

4、Python Web网站工程师

Web一直都是不可忽视的存在，利用Python的框架做一些页面精美的网站，Python有很多优秀的Web开发框架，如Flask、Django、Bootstar 等，可以帮助你快速搭建一个网站。

5、人工智能

Python是人工智能时代的头牌语言，不管是机器学习（Machine Learning）还是深度学习（Deep Learning），最常用的工具和框架都需要用Python调用，Python是人工智能工程师的必备技能之一。

6、自动化运维工程师

运维是必须而且一定要掌握Python语言，使用Python可以自动化批量管理服务器，起到1个人顶10个人的效果。它在系统管理、文档管理方面都有很强大的功能。

7、Python自动化测试工程师

Python语言对测试的帮助是非常大的，自动化测试中Python语言的用途很广，Python提供了很多自动化测试的框架，如Selenium、Pytest等，避免了大量的重复工作，Python自动化测试也变得越来越流行。

8、游戏开发

游戏服务器领域，主要负责网络游戏的服务器功能开发、性能优化等工作。

Python没有非常强势的问题，但是它简单的语言结构应用非常广泛，无论上述你选择哪个方向，都是不会错的。

㈥ 纯干货！python 在运维中的应用 (一)：批量 ssh/sftp

日常工作中需要大量、频繁地使用ssh到服务器查看、拉取相关的信息或者对服务器进行变更。目前公司大量使用的shell，但是随着逻辑的复杂化、脚本管理的精细化，shell已经不满足日常需求，于是我尝试整合工作中的需求，制作适合的工具。 由于管理制度的缺陷，我以工作流程为核心思考适合自己的运维方式，提升工作效率，把时间留给更有价值的事情。 完整代码在最后，请大家参考。

生产：4000+物理服务器，近 3000 台虚拟机。

开发环境：python3.6、redhat7.9，除了paramiko为第三方模块需要自己安装，其他的直接import即可。

批量执行操作是一把双刃剑。批量执行操作可以提升工作效率，但是随之而来的风险不可忽略。

风险案例如下：

挂载很多数据盘，通常先格式化硬盘，再挂载数据盘，最后再写入将开机挂载信息写入/etc/fstab文件。在批量lsblk检查硬盘信息的时候发现有的系统盘在/sda有的在/sdm，如果不事先检查机器相关配置是否一致直接按照工作经验去执行批量操作，会很容易造成个人难以承受的灾难。

在执行批量操作时按照惯例：格式化硬盘->挂载->开机挂载的顺序去执行，假设有的机器因为某些故障导致格式化硬盘没法正确执行。在处理这类问题的时候通常会先提取出失败的ip，并再按照惯例执行操作。运维人员会很容易忽略开机挂载的信息已经写过了，导致复写（这都是血和泪的教训）。

所以，为了避免故障，提升工作效率，我认为应当建立团队在工作上的共识，应当遵守以下原则：

当然，代码的规范也应当重视起来，不仅是为了便于审计，同时也需要便于溯源。我认为应当注意以下几点：

1、ssh no existing session，sftp超时时间设置:

在代码无错的情况下大量ip出现No existing session，排查后定位在代码的写法上，下面是一个正确的示例。由于最开始没考虑到ssh连接的几种情况导致了重写好几遍。另外sftp的实例貌似不能直接设置连接超时时间，所以我采用了先建立ssh连接再打开sftp的方法。

2、sftp中的get()和put()方法仅能传文件，不支持直接传目录：

不能直接传目录，那换个思路，遍历路径中的目录和文件，先创建目录再传文件就能达到一样的效果了。在paramiko的sftp中sftp.listdir_attr()方法可以获取远程路径中的文件、目录信息。那么我们可以写一个递归来遍历远程路径中的所有文件和目录(传入一个列表是为了接收递归返回的值)。

python自带的os模块中的os.walk()方法可以遍历到本地路径中的目录和文件。

3、多线程多个ip使用sftp.get()方法时无法并发。

改成多进程即可。

4、多个ip需要执行相同命令或不同的命令。

由于是日常使用的场景不会很复杂，所以借鉴了ansible的playbook，读取提前准备好的配置文件即可，然后再整合到之前定义的ssh函数中。

同时，我们还衍生出一个需求，既然都要读取配置，那同样也可以提前把ip地址准备在文件里。正好也能读取我们返回的执行程序的结果。

参数说明：

密码认证：

公钥认证：

可以配合 grep，awk 等命令精准过滤。

个人认为 Python 在初中级运维工作中的性质更像是工具，以提升工作效率、减少管理成本为主。可以从当前繁琐的工作中解脱出来，去 探索 更有价值的事情。python 本质上并不会减少故障的产生，所以在不同的阶段合理利用自身掌握的知识解决当前最重要的痛点，千万不要本末倒置。

㈦ Python能干什么，Python的应用领域

Python 作为一种功能强大的编程语言，因其简单易学而受到很多开发者的青睐。那么，Python 的应用领域有哪些呢？

概括起来，Python 的应用领域主要有如下几个。

Web应用开发
Python 经常被用于 Web 开发。例如，通过 mod_wsgi 模块，Apache 可以运行用 Python 编写的 Web 程序。Python 定义了 WSGI 标准应用接口来协调 HTTP 服务器与基于 Python 的 Web 程序之间的通信。

不仅如此，一些 Web 框架（如 Django、TurboGears、web2py 等等）可以让程序员轻松地开发和管理复杂的Web程序。

举个最直观的例子，全球最大的搜索引擎 Google，在其网络搜索系统中就广泛使用 Python 语言。另外，我们经常访问的集电影、读书、音乐于一体的豆瓣网，也是使用 Python 实现的。
操作系统管理、自动化运维开发
很多操作系统中，Python 是标准的系统组件，大多数 Linux 发行版以及 NetBSD、OpenBSD 和 Mac OS X 都集成了 Python，可以在终端下直接运行 Python。
有一些 Linux 发行版的安装器使用 Python 语言编写，例如 Ubuntu 的 Ubiquity 安装器、Red Hat Linux 和 Fedora 的 Anaconda 安装器等等。
另外，Python 标准库中包含了多个可用来调用操作系统功能的库。例如，通过 pywin32 这个软件包，我们能访问 Windows 的 COM 服务以及其他 Windows API；使用 IronPython，我们能够直接调用 .Net Framework。
通常情况下，Python 编写的系统管理脚本，无论是可读性，还是性能、代码重用度以及扩展性方面，都优于普通的 shell 脚本。
游戏开发
很多游戏使用 C++ 编写图形显示等高性能模块，而使用 Python 或 Lua 编写游戏的逻辑。和 Python 相比，Lua 的功能更简单，体积更小；而 Python 则支持更多的特性和数据类型。
编写服务器软件
Python 对于各种网络协议的支持很完善，所以经常被用于编写服务器软件以及网络爬虫。
比如说，Python 的第三方库 Twisted，它支持异步网络编程和多数标准的网络协议（包含客户端和服务器端），并且提供了多种工具，因此被广泛用于编写高性能的服务器软件。
科学计算
NumPy、SciPy、Matplotlib 可以让 Python 程序员编写科学计算程序。
以上都只是 Python 应用领域的冰山一角，总的来说，Python 语言不仅可以应用到网络编程、游戏开发等领域，还可以在图形图像处理、只能机器人、爬取数据、自动化运维等多方面展露头角，为开发者提供简约、优雅的编程体验。