pythoncrontab

A. 树莓派（linux）怎么每1秒执行一次python脚本呢 越简单越好 谢谢

可以利用Linux的定时任务
输入crontab
-e，对定时任务进行编辑
格式是：“任务重复的时间
执行的命令”
任务重复的时间有专门的格式
每秒重复一次就需要添加一行
*/1
*
*
*
*
python
xxx.py

B. 利用Python对天猫店铺销售进行分析.下

<p>相隔两个月，爬虫任务完成了。上次说道( 利用Python对天猫店铺销售进行分析.上 )，后续要完成四个功能，包括：</p>

<p>在上一个任务完成之后，任务的最后是通过crontab设置每天8点,13点,18点,23点，定时采集任务，而该篇内容的目的就是在每天23点最后一次任务完成之后，对该天采集的数据进行处理，时间设定在23点30分，也是采用crontab来定时开启。</p>

<p>这个只要通过SQLite将每天收集的数据重新提取出来，由于我们的当天的销售数据是收集在SCOUNT表格中，而数据的列名称是依据时间来命名，为了获得当天四个时间点采集的销售数据，需要先获得列名称。</p>
<p>在SQLite里面，可以通过 Pragma 获得所有的列名称信息，Pragma有两个功能，包括更改内部操作以及获得表格固有数据，通过其中的table_info，既可以获得列名称信息，所有列名称信息获得后，通过 list comprehensions （这个实在不知道怎么翻译），可以获得今天的新生成的4个销售数据列：</p>

<p>然后就是获得进行的销售数据，由于每个SKU一天将采集四次数据，并且收集的SKU有下架的可能，SKU列表中的不是每个SKU都有可能被采集，所以对采集出来需要的数据需要 dropna ，并且需要将SKU信息表格和销售数据表格通过 merge 函数合并，形成我们需要的data。每个SKU在每个时刻采集的数据会出现波动，销量数据并不是一个连续增长的过程，因此为了求得当天的销量，可取一天中最大数和最小数差值。</p>

<p>生成销售额的方法类似，就不在这里列出。</p>

<p>生成PDF，这是当时的一个设想，后来参考这篇 教程 做出来了( Practical Business Python 是个好网站，推荐)，原理是通过DataFrame转化为HTML，再将HTML转化为PDF。但是写邮件模块的时候，发现邮件可以内嵌HTML，因此就没有必要专门生成PDF，再通过邮件以附件的形式发送了。但在这里，还是先梳理下整个流程：</p>

<p>采用 Jinja2 生成PDF，首先需要生成一个模板，模板里面需设定好HTML的样式，这是参考教程写出的一个HTML的样式：</p>

<p>完成后，再将DataFrame通过 to_html 函数转化为HTML并填入到样式中。</p>

<p>最后生成PDF，只加入一个模块喝一句话就可以了。 weasyprint 这个模块是专门用于将HTML或者CSS转化为PDF：</p>

<p>python里面有专门的发送邮件模块， email 模块。邮件的模块包括两部分，一部分是邮件正文模块，一部分邮件发送模块：</p>

<p>邮件正文模块，通过MIMEText完成。在email模块里面有专门的( MIME , Multipurpose Internet Mail Extensions，多用途互联网邮件扩展)模块，用来生成对应的邮件正文类型。在这里先采用文本模块MIMEText做个示范：</p>

<p>然后就是发送邮件了，需要经过 stmplib 模块，下面详细讲讲。发送邮件首先需要设置 smtp (Simple Mail Transfer Protocol,简单邮件传输协议)的地址和端口，然后部分邮箱需要采用TTS加密协议的时候，则需要使用starttts()函数。然后对应的是登陆的用户名的密码，再将上面编写的msg发出去，最后quit即可。</p>

<p>总结下，之前设定的任务大体完成了。但是还是有很多可以深化的内容，例如前面采用DataFrame的时候，没有对数据进行可视化，HTML的模板还可以再美化下，另外假如引入了数据可视化，要怎么将可视化的图片嵌入到邮件中。邮件登陆那部分，部分邮箱没有办法采用这个方法发出(需要再考虑smtp设置)。</p>

<p>上面这些问题，后续会继续以小项目的形式进行研究。后面还可以进行平台之间的销售情况对比等等，总而言之，该项目还是有很大的扩张空间的。嘛，这一次就先这样结束吧。</p>

C. 在Mac上定时执行Python脚本

写惯了Python脚本，需求越来越多，越来越强烈，那么面对需求，可能就会有各种定制化的要求条件出来，由于一些事情需要经常执行，但是不能人工每次去执行，自然就想到了能不能定时去执行Python脚本，通过查询，映入眼帘的是crontab。

具体执行方法是。

在iterm中输入 crontab -e ，这个的作用是编辑任务名。

随后就打开了vim，可以进行编辑

具体规则是

在其中我输入了

其目的是希望每天10点、15点、18点的时候执行Python脚本。

保存之后，会弹出是否允许管理电脑，直接点好就可以。

保存了之后可以通过 crontab -l 来查看是否创建成功

这样就创建成功了，等待明天的好消息了。

今天早上十点没有看到执行的操作，然后看到控制台有一条消息是

查看对应的文件描述是

了解到原来是没有找到python3，所以将命令改为

修改Python的路径后，有看到了报错如下：

这说明Python脚本已经运行起来了，但是因为编码原因没有完全成功运行，因为本身自动运行也没有必要print，所以去掉即可，我把print去掉之后，成功执行了脚本。

参考资料： https://www.jianshu.com/p/333d799aebb1

D. 简单强大的Python库！Schele—实用的周期任务调度工具

如果你想在Linux服务器上周期性地执行某个 Python 脚本，最出名的选择应该是 Crontab 脚本，但是 Crontab 具有以下缺点：

1.不方便执行 秒级的任务 。

2.当需要执行的定时任务有上百个的时候，Crontab的 管理就会特别不方便 。

另外一个选择是 Celery，但是 Celery 的配置比较麻烦，如果你只是需要一个轻量级的调度工具，Celery 不会是一个好选择。

在你想要使用一个轻量级的任务调度工具，而且希望它尽量简单、容易使用、不需要外部依赖，最好能够容纳 Crontab 的所有基本功能，那么 Schele 模块是你的不二之选。

使用它来调度任务可能只需要几行代码，感受一下：

上面的代码表示每10分钟执行一次 job 函数，非常简单方便。你只需要引入 schele 模块，通过调用 scele.every(时间数).时间类型.do(job) 发布周期任务。

发布后的周期任务需要用 run_pending 函数来检测是否执行，因此需要一个 While 循环不断地轮询这个函数。

下面具体讲讲Schele模块的安装和初级、进阶使用方法。

1.准备

请选择以下任一种方式输入命令安装依赖 ：

1. Windows 环境 打开 Cmd (开始-运行-CMD)。

2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。

3. 如果你用的是 VSCode编辑器 或 Pycharm，可以直接使用界面下方的Terminal.

2.基本使用

最基本的使用在文首已经提到过，下面给大家展示更多的调度任务例子：

可以看到，从月到秒的配置，上面的例子都覆盖到了。不过 如果你想只运行一次任务 的话，可以这么配：

参数传递

如果你有参数需要传递给作业去执行，你只需要这么做：

获取目前所有的作业

如果你想获取目前所有的作业：

取消所有作业

如果某些机制触发了，你需要立即清除当前程序的所有作业：

标签功能

在设置作业的时候，为了后续方便管理作业，你可以给作业打个标签，这样你可以通过标签过滤获取作业或取消作业。

设定作业截止时间

如果你需要让某个作业到某个时间截止，你可以通过这个方法：

截止日期之后，该作业将无法运行。

立即运行所有作业，而不管其安排如何

如果某个机制触发了，你需要立即运行所有作业，可以调用 schele.run_all :

3.高级使用

装饰器安排作业

如果你觉得设定作业这种形式太啰嗦了，也可以使用装饰器模式：

并行执行

默认情况下，Schele 按顺序执行所有作业。其背后的原因是，很难找到让每个人都高兴的并行执行模型。

不过你可以通过多线程的形式来运行每个作业以解决此限制：

日志记录

Schele 模块同时也支持 logging 日志记录，这么使用：

效果如下：

异常处理

Schele 不会自动捕捉异常，它遇到异常会直接抛出，这会导致一个严重的问题： 后续所有的作业都会被中断执行 ，因此我们需要捕捉到这些异常。

你可以手动捕捉，但是某些你预料不到的情况需要程序进行自动捕获，加一个装饰器就能做到了：

这样， bad_task 在执行时遇到的任何错误，都会被 catch_exceptions 捕获，这点在保证调度任务正常运转的时候非常关键。

E. Crontab定时任务中python3脚本无法运行问题解决

背景：
XX集团电商化标准地址增量生成及上传功能为Python3脚本实现。上传脚本并编写执行shell后，手动执行shell能生成且上传成功，但将shell脚本添加到crontab后执行失败，失败原因日志无法打印。

解决：
排除脚本路径及文件权限导致问题可能性后，分析后原因为环境变量的问题：crontab执行脚本的时候不会读取用户的环境变量等配置，所以可能很多命令不能使用导致脚本执行失败；
1）查看用户环境变量-env，获取path路径：

2）将path放到shell导入，并进行环境初始化

3）添加crontab

大家如有遇到其他问题或者有更好解决思路，欢迎积极留言，共勉。

F. 钉钉机器人自动发消息(定时器自动执行脚本)

钉钉常用于日常工作中 我们经常需要每天或者每周定时去做一些事情 比如 日报 周报 晨会 周会等 为了防止忘记做这些事情 故考虑定时发送提醒消息。

我本次使用的方式是 crontab定时器命令 添加python脚本任务。

1、选择需要添加机器人的 群聊 ，然后依次单击 群设置 > 智能群助手 。
2、在 机器人管理 页面选择 自定义机器人 ，输入 机器人名字 并选择要发送消息的群，同时可以为机器人设置机器人头像。
3、完成必要的 安全设置 ，勾选 我已阅读并同意《自定义机器人服务及免责条款 》，然后单击 完成 。（安全设置添加其中一个就行 我选择的是 自定义关键字）
4、完成安全设置后，复制出机器人的 Webhook 地址，可用于向这个群发送消息，格式如下：

获取到Webhook地址后，向这个地址发起POST 请求，即可实现给该钉钉群发送消息。
自定义机器人支持 文本 (text) 、 链接 (link) 、 markdown(markdown) 、 ActionCard 、 FeedCard 消息类型。

本次使用脚本执行 没有接入SDK 需要可以 参考链接

cd到脚本文件根目录
执行 python(python3) sendMessage.py

常规做法：
1、打开定时器编辑模式

通常第一次使用这个命令的时候会类似报下面这个错：

原因是我们终端使用的是vim编辑器 系统没有指定默认编辑器 所以需要我们指定编辑器为vim
终端输入 su 命令进入root用户 没有密码的话 先设置个密码。

切换到root用户以后设置编辑模式：

至此报错信息解决。
此时用户已经切换至root
所以直接执行下面的步骤即可：

此时如果看到 installing new crontab 提示 证明任务已经添加成功
可使用 crontab -l 命令查看当前正在执行的命令。

参考链接：
参考链接一
参考链接二
参考链接三
参考链接四