pythoncrontab

A. 樹莓派（linux）怎麼每1秒執行一次python腳本呢 越簡單越好 謝謝

可以利用Linux的定時任務
輸入crontab
-e，對定時任務進行編輯
格式是：「任務重復的時間
執行的命令」
任務重復的時間有專門的格式
每秒重復一次就需要添加一行
*/1
*
*
*
*
python
xxx.py

B. 利用Python對天貓店鋪銷售進行分析.下

<p>相隔兩個月，爬蟲任務完成了。上次說道( 利用Python對天貓店鋪銷售進行分析.上 )，後續要完成四個功能，包括：</p>

<p>在上一個任務完成之後，任務的最後是通過crontab設置每天8點,13點,18點,23點，定時採集任務，而該篇內容的目的就是在每天23點最後一次任務完成之後，對該天採集的數據進行處理，時間設定在23點30分，也是採用crontab來定時開啟。</p>

<p>這個只要通過SQLite將每天收集的數據重新提取出來，由於我們的當天的銷售數據是收集在SCOUNT表格中，而數據的列名稱是依據時間來命名，為了獲得當天四個時間點採集的銷售數據，需要先獲得列名稱。</p>
<p>在SQLite裡面，可以通過 Pragma 獲得所有的列名稱信息，Pragma有兩個功能，包括更改內部操作以及獲得表格固有數據，通過其中的table_info，既可以獲得列名稱信息，所有列名稱信息獲得後，通過 list comprehensions （這個實在不知道怎麼翻譯），可以獲得今天的新生成的4個銷售數據列：</p>

<p>然後就是獲得進行的銷售數據，由於每個SKU一天將採集四次數據，並且收集的SKU有下架的可能，SKU列表中的不是每個SKU都有可能被採集，所以對採集出來需要的數據需要 dropna ，並且需要將SKU信息表格和銷售數據表格通過 merge 函數合並，形成我們需要的data。每個SKU在每個時刻採集的數據會出現波動，銷量數據並不是一個連續增長的過程，因此為了求得當天的銷量，可取一天中最大數和最小數差值。</p>

<p>生成銷售額的方法類似，就不在這里列出。</p>

<p>生成PDF，這是當時的一個設想，後來參考這篇 教程 做出來了( Practical Business Python 是個好網站，推薦)，原理是通過DataFrame轉化為HTML，再將HTML轉化為PDF。但是寫郵件模塊的時候，發現郵件可以內嵌HTML，因此就沒有必要專門生成PDF，再通過郵件以附件的形式發送了。但在這里，還是先梳理下整個流程：</p>

<p>採用 Jinja2 生成PDF，首先需要生成一個模板，模板裡面需設定好HTML的樣式，這是參考教程寫出的一個HTML的樣式：</p>

<p>完成後，再將DataFrame通過 to_html 函數轉化為HTML並填入到樣式中。</p>

<p>最後生成PDF，只加入一個模塊喝一句話就可以了。 weasyprint 這個模塊是專門用於將HTML或者CSS轉化為PDF：</p>

<p>python裡面有專門的發送郵件模塊， email 模塊。郵件的模塊包括兩部分，一部分是郵件正文模塊，一部分郵件發送模塊：</p>

<p>郵件正文模塊，通過MIMEText完成。在email模塊裡面有專門的( MIME , Multipurpose Internet Mail Extensions，多用途互聯網郵件擴展)模塊，用來生成對應的郵件正文類型。在這里先採用文本模塊MIMEText做個示範：</p>

<p>然後就是發送郵件了，需要經過 stmplib 模塊，下面詳細講講。發送郵件首先需要設置 smtp (Simple Mail Transfer Protocol,簡單郵件傳輸協議)的地址和埠，然後部分郵箱需要採用TTS加密協議的時候，則需要使用starttts()函數。然後對應的是登陸的用戶名的密碼，再將上面編寫的msg發出去，最後quit即可。</p>

<p>總結下，之前設定的任務大體完成了。但是還是有很多可以深化的內容，例如前面採用DataFrame的時候，沒有對數據進行可視化，HTML的模板還可以再美化下，另外假如引入了數據可視化，要怎麼將可視化的圖片嵌入到郵件中。郵件登陸那部分，部分郵箱沒有辦法採用這個方法發出(需要再考慮smtp設置)。</p>

<p>上面這些問題，後續會繼續以小項目的形式進行研究。後面還可以進行平台之間的銷售情況對比等等，總而言之，該項目還是有很大的擴張空間的。嘛，這一次就先這樣結束吧。</p>

C. 在Mac上定時執行Python腳本

寫慣了Python腳本，需求越來越多，越來越強烈，那麼面對需求，可能就會有各種定製化的要求條件出來，由於一些事情需要經常執行，但是不能人工每次去執行，自然就想到了能不能定時去執行Python腳本，通過查詢，映入眼簾的是crontab。

具體執行方法是。

在iterm中輸入 crontab -e ，這個的作用是編輯任務名。

隨後就打開了vim，可以進行編輯

具體規則是

在其中我輸入了

其目的是希望每天10點、15點、18點的時候執行Python腳本。

保存之後，會彈出是否允許管理電腦，直接點好就可以。

保存了之後可以通過 crontab -l 來查看是否創建成功

這樣就創建成功了，等待明天的好消息了。

今天早上十點沒有看到執行的操作，然後看到控制台有一條消息是

查看對應的文件描述是

了解到原來是沒有找到python3，所以將命令改為

修改Python的路徑後，有看到了報錯如下：

這說明Python腳本已經運行起來了，但是因為編碼原因沒有完全成功運行，因為本身自動運行也沒有必要print，所以去掉即可，我把print去掉之後，成功執行了腳本。

參考資料： https://www.jianshu.com/p/333d799aebb1

D. 簡單強大的Python庫！Schele—實用的周期任務調度工具

如果你想在Linux伺服器上周期性地執行某個 Python 腳本，最出名的選擇應該是 Crontab 腳本，但是 Crontab 具有以下缺點：

1.不方便執行 秒級的任務 。

2.當需要執行的定時任務有上百個的時候，Crontab的 管理就會特別不方便 。

另外一個選擇是 Celery，但是 Celery 的配置比較麻煩，如果你只是需要一個輕量級的調度工具，Celery 不會是一個好選擇。

在你想要使用一個輕量級的任務調度工具，而且希望它盡量簡單、容易使用、不需要外部依賴，最好能夠容納 Crontab 的所有基本功能，那麼 Schele 模塊是你的不二之選。

使用它來調度任務可能只需要幾行代碼，感受一下：

上面的代碼表示每10分鍾執行一次 job 函數，非常簡單方便。你只需要引入 schele 模塊，通過調用 scele.every(時間數).時間類型.do(job) 發布周期任務。

發布後的周期任務需要用 run_pending 函數來檢測是否執行，因此需要一個 While 循環不斷地輪詢這個函數。

下面具體講講Schele模塊的安裝和初級、進階使用方法。

1.准備

請選擇以下任一種方式輸入命令安裝依賴 ：

1. Windows 環境 打開 Cmd (開始-運行-CMD)。

2. MacOS 環境 打開 Terminal (command+空格輸入Terminal)。

3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

2.基本使用

最基本的使用在文首已經提到過，下面給大家展示更多的調度任務例子：

可以看到，從月到秒的配置，上面的例子都覆蓋到了。不過 如果你想只運行一次任務 的話，可以這么配：

參數傳遞

如果你有參數需要傳遞給作業去執行，你只需要這么做：

獲取目前所有的作業

如果你想獲取目前所有的作業：

取消所有作業

如果某些機制觸發了，你需要立即清除當前程序的所有作業：

標簽功能

在設置作業的時候，為了後續方便管理作業，你可以給作業打個標簽，這樣你可以通過標簽過濾獲取作業或取消作業。

設定作業截止時間

如果你需要讓某個作業到某個時間截止，你可以通過這個方法：

截止日期之後，該作業將無法運行。

立即運行所有作業，而不管其安排如何

如果某個機制觸發了，你需要立即運行所有作業，可以調用 schele.run_all :

3.高級使用

裝飾器安排作業

如果你覺得設定作業這種形式太啰嗦了，也可以使用裝飾器模式：

並行執行

默認情況下，Schele 按順序執行所有作業。其背後的原因是，很難找到讓每個人都高興的並行執行模型。

不過你可以通過多線程的形式來運行每個作業以解決此限制：

日誌記錄

Schele 模塊同時也支持 logging 日誌記錄，這么使用：

效果如下：

異常處理

Schele 不會自動捕捉異常，它遇到異常會直接拋出，這會導致一個嚴重的問題： 後續所有的作業都會被中斷執行 ，因此我們需要捕捉到這些異常。

你可以手動捕捉，但是某些你預料不到的情況需要程序進行自動捕獲，加一個裝飾器就能做到了：

這樣， bad_task 在執行時遇到的任何錯誤，都會被 catch_exceptions 捕獲，這點在保證調度任務正常運轉的時候非常關鍵。

E. Crontab定時任務中python3腳本無法運行問題解決

背景：
XX集團電商化標准地址增量生成及上傳功能為Python3腳本實現。上傳腳本並編寫執行shell後，手動執行shell能生成且上傳成功，但將shell腳本添加到crontab後執行失敗，失敗原因日誌無法列印。

解決：
排除腳本路徑及文件許可權導致問題可能性後，分析後原因為環境變數的問題：crontab執行腳本的時候不會讀取用戶的環境變數等配置，所以可能很多命令不能使用導致腳本執行失敗；
1）查看用戶環境變數-env，獲取path路徑：

2）將path放到shell導入，並進行環境初始化

3）添加crontab

大家如有遇到其他問題或者有更好解決思路，歡迎積極留言，共勉。

F. 釘釘機器人自動發消息(定時器自動執行腳本)

釘釘常用於日常工作中 我們經常需要每天或者每周定時去做一些事情 比如 日報 周報 晨會 周會等 為了防止忘記做這些事情 故考慮定時發送提醒消息。

我本次使用的方式是 crontab定時器命令 添加python腳本任務。

1、選擇需要添加機器人的 群聊 ，然後依次單擊 群設置 > 智能群助手 。
2、在 機器人管理 頁面選擇 自定義機器人 ，輸入 機器人名字 並選擇要發送消息的群，同時可以為機器人設置機器人頭像。
3、完成必要的 安全設置 ，勾選 我已閱讀並同意《自定義機器人服務及免責條款 》，然後單擊 完成 。（安全設置添加其中一個就行 我選擇的是 自定義關鍵字）
4、完成安全設置後，復制出機器人的 Webhook 地址，可用於向這個群發送消息，格式如下：

獲取到Webhook地址後，向這個地址發起POST 請求，即可實現給該釘釘群發送消息。
自定義機器人支持 文本 (text) 、 鏈接 (link) 、 markdown(markdown) 、 ActionCard 、 FeedCard 消息類型。

本次使用腳本執行 沒有接入SDK 需要可以 參考鏈接

cd到腳本文件根目錄
執行 python(python3) sendMessage.py

常規做法：
1、打開定時器編輯模式

通常第一次使用這個命令的時候會類似報下面這個錯：

原因是我們終端使用的是vim編輯器 系統沒有指定默認編輯器 所以需要我們指定編輯器為vim
終端輸入 su 命令進入root用戶 沒有密碼的話 先設置個密碼。

切換到root用戶以後設置編輯模式：

至此報錯信息解決。
此時用戶已經切換至root
所以直接執行下面的步驟即可：

此時如果看到 installing new crontab 提示 證明任務已經添加成功
可使用 crontab -l 命令查看當前正在執行的命令。

參考鏈接：
參考鏈接一
參考鏈接二
參考鏈接三
參考鏈接四