定時讀取資料庫數據
發布時間: 2024-03-17 22:39:54
在表上新增一個欄位,比如INSERT_TIMESTAMP,要求insert數據的時候必須插入當時的時間。
你select的時候就檢查當前時間和上次查詢的時間(可以在頁面或者內存里記錄這個上次查詢的時間,或者根據你的定時策略,反推到你上次查詢的時間)內的數據可以OK
『貳』 怎樣讓spark定時讀資料庫數據
RDD:AResilientDistributedDataset(RDD),thebasicabstractioninSpark.rdd是一個分布式的數據集,數據分散在分布式集群的各台機器上,更像是一張關系型數據表,是一種spark獨有的數據格式吧,這種格式的數據可以使用sqlcontext裡面的函數
熱點內容