定时读取数据库数据
发布时间: 2024-03-17 22:39:54
在表上新增一个字段,比如INSERT_TIMESTAMP,要求insert数据的时候必须插入当时的时间。
你select的时候就检查当前时间和上次查询的时间(可以在页面或者内存里记录这个上次查询的时间,或者根据你的定时策略,反推到你上次查询的时间)内的数据可以OK
‘贰’ 怎样让spark定时读数据库数据
RDD:AResilientDistributedDataset(RDD),thebasicabstractioninSpark.rdd是一个分布式的数据集,数据分散在分布式集群的各台机器上,更像是一张关系型数据表,是一种spark独有的数据格式吧,这种格式的数据可以使用sqlcontext里面的函数
热点内容