redispython队列

① 如何用python简单的设计开发异步任务调度队列

首先，客户端可以直接扔任务到一个web services的接口上 –》 web api接收到任务后，会根据客户端的ip和时间戳做task_id,返回给客户，紧接着在redis里面标记这任务的状态。 格式为 func,args,kwargs,timeout=xx,queue_level=xx,interval_time=xx
主服务端:
一个线程，会不停的扫描那个redis hash表，取出任务的interval_time后，进行取模，如果匹配成功，就会塞到 redis sorted set有续集和里面。
主线程，会不停的看看sorted set里面，有没有比自己实现小的任务，有的话，执行并删除。 这里的执行是用多进程，为毛用多进程，因为线程很多时候是不好控制强制干掉的。 每个任务都会用multiprocessing的方式去执行，去调用的时候，会多传进一个task_id，用来把相关的进度推送到redis里面。 另外，fork进程后，我会得到一个pid，我会把pid和timeout的信息，存放到kill_hash里面。 然后会不间断的查看，在指定的timeout内，这pid还在不在，如果还是存在，没有退出的话，说明他的任务不太正常，我们就可以在main()，里面干掉这些任务。
所谓的优先级就是个 High + middle +Low 的三合一链条而已，我每次都会坚持从高到低取任务，如果你的High级别的任务不断的话，那么我会一直干不了低级别的任务了。 代码的体现是在redis sorted set这边，设立三个有序集合，我的worker队列会从high开始做……
那么如果想干掉一个任务是如何操作的，首先我需要在 kill_hash 里面标记任务应该赶紧干掉，在就是在task_hash里面把那个task_id干掉，好让他不会被持续的加入待执行的队列里面。

② 三分钟读懂redis数据库

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

1. 使用Redis有哪些好处？

(1) 速度快，因为数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)

(2) 支持丰富数据类型，支持string，list，set，sorted set，hash

(3) 支持事务，操作都是原子性，所谓的原子性就是对数据的更改要么全部执行，要么全部不执行

(4) 丰富的特性：可用于缓存，消息，按key设置过期时间，过期后将会自动删除

2. redis相比memcached有哪些优势？

(1) memcached所有的值均是简单的字符串，redis作为其替代者，支持更为丰富的数据类型

(2) redis的速度比memcached快很多

(3) redis可以持久化其数据

3. redis常见性能问题和解决方案：

(1) Master最好不要做任何持久化工作，如RDB内存快照和AOF日志文件

(2) 如果数据比较重要，某个Slave开启AOF备份数据，策略设置为每秒同步一次

(3) 为了主从复制的速度和连接的稳定性，Master和Slave最好在同一个局域网内

(4) 尽量避免在压力很大的主库上增加从库

(5) 主从复制不要用图状结构，用单向链表结构更为稳定，即：Master <- Slave1 <- Slave2 <- Slave3...

这样的结构方便解决单点故障问题，实现Slave对Master的替换。如果Master挂了，可以立刻启用Slave1做Master，其他不变。

4. MySQL里有2000w数据，redis中只存20w的数据，如何保证redis中的数据都是热点数据

相关知识：redis 内存数据集大小上升到一定大小的时候，就会施行数据淘汰策略。redis 提供 6种数据淘汰策略：

voltile-lru：从已设置过期时间的数据集（server.db[i].expires）中挑选最近最少使用的数据淘汰

volatile-ttl：从已设置过期时间的数据集（server.db[i].expires）中挑选将要过期的数据淘汰

volatile-random：从已设置过期时间的数据集（server.db[i].expires）中任意选择数据淘汰

allkeys-lru：从数据集（server.db[i].dict）中挑选最近最少使用的数据淘汰

allkeys-random：从数据集（server.db[i].dict）中任意选择数据淘汰

no-enviction（驱逐）：禁止驱逐数据

相关推荐：《Python视频教程》

5. Memcache与Redis的区别都有哪些？

1)、存储方式

Memecache把数据全部存在内存之中，断电后会挂掉，数据不能超过内存大小。

Redis有部份存在硬盘上，这样能保证数据的持久性。

2)、数据支持类型

Memcache对数据类型支持相对简单。

Redis有复杂的数据类型。

3），value大小

redis最大可以达到1GB，而memcache只有1MB

6. Redis 常见的性能问题都有哪些？如何解决？

1).Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。

2).Master AOF持久化，如果不重写AOF文件，这个持久化方式对性能的影响是最小的，但是AOF文件会不断增大，AOF文件过大会影响Master重启的恢复速度。Master最好不要做任何持久化工作，包括内存快照和AOF日志文件，特别是不要启用内存快照做持久化,如果数据比较关键，某个Slave开启AOF备份数据，策略为每秒同步一次。

3).Master调用BGREWRITEAOF重写AOF文件，AOF在重写的时候会占大量的CPU和内存资源，导致服务load过高，出现短暂服务暂停现象。

4). Redis主从复制的性能问题，为了主从复制的速度和连接的稳定性，Slave和Master最好在同一个局域网内

7. redis 最适合的场景

Redis最适合所有数据in-momory的场景，虽然Redis也提供持久化功能，但实际更多的是一个disk-backed的功能，跟传统意义上的持久化有比较大的差别，那么可能大家就会有疑问，似乎Redis更像一个加强版的Memcached，那么何时使用Memcached,何时使用Redis呢?

如果简单地比较Redis与Memcached的区别，大多数都会得到以下观点：

1.Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。

2.Redis支持数据的备份，即master-slave模式的数据备份。

3.Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。

（1）会话缓存（Session Cache）

最常用的一种使用Redis的情景是会话缓存（session cache）。用Redis缓存会话比其他存储（如Memcached）的优势在于：Redis提供持久化。当维护一个不是严格要求一致性的缓存时，如果用户的购物车信息全部丢失，大部分人都会不高兴的，现在，他们还会这样吗？

幸运的是，随着 Redis 这些年的改进，很容易找到怎么恰当的使用Redis来缓存会话的文档。甚至广为人知的商业平台Magento也提供Redis的插件。

（2）全页缓存（FPC）

除基本的会话token之外，Redis还提供很简便的FPC平台。回到一致性问题，即使重启了Redis实例，因为有磁盘的持久化，用户也不会看到页面加载速度的下降，这是一个极大改进，类似php本地FPC。

再次以Magento为例，Magento提供一个插件来使用Redis作为全页缓存后端。

此外，对WordPress的用户来说，Pantheon有一个非常好的插件 wp-redis，这个插件能帮助你以最快速度加载你曾浏览过的页面。

（3）队列

Reids在内存存储引擎领域的一大优点是提供 list 和 set 操作，这使得Redis能作为一个很好的消息队列平台来使用。Redis作为队列使用的操作，就类似于本地程序语言（如Python）对 list 的 push/pop 操作。

如果你快速的在Google中搜索“Redis queues”，你马上就能找到大量的开源项目，这些项目的目的就是利用Redis创建非常好的后端工具，以满足各种队列需求。例如，Celery有一个后台就是使用Redis作为broker，你可以从这里去查看。

（4）排行榜/计数器

Redis在内存中对数字进行递增或递减的操作实现的非常好。集合（Set）和有序集合（Sorted Set）也使得我们在执行这些操作的时候变的非常简单，Redis只是正好提供了这两种数据结构。所以，我们要从排序集合中获取到排名最靠前的10个用户–我们称之为“user_scores”，我们只需要像下面一样执行即可：

当然，这是假定你是根据你用户的分数做递增的排序。如果你想返回用户及用户的分数，你需要这样执行：

ZRANGE user_scores 0 10 WITHSCORES

Agora Games就是一个很好的例子，用Ruby实现的，它的排行榜就是使用Redis来存储数据的，你可以在这里看到。

（5）发布/订阅

最后（但肯定不是最不重要的）是Redis的发布/订阅功能。发布/订阅的使用场景确实非常多。我已看见人们在社交网络连接中使用，还可作为基于发布/订阅的脚本触发器，甚至用Redis的发布/订阅功能来建立聊天系统！（不，这是真的，你可以去核实）。

③ Python 入门需要学些什么

Python相对比较简单，零基础也能学。系统学习的话，一般4-6个月左右能学好。

建议大家可以从以下三方面来入手：

①先自学一些python书籍

大家可以从书中了解一些基础知识，建立一些编程认知。

但是这样的方式，还是难免会因为没什么基础很快就觉得枯燥了，所以在书籍方面还是建议大家结合视频课程一起来学习，才能更高效一点。

②网上找相关课程

在mooc网学习的是北京理工大学的一门python公开课，整个流程学习下来能够了解一些基础相关，但课程比较浅显，还是感觉有些不系统，也很难靠自学迅速入门。

③报班学习

很多人对网上报班有些排斥，因为难免会觉得会被割韭菜。但是对于零基础的小白学习python编程而言，跟着专业系统化一点的团队一起学习，势必会更省时省力一点的。

毕竟我们没有基础，靠自学又没啥时间去坚持，能有合适的【线上陪伴式】的课程，还是挺值得一试的。建议大家可以先从体验课开始，了解清楚课程含金量，看看往期学员的体验回馈后再报班学习。

Python的学习学习顺序如下：

①Python软件开发基础

②Python软件开发进阶

③Python全栈式WEB工程师

④Python多领域开发

互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。

想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，能够在校期间取得大专或本科学历，中博软件学院、南京课工场、南京北大青鸟等开设相关专业的学校都是不错的，建议实地考察对比一下。

祝你学有所成，望采纳。

④ 如何使用Redis 做队列操作

• redis设计用来做缓存的，但是由于它自身的某种特性使得它可以用来做消息队列，它有几个阻塞式的API可以使用，正是这些阻塞式的API让其有能力做消息队列；

• 另外，做消息队列的其他特性例如FIFO（先入先出）也很容易实现，只需要一个list对象从头取数据，从尾部塞数据即可；

• redis能做消息队列还得益于其list对象blpop brpop接口以及Pub/Sub（发布/订阅）的某些接口，它们都是阻塞版的，所以可以用来做消息队列。

⑤ python怎么安装redis

redis python-redis 安装详细步骤
安装redis
把redis安装到 /opt/redis-2.8目录中

tar -zxfx redis-2.8.1.tar.gz
cd redis-2.8.1
make && make PREFIX=/opt/redis-2.8 install
cp redis.conf /opt/redis-2.8/
只是把redis当做队列用，不需要存储，所以编辑 /opt/redis-2.8/redis.conf
设置 daemonize yes
把3条 save .. 都注释掉，这样就关闭了硬盘存储
启动redis 非常简单: /opt/redis-2.8/bin/redis-server /opt/redis-2.8/redis.conf
$REIDS_INSTALL_DIR/utils/redis_init_script 这个脚本稍做修改就可以放到/etc/init.d 作为redis启动脚本用
安装python
CentOS 自带的python2.4，太旧了，升级到2.7

tar -zvxf Python-2.7.6.tgz
cd Python-2.7.6
./configure
make && make install
替换系统默认的python: sudo ln -s /usr/local/bin/python2.7 /usr/bin/python
安装python的redis模块
wget --no-check-certificate 2.8.0.tar.gz
tar -zvxf redis-2.8.0.tar.gz
mv redis-2.8.0 python-redis-2.8.0
cd python-redis-2.8.0
python setup.py install
部署成功

⑥ 想学python从哪里入手

Python适用于网站、桌面应用开发，自动化脚本，复杂计算系统，科学计算，生命支持管理系统，物联网，游戏，机器人，自然语言处理等很多方面。而且，既使对于那些从没有开发经验的人来讲，Python的代码也是简洁易懂的。所以，有不少人会选择Python专业的学习。

作为一门优美、精巧的编程语言，Python不仅仅适合作为编程入门，对于希望掌握实战开发技能进而从事编程工作的人来说，Python也是一个很不错的选择。
Python的初学者说一说入门的学习路径。
1、建立开发环境
建立开发环境非常重要，。做任何开发，首先就是要把这个环境准备好，之后就可以去做各种尝试，尝试过程中的话就能逐渐建立信心。初学者往往在环境配置中被各种预想不到的问题弄得很沮丧。
2、了解编程语言基础
有了工作环境后，我们就可以开始编写和执行Python程序了。
Python这类脚本程序其实就像是一段“电影脚本”，按照从前往后的顺序规定了一系列的动作，指挥着你电脑的CPU、硬盘、操作系统等部件干这干那。所以为了让电脑能够看懂，你编写的这段“电影脚本”需要按照电脑所使用的语言进行编写。例如print("hello world!")这样一句话就会让电脑调用一系列部件，最后在屏幕上输出它对世界的问好；而a=3+5这样一句话就会让电脑计算3+5的答案，然后将答案放入一个名字为a的“盒子”当中。
3、掌握数据结构基础
为了能够完成更复杂的计算场景，Python提供了若干种内置的数据结构。所谓数据结构，你可以认为一组变量以某个特定的方式组织在一起，而不仅仅是单个独立的变量。通过特定的组织方式，在处理某些运算时能够能够大大提高编程的效率。数据结构是计算机专业的一门必修专业课，更高级的数据结构及其内部实现方式你需要专门学习，不过Python的数据结构可以是一个非常好的学习起点。
4、掌握函数的基本概念
在实际编写程序的过程中，某些代码可能会反复执行多次。而这些代码除了变量不同外，没有任何的区别。这些代码实际上类似于数学表达式中的函数f(x)，当我们给x赋值时，就会得到对应的结果。在Python中也提供了这样的特性，同样称之为“函数”。
函数将需要反复使用的代码进行模块化，从而减少了代码的重复，同时还增加了可读性和可维护性。当需要修改时，只要改变定义内的代码，就可以完成对每一次执行的修改。
5、面向对象编程
面向对象是一种非常符合人类思维的编程方法，因为现实世界就是由对象和对象之间的交互来构成的，所以我们其实很容易将现实世界映射到软件开发中。举个例子，一辆汽车、一篇博客、一个人，对应到软件系统中都是一个对象；而对象具有自己的状态和行为。
6、学习函数式编程
也许你还觉得函数式编程很陌生，但许多的函数式编程风格已经渐渐开始流行。什么叫函数式编程呢？事实上只要语言将函数作为一等公民（或者借助工具达到类似效果） 就可以支持函数式编程。而将函数作为一等公民意味着函数可以像变量一样传参、赋值和返回。函数式编程的书写方式使得代码编写的效率更加高，极大地提高生产效率。
7、掌握更多标准库中的模块

⑦ php 用 redis做队列 运行过程是什么样的

Reids是一个比较高级的开源key-value存储系统，采用ANSI C实现。其与memcached类似，但是支持持久化数据存储入队操作
复制代码 代码如下:
<?php
$redis = new Redis();
$redis->connect('127.0.0.1',6379);
while(True){
try{
$value = 'value_'.date('Y-m-d H:i:s');
$redis->LPUSH('key1',$value);
sleep(rand()%3);
echo $value."\n";
}catch(Exception $e){
echo $e->getMessage()."\n";
}
}
?>
出队操作
复制代码 代码如下:
<?php
$redis = new Redis();
$redis->pconnect('127.0.0.1',6379);
while(True){
try{
echo $redis->LPOP('key1')."\n";
}catch(Exception $e){
echo $e->getMessage()."\n";
}
sleep(rand()%3);
}?>
如何使用Redis 做队列操作
Reids是一个比较高级的开源key-value存储系统，采用ANSI C实现。其与memcached类似，但是支持持久化数据存储，同时value支持多种类型：字符串 （同memcached中的value），列表 ，集合 (Set)，有序集合 (OrderSet)和Hash 。所有的值类型均支持原子操作，如列表中追加弹出元素，集合中插入移除元素等。Rdids的数据大部分位于内存中，其读写效率非常高，其提供AOF（追加 式操作记录文件）和DUMP（定期数据备份）两种持久化方式。Redis支持自定义的VM（虚拟内存）机制，当数据容量超过内存时，可以将部分Value 存储到文件中。同时Redis支持Master-Slave机制，可以进行数据复制。
可以把Redis的list结构当队列来用.
从上面Redis的场景和作用来说，对于我们现在的开发活动，究竟能把Redis引入在那些场景，而不是把这么好的东东演变成“为了使用Redis，而Redis”的惨烈局面呢？当然，具体问题具体分析，这个真的很重要哈。
缓存？分布式缓存？
队列？分布式队列？
某些系统应用（例如，电信、银行和大型互联网应用等）都会使用到，当然，现在大行其道的memcache就是很好的证明；但从某一方面来说，memcache是否能把两张囊括其中，而且能做到更好（没有实际的应用过，所以只是抛出）。但从Redis身上，我就能感觉到，Redis，就能把队列和缓存两张都囊括其中，而且都不会产生并发环境下的困扰，因为Redis中的操作都是原子操作来着。
至于评论两者的孰好孰坏就免了，存在就是理由，选择适合的就是最好的。
下面开始玩玩Redis中的队列（分布式）设计YY吧，请大虾们多多指点。
状况场景：
现在的项目，都是部署在多个服务器，或者多个IP上，而且前台经由F5分发，所以用户的请求究竟落在那一台的服务器上，是无法确定的。对于项目中，有一秒杀设计，刚开始没有考虑到这种部署，同时也是使用最容易处理的方式，直接给数据库表锁行记录（Oracle上的）。可以说，对于不同的应用部署，而只有一台数据库服务器来说，很“轻松”的就解决了这个并发的问题。所以现在考虑一下，是不是挪到应用上，避免数据库服务器也掺杂到业务上。
比如，现在有2台应用服务器，1台数据库服务器。想法是，把Redis部署在数据库服务器上，两台服务器在操作并发缓存或者队列时，先从Redis服务器上，取得在两台应用服务器的代理对象，再做入列出列的操作。
看代码实现（PHP）
入队列操作文件 list_push.php
复制代码 代码如下:
<?php
$redis = getRedisInstance();//从Redis服务器拿到redis实例$redis->connect('Redis服务器IP', 6379);
while (true) {
$redis->lPush('list1', 'A_'.date('Y-m-d H:i:s'));sleep(rand()%3);
}
?>
执行# php list_push.php &
出队列操作 list_pop.php文件
复制代码 代码如下:
<?php
$redis = getRedisInstance();//从Redis服务器拿到redis实例$redis->pconnect('Redis服务器IP', 6379);
while(true) {
try {
var_export( $redis->blPop('list1', 10) );} catch(Exception $e) {
//echo $e;
}
}
实现方法(Python)
1.入队列（write.py）
复制代码 代码如下:
#!/usr/bin/env python
import time
from redis import Redis
redis = Redis(host='127.0.0.1', port=6379)while True:
now = time.strftime("%Y/%m/%d %H:%M:%S")
redis.lpush('test_queue', now)
time.sleep(1)
2.出队列（read.py）
复制代码 代码如下:
#!/usr/bin/env python
import sys
from redis import Redis
redis = Redis(host='127.0.0.1', port=6379)while True:
res = redis.rpop('test_queue')
if res == None:
pass
else:
print str(res)

⑧ 怎样设计python脚本实现redis的set命令

#!/usr/bin/python
#coding=utf-8
import redis
class CRedis:
def __init__(self):
self.host = 'localhost'
self.port = 6379
self.db = 0
self.r = redis.Redis(host = self.host, port = self.port, db = self.db)
#1. strings 类型及操作
#设置 key 对应的值为 string 类型的 value
def set(self, key, value):
return self.r.set(key, value)
#设置 key 对应的值为 string 类型的 value。如果 key 已经存在,返回 0,nx 是 not exist 的意思
def setnx(self, key, value):
return self.r.setnx(key, value)
#设置 key 对应的值为 string 类型的 value,并指定此键值对应的有效期
def setex(self, key, time, value):
return self.r.setex(key, time, value)
#设置指定 key 的 value 值的子字符串
#setrange name 8 gmail.com
#其中的 8 是指从下标为 8(包含 8)的字符开始替换
def setrange(self, key, num, value):
return self.r.setrange(key, num, value)
#获取指定 key 的 value 值的子字符串
def getrange(self, key, start ,end):
return self.r.getrange(key, start, end)
#mget(list)
def get(self, key):
if isinstance(key, list):
return self.r.mget(key)
else:
return self.r.get(key)
#删除
def remove(self, key):
return self.r.delete(key)
#自增
def incr(self, key, default = 1):
if (1 == default):
return self.r.incr(key)
else:
return self.r.incr(key, default)
#自减
def decr(self, key, default = 1):
if (1 == default):
return self.r.decr(key)
else:
return self.r.decr(key, default)
#2. hashes 类型及操作
#根据email获取session信息
def hget(self, email):
return self.r.hget('session', email)
#以email作为唯一标识，增加用户session
def hset(self, email, content):
return self.r.hset('session', email, content)
#获取session哈希表中的所有数据
def hgetall(self):
return self.r.hgetall('session')
#删除hashes
def hdel(self, name, key = None):
if(key):
return self.r.hdel(name, key)
return self.r.hdel(name)
#清空当前db
def clear(self):
return self.r.flushdb()
#3、lists 类型及操作
#适合做邮件队列
#在 key 对应 list 的头部添加字符串元素
def lpush(self, key ,value):
return self.r.lpush(key, value)
#从 list 的尾部删除元素,并返回删除元素
def lpop(self, key):
return self.r.plush(key)
if __name__ == '__main__':
r = CRedis()

⑨ 学习redis需要会python吗

Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。最大的好处是可以提升查询速度。
如果你的工作需要python来处理的话，需要学习下如何利用python处理这类数据就行了

⑩ redis队列什么意思

Redis队列功能介绍

List

常用命令：

Blpop删除，并获得该列表中的第一元素，或阻塞，直到有一个可用

Brpop删除，并获得该列表中的最后一个元素，或阻塞，直到有一个可用

Brpoplpush

Lindex获取一个元素，通过其索引列表

Linsert在列表中的另一个元素之前或之后插入一个元素

Llen获得队列(List)的长度

Lpop从队列的左边出队一个元素

Lpush从队列的左边入队一个或多个元素

Lpushx当队列存在时，从队到左边入队一个元素

Lrange从列表中获取指定返回的元素

Lrem从列表中删除元素

Lset设置队列里面一个元素的值

Ltrim修剪到指定范围内的清单

Rpop从队列的右边出队一个元素

Rpoplpush删除列表中的最后一个元素，将其追加到另一个列表

Rpush从队列的右边入队一个元素

Rpushx从队列的右边入队一个元素，仅队列存在时有效

Redis支持php、python、c等接口

应用场景：

Redislist的应用场景非常多，也是Redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表等都可以用Redis的list结构来实现。

Lists就是链表，相信略有数据结构知识的人都应该能理解其结构。使用Lists结构，我们可以轻松地实现最新消息排行等功能。

Lists的另一个应用就是消息队列，

可以利用Lists的PUSH操作，将任务存在Lists中，然后工作线程再用POP操作将任务取出进行执行。Redis还提供了操作Lists中某一段的api，你可以直接查询，删除Lists中某一段的元素。

如果需要还可以用redis的Sorted-Sets数据结构来做优先队列.可以给每条消息加上一个唯一的序号。这里就不详细介绍了。

实现方式：

Redislist的实现为一个双向链表，即可以支持反向查找和遍历，更方便操作，不过带来了部分额外的内存开销，Redis内部的很多实现，包括发送缓冲队列等也都是用的这个数据结构。

示意图:

1)入队