pythonredis安装

‘壹’ python怎么测试与redis的连接

Redis服务端：192.168.100.132；port=6379
Redis客户端：192.168.100.132
客户端操作：
安装python支持redis;
tar zxvf redis-2.9.1.tar.gz
cd redis-2.9.1
python setup.py install
服务端启动redis
/root/redis-2.2.12/src/redis-server
客户端测试：
[root@master ~]# python
>>> import redis
>>> r = redis.Redis(host='192.168.100.132',port=6379,db=0) //#如果设置了密码，就加上password=密码
>>> r.set('name','lansgg')
True
>>> r.get('name')
'lansgg'
>>> r.exists('name') //#看是否存在这个键值
True
>>> r.delete('name')
1
>>> r.dbsize() //#库里有多少key，多少条数据
0L
>>> r.set('name','lansgg')
True
>>> r.flushdb() // #删除当前数据库的所有数据
True
>>> r.get('name')
>>> r.set('name','lansgg')
True
>>> r.set('wm','leo')
True
>>> r.set('tt','coffee')
True
>>> r.keys() // # 列出所有键值。
['tt', 'wm', 'name']
>>> r.save() // #强行把数据库保存到硬盘。保存时阻塞
True
>>> r.dbsize()
3L
>>> dir(r)
['RESPONSE_CALLBACKS', '__class__', '__contains__', '__delattr__', '__delitem__', '__dict__', '__doc__', '__format__', '__getattribute__', '__getitem__', '__hash__', '__init__', '__mole__', '__new__', '__rece__', '__rece_ex__', '__repr__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_zaggregate', 'append', 'bgrewriteaof', 'bgsave', 'bitcount', 'bitop', 'blpop', 'brpop', 'brpoplpush', 'client_getname', 'client_kill', 'client_list', 'client_setname', 'config_get', 'config_resetstat', 'config_set', 'connection_pool', 'dbsize', 'debug_object', 'decr', 'delete', 'mp', 'echo', 'eval', 'evalsha', 'execute_command', 'exists', 'expire', 'expireat', 'flushall', 'flushdb', 'from_url', 'get', 'getbit', 'getrange', 'getset', 'hdel', 'hexists', 'hget', 'hgetall', 'hincrby', 'hincrbyfloat', 'hkeys', 'hlen', 'hmget', 'hmset', 'hscan', 'hset', 'hsetnx', 'hvals', 'incr', 'incrby', 'incrbyfloat', 'info', 'keys', 'lastsave', 'lindex', 'linsert', 'llen', 'lock', 'lpop', 'lpush', 'lpushx', 'lrange', 'lrem', 'lset', 'ltrim', 'mget', 'move', 'mset', 'msetnx', 'object', 'parse_response', 'persist', 'pexpire', 'pexpireat', 'ping', 'pipeline', 'psetex', 'pttl', 'publish', 'pubsub', 'randomkey', 'register_script', 'rename', 'renamenx', 'response_callbacks', 'restore', 'rpop', 'rpoplpush', 'rpush', 'rpushx', 'sadd', 'save', 'scan', 'scard', 'script_exists', 'script_flush', 'script_kill', 'script_load', 'sdiff', 'sdiffstore', 'sentinel', 'sentinel_get_master_addr_by_name', 'sentinel_masters', 'sentinel_sentinels', 'sentinel_slaves', 'set', 'set_response_callback', 'setbit', 'setex', 'setnx', 'setrange', 'shutdown', 'sinter', 'sinterstore', 'sismember', 'slaveof', 'smembers', 'smove', 'sort', 'spop', 'srandmember', 'srem', 'sscan', 'strlen', 'substr', 'sunion', 'sunionstore', 'time', 'transaction', 'ttl', 'type', 'unwatch', 'watch', 'zadd', 'zcard', 'zcount', 'zincrby', 'zinterstore', 'zrange', 'zrangebyscore', 'zrank', 'zrem', 'zremrangebyrank', 'zremrangebyscore', 'zrevrange', 'zrevrangebyscore', 'zrevrank', 'zscan', 'zscore', 'zunionstore']
这只是一个简单的测试，为了测试redis是否正常工作，我们安装是否正确；

‘贰’ 如何在 CentOS 7 上安装 Redis 服务器

Redis 是一个开源的多平台数据存储软件，使用 ANSI C 编写，直接在内存使用数据集，这使得它得以实现非常高的效率。Redis
支持多种编程语言，包括 Lua, C, Java, Python, Perl, PHP 和其他很多语言。redis
的代码量很小，只有约3万行，它只做“很少”的事，但是做的很好。尽管是在内存里工作，但是数据持久化的保存还是有的，而redis
的可靠性就很高，同时也支持集群，这些可以很好的保证你的数据安全。

构建 Redis

redis 目前没有官方 RPM 安装包，我们需要从源代码编译，而为了要编译就需要安装 Make 和 GCC。

如果没有安装过 GCC 和 Make，那么就使用 yum 安装。
yum install gcc make

解压缩。
tar zxvf redis-3.0.4.tar.gz

进入解压后的目录。
cd redis-3.0.4

使用Make 编译源文件。
make

安装

进入源文件的目录。
make

复制 Redis 的服务器和客户端到 /usr/local/bin。
cp redis-server redis-cli /usr/local/bin

最好也把 sentinel，benchmark 和 check 复制过去。
cp redis-sentinel redis-benchmark redis-check-aof redis-check-mp /usr/local/bin

创建redis 配置文件夹。
mkdir /etc/redis

在/var/lib/redis 下创建有效的保存数据的目录。
mkdir -p /var/lib/redis/6379

系统参数

为了让 redis 正常工作需要配置一些内核参数。

配置 vm.overcommit_memory 为1，这可以避免数据被截断，详情见此。
sysctl -w vm.overcommit_memory=1

修改 backlog 连接数的最大值超过 redis.conf 中的 tcp-backlog 值，即默认值511。你可以在 kernel.org 找到更多有关基于 sysctl 的 ip 网络隧道的信息。
sysctl -w net.core.somaxconn=512

取消对透明巨页内存(transparent huge pages)的支持，因为这会造成 redis 使用过程产生延时和内存访问问题。
echo never > /sys/kernel/mm/transparent_hugepage/enabled

redis.conf

redis.conf 是 redis 的配置文件，然而你会看到这个文件的名字是 6379.conf ，而这个数字就是 redis 监听的网络端口。如果你想要运行超过一个的 redis 实例，推荐用这样的名字。

复制示例的 redis.conf 到 /etc/redis/6379.conf。
echo never > /sys/kernel/mm/transparent_hugepage/enabled

现在编辑这个文件并且配置参数。
vi /etc/redis/6379.conf

daemonize

设置 daemonize 为 no，systemd 需要它运行在前台，否则 redis 会突然挂掉。
vi /etc/redis/6379.conf

pidfile

设置 pidfile 为 /var/run/redis_6379.pid。
vi /etc/redis/6379.conf

port

如果不准备用默认端口，可以修改。
port 6379

loglevel

设置日志级别。
port 6379

logfile

修改日志文件路径。
logfile /var/log/redis_6379.log

dir

设置目录为 /var/lib/redis/6379
dir /var/lib/redis/6379

安全

下面有几个可以提高安全性的操作。

Unix sockets

在很多情况下，客户端程序和服务器端程序运行在同一个机器上，所以不需要监听网络上的 socket。如果这和你的使用情况类似，你就可以使用
unix socket 替代网络 socket，为此你需要配置 port 为0，然后配置下面的选项来启用 unix socket。

设置 unix socket 的套接字文件。
unixsocket /tmp/redis.sock

限制 socket 文件的权限。
unixsocketperm 700

现在为了让 redis-cli 可以访问，应该使用 -s 参数指向该 socket 文件。
redis-cli -s /tmp/redis.sock

requirepass

你可能需要远程访问，如果是，那么你应该设置密码，这样子每次操作之前要求输入密码。
requirepass "bTFBx1NYYWRMTUEyNHhsCg"

rename-command

想象一下如下指令的输出。是的，这会输出服务器的配置，所以你应该在任何可能的情况下拒绝这种访问。
CONFIG GET *

为了限制甚至禁止这条或者其他指令，可以使用 rename-command 命令。你必须提供一个命令名和替代的名字。要禁止的话，需要设置替代的名字为空字符串，这样禁止任何人猜测命令的名字会比较安全。
rename-command FLUSHDB "FLUSHDB_MY_SALT_G0ES_HERE09u09u" rename-command FLUSHALL "" rename-command CONFIG "CONFIG_MY_S4LT_GO3S_HERE09u09u"

使用密码通过 unix socket 访问，和修改命令

快照

默认情况下，redis 会周期性的将数据集转储到我们设置的目录下的 mp.rdb 文件。你可以使用 save 命令配置转储的频率，它的第一个参数是以秒为单位的时间帧，第二个参数是在数据文件上进行修改的数量。

每隔15分钟并且最少修改过一次键。
save 900 1

每隔5分钟并且最少修改过10次键。
save 300 10

每隔1分钟并且最少修改过10000次键。
save 60 10000

文件 /var/lib/redis/6379/mp.rdb 包含了从上次保存以来内存里数据集的转储数据。因为它先创建临时文件，然后替换之前的转储文件，这里不存在数据破坏的问题，你不用担心，可以直接复制这个文件。

开机时启动

你可以使用 systemd 将 redis 添加到系统开机启动列表。

复制示例的 init_script 文件到 /etc/init.d，注意脚本名所代表的端口号。
cp utils/redis_init_script /etc/init.d/redis_6379

现在我们要使用 systemd，所以在 /etc/systems/system 下创建一个单位文件名字为 redis_6379.service。
vi /etc/systemd/system/redis_6379.service

填写下面的内容，详情可见 systemd.service。
[Unit] Description=Redis on port 6379 [Service] Type=forking ExecStart=/etc/init.d/redis_6379 start ExecStop=/etc/init.d/redis_6379 stop [Install] WantedBy=multi-user.target

现在，添加我之前在 /etc/sysctl.conf 里面修改过的内存过量使用和 backlog 最大值的选项。
vm.overcommit_memory = 1 net.core.somaxconn=512

对于透明巨页内存支持，并没有直接 sysctl 命令可以控制，所以需要将下面的命令放到 /etc/rc.local 的结尾。

echo never > /sys/kernel/mm/transparent_hugepage/enabled

‘叁’ redis 一个数据库能存多少数据

redis一个实例能存一个key或是value大小最大是512M。操作方法如下：

1、首先要安装redis，开启redis的服务。

‘肆’ scrapy-redis到底需要怎样部署啊分别应该安装什么软件

酷辣虫 CoLaBug

综合技术
Scrapy-redis分布式爬虫+Docker快速部署
简书 简书 2018-07-28 本文共6495个字，预计阅读需要17分钟。

生成海报
微信扫一扫,分享到朋友圈

Scrapy-redis分布式爬虫+Docker快速部署
0 0
Scrapy-redis分布式爬虫+Docker快速部署

打算爬一个网站的数据,量比较大, url 链接从0开始达到2亿,刚开始用 request 递归写了个爬虫,发现速度低的可怜,不算任何的错误,也只能达到.5秒一个请求,这速度实在不能忍,所以想着用分布式爬虫,所以才有了这篇文章

开发环境+框架、库

开发环境：
macOS High Sierra 10.13
Python3.5

开发工具：
PyCharm
Python库： pymysql 、 scrapy 、 scrapy-redis 、 requests 、 BeautifulSoup4 、 redis-py

运行环境： Centos7.4 Centos6.9 Docker

开始搭建环境

安装 Python3 Windows请自行查找教程安装、Mac用户系统自带了 Py2.6 ,我建议升级到 Python3 ,用 HomeBrew 安装即可

Homebrew安装命令

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
然后使用 brew install python 安装 Python3
安装成功后再终端输入 python3 查看是否安装成功,如果输入 python 默认使用本机的 py2 ，当然也可以去配置文件设置个 alias 将 python 设置成启动 py3

image

如图安装成功

然后用
easy_install pip 安装
Python 的包管理工具
pip

注意:有的人用的是 Anaconda 作为 py 环境,我刚开始也是用的 Anaconda ,但是在 install scrapy-redis 的时候发现无法导入,默认源都没有这个库,

‘伍’ python中我安装了redis模块 但是在文件中import redis 发现找不到该文件, 这个怎么解决!

可以从 pycharm 里面安装

‘陆’ python中redis服务怎么起

redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，
并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。
import redis 导入redis模块，通过python操作redis 也可以直接在redis主机的服务端操作缓存数据库
r = redis.Redis(host='192.168.19.130', port=6379) host是redis主机，需要redis服务端和客户端都起着 redis默认端口是6379
r.set('foo', 'Bar') key是"foo" value是"bar" 将键值对存入redis缓存
print r.get('foo') Bar 取出键foo对应的值！

‘柒’ python2.7安装rediscluster模块报错，求助

1如果是在windows上请下载PYTHON2.6的安装程序，然后直接运行即可安装完成。2安装完成后需要到系统的环境变量处设置PYTHON的环境变量具体设置方法如图3在命令行键入python遍可以进入PYTHON的交互编程界面。如果需要在LINUX上安装以CENTO

‘捌’ Mac下pip安装redis 默认路径在哪里

根据系统不同： Windows是python目录下Lib\site-packages\； Linux是/usr/local/lib/python/dist-packages/。

‘玖’ python爬虫需要安装哪些库

一、 请求库

1. requests
requests 类库是第三方库，比 Python 自带的 urllib 类库使用方便和

2. selenium
利用它执行浏览器动作，模拟操作。
3. chromedriver
安装chromedriver来驱动chrome。

4. aiohttp
aiohttp是异步请求库，抓取数据时可以提升效率。

二、 解析库
1. lxml
lxml是Python的一个解析库，支持解析HTML和XML，支持XPath的解析方式，而且解析效率非常高。
2. beautifulsoup4
Beautiful Soup可以使用它更方便的从 HTML 文档中提取数据。

3. pyquery
pyquery是一个网页解析库，采用类似jquery的语法来解析HTML文档。
三、 存储库
1. mysql
2. mongodb
3. redis
四、 爬虫框架scrapy
Scrapy 是一套异步处理框架，纯python实现的爬虫框架，用来抓取网页内容以及各种图片
需要先安装scrapy基本依赖库，比如lxml、pyOpenSSL、Twisted