pythonrediswindows

‘壹’ python安装hiredis一直报错什么。。求解。环境是win64下

很稿薯明显你的环颤粗境里没有sys/socket.h这茄敬镇个头文件。hiredis是依赖c库hiredis的python扩展，要编译的。
fatal error: sys/socket.h: No such file or directory
#include <sys/socket.h>

‘贰’ 盘点Python常用的模块和包

模块

1.定义

计算机在开发过程中，代码越写越多，也就越难以维护，所以为了编写可维护的代码，我们会把函数进行分组，放在不同的文件里。在python里，一个.py文件就是一个模块。

2.优点：

提高代码的可维护性。

提高代码的复用，当模块完成时就可以在其他代码中调用。

引用其他模块，包含python内置模块和其他第三方模块。

避免函数名和变量名等名称冲突。

python内建模块：

1.sys模块

2.random模块

3.os模块：

os.path:讲解

https://www.cnblogs.com/yufeihlf/p/6179547.html

数据可视化

1.matplotlib :

是Python可视化程序库的泰斗，它的设计和在1980年代被设计的商业化程序语言MATLAB非常接近。比如pandas和Seaborn就是matplotlib的外包，它们让你能用更少的代码去调用 matplotlib的方法。

访问：

https://matplotlib.org/

颜色：

https://www.cnblogs.com/darkknightzh/p/6117528.html

教程：

https://wizardforcel.gitbooks.io/matplotlib-user-guide/3.1.html

2.Seaborn：

它是构建在matplotlib的基础上的，用简洁的代码来制作好看的图表。Seaborn跟matplotlib最大的区别就是它的默认绘图风格和色彩搭配都具有现代美感。

访问：

http://seaborn.pydata.org/index.html

3.ggplot：

gplot 跟 matplotlib 的不同之处是它允许你叠加不同的图层来完成一幅图

访问：

http://ggplot.yhathq.com/

4.Mayavi：

Mayavi2完全用Python编写，因此它不但是一个方便实用的可视化软件，而且可以方便地用Python编写扩展，嵌入到用户编写的Python程序中，或者直接使用其面向脚本的API：mlab快速绘制三维图

访问：http://code.enthought.com/pages/mayavi-project.html

讲解：https://blog.csdn.net/ouening/article/details/76595427https://www.jianshu.com/p/81e6f4f1cdd8

5.TVTK：

TVTK库对标准的VTK库进行包装，提供了Python风格的API、支持Trait属性和numpy的多维数组。

VTK (http://www.vtk.org/) 是一套三维的数据可视化工具，它由C++编写，包涵了近千个类帮助我们处理和显示数据

讲解：https://docs.huihoo.com/scipy/scipy-zh-cn/tvtk_intro.html

机器学习

1.Scikit-learn

是一个简单且高效的数据挖掘和数据分析工具，易上手，可以在多个上下文中重复使用。它基于NumPy, SciPy 和 matplotlib，开源，可商用（基于 BSD 许可）。

访问：

讲解：https://blog.csdn.net/finafily0526/article/details/79318401

2.Tensorflow

最初由谷歌机器智能科研组织中的谷歌大脑团队（Google Brain Team）的研究人员和工程师开发。该系统设计的初衷是为了便于机器学习研究，能够更快更好地将科研原型转化为生产项目。

相关推荐：《Python视频教程》

Web框架

1.Tornado

访问：http://www.tornadoweb.org/en/stable/

2.Flask

访问：http://flask.pocoo.org/

3.Web.py

访问：http://webpy.org/

4.django

https://www.djangoproject.com/

5.cherrypy

http://cherrypy.org/

6.jinjs

http://docs.jinkan.org/docs/jinja2/

GUI 图形界面

1.Tkinter

https://wiki.python.org/moin/TkInter/

2.wxPython

https://www.wxpython.org/

3.PyGTK

http://www.pygtk.org/

4.PyQt

https://sourceforge.net/projects/pyqt/

5.PySide

http://wiki.qt.io/Category:LanguageBindings::PySide

科学计算

教程

https://docs.huihoo.com/scipy/scipy-zh-cn/index.html#

1.numpy

访问

http://www.numpy.org/

讲解

https://blog.csdn.net/lm_is_dc/article/details/81098805

2.sympy

sympy是一个Python的科学计算库，用一套强大的符号计算体系完成诸如多项式求值、求极限、解方程、求积分、微分方程、级数展开、矩阵运算等等计算问题

访问

https://docs.sympy.org/0.7.1/guide.html#guide

讲解

https://www.jianshu.com/p/339c91ae9f41

解方程

https://www.cnblogs.com/zyg123/p/10549354.html

3.SciPy

官网

https://www.scipy.org/

讲解

https://blog.csdn.net/wsp_1138886114/article/details/80444621

4.pandas

官网

http://pandas.pydata.org/

讲解

https://www.cnblogs.com/linux-wangkun/p/5903945.html

5.blaze

官网

http://blaze.readthedocs.io/en/latest/index.html

密码学

1.cryptography

https://pypi.python.org/pypi/cryptography/

2.hashids

http://www.oschina.net/p/hashids

3.Paramiko

http://www.paramiko.org/

4.Passlib

https://pythonhosted.org/passlib/

5.PyCrypto

https://pypi.python.org/pypi/pycrypto

6.PyNacl

http://pynacl.readthedocs.io/en/latest/

爬虫相关

requests

http://www.python-requests.org/

scrapy

https://scrapy.org/

pyspider

https://github.com/binux/pyspider

portia

https://github.com/scrapinghub/portia

html2text

https://github.com/Alir3z4/html2text

BeautifulSoup

https://www.crummy.com/software/BeautifulSoup/

lxml

http://lxml.de/

selenium

http://docs.seleniumhq.org/

mechanize

https://pypi.python.org/pypi/mechanize

PyQuery

https://pypi.python.org/pypi/pyquery/

creepy

https://pypi.python.org/pypi/creepy

gevent

一个高并发的网络性能库

http://www.gevent.org/

图像处理

bigmoyan

http://scikit-image.org/

Python Imaging Library(PIL)

http://www.pythonware.com/procts/pil/

pillow：

http://pillow.readthedocs.io/en/latest/

自然语言处理

1.nltk：

http://www.nltk.org/

教程

https://blog.csdn.net/wizardforcel/article/details/79274443

2.snownlp

https://github.com/isnowfy/snownlp

3.Pattern

https://github.com/clips/pattern

4.TextBlob

http://textblob.readthedocs.io/en/dev/

5.Polyglot

https://pypi.python.org/pypi/polyglot

6.jieba：

https://github.com/fxsjy/jieba

数据库驱动

mysql-python

https://sourceforge.net/projects/mysql-python/

PyMySQL

https://github.com/PyMySQL/PyMySQL

PyMongo

https://docs.mongodb.com/ecosystem/drivers/python/

pymongo

MongoDB库

访问：https://pypi.python.org/pypi/pymongo/

redis

Redis库

访问：https://pypi.python.org/pypi/redis/

cxOracle

Oracle库

访问：https://pypi.python.org/pypi/cx_Oracle

SQLAlchemy

SQL工具包及对象关系映射（ORM）工具

访问：http://www.sqlalchemy.org/

peewee，

SQL工具包及对象关系映射（ORM）工具

访问：https://pypi.python.org/pypi/peewee

torndb

Tornado原装DB

访问：https://github.com/bdarnell/torndb

Web

pycurl

URL处理工具

smtplib模块

发送电子邮件

其他库暂未分类

1.PyInstaller：

是一个十分有用的第三方库，它能够在Windows、Linux、 Mac OS X 等操作系统下将 Python 源文件打包，通过对源文件打包， Python 程序可以在没有安装 Python 的环境中运行，也可以作为一个 独立文件方便传递和管理。

2.Ipython

一种交互式计算和开发环境

讲解

https://www.cnblogs.com/zzhzhao/p/5295476.html

命令

ls、cd 、run、edit、clear、exist

‘叁’ Python 常用的标准库以及第三方库有哪些

参考：知乎
Python 常用的标准库以及第三方库


standard libs:

itertools

functools 学好python有必要掌握上面这两个库吧，
re 正则
subprocess 调用shell命令的神器
pdb 调试
traceback 调试
pprint 漂亮的输出
logging 日志
threading和multiprocessing 多线程
urllib/urllib2/httplib http库，httplib底层一点，推荐第三方的库requests
os/sys 系统，环境相关
Queue 队列
pickle/cPickle 序列化工具
hashlib md5, sha等hash算法
cvs
json/simplejson python的json库，据so上的讨论和benchmark，simplejson的性能要高于json
timeit 计算代码运行的时间等等
cProfile python性能测量模块
glob 类似与listfile，可以用来查找文件
atexit 有一个注册函数，可用于正好在脚本退出运行前执行一些代码
dis python 反汇编，当对某条语句不理解原理时，可以用dis.dis 函数来查看代码对应的python 解释器指令等等。

3th libs:

paramiko ssh python 库
selenium 浏览器自动化测试工具selenium的python 接口
lxml python 解析html,xml 的神器
mechanize Stateful programmatic web browsing

pycurl cURL library mole for Python
Fabric Fabric is a Python (2.5 or higher) library and command-line tool for streamlining the use of SSH for application deployment or systems administration tasks.

xmltodict xml 转 dict，真心好用
urllib3 和 requests: 当然其实requests就够了 Requests: HTTP for Humans
flask web 微框架
ipdb 调试神器，同时推荐ipython！结合ipython使用
redis redis python接口
pymongo mongodbpython接口
PIL python图像处理
mako python模版引擎
numpy ， scipy 科学计算
matplotlib 画图

scrapy 爬虫
django/tornado/web.py/web2py/uliweb/flask/twisted/bottle/cherrypy.等等 python web框架/服务器
sh 1.08 — sh v1.08 documentation 用来运行shell 模块的 极佳选择

‘肆’ Python 进阶都要学什么

在学习Python之前 肯定都自己了解过这竖轿门语言，也知道Python有很多的学习方向，比如说数据采集方向（爬虫），或者Web开发方向，也可能是最近特别火热的人工智能方向。每个方向所需要的技术都是不尽相同的，所以在我们学习完成Python的基础语法之后，一定要慎重选择自己之后的进阶方向。通用必备基础知识：（这些知识不管是做python哪方面，都是基础性知识，都必须会）。
1.学习python基础语法知识
2.学习网络编程，熟悉线程、进程、等网络编程基本原理
3.学习MySQL，能熟练对数据库数据的增删改查命令，面试也会经常问到（有条件学习下mongodb和redis,尤其是redis，现在很多技术都利用到了redis的优秀特性，比如爬虫的去重、分布式爬虫、数据缓存等等）
4.学习正则表达式，用于数据的提取 re模块。
5、前端入门html\\css\\jquery,用于分析网页页面结构，能读懂前端人员编写的代码含义。
转型爬虫学习的知识：1.requests库：发送网页请求，返回数据。
2.xpath：用于网页元素的提取（当然还有bs4、pyquery等，选择顺手的）。
3.selenium:用于真实浏览器访问网页，根据具体情况使用。
4.scrapy:用于大规模快速网页数据爬取。
5.验证码破解：验证码破解建议大家可以多搞点难破解的，比如滑块验证码、淘宝验证码、12306验证码等等，面试余坦肆经常问到哦。
6、web后台库和框架：django、flask、tornado，三个框架各有优劣，web框架小编用django和flask居多，django觉得很多东西都已经封装好了，可以直接用，不用自己手动构造，比如django的admin后台和xadmin后台，flask就相对灵活多变，还是那句话，至少掌握两个框架，多多益善。
因为入门编程并不是一件分分钟就能做到的事情，多以你要坚持每天打卡。不信模要三天打鱼两天晒网。要循序渐进，温故而知新。

‘伍’ redis中的数据占用内存大小分析

如今越来越来的系统中使用 redis 作为缓存系统，但是随着用户量的增长，业务数据不断增多，redis服务器的内存空间有可能会到瓶颈了，及时观察redis中的各种键内存占用多少，会方便我们评估何时升级redis服务器规格，以及对于是否需要进行程序优化来设计合理的存储结构都会有很大帮助，下面给大家介绍两款工具 rdr 和 redis-rdb-tools ，可以很好的满足我们的需要

详细使用参考官方仓库：https://github.com/xueqiu/rdr

rdr提供了linux/OSX/Windows下的可执行文件，直接点击下载，我这里演示Windows下的使用方式

下载下来后存储到d:/dev路径下

1.首先要去redis服务器端将rdb文件复制到本地，为了方便，我将rdb文件放到了rdr工具所在目录

这里再说下redis rdb文件该怎么找到，通过查看redis服务器配置文件 redis.conf ，搜索 dbfilename 可以快速定位到该配置，按照路径就可以找到redis rdb备份文件了

2.在rdr工具所在的路径下打开命令行窗口，执行指令

可以看到指令执行成功后，在本地启动了server，监听端口8080

3.打开浏览器，访问http://localhost:8080/，能看到详细的内存占用数据报告，包括键数量、不同的数据类型、元素计数等

不过通过网页版的数据报告中有个小问题，对于redis中的不同数据库没有明显的区分展示~，混在一起，不是太清晰

详细使用参考官方仓库：https://github.com/sripathikrishnan/redis-rdb-tools/

1.安装python环境，我这里安装了python2.7.15

2.通过pip安装redis-rdb-tools

我这里python-lzf库没有安装成功，不过不影响实际使用，这个库是为了加速rdb文件解析速度~

3.安装完成后就可以在命令行中使用了，输入指令生成内存报告文件

等待一段时间，命令阻塞执行完成后，就会在-f参数指定的路径下生成对应的文件
用excel打开生成的csv文件，可以看到详细的统计结果，包含了所有数据库下所有key的内存占用情况~

redis-rdb-tools中还带了一个很有用的命令，能帮助我们直接查询单个key的内存占用情况，命令格式如下

执行测试下效果，可以看到命令执行完成后，直接回显出指定key对应的内存占用情况了

注意该操作在生产环境下慎用，视key大小情况再行决定是否执行，有可能会阻塞执行很长时间才能计算出结果~

‘陆’ python2.7安装rediscluster模块报错，求助

1如果是在windows上请下载PYTHON2.6的安装程序，然后直接运行即可安装完成。2安装完成后需要到系统的环境变量处设置PYTHON的环境变量具体设置方法如图3在命令行键入python遍可以进入PYTHON的交互编程界面。如果需要在LINUX上安装以CENTOS为例：1，用ROOT方式登陆到系统输入yuminstallpython即可完成安装。2运行SHELL输入PYTHON即可运行。3执行在shell中输入pythonany.py即可

‘柒’ 在windows下用哪些内存数据库，类似redis的

内存数据库从范型上可以分为关系型内存数据库和键值型内存数据库。在实际应用中内存数据库主要是配合oracle或mysql等大型关系数据库使用，关注性能。
作用类似于缓存，并不注重数据完整性和数据一致性。
基于键值型的内存数据库比关系型更加易于使用，性能和可扩展性更好，因此在应用上比关系型的内存数据库使用更多。
比较FastDB、Memcached和Redis主流内存数据库的功能特性。
FastDB的特点包括如下方面：
1、FastDB不支持client-server架构因而所有使用FastDB的应用程序必须运行在同一主机上；
2、fastdb假定整个数据库存在于RAM中，并且依据这个假定优化了查询算法和接口。
3、fastdb没有数据库缓冲管理开销，不需要在数据库文件和缓冲池之间传输数据。
4、整个fastdb的搜索算法和结构是建立在假定所有的数据都存在于内存中的，因此数据换出的效率不会很高。
5、Fastdb支持事务、在线备份以及系统崩溃后的自动恢复。
6、fastdb是一个面向应用的数据库，数据库表通过应用程序的类信息来构造。
FastDB不能支持Java API接口，这使得在本应用下不适合使用FastDB。
Memcached
Memcached是一种基于Key-Value开源缓存服务器系统，主要用做数据库的数据高速缓冲，并不能完全称为数据库。
memcached的API使用三十二位元的循环冗余校验（CRC-32）计算键值后，将资料分散在不同的机器上。当表格满了以后，接下来新增的资料会以LRU机制替换掉。由于 memcached通常只是当作缓存系统使用，所以使用memcached的应用程式在写回较慢的系统时（像是后端的数据库）需要额外的程序更新memcached内的资料。
memcached具有多种语言的客户端开发包，包括：Perl、PHP、JAVA、C、Python、Ruby、C#。
Redis
Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了C++、Java、Python，Ruby，Erlang，PHP客户端。

‘捌’ Python 常用的标准库以及第三方库有哪些

Python常用库大全，看看有没有你需要的。
环境管理
管理 Python 版本和环境的工具
p – 非常简单的交互式 python 版本管理工具。
pyenv – 简单的 Python 版本管理工具。
Vex – 可以在虚拟环境中执行命令。
virtualenv – 创建独立 Python 环境的工具。
virtualenvwrapper- virtualenv 的一组扩展。
包管理
管理包和依赖的工具。
pip – Python 包和依赖关系管理工具。
pip-tools – 保证 Python 包依赖关系更新的一组工具。
conda – 跨平台，Python 二进制包管理工具。
Curdling – 管理 Python 包的命令行工具。
wheel – Python 分发的新标准，意在取代 eggs。
包仓库
本地 PyPI 仓库服务和代理。
warehouse – 下一代 PyPI。
Warehousebandersnatch – PyPA 提供的 PyPI 镜像工具。
devpi – PyPI 服务和打包/测试/分发工具。
localshop – 本地 PyPI 服务（自定义包并且自动对 PyPI 镜像）。
分发
打包为可执行文件以便分发。
PyInstaller – 将 Python 程序转换成独立的执行文件（跨平台）。
dh-virtualenv – 构建并将 virtualenv 虚拟环境作为一个 Debian 包来发布。
Nuitka – 将脚本、孝高模块、包编译成可执行文件或扩展模块。
py2app – 将 Python 脚本变为独立软件包（Mac OS X）。
py2exe – 将 Python 脚本变为独立软件包（Windows）。
pynsist – 一个用来创建 Windows 安装程序的工具，可以在安装程序中打包 Python本身。
构建工具
将源码编译成软件。
buildout – 一个构建系统，从多个组件来创建，组装和部署应用。
BitBake – 针对嵌入式 Linux 的类似 make 的构建工具。
fabricate – 对任何语言自动找到依赖关系的构建工具。
PlatformIO – 多平台命令行构建工具。
PyBuilder – 纯 Python 实现的持续化构建工具。
SCons – 软件构建工具。
交互式解析器
交互式 Python 解析器。
IPython – 功能丰富的工具，非常有效的使用交互式 Python。
bpython- 界面丰富的 Python 解析器。
ptpython – 高级交互式Python解析器， 构建于python-prompt-toolkit 之上。
文件
文件管理和 MIME（多用途的网际邮件扩充协议）类型检测。
imghdr – （Python 标准库）检测图片类型。
mimetypes – （Python 标准库）将文件名映射为 MIME 类型。
path.py – 对 os.path 进行封装的模块。
pathlib – （Python3.4+ 标准库）跨平台的、面向对象的路径操作库。
python-magic- 文件类型检测的第三方库 libmagic 的 Python 接口。
Unipath- 用面向对象的方式操作文件和目录
watchdog – 管理文件系统事件的 API 和 shell 工具
日期和时间
操作日期和时间的类库。
arrow- 更好的 Python 日期时间操作类库。
Chronyk – Python 3 的类库，用于解析手写格式的时间和日期。
dateutil – Python datetime 模块的扩展。
delorean- 解肢携决 Python 中有关日期处理的棘手问题的库。
moment – 一个用来处理时间和日期的Python库。灵感来自于Moment.js。
PyTime – 一个简单易用的Python模历慎伏块，用于通过字符串来操作日期/时间。
pytz – 现代以及历史版本的世界时区定义。将时区数据库引入Python。
when.py – 提供用户友好的函数来帮助用户进行常用的日期和时间操作。
文本处理
用于解析和操作文本的库。
通用
chardet – 字符编码检测器，兼容 Python2 和 Python3。
difflib – (Python 标准库)帮助我们进行差异化比较。
ftfy – 让Unicode文本更完整更连贯。
fuzzywuzzy – 模糊字符串匹配。
Levenshtein – 快速计算编辑距离以及字符串的相似度。
pangu.py – 在中日韩语字符和数字字母之间添加空格。
pyfiglet -figlet 的 Python实现。
shortuuid – 一个生成器库，用以生成简洁的，明白的，URL 安全的 UUID。
unidecode – Unicode 文本的 ASCII 转换形式 。
uniout – 打印可读的字符，而不是转义的字符串。
xpinyin – 一个用于把汉字转换为拼音的库。