pythonspynner安装

❶ 请问python2.7无法正常显示中文（windos7+python2.7.9+pycharm2.7.3），怎么解决

查看你爬取的地址页面的编码方式，比如是gb2312，那么，解码tags1如下：
tags1 = unicode(tags1,'gb2312')

❷ 如何用Python抓取动态页面信息

Spynner的简单使用

Spynner的功能十分强大，但是由于本人能力有限，就介绍一下如何显示网页的源码吧。
#! /usr/bin/python
#-*-coding: utf-8 -*-

import spynner

browser = spynner.Browser()
#创建一个浏览器对象

browser.hide()
#打开浏览器，并隐藏。

browser.load("http://www..com")
#browser 类中有一个类方法load，可以用webkit加载你想加载的页面信息。
#load(是你想要加载的网址的字符串形式)

print browser.html.encode("utf-8")
#browser 类中有一个成员是html，是页面进过处理后的源码的字符串.
#将其转码为UTF-8编码

open("Test.html", 'w+').write(browser.html.encode("utf-8"))
#你也可以将它写到文件中，用浏览器打开。

browser.close()
#关闭该浏览器
通过这个程序，就可以比较容易的显示webkit处理的页面HTML源码了。

❸ Python渗透测试工具都有哪些

网络

Scapy, Scapy3k: 发送，嗅探，分析和伪造网络数据包。可用作交互式包处理程序或单独作为一个库

pypcap, Pcapy, pylibpcap: 几个不同 libpcap 捆绑的python库

libdnet: 低级网络路由，包括端口查看和以太网帧的转发

dpkt: 快速，轻量数据包创建和分析，面向基本的 TCP/IP 协议

Impacket: 伪造和解码网络数据包，支持高级协议如 NMB 和 SMB

pynids: libnids 封装提供网络嗅探，IP 包碎片重组，TCP 流重组和端口扫描侦查

Dirtbags py-pcap: 无需 libpcap 库支持读取 pcap 文件

flowgrep: 通过正则表达式查找数据包中的 Payloads

Knock Subdomain Scan: 通过字典枚举目标子域名

SubBrute: 快速的子域名枚举工具

Mallory: 可扩展的 TCP/UDP 中间人代理工具，可以实时修改非标准协议

Pytbull: 灵活的 IDS/IPS 测试框架（附带超过300个测试样例）

调试和逆向工程

Paimei: 逆向工程框架，包含PyDBG, PIDA , pGRAPH

Immunity Debugger: 脚本 GUI 和命令行调试器

mona.py: Immunity Debugger 中的扩展，用于代替 pvefindaddr

IDAPython: IDA pro 中的插件，集成 Python 编程语言，允许脚本在 IDA Pro 中执行

PyEMU: 全脚本实现的英特尔32位仿真器，用于恶意软件分析

pefile: 读取并处理 PE 文件

pydasm: Python 封装的libdasm

PyDbgEng: Python 封装的微软 Windows 调试引擎

uhooker: 截获 DLL 或内存中任意地址可执行文件的 API 调用

diStorm: AMD64 下的反汇编库

python-ptrace: Python 写的使用 ptrace 的调试器

vdb/vtrace: vtrace 是用 Python 实现的跨平台调试 API, vdb 是使用它的调试器

Androguard: 安卓应用程序的逆向分析工具

Capstone: 一个轻量级的多平台多架构支持的反汇编框架。支持包括ARM,ARM64,MIPS和x86/x64平台

PyBFD: GNU 二进制文件描述(BFD)库的 Python 接口

Fuzzing

Sulley: 一个模糊器开发和模糊测试的框架，由多个可扩展的构件组成的

Peach Fuzzing Platform: 可扩展的模糊测试框架(v2版本 是用 Python 语言编写的)

antiparser: 模糊测试和故障注入的 API

TAOF: (The Art of Fuzzing, 模糊的艺术)包含 ProxyFuzz, 一个中间人网络模糊测试工具

untidy: 针对 XML 模糊测试工具

Powerfuzzer: 高度自动化和可完全定制的 Web 模糊测试工具

SMUDGE: 纯 Python 实现的网络协议模糊测试

Mistress: 基于预设模式，侦测实时文件格式和侦测畸形数据中的协议

Fuzzbox: 媒体多编码器的模糊测试

Forensic Fuzzing Tools: 通过生成模糊测试用的文件，文件系统和包含模糊测试文件的文件系统，来测试取证工具的鲁棒性

Windows IPC Fuzzing Tools: 使用 Windows 进程间通信机制进行模糊测试的工具

WSBang: 基于 Web 服务自动化测试 SOAP 安全性

Construct: 用于解析和构建数据格式(二进制或文本)的库

fuzzer.py(feliam): 由 Felipe Andres Manzano 编写的简单模糊测试工具

Fusil: 用于编写模糊测试程序的 Python 库

Web

Requests: 优雅，简单，人性化的 HTTP 库

HTTPie: 人性化的类似 cURL 命令行的 HTTP 客户端

ProxMon: 处理代理日志和报告发现的问题

WSMap: 寻找 Web 服务器和发现文件

Twill: 从命令行界面浏览网页。支持自动化网络测试

Ghost.py: Python 写的 WebKit Web 客户端

Windmill: Web 测试工具帮助你轻松实现自动化调试 Web 应用

FunkLoad: Web 功能和负载测试

spynner: Python 写的 Web浏览模块支持 Javascript/AJAX

python-spidermonkey: 是 Mozilla JS 引擎在 Python 上的移植，允许调用 Javascript 脚本和函数

mitmproxy: 支持 SSL 的 HTTP 代理。可以在控制台接口实时检查和编辑网络流量

pathod/pathoc: 变态的 HTTP/S 守护进程，用于测试和折磨 HTTP 客户端

❹ 如何用Python抓取动态页面信息

下面开始说一下本文抓取动态页面数据的相关工具和库：
1. python 2.7
2. pyqt

3. spynner （在安装过程中，其他的一些依赖库也会自动上网下载安装）
4. BeautifulSoup
5. ide工具是pycharm（当然这个只是个人喜好，也可以使用其他的ide工具）

以上几个工具都可以网络找到，python现在出了3.x版本的，但是由于众多第三方库或架构都没有兼容，并且后续要使用到的爬虫框架scrapy也是没有支持3.x版本，因此还是建议使用2.7版本吧。
spynner和BeautifulSoup下载后，都可以cd到解压出来的目录，然后使用python setup.py install来完成安装，需要注意的是spynner依赖pyqt，所以一定要安装pyqt，否则无法使用spynner。

下面使用一个具体是例子来说明一下spynner和BeautifulSoup的使用，我们就以爬取京东页面上的一些产品数据来说明如何爬取动态页面数据（当然，如果我们过于频繁的爬京东，估计还是有可能被京东将我们ip拉黑的）。