昼夜ftp
A. 如何用python做爬虫
1）首先你要明白爬虫怎样工作。
想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。
在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。
突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。
好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。
那么在python里怎么实现呢？
很简单
import Queue
initial_page = "初始化页"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直进行直到海枯石烂
if url_queue.size()>0:
current_url = url_queue.get() #拿出队例中第一个的url
store(current_url) #把这个url代表的网页存储好
for next_url in extract_urls(current_url): #提取把这个url里链向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
写得已经很伪代码了。
所有的爬虫的backbone都在这里，下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。
2）效率
如果你直接加工一下上面的代码直接运行的话，你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。
问题出在哪呢？需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存使用效率不高。
通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会告诉你：这个url应该已经出现过，不过我有2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。一个简单的教程:Bloom Filters by Example
注意到这个特点，url如果被看过，那么可能以小概率重复看一看（没关系，多看看不会累死）。但是如果没被看过，一定会被看一下（这个很重要，不然我们就要漏掉一些网页了！）。 [IMPORTANT: 此段有问题，请暂时略过]
好，现在已经接近处理判重最快的方法了。另外一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速度是瓶颈的话，那么你只有加快这个速度。用一台机子不够的话——用很多台吧！当然，我们假设每台机子都已经进了最大的效率——使用多线程（python的话，多进程吧）。
3）集群化抓取
爬取豆瓣的时候，我总共用了100多台机器昼夜不停地运行了一个月。想象如果只用一台机子你就得运行100个月了...
那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？
我们把这100台中的99台运算能力较小的机器叫作slave，另外一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master请求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样保证所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)
考虑如何用python实现：
在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式队列。
代码于是写成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = "www.renmingribao.com"
while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及后处理
虽然上面用很多“简单”，但是真正要实现一个商业规模可用的爬虫并不是一件容易的事。上面的代码用来爬一个整体的网站几乎没有太大的问题。
但是如果附加上你需要这些后续处理，比如
有效地存储（数据库应该怎样安排）
有效地判重（这里指网页判重，咱可不想把人民日报和抄袭它的大民日报都爬一遍）
有效地信息抽取（比如怎么样抽取出网页上所有的地址抽取出来，“朝阳区奋进路中华道”），搜索引擎通常不需要存储所有的信息，比如图片我存来干嘛...
及时更新（预测这个网页多久会更新一次）
如你所想，这里每一个点都可以供很多研究者十数年的研究。虽然如此，
“路漫漫其修远兮,吾将上下而求索”。
所以，不要问怎么入门，直接上路就好了：）
B. linux云计算课程具体学什么
【达内教育】Linux云计算的培训课程内容一般分为五个阶段，具体步骤如下：
第一阶段主要学习网络基础，包括计算机网络、云计算网络，配备有企业级项目实战：IP地址配置与DNS解析。
第二阶段将学习【Linux基础】，包括Linux操作系统(文件权限、作业控制与进程管理)以及Linux高级管理。企业级项目实战为：云数据中心主机CPU资源利用率实时统计、分析系统。
第三阶段学习Linux运维自动化，企业级项目实战为Python+Shell实现企业级ftp文件统一管理。
第四阶段是数据库运维管理的学习，企业级项目实战：MysqlGalera高可用集群环境部署、异步消息队列集群RabbitMQ部署与运维。
第五阶段的培训内容为企业级云架构管理与综合实战，项目训练的是基于LAMP架构实现云计算PaaS平台典型应用部署与运维，通过Nginx实现千万级并发访问处理。感兴趣的话点击此处，免费学习一下
想了解更多有关Linux云计算的相关信息，推荐咨询【达内教育】。【达内教育】重磅推出“因材施教、分级培优”创新教学模式，同一课程方向，面向不同受众群体，提供就业、培优、才高三个级别教学课程，达内“因材施教、分级培优“差异化教学模式，让每一位来达内学习的学员都能找到适合自己的课程。达内IT培训机构,试听名额限时抢购。
C. 学习linux操作系统需要掌握哪些东西
一.为什么要学linux?
当然最重要是爱好和兴趣！如果你这种必要学，或者根本不喜欢，请不要浪费时间，你学也学不好！
二.起步
你应该为自己创造一个学习linux的环境--在电脑上装一个linux或unix
问题1：版本的选择
北美用redhat,欧洲用SuSE,桌面mandrake较多，而debian是技术最先进的linux
开发人员中用debian的最多，其次是redhat,从全球linux各应用领域市场份额来看
无疑redhat是最多的，此外还有很多出名的发行版本，不再列举。
对于初学linux的人来说，我建议是使用redhat,原因如下：
1）现在很多书都是以redhat为例讲的，为了与书本协调一致
2）周围的人都用redhat,交流比较方便
3）redhat应用范围广，有典型性和代表性
4）它易于使用和安装，我们没有必要把时间浪费在“装系统”上
而应集中精力学习最有用的东西。
//注：现在觉得RH很死板，AS,ES等用在服务器上或许不错，
Personal desktop用mandrake,debian,suse都不错，笔者现在用Mandrake,因为她长得漂亮
如果你并不打算深入学习linux，而是有诸如适应北京市政府办公平台迁移到
linux上这种需要，那么中软，红旗等中文linux是不错的选择
我强烈建议：自己亲自动手把linux装到你的硬盘上，
你必须学会独立安装linux系统的技能，对于现在的版本来说，其实跟装WinXP一样简单
从此现在开始，请不要以windows的工作方式来考虑问题，
应该尝试挖掘linux身上的“天才unix”的气质。
三.进阶
掌握至少50个以上的常用命令
理解shell管道"|",文件流重定向">"及追加">>"等
熟悉Gnome/KDE等X-windows桌面环境操作
掌握.tgz.rpm.biz等软件包的常用安装方法
学习添加外设，安装设备驱动程序（比如modem)
熟悉Grub/Lilo引导器及简单的修复操作
熟悉系统固有目录的名称及公用
学会用mount命令访问其他文件系统
了解vi,gcc,gdb等常用编辑器，编译器，调试器
学习linux环境下的简单组网
建议：买一本不需要太厚的linux教材，大致可以满足要求
//现在的书越来越多了，还带很多图，我当时可没这么多书：）
四.高级应用
澄清一些概念：
linux的普通操作与真正的系统管理不能相提并论，后者需要很多知识
我个人认为比较重要几种linux语言
1.英语
即使你不学linux，我也强烈建议你学好英文[U.S.english]
因为实质上计算机语言就是英文和字符,所谓的多国语言只是外部包装
你必须能无障碍的阅读大量的英文技术文档
在搜索引擎找到的英文网站和网页中熟练的检索
最好能有用英文直接交流的能力，
摆脱了这个障碍，你的学习和理解速度就能快很多，你就有机会拉开和别人的差距
2.shell[sed/awk]
shell是命令解释器，是内核与用户界面交流通道，shell写的小脚本有点类似于win下的.bat
但shell比.bat强大的多，shell不只是解释命令，更是一种编程语言，有时候几百行的c用shell
几十行就能代替完成工作，因为shell的工作方式建立在系统已有的众多应用程序之上
这也是CS中的一个重要思想。
此外，shell可以实现工作自动化，这个概念也比较重要
sed,awk用来处理文本，历来很常用
3.Perl/php
漂亮的脚本， CGI的首选，比ASP好，应用面很广
4.C\C++
C、C++是linux/unix的核心语言，系统代码都是C写的
5.ASM
系统底层及内核，硬件，设备驱动程序，嵌入式开发都需要
//走核心路线的话，才c\c++,asm最重要
6.java,Python,Tcl,XML
*系统管理篇
在熟悉linux的基础上还需要掌握至少一种unix
我首推Solaris，其次是FreeBSD
比如运营级系统一般是Solaris+Oracle/DB2之类的
学习apache,ssh,sendmail/Qmail,proftp/vsftp,Samba,Squid,MySQL/PostgreSQL/Oracle,Bind
等各种应用服务器的构架及电子商务的应用
熟悉TCP/IP协议族，学习诸如apache+php+proftp+mysql+quota的实现以及大型局域网，分布式集群
等各种企业级应用解决方案
熟悉多用户管理，数据库管理，文件系统，逻辑存储管理，日志分析，备份与灾难数据修复
系统补丁，内核升级，以及在此基础上的防火墙构架等以保障系统安全在内的各种系统管理技能
我觉得，如果在此基础上再掌握路由/交换设备便是一个不错的系统管理员
各种基于linux的解决方案可参考相关书籍和文献，必要时用google或各大linux站点站内
搜索引擎寻找最新文档，以避免错误和漏洞
有几本技术大全和技术内幕我认为都是这方面不错的书
*深入学习linux
我个人理解的读linux内核需要的基础：
在此之前,希望先把应用层的东西学一下,那样会比较好理解
1.C
如果学过潭浩强的大学教科书(除了编几个数学模型好像什么也做不了的那种)，
建议再看一下
《The C Programming Language》Second Edition这本圣经
/*如果想学缓冲区溢出，这点C的功力可能是不够的*/
还有,,,
反正经典书看多了是没有坏处的
2.asm (AT&T语法，保护模式)
保护模式下的比较复杂，基本上每本讲内核的书都会有介绍
有80x86 Intel语法的基础就行，
有兴趣可以看看Intel的官方****
3.数据结构（离散数学）
计算机专业的核心课程，重要性我就不说了
4.操作系统原理
看懂这个再去读linux吧
5.微机原理/组成原理（数字电路）
底层直接和硬件打交道，所以这个也要
6.了解linux/unix
我想至少你要会操作吧，了解unix的API
D. 大学生如何避免沉迷网络游戏
没钱，只要没钱了，你就没办法沉迷游戏了。手机话费刚刚够交月租，然后开个流量包只有几十M，玩个屁游戏，你连上网都够呛。吃饭的钱只够吃饭，多一分都没有。
没有女朋友，找个不喜欢游戏的女朋友，要么你离开游戏，要么她离开你。远一点每天都要打电话联系，近一点每天都要陪她。
没时间，还是不够忙，够忙你哪来的时间去玩游戏。参加学校社团，三天一小聚，7天一大聚，玩个屁游戏。当选班干部，我保证忙死你，老师天天联系你，学校活动通知你，线下联谊你安排。
找个兼职，周末就去兼职啊，还有钱赚！ 上班时间老板会让你玩不了游戏的。
读书吧少年，自学一门技术，学设计啊兄嘚
编布下去了，我戒掉游戏是因为责任，懂得了责任，觉得家人比游戏重要，工作赚钱才能对家里有所贡献，希望你也能有自己的坚持，找到一个比游戏更加重要的理由，这样你就不会迷失自己了。
E. Linux培训内容有哪些
以下是比较经典的Linux编程学习路线：
第一阶段：linux基础入门
1. 开班课程介绍-规章制度介绍-破冰活动；
2. Linux硬件基础/Linux发展历史；
3. Linux系统安装/xshell连接/xshell优化/SSH远程连接故障问题排查
4. 第一关一大波命令及特殊字符知识考试题讲解
5. L inux基础优化
6. Linux目录结构知识精讲
7. 第二关一大波命令及特殊知识考试题讲解（上）
8. 第二关一大波命令及特殊知识考试题讲解（下）
9. Linux文件属性一大堆知识精讲
10. Linux通配符/正则表达式
11. 第三关一大波命令及重要知识考试题讲解（上）
12. 第三关一大波命令及重要知识考试题讲解（下）
13. Linux系统权限(上)
14. Linux系统权限(下)
15. 第一阶段结束需要导师或讲师对整体课程进行回顾
第二阶段：linux系统管理进阶
1. Linux定时任务
2. Linux用户管理
3. Linux磁盘与文件系统(上)
4. Linux磁盘与文件系统(中下)
5. Linux三剑客之sed命令
第三阶段：Linux Shell基础
1. Shell编程基础1
2. Shell编程基础234
3. Linux三剑客之awk命令
第四阶段：Linux网络基础
1. 计算机网络基础上
2. 计算机网络基础下
3. 第二阶段结束需要导师或讲师对整体课程进行回顾。
第五阶段：Linux网络服务
1. 集群实战架构开始及环境准备
2. rsync数据同步服务
3. Linux全网备份项目案例精讲
4. nfs网络存储服务精讲
5. inotify/sersync实时数据同步/nfs存储实时备份项目案例精讲
第六阶段：Linux重要网络服务
1. http协议/www服务基础
2. nginx web介绍及基础实践
3. nginx web精讲结束
4. lnmp环境部署/数据库异机迁移/共享数据异机迁移到NFS系统
5. nginx负载均衡深入透彻
6. keepalived高可用深入透彻
第七阶段：Linux中小规模集群构建与优化（50台）
1. 期中架构开战说明+期中架构部署回顾
2. 全体昼夜兼程部署期中架构并完成上台述职演讲（加上两个周末共9天）
3. kickstart cobbler 批量自动安装系统
4. pptp vpn与ntp服务
5. memcached原理及部署/作为缓存及session会话共享
第八阶段：Ansible自动化运维与Zabbix监控
1. SSH服务秘钥认证
2. ansible批量自动化管理集群（入门及深入）
3. zabbix监控
第九阶段：大规模集群高可用服务(Lvs、Keepalived)
1. Centos7系统自行安装/centos6与7区别
2. lvs负载均衡集群/keepalived管理LVS集群
第十阶段：Java Tomcat服务及防火墙Iptables
1. iptables防火墙精讲上
2. iptables防火墙精讲下
3. tomcat java应用服务/nginx配合tomcat服务部署及优化
第十一阶段：MySQL DBA高级应用实践
1. MySQL数据库入门基础命令
2. MySQL数据库进阶备份恢复
3. MySQL数据库深入事务引擎
4. MySQL数据库优化SQL语句优化
5. MySQL数据库集群主从复制/读写分离
6. MySQL数据库高可用/mha/keepalved
第十二阶段：高性能数据库Redis和Memcached课程
第十三阶段：Linux大规模集群架构构建（200台）
第十四阶段：Linux Shell编程企业案例实战
第十五阶段：企业级代码发布上线方案（SVN和Git）
1. GIT管理
2. 代码上线项目案例
第十六阶段企业级Kvm虚拟化与OpenStack云计算
1. KVM虚拟化企业级实战
2. OpenStack云计算企业级实战
第十七阶段公有云阿里云8大组件构建集群实战
第十八阶段：Docker技术企业应用实践
1. Docker容器与微服务深入实践
2. 大数据Hadoop生态体系及实践
第十九阶段：Python自动化入门及进阶
第二十阶段：职业规划与高薪就业指导