python爬虫断点
1. python 爬虫怎么断点继续爬
简要说一下自己的思路 1，有两个代理可用，所以爬的时候随机选取一个 2，复制了一些User-agnet，随机选一个 3，爬一次随机睡眠3～6s 这样大概爬200次左右，就不能再 爬了
2. 如何在 Python 中使用断点调试
在eclipse下可以单步调试python的方法：
1、右键单击标尺栏添加断点
2、将鼠标移至需要添加断点的代码行，使用快捷键 Ctrl+F10，在弹出的菜单栏中选择 ”Add Breakpoint” 添加断点。
添加好断点后，选择 Debug As -> Python Run 启动调试器，弹出一个对话框，询问是否切换到调试器透视图，单击 Yes，即显示调试模式。
3、调试器透视图
程序调试过程中，常用的几个快捷键如下：
单步跳入 Step Into: F5
单步跳过 Step Over: F6
单步返回 Step Return: F7
重新开始 Resume: F8
在控制台 Console 中，显示出断点之前代码的执行结果。如果要查看某个变量的值，以变量 a 为例，可以手动在控制台中键入一行代码 ”print ‘a is:’, a”，再连续按两次 Enter 键，即显示出变量的值。
3. 用pycharm5.0 调试python 时 怎么打断点
PyCharm
作为IDE，断点调试是必须有的功能。否则，我们还真不如用纯编辑器写的快。
【运行】和【调试】前的设置，详见前面的文章，helloword。
1，设置断点
在代码前面，行号的后面，鼠标单击，就可以设置断点。如下：
2，调试
断点
点击那个绿色的甲虫图标（似乎甲虫已经成为debug专用图标了），进行断点调试。
点击后，会运行到第一个断点。会显示该断点之前的变量信息。
点击Step
Over
或者按F8，我们继续往下运行，到下一个断点：
补充：
断点的其他操作，和功能，大家可以把鼠标移到相应的按钮上，看一下，试试便知。如下：
总结：
这就是PyCharm的断点功能，还是很简单易用的。
4. 学python爬虫，已有基础入门知识，是自己从零学怎么编写爬虫好还是直接学怎么用框架实现功能好
直接框架。爬虫基本内容逻辑不复杂。
框架解决非主要逻辑问题，你把焦点放在业务主要逻辑上。
自己写，各种异常请求，多线程，断点，连续访问，代理等等，非常耗时间。
5. python可以加断点调试吗
Python中可以加断点调试
断点（break point）是指在代码中指定位置，当程序运行到此位置时便中断下来，并让开发者可查看此时各变量的值。
因断点中断的程序并没有结束，可以选择继续执行。
实现断点调试需要 IDE 的支持。下面以 PyCharm 来演示一下
在某一行代码的左侧栏点击，就可以在这行增加断点。现在在 3 个 if 判断的地方都加上断点。
选择 debug，程序开始运行。
输入 a、b 两个值之后，程序就在第一个 if 处中断，并且在工具栏中显示出当前程序中的各种数值。
选择“resume program”，程序就会继续执行，直到遇到下一个断点。
有了断点功能的帮助，调试的时候就方便许多，很容易观察程序运行时的状态。
在断点调试时，还有个经常一起使用的功能就是单步调试。
在程序中断时，选择“Step Over”，会向下执行一行代码后继续中断。
当所处代码行中有函数时，“Step Into”会中断在函数内部，之后将在其中单步执行。对应的，“Step Out”将中断在执行完当前所在函数后的位置。
这些操作在工具栏有快捷按钮，也可通过快捷键操作。
更多Python知识，请关注：Python自学网！！
6. python 爬虫如何设置爬取一定时间停止
fromtimeimportsleep
n=0
whilen<=100:
print(n)#动作
sleep(60)#暂停60秒
n=n+1
7. python爬虫，为什么爬出来没有东西，求大佬教下
问下这些都是你自己写的吗？如果是，说明你技术也不会差到哪里去，应该可以自己解决
去掉所有类或者多线程的代码
添加一些输出或者断点测试
可以帮改私信
8. python，如图，为啥打了断点调bug，还是一步就运行结束，不是一步步来啊
就第一次会停下来，其他几次应该都不会停下来的
首先，for循环的条件是只执行一次，也就是并不是每次yield_test()都会运行，这个函数其实拿到的是一个生成器对象，然后你是在遍历这个迭代器，并没有去重新执行函数，直到生成器全部生成完成后就往函数下面去执行，所以只会触发一次生成器的初始化中断，其他不会停下来。不理解可以参考下面的图片：
9. python 爬虫网络不稳定怎么办
在HTTP请求上设置好超时时间，最好设定sockect的超时，这样更底层一些。
在上层做一个检测机制，定时轮询线程是否正常，如果遇到不响应的直接kill掉。