当前位置:首页 » 编程语言 » seleniumpython滚动

seleniumpython滚动

发布时间: 2024-05-11 06:42:31

㈠ 从零开始学python爬虫(八):selenium提取数据和其他使用方法

知识点:

知识点:了解 driver对象的常用属性和方法

注意:最新版本的selenium已经取消了这种格式,取而代之的是:

你要先导入:

然后再:

知识点:掌握 driver对象定位标签元素获取标签对象的方法




代码实现,如下,获取腾讯新闻首页的新闻标签的内容。

知识点:掌握 元素对象的操作方法


参考代码示例:

知识点:掌握 selenium控制标签页的切换


知识点:掌握 selenium控制frame标签的切换

知识点:掌握 利用selenium获取cookie的方法

知识点:掌握 selenium控制浏览器执行js代码的方法


知识点:掌握 手动实现页面等待





知识点:掌握 selenium开启无界面模式





知识点:了解 selenium使用代理ip





知识点:了解 selenium替换user-agent

㈡ python和selenium怎么判断进度条

phython:

  1. 首先利用pip快速安装第三方库,tqdm

  2. 使用tqdm的函数之前需要导入qdm库

  3. 在tqdm的应用中,直接在for结构上,添加一个tdqm()即可。

  4. 执行上一步的操作,就可以观察到进度条。

selenium:

  1. 拿到浏览器滚动条的js代码,然后执行,就可以看到进度条

  2. .通过模拟键盘的形式去滚动屏幕,就可以看到进度条

其中通过 driver.execute_script()执行js代码时,可以用两个语法,语法:scrollBy(x,y)和语法:scrollBy(x,y

㈢ 关于Python的Selenium框架全解,一篇完整的说明书

目录

安装 selenium 第三方库

下载浏览器驱动:

需要把这些浏览器驱动放入 Python 应用目录里面的 Script 文件夹里面

① 200 多本 Python 电子书(和经典的书籍)应该有

② Python标准库资料(最全中文版)

③ 项目源码(四五十个有趣且可靠的练手项目及源码)

④ Python基础入门、爬虫、网络开发、大数据分析方面的视频(适合小白学习)

⑤ Python学习路线图(告别不入流的学习)
私信我01即可获取大量Python学习资源

每次当selenium启动chrome浏览器的时候,chrome浏览器很干净,没有插件、没有收藏、没有 历史 记录,这是因为selenium在启动chrome时为了保证最快的运行效率,启动了一个裸浏览器,这就是为什么需要配置参数的原因,但是有些时候我们需要的不仅是一个裸浏览器

selenium启动配置参数接收是ChromeOptions类,创建方式如下 :

创建了ChromeOptions类之后就是添加参数,添加参数有几个特定的方法,分别对应添加不同类型的配置项目

常用配置参数:

其他配置项目参数

制作无头浏览器

规避检测

门户网站检测如果是selenium请求的,有可能会拒绝访问。这也是一种反爬机制

实现规避检测

注意:这里只能使用 options 添加

如果有其他的模块要添加,注意要分开添加

元素定位语法

常用语法:

在 element 变成 elements 时,返回符合条件的所有元素组成的数组

控制浏览器大小

浏览器后退,前进

刷新

在搜索框模拟回车操作

在 WebDriver 中, 将这些关于鼠标操作的方法封装在 ActionChains 类提供

ActionChains 类提供了鼠标操作的常用方法:

语法:

想使用selenium中的键盘事件,首先我们必须导入Keys包,需要注意的是包名称Keys首字母需要大写。Keys类中提供了几乎所有的键盘事件包括组合按键如 Ctrl+A、 Ctrl+C 等

使用语法:

其他事件可以通过查看源码获取

显式等待使WebdDriver等待某个条件成立时继续执行,否则在达到最大时长时抛出超时异常

实例:

WebDriverWait类是由WebDirver 提供的等待方法。在设置时间内,默认每隔一段时间检测一次当前页面元素是否存在,如果超过设置时间检测不到则抛出异常

语法:

参数:

如果某些元素不是立即可用的,隐式等待是告诉WebDriver去等待一定的时间后去查找元素。 默认等待时间是0秒,一旦设置该值,隐式等待是设置该WebDriver的实例的生命周期

案例

语法:

alert 里面的方法

WebDriver操作cookie的方法:

参考链接: https://www.jianshu.com/p/773c58406bdb

与普通的在headers里添加 {'Cookies':' '} 不一样的是,此方法需要按照cookie的name,value,path,domain格式逐个cookie添加

通过execute_script()方法执行JavaScripts代码来移动滚动条的位置

热点内容
安卓导航怎么会黑屏 发布:2024-11-27 18:17:19 浏览:394
编译后代码放在单片机哪个位置 发布:2024-11-27 18:12:01 浏览:458
linux红帽安装 发布:2024-11-27 18:01:53 浏览:827
手机编程蓝牙 发布:2024-11-27 17:55:39 浏览:385
创维云电视怎么升级安卓系统 发布:2024-11-27 17:55:31 浏览:354
theisle游戏服务器搭建 发布:2024-11-27 17:47:43 浏览:210
xshell解压 发布:2024-11-27 17:35:14 浏览:359
ftp服务器管理方法 发布:2024-11-27 17:24:48 浏览:975
微信视频为什么要缓存 发布:2024-11-27 17:18:18 浏览:250
招生宣传片脚本 发布:2024-11-27 17:18:07 浏览:301