鬼谷子叔叔的selenium文章 - 个人主页

介绍介绍今天福哥要带着大家学习如何使用selenium去调用部署在Docker环境里面的Chrome浏览器的方法。为什么我们要把chromedriver部署到Docker里面呢？因为把Chrome浏览器部署到Docker里面有如下几个优...

阅读 39

2021-12-01

介绍介绍Python的selenium库是可以实现用代码模拟用户上网行为的功能，所以Python的selenium库的使用技巧成为了大部分测试工程师的必备技能。Python的selenium通过chromedriver驱动可以使用Pyt...

阅读 133

2020-09-23

介绍介绍福哥要做一个自动化测试的脚本来对网站的功能进行了全面的测试，很多人一下会想到通过curl之类的方式去请求服务器页面，通过代码模拟浏览器？不就是发送 GET/POST 请求吗？一开始，福哥也是这样认为的，直到学习了python的s...

阅读 123

2020-07-09

阅读 12

2021-10-20

介绍介绍我们在使用seleniuim去驱动Chrome浏览器的时候，需要针对电脑上面的Chrome浏览器的版本选择对应的chromedriver驱动，这样selenium才能正常驱动Chrome浏览器实现被我们的程序自动操作的目的。但是...

阅读 18

2021-12-01

介绍介绍福哥在使用selenium去爬取网页的时候发现有的网站的结构设计的非常复杂，如果使用chrome自带的find_element_by_xxx方法想要得到目标元素简直比登天还难。福哥就想如果可以在抓取的网站上面加一段JavaScr...

阅读 50

2021-04-25

介绍介绍福哥在使用selenium实现页面爬取的时候发现遇到包含框架（frame）的网页时候就无法通过find_xxx方法得到页面上的元素，这可真是麻烦了啊！福哥在使用F12调试前端的时候发现在调试面板的控制台栏里就可以选择页面上面的任...

阅读 20

2021-04-12

介绍介绍之前福哥给大家讲过关于Python的selenium库的使用技巧，通过selenium库可以调用浏览器打开网页并且进行自动化操作的方法。selenium库有个headless模式，就是headless模式下不会弹出浏览器窗口，可...

阅读 116

2021-03-09

介绍介绍福哥在使用selenium的时候遇到了一个问题，就是页面有些元素和数据是通过AJAX渲染的，而且采用的是异步加载的方式实现的AJAX功能，这样在selenium认为页面已经加载完成了的时候其实数据还没有渲染上，这个可愁坏福哥了！...

阅读 57

2021-04-12

介绍介绍福哥更新了Spider对象，实现了爬取网页内容，分析网页数据，写入数据库这些功能。实现了这些功能之后网页蜘蛛的基本功能也就差不多完成了！后面就可以开始编写搜索引擎的前端UI功能了，相对网页蜘蛛来说，搜索引擎前端UI就比较简单了！...

阅读 55

2020-10-13