python爬虫学习-Selenium与PhantomJS

python爬虫学习-Selenium与PhantomJSSelenium selenium 浏览器自动化测试框架 是一个 python 的第三方库 对外提供的接口 可以操作你的浏览器 让浏览器完成自动化的操作 使用 selenium 安装 pip install selenium find element by id 根据 id 找节点 find element by name 根据 name 找节点

大家好,我是讯享网,很高兴认识大家。

Selenium

selenium:浏览器自动化测试框架,是一个python的第三方库,对外提供的接口,可以操作你的浏览器,让浏览器完成自动化的操作。
使用selenium:
安装:pip install selenium

find_element_by_id :根据id找节点 find_element_by_name :根据name找节点 find_element_by_xpath :根据xpath找节点 find_element_by_tag :根据标签名称找节点 find_element_by_class_name :根据class名称找节点 find_element_by_css_selector :根据选择器找节点 find_element_by_link_text :根据连接内容找节点 get、send_keys、click 

讯享网

浏览器处理弹出的警告窗口
driver.switch_to_alert().accept() 确定
driver.switch_to_alert().dismiss() 取消


讯享网

PhantomJS

phantomJS是一款浏览器,是无界面浏览器,是一个基于Webkit的"无界面"(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器更高效。
如果我们把Selenium和PhantomJS结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理JavaScript、Cookie、headers,以及任何我们真实用户需要做的事情。
因此, selenium+phantJS 就是爬虫终极解决方案

简单入门实例:

讯享网from selenium import webdriver import time #phantomjs路径 path=r'E:\Student\python\day04\phantomjs\bin\phantomjs.exe' browser=webdriver.PhantomJS(path) #设置窗口大小 driver.set_window_size(1366, 768) url='http://www.baidu.com/' browser.get(url) time.sleep(3) #查找input输入框 my_input=browser.find_element_by_id('kw') #往框里面写文字 my_input.send_keys('资源管理站') # #ctrl+a全选输入框内容 # driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'a') # #ctrl+x剪切输入框内容 # driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'x') # #输入框重新输入内容 # driver.find_element_by_id('kw').send_keys('itcast') time.sleep(1) #查找搜索按钮 but
小讯
上一篇 2025-03-14 08:13
下一篇 2025-01-17 09:21

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/33300.html