在爬虫中,opener是一个用来发送HTTP请求的对象。它可以用来模拟浏览器发送请求,包括设置请求头、处理Cookie等操作。使用opener可以实现一些高级功能,如模拟登录、处理验证码等。
方法1:
from urllib.request import Request,build_opener from fake_useragent import UserAgent url ='http://httpbin.org/get' headers ={ 'User-Agent':UserAgent().chrome } req = Request(url,headers=headers) opener = build_opener() resp = opener.open(req) print(resp.read().decode())
讯享网
执行结果:
方法2:使用控制器

讯享网from urllib.request import Request,build_opener from fake_useragent import UserAgent from urllib.request import HTTPHandler url ='http://httpbin.org/get' headers ={ 'User-Agent':UserAgent().chrome } req = Request(url,headers=headers) handler = HTTPHandler(debuglevel=1) opener = build_opener(handler) resp = opener.open(req) print(resp.read().decode())
执行结果:

对比方法1和方法2,方法2明显输出内容更多更详细。
需要注意的是,opener对象默认会自动处理重定向和Cookie等操作,所以无需手动处理。如果需要手动处理重定向,可以使用
urllib.request.install_opener(opener)来安装opener对象。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/130999.html