查询国内各地市的天气数据,天气后报网http://www.tianqihoubao.com/lishi是一个还凑合的选择,因为里面只有天气状况、气温、风力风向这三方面的数据,是一个不能更基本的天气数据了。

可以注意到每个数据页的url构造很有规律,基本上就是www.tianqihoubao.com/lishi/+地市拼音+/month/+六位月份+.html
由于数据量不大,这里的策略就是:
- 在
www.tianqihoubao.com/lishi/页获取所有地市的拼音全拼 - 根据规律构造url,获取网页文本
- 解析文本,获取所需数据并整理格式化,保存到文件中
# -*- coding: utf-8 -*- ''' 爬天气后报历史数据http://www.tianqihoubao.com/lishi ''' from bs4 import BeautifulSoup as bsp import urllib,http.cookiejar,re,time # 做好cookie管理工作 cookie=http.cookiejar.CookieJar() # 创建空CookieJar cj=urllib.request.HTTPCookieProcessor(cookie) # 构造cookie opener = urllib.request.build_opener(cj) # 根据cookie构造opener # 伪造header opener.addheaders = [('User-agent', 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/ F
讯享网

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/27591.html