2025年bs4解析网页（bs4数据解析）

科技前沿 • 2025-06-10 21:40 • 阅读 33

大家好，我是讯享网，很高兴认识大家。

下载：pip install bs4

 from bs4 import BeautifulSoup
 import requests
 head = {
     ‘user-agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0’
     }
 html = requests.get(“https://www.zygx8.com/",headers=head)
 soup = BeautifulSoup(html.text,‘lxml’)
 tobody = soup.select(”a font b“)
 for t in tobody:
     print(t.text)

讯享网

select语法选取页面中的class或者id或标签名（tr，ul，阿，font）等例如获取页面title。直接soup.select(title)

讯享网 from bs4 import BeautifulSoup
 import requests
 head = {
     ‘user-agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0’
     }
 html = requests.get(”https://www.zygx8.com/",headers=head)
 soup = BeautifulSoup(html.text,‘lxml’)
 title = soup.select(“title”)
 for t in title:
     print(t)
     # 输出结果：&lt;title&gt;资源共享吧|易语言论坛|逆向激活成功教程教程|辅助开发教程|网络安全教程|www.zygx8.com|我的开发技术随记&lt;/title&gt;
     print(t.text)
     # 输出结果：资源共享吧|易语言论坛|逆向激活成功教程教程|辅助开发教程|网络安全教程|www.zygx8.com|我的开发技术随记

html中的标签存在父子关系，其中

“>”即找到某个tag标签下的子标签不获取其孙子标签（head > title）不获取title下的a标签内容

讯享网

“~.”找到兄弟节点标签

通过tag的id查找 soup.select(‘#id’)

返回查找到的元素的第一个：soup.select_one() 只返回一个，不返回列表

 from bs4 import BeautifulSoup
 import requests
 head = {
     ‘user-agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 Edg/130.0.0.0’
     }
 html = requests.get(“https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4",headers=head)
 soup = BeautifulSoup(html.text,‘lxml’)
 title = soup.select(”ul div&gt;h2“)
 for t in title:
     print(t.text.strip().replace(” “, ”“).replace(”/n“, ”“))

食南之徒素食者长安的荔枝太白金星有点烦怪画谜案活着波兰人额尔古纳河右岸边水往事绝叫一句顶一万句明亮的夜晚西游八十一案:长安击壤歌悉达多:一首印度的诗七个证人上升的一切必将汇合我的天才女友:那不勒斯四部曲1 卡拉马佐夫兄弟怪屋谜案我胆小如鼠

2025年bs4解析网页（bs4数据解析）

相关推荐