# -*- coding=utf-8 -*- ''' 人生苦短,我用Python ''' import time import requests import re import os from bs4 import BeautifulSoup url = 'https://www.mzitu.com/all' headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/ Firefox/70.0', 'Accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", 'Accept-Encoding': 'gzip', "Referer": "https://www.mzitu.com/all" } # 创建头部信息 def getURL(url): #发送网络请求 a = requests.get(url,headers=headers)
html = a.text return html
def doDown(): # BeautifulSoup是一个HTML / XML解析器 # soup中是整个html对象 soup = BeautifulSoup(getURL(url),'html.parser') # 解析爬取网址 #print(soup) # 根据html网页的规律,获取有用的标签中的URL all_url = soup.find('div',class_='all').find_all('a') #查找 <div class="all"> 中的 含有a的标签 # print(all_url) 完整的<a标签内容输出打印 for mu_lu in all_url: #遍历URL列表 # print(mu_lu.get_text()) <a>标签中的txt内容 if mu_lu.get_text() == '早期图片': continue else: #print(mu_lu.get('href')) # 图片的URL #print(re.findall('\d+',mu_lu.get('href'))) 正则表达式 - 输出数字 # 放到结果集合中 result = {
'title':mu_lu.get_text(), 'link':mu_lu.get('href'), 'ID':re.findall('\d+',mu_lu.get('href')) } #过滤出字典 mu_lu_url = result['link'] print('读取图贴链接:',mu_lu_url) #某个套图的URL #访问这个套图URL soup2 = BeautifulSoup(getURL(mu_lu_url),'html.parser') #具体的某个URL #print(soup2) #套图的HTML内容 # <div class="main-image"><p><a href="https://www.mzitu.com//2"> # <img alt="大奶**Demon瑶瑶床上摆弄风骚,饥渴难耐求满足" height="1050" # src="https://i5.meizitu.net/2019/12/11b01.jpg" width="700"/></a></p> img_mu_lu_url = soup2.find("div",{
"class":"main-image"}).find("img")['src'] #套图的第一页的图片实际URL pages = soup2.find_all("span")[9] #获取第十个span标签中的内容,即为总页数标签 max_page = pages.get_text() #总页数 #在当前目录下: 用套图的头创建文件夹 print(result['title']) print('C:/Users/25308/Desktop/Python/妹子图/' + result['title']) mkdir('C:/Users/25308/Desktop/Python/妹子图/' + result['title']) #循环下载 for i in range(1, int(max_page) + 1): next_ima_page = mu_lu_url + '/' + str(i) #套图中每一张图片的URL
img_html = BeautifulSoup(getURL(next_ima_page),'html.parser') #图片链接 img_url = img_html.find("div",{
"class":"main-image"}).find("img")['src'] #图片名 img_name = result['title'] + str(i) #下载图片 downImage(img_name,img_url) print('图片地址:',img_url) time.sleep(yanshi) def downImage(name,image): f = open(name + '.jpg', 'wb+') img = requests.get(image, headers=headers) if str(img) == '<Response [200]>': print('下载图片...', end='') f.write(img.content) f.close() def mkdir(name): if os.path.exists(name): print('文件已经存在,不需要创建!') os.chdir(name) # 改变当前工作目录到指定的路径 else: print('创建文件夹:') os.mkdir(name) os.chdir(name) # 改变当前工作目录到指定的路径 if __name__ == '__main__': # 创建文件夹 mkdir('C:/Users/25308/Desktop/Python/妹子图') # 设定存储爬取图片的路径 yanshi = 0.5 #设定抓取图片延迟(0.5秒) doDown() # 执行下载方法
讯享网
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/112613.html