2025年17.爬虫-scrapy信号

17.爬虫-scrapy信号一 概述 scrapy 信号就是我们事先指定在什么条件下 要调用什么方法 当条件被触发时 方法就会被执行 所谓 摔杯为号 刀斧手出动 当然这是需要事先跟手下讲明的 第 1 步 摔杯为号 我们一般会在 spider 的 init 中来指定信号 也可以重写 from crawler 这个方法来指定信号 gt 跟手下讲明这是鸿门宴 摔杯是要砍对方主公的

大家好,我是讯享网,很高兴认识大家。

一.概述

scrapy信号就是我们事先指定在什么条件下,要调用什么方法。当条件被触发时,方法就会被执行。

所谓:摔杯为号,刀斧手出动,当然这是需要事先跟手下讲明的

第1步:摔杯为号

我们一般会在spider的__init__()中来指定信号,也可以重写from_crawler()这个方法来指定信号----->跟手下讲明这是鸿门宴,摔杯是要砍对方主公的

实现方式1:from_crawler方法中crawler.signals.connect(spider.item_scraped,signal=signals.item_scraped)

实现方式2:在__init__()方法中dispatcher.connect(self.handle_spider_closed,signals.spider_closed)

分析源码可以看到,这两方法本质上是相同的

alt
讯享网
alt
第2步:调用指定方法

这一步其实就是一个要被调用的自定义方法

二.scrapy的内置信号

alt
alt
alt

文档链接:https://docs.scrapy.org/en/latest/topics/signals.html

ps: scrapy的组件和扩展,都是基于信号来设计的

三.小例子

import scrapy
from scrapy import signals
from ccidcom.items import CcidcomItem


class CcidcomSpider(scrapy.Spider):
    name = 'ccidcomSpider'
    start_urls = ['http://www.ccidcom.com/yaowen/index.html']
    item_count = 0

    @classmethod
    def from_crawler(cls, crawler, *args, kwargs):
        spider = super(CcidcomSpider,
                       cls).from_crawler(crawler, *args, kwargs)
        crawler.signals.connect(spider.item_scraped,
                                signal=signals.item_scraped)
        crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
        return spider

    def parse(self, response):
        lists = response.css('div.article-item div.title a::attr("href")')
        for info in lists:
            item = CcidcomItem()
            item['url'] = info.get()
            yield item

    def item_scraped(self, item, response, spider):
        if item:
            self.item_count += 1
            self.logger.info('--------item_scraped')

    def spider_closed(self, spider, reason):
        spider.logger.info('一共抓取到了{}个item'.format(self.item_count))

讯享网

from_crawler是在爬虫被初始化时执行的入口方法

spider = super(CcidcomSpider, cls).from_crawler(crawler, *args, kwargs) 是调用父类的方法, 获取到实例化的爬虫

crawler.signals.connect(spider.item_scraped, signal=signals.item_scraped)是将爬虫的spider.item_scraped方法注入到signals.item_scraped信号的位置上

当我们yield返回一个item时, 就会调用我们自己写的item_scraped方法, 将item的数量+1

我们也注册了一个spider_closed的信号, 在爬虫结束以后, 输出我们一共抓取到了多少个item

这就是scrapy信号的简单的例子, 而且这个例子可以写在很多地方(扩展、中间件、pipeline...)

相应的视频教程在这里 https://mp.weixin..com/s/DG-T965Y9yKLwNYPus2cXA

本文由 mdnice 多平台发布

小讯
上一篇 2025-04-03 21:08
下一篇 2025-01-08 08:49

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/78291.html