2025年Python分布式爬虫打造搜索引擎

Python分布式爬虫打造搜索引擎Python 分布式爬虫打造搜索引擎 基于 Scrapy Redis elasticsearc 和 django 打造一个完整的搜索引擎网站 未来是什么时代 是数据时代 数据分析服务 互联网金融 数据建模 自然语言处理 医疗病例分析 越来越多的工作会基于数据来做 而爬虫正是快速获取数据最重要的方式

大家好,我是讯享网,很高兴认识大家。

Python分布式爬虫打造搜索引擎

基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站

未来是什么时代?是数据时代!数据分析服务、互联网金融,数据建模、自然语言处理、医疗病例分析……越来越多的工作会基于数据来做,而爬虫正是快速获取数据最重要的方式,相比其它语言,Python爬虫更简单、高效

一、基础知识学习:

1. 爬取策略的深度优先和广度优先

目录:

  1. 网站的树结构
  2. 深度优先算法和实现
  3. 广度优先算法和实现

网站url树结构分层设计:

  • bogbole.com
    • blog.bogbole.com
    • python.bogbole.com
      • python.bogbole.com/123

环路链接问题:

从首页到下面节点。 但是下面的链接节点又会有链接指向首页

所以:我们需要对于链接进行去重

1. 深度优先 2. 广度优先

跳过已爬取的链接 对于二叉树的遍历问题

深度优先(递归实现): 顺着一条路,走到最深处。然后回头

广度优先(队列实现): 分层遍历:遍历完儿子辈。然后遍历孙子辈

Python实现深度优先过程code:

def depth_tree(tree_node): if tree_node is not None: print (tree_node._data) if tree_node._left is not None: return depth_tree(tree_node.left) if tree_node._right is not None: return depth_tree(tree_node,_right)

讯享网

Python实现广度优先过程code:

讯享网def level_queue(root): #利用队列实现树的广度优先遍历 if root is None: return my_queue = [] node = root my_queue.append(node) while my_queue: node = my_queue.pop(0) print (node.elem) if node.lchild is not None: my_queue.append(node.lchild) if node.rchild is not None: my_queue.append(node.rchild)

2. 爬虫网址去重策略

  1. 将访问过的url保存到数据库中
  2. 将url保存到set中。只需要O(1)的代价就可以查询到url

*2byte*50个字符/1024/1024/1024 = 9G

  1. url经过md5等方法哈希后保存到set中,将url压缩到固定长度而且不重复
  2. 用bitmap方法,将访问过的url通过hash函数映射到某一位
  3. bloomfilter方法对bitmap进行改进,多重hash函数降低冲突

scrapy去重使用的是第三种方法:后面分布式scrapy-redis会讲解bloomfilter方法。

3. Python字符串编码问题解决:

  1. 计算机只能处理数字,文本转换为数字才能处理,计算机中8个bit作为一个字节, 所以一个字节能表示的最大数字就是255
  2. 计算机是美国人发明的,所以一个字节就可以标识所有单个字符 ,所以ASCII(一个字节)编码就成为美国人的标准编码
  3. 但是ASCII处理中文明显不够,中文不止255个汉字,所以中国制定了GB2312编码 ,用两个字节表示一个汉字。GB2312将ASCII也包含进去了。同理,日文,韩文,越来越多的国家为了解决这个问题就都发展了一套编码,标准越来越多,如果出现多种语言混合显示就一定会出现乱码
  4. 于是unicode出现了,它将所有语言包含进去了。
  5. 看一下ASCII和unicode编码:
    1. 字母A用ASCII编码十进制是65,二进制 0100 0001
    2. 汉字"中" 已近超出ASCII编码的范围,用unicode编码是20013二进制是0 00
    3. A用unicode编码只需要前面补0二进制是 00000000 0100 0001
  6. 乱码问题解决的,但是如果内容全是英文,unicode编码比ASCII编码需要多一倍的存储空间,传输也会变慢。
  7. 所以此时出现了可变长的编码"utf-8" ,把英文:1字节,汉字3字节,特别生僻的变成4-6字节,如果传输大量的英文,utf8作用就很明显。

读取文件,进行操作时转换为unicode编码进行处理 保存文件时,转换为utf-8编码。以便于传输 读文件的库会将转换为unicode

python2 默认编码格式为ASCII,Python3 默认编码为 utf-8

#python3 import sys sys.getdefaultencoding() s.encoding('utf-8')
讯享网#python2 import sys sys.getdefaultencoding() s = "我和你" su = u"我和你" ~~s.encode("utf-8")#会报错~~ s.decode("gb2312").encode("utf-8") su.encode("utf-8")

二、伯乐在线爬取所有文章

1. 初始化文件目录

基础环境

  1. python 3.5.1
  2. JetBrains PyCharm 2016.3.2
  3. mysql+navicat

为了便于日后的部署:我们开发使用了虚拟环境。

pip install virtualenv pip install virtualenvwrapper-win 安装虚拟环境管理 mkvirtualenv articlespider3 创建虚拟环境 workon articlespider3 直接进入虚拟环境 deactivate 退出激活状态 workon 知道有哪些虚拟环境
scrapy项目初始化介绍

自行官网下载py35对应得whl文件进行pip离线安装

Scrapy 1.3.3

命令行创建scrapy项目

讯享网cd desktop 

scrapy startproject ArticleSpider

scrapy目录结构

scrapy借鉴了django的项目思想

  • scrapy.cfg:配置文件。
  • setings.py:设置
SPIDER_MODULES = [‘ArticleSpider.spiders’] #存放spider的路径
NEWSPIDER_MODULE = 'ArticleSpider.spiders’

pipelines.py:

做跟数据存储相关的东西


讯享网

middilewares.py:

自己定义的middlewares 定义方法,处理响应的IO操作

init.py:

项目的初始化文件。

items.py:

定义我们所要爬取的信息的相关属性。Item对象是种类似于表单,用来保存获取到的数据

创建我们的spider

讯享网cd ArticleSpider
scrapy genspider jobbole blog.jobbole.com

可以看到直接为我们创建好的空项目里已经有了模板代码。如下:

# -- coding: utf-8 --
import scrapy

class JobboleSpider(scrapy.Spider):
name = “jobbole”
allowed_domains = [“blog.jobbole.com”]
# start_urls是一个带爬的列表,
#spider会为我们把请求下载网页做到,直接到parse阶段
start_urls = [‘http://blog.jobbole.com/’]
def parse(self, response):
pass

scray在命令行启动某一个Spyder的命令:

讯享网scrapy crawl jobbole

在windows报出错误

ImportError: No module named 'win32api’

pip install pypiwin32#解决

创建我们的调试工具类

讯享网# __ coding: utf-8 *
author = ‘mtianyan’
date = ‘2017/3/28 12:06’

from scrapy.cmdline import execute

#将系统当前目录设置为项目根目录
#os.path.abspath(file)为当前文件所在绝对路径
#os.path.dirname为文件所在目录
#H:\CodePath\spider\ArticleSpider\main.py
#H:\CodePath\spider\ArticleSpider
sys.path.append(os.path.dirname(os.path.abspath(file)))
#执行命令,相当于在控制台cmd输入改名了
execute([“scrapy”, “crawl” , “jobbole”])

settings.py的设置不遵守reboots协议

ROBOTSTXT_OBEY = False

在jobble.py打上断点:

def parse(self, response):
pass

  • body:网页内容
  • _DEFAULT_ENCODING= 'ascii’
  • encoding= 'utf-8’

可以看出scrapy已经为我们做到了将网页下载下来。而且编码也进行了转换.

2. 提取伯乐在线内容

xpath的使用
讯享网1. xpath简介
2. xpath术语与语法
3. xpath抓取误区:javasrcipt生成html与html源文件的区别
4. xpath抓取实例

为什么要使用xpath?

  • xpath使用路径表达式在xml和html中进行导航
  • xpath包含有一个标准函数库
  • xpath是一个w3c的标准
  • xpath速度要远远超beautifulsoup。

xpath节点关系

  1. 父节点上一层节点
  2. 子节点
  3. 兄弟节点同胞节点
  4. 先辈节点父节点,爷爷节点
  5. 后代节点儿子,孙子
    xpath语法:

表达式

小讯
上一篇 2025-02-26 16:42
下一篇 2025-01-24 22:33

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/131633.html