1、概述
爬虫，应该称为网络爬虫，也叫网页蜘蛛人，网络蚂蚁等
搜索引擎，就是网络爬虫的应用者
2、爬虫分类
通用爬虫：
常见就是搜索引擎，无差别的收集数据，存储，提交关键字，构建索引库，给用户提供搜索接口
爬取一般流程：
1、初始一批URL，将这些URL放到待爬的队列
2、从队列取出这些URL，通过DNS 解析IP ，对IP 对应的站点下载HTML页面，保存到本地服务器中，爬取完URL放到已经爬取的队列中
3、分析这些网页内筒，找出网页里面的其他关心的URL连接，继续执行第二步，直到爬取条件结束。
搜索引擎如何获取一个新网站的URL
-
-
- 新网站主动提交给搜索引擎
- 通过其他网站页面的外连接
- 搜索引擎和DNS 服务商合作，获取最新收录的网站。
-
聚焦爬虫：
有针对的编写特定领域数据的爬虫程序，针对某些 类别的数据采集的爬虫，是面向主体的爬虫
3、Robots 协议：
指定一个robots.txt 文件，告诉爬虫引擎什么可以爬，什么不可以爬
/ 表示网站根目录， 表示网站的所有目录
Allow：允许， Disallow：不允许
可以使用通配符
例如：淘宝：http://www.taobao.com/robots.txt
View Code
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/71973.html