【数据采集与数据清洗】课堂笔记

【数据采集与数据清洗】课堂笔记文章目录 第一章 大数据概述 1 1 进入大数据时代的原因 1 2 大数据概念 1 3 大数据应用 第二章 大数据采集基础 2 1 传统数据采集技术 2 2 大数据采集基础 2 2 1 数据的发展 2 2 2 大数据来源 2 2 3 大数据采集技术 第三章 大数据采集架构 3 1 概述 3 2 Chukwa 数据采集 3 3 Flume 数据采集 3 4

大家好,我是讯享网,很高兴认识大家。

文章目录

    • 第一章 大数据概述
        • 1.1 进入大数据时代的原因
        • 1.2 大数据概念
        • 1.3 大数据应用
    • 第二章 大数据采集基础
        • 2.1 传统数据采集技术
        • 2.2 大数据采集基础
            • 2.2.1数据的发展
            • 2.2.2大数据来源
            • 2.2.3大数据采集技术
    • 第三章 大数据采集架构
        • 3.1 概述
        • 3.2 Chukwa数据采集
        • 3.3 Flume数据采集
        • 3.4 Scribe数据采集
        • 3.5 Kafka数据采集
            • 3.5.1 概念理解
            • 3.5.2 消息队列通信模型
            • 3.5.3 kafka的架构原理
        • 3.6 小结
    • 第四章 大数据迁移技术
        • 4.1数据迁移
        • 4.2 数据迁移相关技术
        • 4.3 数据迁移工具
        • 4.4 Kettle数据迁移实例
    • 第五章 互联网数据抓取与处理
        • 5.1 网络爬虫概述
        • 5.2 网络爬虫
        • 5.3 网络爬虫的抓取策略
        • 5.4 网页更新策略
        • 5.5 网络爬虫方法
        • 5.6 网络爬虫工具
小讯
上一篇 2025-01-13 19:57
下一篇 2025-02-05 16:04

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/73431.html