MapReduce 和资源协调框架 Yarn 三大组件。HDFS: 详细讲解 HDFS 使用方式、存储机制、可靠性保证、上传、下载、删除等实现原理、Java 开发 Api、开发插件等内容
MapReduce: 详细讲解 MR 理论基础、开发方式、序列化机制、分区机制、Combiner 机制、shuffle 详细流程、MR 案例、MR 性能优化等内容Yarn: 介绍 Yarn 资源协调框架的基本原理、使用及调优。Hadoop 是大数据生态中知名的组件，在行业中应用广泛，是学习大数据重要的技术之一 Flume Flume 是大数据生态环境中流行的日志收集框架，基于其灵活的可广泛配置的使用方式及优良的效率被广泛的应用在大数据生产环境中。
课程中详细讲解了 Flume 的 Source、Channel、Sink、Selector、Interceptor、Processor 等组件的使用。
并通过美团的案例，展示了 Flume 企业级应用场景的实现方式，并在后续项目中有大量的应用。 hive 是基于 Hadoop 的数据仓库工具，通过将结构化的数据文件映射为 HIVE 中的表，并提供类 SQL 的语法实现数据处理。
学习内容包括 hive 的安装配置、hive 的元数据库、hive 的内部表外部表、hive 的分区表、hive 的分桶表、hive 的语法、hive 的 UDF 等内容 HBase HBase 是一种分布式、面向列的基于 hadoop 的非关系型数据库，适合存储半结构化、非结构化的数据，基于其优良的设计，可以提供良好的实时数据存取能力，并提供更好的横向扩展能力，在企业级大数据开发中占用重要地位。课程中详细介绍了 Hbase 使用方式、Hbase 逻辑结构、Hbase 的理论基础 -LSM 树、Hbase 的实现原理、Hbase 表设计原则等内容，从理论 zebra项目 目名称：zebra 电信日志数据分析项目
业务背景：电信行业通过大量的电信基站为移动设备提供 3G、4G 网络信号，在移动设备通过基站访问网络的过程中，基站将会记录所有的访问数据，此项目通过大数据离线分析技术分析这些日志，得到相关的业务结论指导行业改进。
学习目标：通过学习 zebra 电信日志分析项目，掌握企业级大数据离线分析技术
应用的技术：flume 收集日志，采用三层结构实现 日志收集 聚集 最终持久化到 hadoop hdfs 中 并实现日志收集过程中的失败恢复及负载均衡；hadoop hdfs 分布式存储收集到的日志数据 ，hadoop mapreduce 进行日志清洗、格式转换； hive 进行日志处理、业务规则计算，按照不同维度分时段统计应用受欢迎程度、网站受欢迎程度、
小区上网能力、小区上网喜好等信息；sqoop 技术将处理完成的结果导出到关系型数据库；ECharts 通过 web 技术实现结果数据的可视化；Zookeeper 作为集群协调、集群状态监控工具。 大数据实时数据分析 Storm Storm是数据行业中流行的大数据实时分析框架之一，是一个分布式的、高容错的实时计算系统，能够实现具有可靠性保障的分布式实时数据处理，在行业中广泛应用。
在课程中讲解包括 Storm 基础 、可靠性保证、并发控制、实现原理、 Kafka Kafka 是一种具有高吞吐能力的分布式发布订阅消息系统，具有传统消息队列相关特性，此外具有一些独特的设计，可以实现分布式持久化的消息队列，在实时处理过程中通常用做数据缓存，为实时处理系统提供缓冲能力。在课程中包括 kafka 的安装配置、基本概念、实现原理、可靠性保障等相关理论及应用相关内容。 分布式编程思想 大数据问题的本质是海量数据，大数据解决方案的核心理念是分布式，分布式场景有其独特的问题、解决方案、设计思想，本节通过讨论分布式在各种技术背景、业务场景下的应用，揭示分布式技术的原理及应用原则 网站流量分析项目 名称：电商网站流量分析项目
学习目标：通过电商网站流量分析项目掌握企业级大数据离线分析、实时分析的的架构设计、技术应用及业务开发流程
业务背景：网站在运java基础教学服务商营过程中除了产生大量的业务数据外还会产生大量的用户行为数据，包括用户访问网站时鼠标点击、浏览器信息、会话信息、语言环境、所处地域等相关信息，网站流量分析项目通过大数据离线、实时分析技术，分析用户产生的大量行为数据，得到网站运行方关注的各项业务指标数据，引导网站改进其页面布局、广告投放等相关运营行为，提升网站运行效率。
应用的技术：
通过在网站的前台页面中进行 js 埋点收集用户访问网站的行为信息；
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/113.html