2025年kafka使用教程、快速上手

科技前沿 • 2025-03-26 08:32 • 阅读 45

大家好，我是讯享网，很高兴认识大家。

讯享网

kafka概述

一、kafka概述
- 1.1 定义
- 1.2 消息队列
- - 1.2.1 传统消息队列的应用场景
  - 1.2.2 消息队列的两种形式
- 1.3 Kafka 基础架构
二、kafka安装部署
- 2.1安装部署
- - 2.1.1.jar包下载
  - 2.1.2.解压到指定的文件夹下
  - 2.1.3.创建两个文件夹以供后续使用
  - 2.1.4. 修改配置文件
  - - （1）修改zookeeper.properties 文件
    - （2）修改server.properties 文件
- 2.2启动
- - 2.2.1.启动 kafka 内置的 zookeeper
  - 2.2.2.启动 kafka 服务
  - 2.2.3.创建一个名为 test1 的 topic 测试主题 kafka
  - 2.2.4.创建消息生产者生产消息
  - 2.2.5.创建消息消费者接收消息
  - 2.2.6.测试消息发送和接收
三、kafka架构深入理解
- 3.1 Kafka 工作流程
- - 3.1.1 写入方式
  - 3.1.2 分区（Partition）
  - - 1.启动zookeeper
    - 2 启动服务
    - 3 创建主题
    - 4 查看主题
    - 5 查看主题列表
- 3.2 Kafka 存储机制
- - 3.2.1 数据分片
  - 3.2.2 log分段：
  - 3.2.3 日志的清除策略以及压缩策略
- 3.3 Kafka 生产者
- - 3.3.1 数据可靠性保证
- 3.4 Kafka 消费者
- - 3.4.1概念
  - 3.4.2 消费方式
  - - 1.消费位移确认
    - 2 以时间戳查询消息
    - 3 消费速度控制
- 3.5 Kafka 高效读取数据
四、kafka API
- 4.1 Producer API
- - 4.1.1 消息发送流程
  - 4.1.2 异步发送 API
  - 4.1.3 同步发送 API
- 4.2 Consumer API
- - 4.2.1 自动提交 offset
  - 4.2.2 手动提交 offset
  - 4.2.3 自定义存储 offset
- 4.3 自定义拦截器
- - 4.3.1 拦截器原理
  - 4.3.2 拦截器案例
五、kafka事务
- 5.1 事务场景
- 5.2 几个关键概念和推导
- 5.3 事务语义
- - 5.3.1 多分区原子写入
  - 5.3.2 粉碎“僵尸实例”
  - 5.3.3 读事务消息
  - 5.4.4 事务处理Java API
  - - 5.4.4.1 api分类
    - 5.4.4.2 事务配置
    - 5.4.4.3 “只有写”应用程序示例
    - 5.4.4.4 消费-生产并存（consume-Transform-Produce）
- 5.5 事务工作原理
- - 5.5.1 事务协调器和事务日志
  - 5.5.2 事务数据流
- 5.6 事务相关配置
- - 5.6.1 Broker configs
  - 5.6.2 Producer configs
  - 5.6.3 Consumer configs
- 5.7 事务性能以及如何优化
- - 5.7.1 Producer打开事务之后的性能
  - 5.7.2 Consumer打开之后的性能
六、SpringBoot集成kafka
- - 6.1 配置Maven依赖
  - 6.2 项目具体代码
  - - 6.2.1 yml配置
    - 6.2.2 生产者
    - 6.2.3 消费者
    - 6.2.4

2025年kafka使用教程、快速上手

kafka概述

相关推荐