1. 首页首页
  2. 科技前沿科技前沿

2025年Flink 常用 API 详解

科技前沿 • • 阅读 74

Flink 常用 API 详解文章目录 前言之分层 API 一 DataStream 的编程模型 二 Flink 的 DataSource 数据源 2 1 基于文件 此处是 HDFS 2 2 基于集合的源 2 3 Kafka 2 3 1 引入依赖 2 3 2 Kafka 第一种 Source 2 3 3 Kafka 第二种 Source 2 3 3 1 Kafka 生产测试 2 4 自定义 Source 2

大家好，我是讯享网，很高兴认识大家。


讯享网

文章目录

  • 前言之分层 API
  • 一、DataStream 的编程模型
  • 二、Flink 的 DataSource 数据源
    • 2.1、基于文件，此处是HDFS
    • 2.2、基于集合的源
    • 2.3、Kafka
      • 2.3.1、引入依赖
      • 2.3.2、Kafka第一种Source
      • 2.3.3、Kafka第二种Source
        • 2.3.3.1、Kafka生产测试
    • 2.4、自定义Source
      • 2.4.1、实现SourceFunction的自定义Source
  • 三、 Flink 的 Sink 数据目标
    • 3.1、HDFS Sink
      • 3.1.1、配置支持 Hadoop FileSystem 的连接器依赖
      • 3.1.2、Streaming File Sink
        • 3.1.2.1、滚动策略
        • 3.1.2.2、分桶策略
        • 3.1.2.3、代码实现
    • 3.2、基于 Redis 的 Sink
      • 3.2.1、依赖
      • 3.2.2、将结果写道redis
    • 3.3、Kafka Sink
      • 3.3.1、第一种
      • 3.3.2、第二种
    • 3.4、自定义Sink
  • 四、DataStream 转换算子
  • 五、函数类和富函数类
    • 5.1、普通函数类举例：按照指定的时间格式输出每个通话的拨号时间和结束时间
    • 5.2、富函数类举例：把呼叫成功的通话信息转化成真实的用户姓名
  • 六、底层 ProcessFunctionAPI
  • 七、侧输出流 Side Output
  • 还有视频讲解在我的B站-宝哥chbxw, 希望大家可以支持一下，谢谢。
  • Flink目录导读
  • 关注我的公众号【宝哥大数据】， 更多干货。
小讯
上一篇 2025-02-11 15:21
下一篇 2025-03-23 20:30

相关推荐

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/127710.html