Kylin的介绍、使用和原理架构(Kylin3.0和Kylin4.0，Cube，去重原理，性能优化，MDX For Kylin，BI工具集成)

科技前沿 • 2025-03-18 19:18 • 阅读 51

大家好，我是讯享网，很高兴认识大家。

讯享网

文章目录

- 简介
- - 介绍
  - 架构
  - Kylin特点
  - Kylin4.0升级
- 安装
- - Kylin3.0安装
  - Kylin4.0安装
  - - 依赖环境
    - Spark安装和部署
    - Kylin 安装和部署
    - Kylin 启动环境准备
    - Kylin 启动和关闭
  - docker安装
- Kylin使用
- - 创建工程
  - 获取数据源
  - 创建model
  - 构建cube
  - 查询
  - 每日自动构建cube
  - Kylin 使用注意事项
  - - 每日全量维度表及拉链维度表重复Key问题处理
    - 只能按照构建 Model 的连接条件来写 SQL
    - 只能按照构建 Cube 时选择的维度字段分组统计
    - 只能统计构建 Cube 时选择的度量值字段
    - Kylin 设置查询下压
- Kylin4.0 查询引擎
- - 查询引擎 Sparder
  - HDFS 存储目录
  - 查询参数汇总
- Cube构建原理
- - 维度和度量
  - Cube、Cuboid、Segment
  - Cube构建算法
  - Cube存储原理
- 去重原理(※)
- - 去重方法
  - 精确去重的原理
  - RoaringBitmap
  - - 实现思路
    - 小桶的类型
    - 与bitmap的性能对比
  - 全局字典介绍
  - Trie树与AppendTrie树
- Cube构建优化
- - 衍生维度（derived dimension）
  - 聚合组（Aggregation group）
- Cube构建参数调优
- - 使用适当的 Spark 资源和配置来构建 Cube
  - 全局字典构建性能调优
  - 快照表构建性能调优
- 查询性能优化
- - Row Key优化
  - 使用 shardby 列来裁剪 parquet 文件
  - 减少小的或不均匀的 parquet 文件
  - 将多个小文件读取到同一个分区
  - 使用堆外内存
- BI工具集成
- - JDBC
  - Zepplin
- MDX For Kylin
- - 流程介绍
  - 安装
  - - 前置条件
    - 安装 MDX
    - 启动 MDX For Kylin
  - 设计数据集
  - 在 Excel 中分析
- Kylin5.0介绍

Kylin的介绍、使用和原理架构(Kylin3.0和Kylin4.0，Cube，去重原理，性能优化，MDX For Kylin，BI工具集成)

文章目录

相关推荐