Dataphin数据中台使用

科技前沿 • 2025-01-29 16:35 • 阅读 79

大家好，我是讯享网，很高兴认识大家。

一、产品功能介绍

二、dataphin使用介绍

1)dataphin注意事项

2)准备工作

3)规划数仓

4)数据处理以及配置调度

5)任务发布

6)数据抽取以及配置调度

1).dataphin拥有开发/测试环境(XX_XX_XX_DEV)和生产环境(XX_XX_XX),使用Dev-Pord模式,将任务调度配置成功之后,进行发布,然后在发布模块,再次进行发布,该任务就会进入到生产

2)dataphin将数据分为三层,分别是ODS层、CDM层、ADS层

ODS层为原始数据层:所有一切的数据(使用到dataphin的数据)都将在这一层,管理员可以分配权限给用户,使用户可以看到自己所需要的数据,权限包括查看权限、数据从ODS到CDM曾的权限都需要通过管理员申请

CDM层为数据汇总层:主要工作是做数据处理工作,处理完成之后将数据结果推送到ADS层,该层用户只能看到所在板块下的内容以及调度任务(注意:不同项目的调度任务在同一板块,也是可以看到的,eg:某项目在金融板块,看到自己调度任务的同时,也可以看到别的项目的调度任务)

ADS层为数据应用层:将CDM层处理好的结果数据,配置调度任务抽取到ADS层(需要向超级管理员申请CDM表格的权限)

3).dataphin拥有抽数取数的功能,可以配置调度,定时抽取数据(需要用户向超级管理员申请所申请表的操作权限)

4).dataphin创建的表默认为分区表(分区字段默认为DS)

5).数据开发、数据集成的操作,超级管理员都可以层层把控,用户必须有权限才能进行操作

1.创建业务板块(没创建权限,故以下操作为官网推荐操作)

登录Dataphin控制台。
在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
进入业务板块页面。
1. 在Dataphin首页，单击顶部菜单栏的规划。
2. 在规划页面，单击左侧导航栏的业务板块。
创建业务板块
1. 在业务板块页面，单击右上方的新建业务板块。
2. 在新建业务板块对话框，选择Dev-Prod模式后，单击下一步。
3. 在新建业务板块对话框中，配置参数
4. 单击确定，完成业务板块（LD_beginner_test和LD_beginner_test_dev）的创建。
创建交易域。
1. 在LD_beginner_test业务板块页面，单击页面右侧的新建数据域。
2. 在新建数据域对话框中，配置参数。

2.创建数据源

1.在规划页面,点击数据源,点击新建数据源

2.在新建数据源对话框中,配置参数,单机测试连接,连接成功之后,点击确定