客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)

四季读书网 6 0
客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)
客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第1张图片-四季读书网

日常中是否有这样的烦恼?数据分散在各个业务系统,找数难、口径乱、数据质量不可控,敏感数据安全难以精细化管控。

业务场景:财务、生产、业务多套系统各自独立,业务人员需要一份经营汇总报表,来回对接多个IT人员。 好不容易拿到数据,却发现相同指标两边数值不一致;想要核查问题,不知道数据从哪流转而来。 同时原始明细里包含手机号、身份证等敏感字段,要么全部开放存在泄露风险,要么完全锁死业务无法查看。

AllData数据中台分 2 篇解析数据治理平台 7 大功能!接着上一篇,来看数据模型管理、数据门户管理、数据标准管理、数据权限管理四大核心模块,带你看清如何解决数据治理各类老旧问题!

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第2张图片-四季读书网

数据治理平台模块,7大功能拆解

注:数据资产平台(OpenDataWorks)、数据质量平台(Datavines)、元数据管理平台(OpenMetaData)在数据治理平台(一) 中介绍

一、数据模型管理 (Data-Model)

业务可参与的建模平台,可视化定义业务实体,完成逻辑模型设计并落地物理表,保障多环境模型定义统一一致。

Data-Model项目介绍:https://www.yuque.com/aolingdata/product/cslrihlamelceob6

1、核心功能 | 可视化页面建物理模型表到Doris数仓

零代码可视化完成模型设计,并可落地生成Doris等数仓物理数据表。

✅️ 可视化界面填写模型基本信息、字段属性、页面展示属性,无需手写DDL;

✅️ 模型编辑完成后,同步元数据即可在Doris数仓生成对应物理表,业务人员也能参与建模。

数据模型页面:统一管理业务数据模型,维护模型基础信息

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第3张图片-四季读书网

数据模型-编辑基本信息页面:配置数据模型名称、状态等基础业务信息

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第4张图片-四季读书网

数据模型-编辑字段页面:定义模型字段名称、数据类型等技术属性

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第5张图片-四季读书网

2、模型与资产强关联+多环境一键同步

逻辑业务模型映射物理库表,支持测试环境模型一键发布至生产。

✅️ 将业务定义的实体、字段和真实物理库表做绑定,消除业务与IT理解偏差;✅️ 测试环境验证模型后一键同步生产,保障开发、生产环境模型标准统一。

数据管理页面:基于已建模型,实现业务数据的新增与维护

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第6张图片-四季读书网

数据管理-编辑页面

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第7张图片-四季读书网

二、数据门户管理 (Data-Portal)

数据门户管理面向业务人员的数据服务前台,整合全域元数据,提供数据检索、查询、血缘追踪、权限管控,降低业务人员找数用数门槛。

Data-Portal项目介绍:https://www.yuque.com/aolingdata/product/mpxgq7dqbhn0ayfx

1、核心功能点 | Data Catalog数据目录

企业全域数据资产总索引,实现快速检索、查看数据表与字段业务元信息。

✅️ 支持关键词检索,展示数据表、字段业务描述、负责人、质量评分、变更记录;

✅️ 非技术人员无需 SQL 即可看懂字段含义,可直接查看元数据详情、历史变更。

数据目录页面:检索浏览数据资产,查看数据表字段元数据与变更记录

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第8张图片-四季读书网

数据目录-编辑详细页面

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第9张图片-四季读书网

2、端到端数据血缘与数据地图

可视化图谱追溯数据完整加工链路,定位源头与受影响下游。

✅️ 图形化展示数据来源、加工过程、下游数据表,回答数据 “从哪来、到哪去”;

✅️ 数据异常时快速定位故障环节,评估上游变更对下游报表的影响范围。

数据地图页面:可视化展示数据血缘,追溯数据来源与流转链路

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第10张图片-四季读书网

数据查询页面:筛选条件快速查询数据资产,定位目标数据表

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第11张图片-四季读书网

行级变更页面:审计跟踪数据表行记录的修改人、修改时间与变更内容

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第12张图片-四季读书网

三、数据标准管理 (Data-Standard)

企业数据 “普通话” 管控平台,覆盖标准制定‑映射‑执行‑监控全生命周期,解决多系统数据定义混乱,统一企业数据命名、格式、取值规范。

Data-Standard项目介绍:https://www.yuque.com/aolingdata/product/zmghlbu2kgoly2la

1、标准定义与管控

集中定义、版本化维护企业业务数据字典,输出企业统一数据规则。

✅️ 集中创建、编辑各类数据标准类别与标准字典,对标准做版本管控;

✅️ 对字段格式、长度、取值、正则做刚性约束,从源头消除定义歧义。

标准管理页面:维护数据标准类别与标准字典,定义企业统一数据口径

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第13张图片-四季读书网

标准管理页面

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第14张图片-四季读书网

数据标准-字典编辑页面:配置标准字段格式、取值、说明,完成标准内容定义

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第15张图片-四季读书网

2、核心功能|标准关系管理

完成业务标准和真实数据库表 / 字段绑定映射,打通标准规则与物理数据。

✅️ 支持手工对照维护复杂映射关系,也可通过标准任务中心做自动批量对照;✅️ 建立对照字典,将业务标准绑定到实际库表字段,支撑后续数据校验落地,可在标准结果中心查看整体对照覆盖率。

标准任务中心页面:支持自动对照和手动对照

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第16张图片-四季读书网

标准结果中心页面:统计查看标准落地覆盖、对照比例,评估标准应用效果

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第17张图片-四季读书网

四、数据权限管理 (Data-Secure)

企业数据安全管控模块,以角色为载体,实现数据库‑数据表‑字段多层级精细化授权,落实最小权限原则,保障数据资产安全合规访问。

Data-Secure项目介绍:https://www.yuque.com/aolingdata/product/gmb530tgk9f9pr76

1、核心功能 | 库‑表‑字段三级角色授权管控(重点指定能力)

以角色组为对象,完成数据库、数据表、字段三级对象的精细化授权管控。

✅️ 面向不同业务角色,可分别勾选/回收数据库、数据表、字段对象访问权限,粒度可下探至具体敏感字段;

✅️ 可视化权限树操作,无需编写代码,直观查看角色已拥有的全部层级权限;

✅ 权限变更保存后支持刷新缓存,让权限策略全局即时生效,避免缓存带来权限延迟问题。

权限管理页面:权限划分精细至字段级划分

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第18张图片-四季读书网

2、多层级与细粒度访问安全控制

支持角色化分级授权,实现行、字段级别的访问管控与敏感数据防护。

✅️ 基于组织角色做自上而下分级授权,不同岗位角色匹配差异化的数据访问视图;

✅️ 支持敏感字段加密、脱敏处理,结合行级访问限制,落实按需授权、最小权限安全原则;

✅️ 适配元数据、数据门户等上层平台,权限规则统一生效于各数据使用模块。

权限管理-设置页面:设置角色数据权限

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第19张图片-四季读书网

权限管理-设置页面:完成后保存并刷新缓存

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第20张图片-四季读书网

权限设置体验举例:划分权限后在数据质量平台中用户在挑选校验字段时,没有字段授权的列,不会出现在下拉列表里,只能看到当前账号有权限的字段

客户真题讲解|趁手好用,AllData搭建数据治理平台,集成开源项目数据模型/门户/标准/权限管理,建设数据资产与治理平台(二)-第21张图片-四季读书网

● 后台引擎本身依然可以读取全表全部字段完成数据计算、质量校验;

● 权限只控制前端页面的字段可见性,防止用户在页面上选择、查看未授权字段,不会阻断后台质检任务的运算。

7大功能各自优点和场景选型

注:数据资产平台(OpenDataWorks)、数据质量平台(Datavines)、元数据管理平台(OpenMetaData)在数据治理平台(一) 中介绍。

 1、数据门户管理(Data-Portal)

核心定位:数据自助服务门户,提供数据目录检索、SQL在线查询、数据地图血缘查看、行级变更审计,面向业务人员开放数据自助使用。

适合的场景:业务用户需要自助查数、浏览资产、追溯数据来源,需要统一数据访问入口。

 2、数据标准管理(Data-Standard)

核心定位:统一数据口径管控平台,定义业务数据标准、字典,完成表字段和标准的自动/手动对照落地,衡量标准覆盖率。

适合的场景:多系统异构数据源、口径混乱,需要统一指标/字段业务含义,需要落地标准化治理。

 3、数据权限管理(Data-Secure)

核心定位:数据安全管控模块,提供库-表-字段三级角色授权,配套行级控制、敏感字段脱敏,统一管控全平台数据访问权限。

适合的场景:存在敏感数据、分级保密要求,不同岗位需要差异化数据视图,政务、国企、金融项目必选。

 4、数据模型管理(Data-Model)

核心定位:业务数据模型定义工具,统一维护模型表结构、字段属性,实现业务模型与物理表映射,支撑低代码业务数据管理。

适合的场景:业务系统需要统一定义业务实体、快速生成数据表、业务人员维护业务数据,需要统一模型口径的场景。

模块联合使用可行性结论

7个功能全部可以联合使用,是一套完整、自洽的数据治理全链路体系。

底层依赖关系:OpenMetaData元数据是底层基础底座,资产、门户、质量均依赖元数据采集能力;其余模块横向协同,实现标准建模→元数据采集→资产盘点→质量校验→权限管控→门户自助使用完整闭环。

 组合方案1:最小基础治理包(入门/试点项目,优先落地,推荐组合)

4个模块:数据标准管理(Data-Standard) + 数据权限管理(Data-Secure) + 数据门户管理(Data-Portal) + 数据模型管理(Data-Model)

适用场景:一期试点,快速搭建统一数据标准,先解决 “数据在哪、来源是谁、谁能看”。

能力闭环:数据标准定义 → 数据门户展示目录与数据地图 → 数据权限做库/表/字段访问管控,控制门户内的数据查看范围。

暂不启用:资产平台、数据质量平台、元数据管理平台,二期再叠加。

 组合方案2:标准数据治理标准版(大多数政企常规项目,最常用推荐组合) 

组合模块:元数据管理平台(OpenMetaData) + 数据资产平台(OpenDataWorks) + 数据质量管理(Datavines) + 数据标准管理(Data-Standard) +  数据权限管理(Data-Secure) + 数据门户管理(Data-Portal)

适用场景:正式数据治理项目,多源数据整合,需要标准化、资产盘点、质量监控、安全管控、业务自助查询。

完整治理链路:

1、数据标准平台:定义统一业务字段标准;

2、元数据平台:采集库表元数据、解析血缘;

3、资产平台:完成资产盘点、数仓建模、开发调度;

4、数据质量平台:对资产配置质检规则,监控脏数据;

5、数据权限平台:库表字段级授权,管控资产、门户、质量页面的数据可见范围;

6、数据门户:业务人员检索资产、自助 SQL 查询、查看血缘。

可按需取舍:数据模型管理可暂不启用,如果业务不需要业务实体建模,可延后上线。

 组合方案3:全能力完整版(大型项目,全链路数据治理,7个功能全部启用) 

全部 7 模块:元数据管理平台(OpenMetaData) + 数据资产平台(OpenDataWorks) + 数据质量管理(Datavines) + 数据模型管理(Data-Model) + 数据门户管理(Data-Portal) + 数据标准管理(Data-Standard) + 数据权限管理(Data-Secure)

适用场景:大型集团、政务、制造业,业务复杂,既要数仓开发、资产运营,又要业务实体建模、统一标准、质量巡检、精细化字段权限、业务自助门户。

完整全链路:数据标准定义 → 数据模型构建业务实体 → 元数据自动采集与血缘解析 → 资产平台做资产全生命周期管理+数仓开发 → 数据质量平台持续校验数据质量 → 数据权限平台全局库/表/字段/行级权限管控 → 数据门户面向业务提供自助数据检索查询。

抱歉,评论功能暂时关闭!