Skip to content

数据中台

wangqi edited this page Jun 21, 2022 · 1 revision

数据中台

现代企业越来越重视企业内部数据整合,梳理数据资产,打造数据中台。数据中台在对企业内部海量数据进行统一和标准后,统一存储,形成数据仓库,对外输出数据服务,企业开始通过数据对业务进行深耕细做,发掘新的业务价值,数据中台是企业发展中不可缺少的一环。

数据中台建立在分布式计算引擎和存储系统上面,支持无限扩充平台的计算和存储能力,在数据中台的搭建过程中,是一个不断完善数据集成能力,进行数据管理的一个过程。

大数据引擎

  • 计算引擎。flink,spark。
  • 存储引擎。以关系型数据库为代表传统存储系统如 Oracle,以 HDFS、对象存储为底层存储的 hive,数据湖,同时提供关系型数据库的 ACID 事务能力和分布式存储,同时支持 OLTP/OLAP 的 NewSQL 数据库 TiDB。
  • 查询引擎。elasticsearch,presto,trino,clickhouse,doris 等。

数据仓库

  • 数据开发。数据模型,主题领域
  • 数据治理。元数据,数据血缘,数据质量,数据标准

数据服务

  • 自助分析,ad-hoc 查询
  • 报表
  • 数据应用