当前位置:首页 > 数据中心 > 正文

数据中心与数据平台


一、数据管理,数据治理,数据中心,数据中台,数据湖都是什么意思,有什么关系呢?

数据治理和数据管理

治理,简单来说,就是管理的管理。

对于管理来说,需要遵循一定的标准体系、一定的流程以及一定的组织角色划分,而这些内容首先要通过数据治理来明确界定。管理层仅按照规范的数据治理体系执行管理和监控任务。

管理实施的基础是治理标准体系。

数据中台和数据湖

这个很难解释清楚,所以我会尽量简化。

数据湖一般是公有云服务提供商提出的概念,即H。公司的所有结构化和非结构化数据都可以收集并存储在这里。数据湖是一个大型存储站。该存储是分布式的并且可以无限扩展。存储的数据没有被清理和处理,但保持不变。

保存后,数据湖提供了一些开放的标准接口,您可以通过这些接口使用数据。这些接口包括查询SQL接口、计算引擎接口、流处理接口等,提供接口的目的也很简单。您可以轻松使用已保存的数据。

数据湖存储一般是分布式对象存储或分布式文件存储。即使从结构化数据库中收集数据,仍然会转换为统一的存储方式,以方便扩展。

简单来说:数据中台是企业交换数据的方式,对外开放。

中层数据平台包括底层数据技术平台(可以是我们熟知的大数据平台的功能)、中层数据资产层、上层数据对外开放功能。

核心资产层本身也是分层的,从最底层的源数据到特定领域的应用数据,再到上层的数据仓库和数据标签库。数据湖更像是数据中台概念中的数据源层。

企业在实际建设数据中心时,很少用到数据湖的概念。

两者的比较和映射如下:

数据中心

数据中心这个词经常在BI系统应用中使用。

然而,如今“数据中心”一词一般指IT基础设施、大型公有云数据机房等。这个术语很少在BI系统或数据中心中使用。这意味着“数据中心”一词是针对IT硬件基础设施层面的。


二、什么是数据中心?数据中心是企业业务系统和数据资源集中、集成、共享和分析的场所、工具和流程的有机组合。在应用层面,包括基于数据仓库的业务系统和分析系统;在基础设施层面,包括运营数据、分析数据和数据集成/集成流程。我们提供跨网络、存储和IT的运维服务。数据中心-建设目标数据中心的建设目标如下:1、全面建设公司总部和网络省级企业两级数据中心,逐步实现数据和业务系统的集中。2.建立企业数据仓库。提供丰富的数据分析和展示功能。3、实现数据唯一性和共享。4、建立一体化的安全体系,确保数据和业务系统的访问安全。5、结合数据中心建设完善数据。两级数据中心之间交换系统并实现级联。6、实现网络、硬件、存储设备、数据、业务系统和管理流程、IT采购流程和数据交换流程的集成集中。一体化的技术架构,让您快速实施和部署各种IT系统,提升管理能力。数据中心-系统结构数据中心分布在总部和网络地方。第二级数据中心通过数据交换平台进行数据级联。数据中心逻辑架构包括应用架构、数据架构、执行架构、基础设施(物理架构)、安全架构、运维架构等。应用架构:应用架构是指一个数据中心支持的所有应用系统的部署以及它们之间的关系。数据架构:数据架构是指各应用系统模块的数据组织、相互关系、存储方法,以及数据标准和数据管控方法。执行架构:执行架构是指数据仓库在运行时的核心功能和服务流程,主要包括ETL(数据收集和集成)架构和数据访问架构。基础设施(物理架构):为上层应用系统(主要包括服务器、网络、存储等硬件设施)提供硬件支撑的平台。安全架构:安全架构涵盖了数据中心的各个部分,包括运维、应用、数据、基础设施等。是指在系统软硬件方面提供整体安全的所有服务和技术工具的总和。运维架构:运维架构主要为企业信息系统管理人员构建整个信息系统的综合管理平台,并提供系统管理平台、数据备份工具等相关管理维护工具以及相关管理流程。。。数据中心-工作原理数据收集和集成也称为ETL(提取、处理、加载)。在确定数据集市模型并分析数据源后,根据分析结果提取与主题相关的信息。应用系统根据数据中心各存储组件的需求交换和加载源业务数据。数据采集​​与集成主要分为三个步骤:数据提取、数据转换、数据加载。ETL的质量直接影响数据集市中数据的质量。数据仓库区域是专门为企业数据集成和数据记录存储需求而配置的集中式集成数据存储区域。数据仓库由跨越多个主题领域的公司信息组成。这些信息主要是低粒度的数据,同时可以根据数据分析的需要构建特定粒度的汇总数据。它们以一定的频率定期更新,主要用于提供集成到数据集市中的高质量数据。数据仓库专注于数据的存储和集成。数据集市是针对特定主题领域、部门或用户分类的一组特定数据。必须对这些数据进行优化,以便用户快速访问,并且可以通过对数据结构进行汇总和索引来优化数据输出。