数据中心的定义(数据中心的基本要素)

治理和数据管理

简单地说，治理就是管理的管理。

对于管理来说，需要遵循一定的标准体系、一定的流程和一定的组织角色划分，而这些内容首先要通过数据治理来明确界定。管理层仅根据监管数据治理体系履行管理和监督职责。

实施管理的基础是治理规则体系。

：

数据中台和数据湖

解释清楚并不容易，所以我尽量简化。

数据湖一般是公有云服务提供商提出的概念，即一个公司的所有结构化和非结构化数据都可以收集并存储在这里。数据湖是一个大型存储站。这个存储是分布式的，可以无限扩展。存储的数据不会被清理和处理，而是保持原样。

保存后，数据湖提供了一些标准的接口来处理数据。这些接口包括SQL查询接口、计算引擎接口、流处理接口等。提供接口的目的也很简单：可以方便地使用存储的数据。

数据湖存储一般是分布式对象存储或分布式文件存储。即使从结构化数据库中收集数据，仍然会转换为统一的存储方式，以方便扩展。

简单来说，数据中台就是一个企业共享数据、对外的能力。

核心数据平台包括底层数据技术平台（可以是我们熟知的大数据平台的能力）、中间层数据资源、上层数据对外能力。

核心资源层本身也是分层的，从层的源数据，到特定领域的应用数据，再到顶层的数据仓库、数据标签库。数据湖更多对应的是数据中台概念中的数据源层面。

企业在实际建设数据中心时，很少用到数据湖的概念。

两者的对比和映射如下：

数据中心

数据中心这个词经常出现在BI应用中。

但现在数据中心一般指的是IT基础设施、大型公有云数据机房等。该术语很少在BI或数据中心中使用。也就是说，数据中心这个词偏向于IT硬件基础设施层面。

Consul是HashiCorp基于Go语言开发的一款支持多数据中心的分布式高可用服务发布和注册软件。它使用Raft算法来维护服务一致性并支持健康检查。与Eureka的侵入式服务中心不同，Consul以软件的形式运行，对项目的侵入性较小，部署也更加方便。上图为多机房数据中心的部署情况。每个数据中心至少有三位领事，一位是领导者，另外两位是追随者。是Consul集群中每个成员的守护进程，由consulagent命令启动。可以以客户端或服务器模式运行由于所有节点都必须运行，因此将节点称为客户端或服务器更容易，但仍然存在其他实例。所有都可以运行DNS或HTTP接口，并负责运行检查并保持服务同步。客户端可以将所有RPC请求转发到服务器的。客户端相对来说是无状态的。客户端所做的唯一事情是LANgossip池的后台活动。它使用最少的资源开销和少量的带宽。服务器端是一个具有扩展功能的。它主要涉及维护集群状态、响应RPC查询、与其他数据中心交换WANgossip以及向领导节点发送消息。或者将请求转发到外部数据中心。尽管数据中心的定义看起来很明显，但仍然有一些微妙的细节需要考虑。例如，在EC2中，多个可用中心（EC2和AZ是AWS中的概念，如果不明白请查看AWS文档）是否应该被视为单个数据中心？我们将数据中心定义为私有、低延迟、高带宽的环境，不包括通过公共互联网进行的通信。然而，出于我们的目的，事件应用于有限状态机，并且我们对一致性的定义意味着状态机的一致性。Consul是建立在Serf之上的，它提供了完整的gossip协议，很多地方都使用Serf提供成员管理、错误检测和事件广播的功能。Gossip节点到节点的通信使用UDP协议。指同一LAN或数据中心内的节点上的LANGossip池。Client到Server会经过LanGossip，所有的Node都在Gossippool中，Gossippool是指包含服务器的WANGossip池。这些服务器位于不同的数据中心，并通过进行通信。以开发模式启动：consulagent-dev。如果您需要Web界面，只需添加-ui即可。集群的LAN服务默认启动。在端口8301上，WAN服务默认在端口8302上启动。Web服务的默认端口是8500。DNS服务的默认端口是8600。gRPC服务的默认端口是8502。默认情况下以服务器角色启动。启动后，可以使用consulmembers来查看服务。通过HTTP接口请求https://localhost:8500/v1/catalog/nodes也可以看到json形式返回的节点信息数据。使用dig命令可以查看consul中DNS服务的一些信息。命令如下：dig@127.0.0。0.1-p8600nodeName一般情况下consul会在启动时以参数的形式进行配置，但是这样比较麻烦。我们在/etc/consul.d目录下创建一个新的配置文件，并在每次启动时进行配置。加载配置文件即可启动。consul的配置信息可以查看