能源大数据中心架构

---

一、大数据中间层架构大数据中间层：运行在大数据平台上的层
主要是客户接入层、服务提供者层和基础计算层。
客户端层主要包括cli引擎、dt引擎、外部系统、上层应用。
服务提供层主要包括：用户管理、权限控制、元数据、业务处理、负载均衡、接入服务、任务调度服务、数据传输和接入计费。
基础计算层：hdfs、hive、spark、hbase、yarn
数据共享：用户创建共享资源包，通过共享资源计划与多个用户共享数据。
中间层是大数据架构中应用程序和底层组件之间的桥梁。没有中间层，就缺乏底层集群服务API的抽象和封装，无法对数据进行包装和保护。
控制内部访问权限并向外界提供统一的访问机制，作为一个相对完整的系统向外界提供服务。