当前位置:首页 > 数据中心 > 正文

如何搭建数据中心


一、如何构建云数据中心“私有云”是一个营销术语,指的是在私有数据中心安装应用程序和服务器或存储空间,然后提供对这些资源的按需访问。通过这种方法,您可以快速部署新的应用程序、服务器和存储(以逻辑磁盘的形式),而无需花费数周或数月的时间来确定您的需求、询问预算、选择正确的产品,然后获取服务器并进行部署。
构建私有云的重要性是什么?
将现有应用程序和服务器基础架构迁移到私有云中的虚拟服务器可以节省大量成本。由于能耗显着降低,当今的先进刀片服务器比以前的独立服务器更具成本效益。您还可以更好地利用数据中心空间(有时用装有少数刀片服务器的机架替换整排服务器,数量可能是一半),在同一空间中部署更多服务器,或减少数据中心占地面积和冷却成本。
私有云的要素
实现私有云的基础是服务器虚拟化:通常在物理上使用Intelx86架构和VMware、Citrix或Microsoft的虚拟机管理程序。服务器上运行着许多虚拟机。服务器虚拟化可以提高CPU和RAM的利用率,因为大量虚拟机使用相同的物理资源,否则这些资源将是空的。例如,CiscoUSC刀片服务器是一种可扩展内存架构的高速多核服务器,最多可拥有32个处理核心和384GB内存。它最多可以运行100个虚拟机,每个虚拟机具有4GB内存(通常由Windows或Linux内存服务器提供)。
除了优化资源利用率之外,服务器虚拟化还可以让您快速创建服务器。您所需要做的就是定义虚拟机并指定虚拟服务器所需的RAM、CPU和外部资源。理想情况下,您将获得一组预定义模板,可用于创建新的虚拟机,从而无需从CD/DVDISO映像创建Windows或Linux服务器。
私有云架构的另一个构建块是虚拟化存储,或者按需创建虚拟磁盘,然后将它们附加到所需的虚拟机。虚拟磁盘通常以文件的形式存在于大型共享文件系统中,您只需要一个服务器虚拟化软件(VMware的vSphere或微软的Hyper-V)和一个足够大的存储阵列来分布这些虚拟存储。
最后但并非最不重要的元素是需要一个自助服务门户,以便用户(各个部门或应用程序团队)可以创建新的虚拟机和磁盘。对于小型企业来说,虚拟化软件(如VMWare的vCenter)提供的GUI工具可以实现这一功能。大型企业肯定需要更先进的软件来支持基于用户和角色访问控制的隔离。最近发布的VMwarevCloudDirector或CiscoUCSManager可以满足这一需求。
分阶段建设私有云
私有云基础设施的建设通常包括以下三个步骤:
试点项目;
部署更大的服务器和存储基础设施,并将现有服务器迁移到虚拟化环境;
通过自助服务门户和按需付费机制实现真正的私有云。
这些阶段可能需要数月甚至数年才能完成,因此最好采取以下衡量步骤:
通过市场研究选择服务器和虚拟化平台。我个人推荐使用CiscoUCS和VMware。其他可能的选项(取决于传统发行版)包括来自IBM或HP的机架服务器,或者来自Microsoft或Xen的虚拟机管理程序技术。
在大多数情况下,您已经有一个存储组,只需确保它有足够的可用空间即可。您通常需要为每个虚拟机分配几GB的磁盘空间(加上需要存储的用户可能会快速消耗数TB的空间)。
在您实施并熟悉新的基础架构后,您可以创建虚拟磁盘模板(例如,通常是Windows和Linux服务器)并开始部署虚拟机以满足您对所有新服务器的需求,从而简化中。一旦每个人都同意虚拟化是一种可靠的方法,您就可以开始将现有应用程序迁移到虚拟化环境,以提高性能并降低数据中心成本。
您还需要了解什么?
服务器/磁盘虚拟化和私有云概念是很棒的工具......但仅此而已。您必须灵活地使用这些技术,否则您将浪费大量时间和金钱。大多数IT组织需要改变其组织结构和流程来集成网络服务器和存储团队,因为他们需要紧密合作才能创建这样的环境。
二、如何搭建大数据分析平台?我是一名大数据工程师,可以跟提问者分享一些经验。
其实提问者需要了解以下几个问题:一旦你的问题明确了,其实就会得到解答。
1.是的。你想从个人学习成长的角度搭建一个自学平台吗?或者当今的企业是否需要大数据技术进行分析?——从个人学习和成长的角度,建议直接按照官网教程安装Hadoop或Spark。大数据技术领域,建议阅读官网(英文)。英语非常重要,所有的操作执行信息和错误信息,包括选型、以后安装、部署、运维、遇到问题的解答等,都是用英文提供的。如果企业需要进行大数据分析,应该研究以下问题:为什么要构建大数据分析平台?正在解决什么业务问题?您需要什么样的分析?您有多少数据?您需要实时分析吗?您需要BI报告吗?——典型场景如下:您的公司之前可能使用过Oracle或MySQL来搭建业务数据库并进行简单的数据分析,或者可能购买了业务系统数据库直接支持的BI系统。随着数据的增加和规模化,必须利用大数据技术进行扩展。
明确您的要求后,请按照以下步骤操作:
1.设计整体解决方案时要考虑的因素:有多少数百GB的数据?几十TB?数据存储在哪里?是在MySQL中吗?相信?或者另一个数据库?数据如何从您当前的存储系统进入您的大数据平台?如何将结果数据写入其他存储系统?分析的主题是什么?就几个简单的指标?或者您是否有很多统计指标需要专门的人员对您的产品进行分类、分组、设计?需要建立一个完整的数据仓库?是否需要BI报表:您的业务人员是否有BI操作能力,或者是因为组建团队比较简单,不需要前后端人员投入,所以使用BI比较方便?需要时间计算吗?
2.组件选择:架构设计完成后需要进行组件选择。在这种情况下,最好有经验丰富的设计师参与设计。离线计算引擎:Hadoop、Spark、Tez...实时计算引擎:Storm、Flink、Samza、SparkStreaming...BI软件:Tableau、QlikView帆软...
3.一旦做出选择,您就可以安装它。其实这部分是最简单的。是的,您可以根据您的部署需求直接安装各个组件。
4.另一种选择:使用商业软件。当企业需要构建大数据平台时,另一种选择是直接使用商业数据平台。市场上有很多成熟的商用大数据平台,包括Cloudera、Starring、华为、亚信科技等,都有相应的产品线。袋鼠云作为行业大数据玩家,拥有非常强大的大数据平台。产品:数据堆栈。主要功能如下:
1.是满足企业数据中台建设过程中多样化、复杂需求的一站式数据开发产品体系。
2.兼容性强。支持与多个计算引擎接,让更多企业动起来。
3.可以使用。即用型、快速启动的基于Web的图形操作界面。
4.性价比高。满足中小企业数据中心建设需求,降低企业投资成本。


一、如何构建云数据中心

NewMedia新媒体联盟创始人、移动互联网时代趋势观察者袁国宝在新书《新基建:数字经济重塑新经济增长模式》中写道,构建云的详细步骤数据中心主要分为3个阶段。

新基础设施

1.虚拟化

利用软件和硬件管理程序将物理资源映射为虚拟资源的技术称为虚拟化技术。关键IT资源的虚拟化是打造云数据中心的基础和前提。

云数据中心需要虚拟化的主要IT资源主要包括服务器、存储和网络。其中,服务器虚拟化主要包括Unix服务器虚拟化和x86服务器虚拟化。Unix服务器也被称为小型机,小型机厂商一般都会为其小型机产品开发差异化的虚拟化程序。因此,这些虚拟化程序无法虚拟化其他厂商的小型机产品。

目前,市场上最常见的x86服务器虚拟化产品有VMwareESX/ESXi、微软的Hyper-V、开源的KVM虚拟机等。Oracle、华为等服务器厂商也开发了基于Xenia内核的虚拟化平台。

云数据中心必须同时使用不同厂商、不同类型的服务器资源。服务器虚拟化后,可以有效解决不同服务器之间硬件差异的问题,让用户获得标准的逻辑形式计算。

存储虚拟化的逻辑是在物理存储系统上增加一个虚拟层,将物理存储虚拟成逻辑存储单元。通过存储虚拟化,云数据中心服务提供商可以将不同品牌、不同层级的存储设备资源整合成一个大的逻辑存储空间,然后对这个存储空间进行划分,以满足不同用户的定制化需求。

网络虚拟化涉及网络设备、网络安全设备和网络本身的虚拟化。其中,需要虚拟化的网络设备和网络安全设备包括网卡、路由器、交换机、HBA卡、防火墙、IDS/IPS、负载均衡器设备等。网络虚拟化本身主要涉及FC存储网络和IP网络的虚拟化。

当前,个人和组织的网络需求日益个性化。为了以更低的成本满足自己的需求,云数据中心厂商对网络进行虚拟化成为必然选择。同时,网络虚拟化后,云数据中心可以在网络环境和多层应用环境中对不同群体的用户进行逻辑隔离,不仅可以提高数据安全性,还可以降低网络管理的复杂性。

关键IT资源虚拟化后,云数据中心服务提供商可以均匀部署和集中共享这些资源,显着提高资源利用率。测试数据显示,虚拟化前,数据中心IT资源利用率仅在10%~20%之间,而虚拟化后,资源利用率达到50%-60%。

2.资源池

资源池是指IT资源虚拟化后,被打上特定的功能标签,然后分配到不同的资源组。

资源池可以解决不同结构的IT设备规格、标准差异的问题,对资源进行逻辑分类和分组,最终以标准化的逻辑形式将资源提供给用户。在资源池化过程中,云数据中心服务商可以根据硬件特性划分不同服务级别的资源池组。云数据中心资源池主要包括服务器资源池、存储资源池和网络资源池。

在存储资源池化过程中,云数据中心服务商需要重点分析存储容量、FCSAN网络所需的HBA端口数、云数据中心网络所需的网卡端口数等。IP网络等与您的公司规模相符。

云数据中心服商在网络资源池化过程中,需要重点分析进出口链路带宽、HBA卡及端口数量、IP网卡及端口数量、安全设备端口数量、带宽等与网络资源池化过程一致。它们与您的公司规模相对应。

3.自动化

自动化是指让IT资源按照预先设定的程序进行处理的过程。IT资源的虚拟化和池化可以使计算能力、存储空间、网络带宽和数据中心链路成为动态的基础设施,而IT资源自动化使数据中心获得一套有效的功能来自动化管理基础设施。

云数据中心可以使用基于SOA的流程管理工具来统一数据中心业务活动和IT活动的IT编排。然后,它使用可编程工作流工具将工作流和流程执行逻辑与资源分开。借助IT编排工具,系统设计人员可以修改现有的工作流程、添加新的工作流程,甚至使用可重用的适配器来修改资源等。无需重启工作,有效降低开发人力和材料成本。