云计算近年来特别受欢迎。今天小编就来说说云计算的重要技术。
云计算系统使用了很多技术,包括编程模型、数据管理技术、数据存储技术、虚拟化等。技术和云计算平台管理技术是最重要的。
(1)编程模型
MapReduce是Google开发的Java、Python和Chop编程模型,是一种简化的分布式编程模型和高效的任务调度模型,用于大数据集(超过1TB)的并行操作。严格的编程模型使得云计算环境中的编程变得非常容易,将要执行的问题分解为Maps)和Reduce(简化)方法,首先通过Map程序将数据切割成不相关的块,将大量的计算机处理分配给(。
(2)海量数据分布式存储技术
云计算系统由同时云计算系统采用分布式存储来存储数据,保证数据的可靠性。云计算系统中广泛使用的数据存储系统是GoogleGFSHadoop团队开发的开源实现。
GFS是GoogleFileSystem。
System)是一个可扩展的分布式文件用于大型、分布式访问大量数据的系统GFS与传统文件系统不同,旨在处理大量数据和Google应用程序。它运行在廉价的常规硬件上,但可以为许多用户提供较高的整体性能。
GFS集群由一个主服务器和大量块组成。它由一个服务器组成,并被许多客户端访问。主服务器存储文件系统的元数据,包括命名空间和访问控制信息、文件到块的映射以及块的当前位置。它还控制系统范围的活动,例如块租赁、孤立块收集以及块服务器之间的块传输。HeartBeat消息向块服务器发送指令并捕获其状态。GFS中的文件被分为64MB的块,并具有冗余存储。每个数据存储在系统中存储3个以上的备份。
客户端与主服务器的交换仅限于元数据的操作,所有数据通信都直接与块服务器联系,这极大提高了系统的效率,防止主服务器过载。
(3)海量数据管理技术
云计算需要处理和分析大量的分布式数据,因此数据管理技术必须能够处理大量数据。该系统主要由数据管理技术GoogleBT(BigTable)和Hadoop团队开发的开源数据管理模块HBase组成。