当前位置:首页 > 云计算 > 正文

google云计算关键技术(云计算及其关键技术)


一、云计算核心技术都有什么云计算系统使用的技术很多,其中编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。
(一)编程模型
MapReduce是Google开发的Java、Python、C++编程模型。用于大规模数据集(大于1TB)的并行操作。严格的编程模型使得云计算环境中的编程变得非常简单。MapReduce模式的思想是将要执行的问题分解为Map(映射)和Reduce(简化),首先通过Map程序将数据切割成琐碎的块,然后分布(规划)成大量。计算机进行处理,实现分布式运算的结果,然后通过Reduce程序汇总并输出。
(二)海量分布式数据存储技术
云计算系统由大量的服务器组成,同时为其中的大量用户提供服务。分布式存储来存储数据,采用冗余存储来保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和HDFS,HDFS是Hadoop团队开发的GFS的开源实现。
GFS,GoogleFileSystem(谷歌文件系统),是一个可扩展的分布式文件系统,用于访问大量数据的大规模分布式应用程序。GFS的设计理念与传统文件系统不同,是针对大规模数据处理和Google应用特性而设计的。它运行在廉价的商品硬件上,但提供容错能力。可以为大量用户提供高综合性能的服务。
一个GFS集群由一个主服务器(master)和大量的块服务器(chunkservers)组成,并被许多客户端(Clients)访问。主服务器存储有关文件系统的所有元数据,包括命名空间、访问控制信息、文件到块的映射以及块的实际位置。它还控制系统范围的活动,例如块租赁管理、孤立块垃圾收集以及块服务器之间的块迁移。主服务器通过HeartBeat消息定期与每个区块服务器通信,向区块服务器传递指令并收集其状态。GFS中的文件被分为64MB的块并进行冗余存储,每条数据都存储在系统上3个以上的备份副本中。
客户端与主服务器之间的交换仅限于元数据的操作,所有数据通信都直接连接到区块服务器,大大提高了系统的效率,防止主服务器。来自过载。
(三)海量数据管理技术
云计算需要对分布式、海量数据进行处理和分析。因此,数据管理技术必须能够高效地管理大量数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的HBase开源数据管理模块。
BT是一个基于GFS、Scheduler、LockService和MapReduce构建的大型分布式数据库,与传统关系数据库不同,它将所有数据作为对象处理,形成一个大的Table,用于大规模分布和存储。结构化数据。
许多Google项目都使用BT来存储数据,包括网络查询、Googleearth和GoogleFinance。这些应用程序对BitTorrent有不同的要求:不同的数据大小(从URL到网页再到卫星图像)和不同的响应时间(从后端批处理到实时数据服务)。针对各种需求,BT成功提供了灵活高效的服务。
(四)虚拟化技术
通过虚拟化技术,可以将软件应用程序与底层硬件隔离。还包括聚合模式,将多种资源整合为一个虚拟资源。虚拟化技术可分为存储虚拟化、计算机虚拟化、网络虚拟化等,基于对象,计算机虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。
(五)云计算平台管理技术
云计算资源规模庞大,服务器众多,分布在不同地点,同时运行数百个应用程序,对云计算资源进行有效管理这些服务器并确保整个系统提供不间断的服务是一个重大挑战。
云计算系统平台管理技术可以使大量服务器协同工作,方便业务部署和激活,快速检测和恢复系统故障,通过自动化和自动化的方式实现大规模系统的部署。智能工具运行可靠。
我是从IT账号之外得知的。


二、Google云计算采用了哪些关键技术?Google的主要云计算技术主要包括:GoogleGFS文件系统、MapReduce分布式计算编程模型、Chubby分布式锁服务和BigTable分布式结构化数据存储系统等。
其中:
1)GFS提供了存储和访问海量数据的能力;
2)MapReduce使海量信息的并行处理变得简单容易;
3)Chubby确保它解决了分布式环境中同步并发操作的问题;
4)BigTable使得管理和组织大数据变得非常方便。