学习云计算与大数据的意义(大数据与云计算的应用意义)

大数据和云计算有什么关系_大数据和云计算有什么区别和联系

大数据是云计算的王牌。大数据和云计算的关系引起了一些人的困惑。为了方便讨论两者的关系，我们先从“计算”和“数据”的历史关系说起。因为云计算首先是一种“计算”，大数据首先是一种“数据”，而计算机就是用来“计算”“数据”的。计算机是一种软件定义的电子产品（可编程），软件与硬件分离。计算机设计中的一个重要问题是如何有效地管理CPU、内存、I/O等硬件资源，以及如何让应用程序合理地使用这些资源。这两项主要任务最初嵌入到各种应用程序中并由应用程序本身完成。缺点是费力、复杂、容易出错、升级和移植困难、重复工作。到了20世纪60年代，这些共同的功能开始从应用程序中分离出来，逐渐形成一个共同的软件包，这就是操作系统。操作系统是硬件和应用程序之间的“中间件”，它让应用软件和硬件分离、独立开发，发展成为核心计算机系统软件，使微软变得伟大。常见的以UNIX为祖先的现代操作系统有Android、BSD、iOS、Linux、MacOSX、QNX等，还有最初的微软Windows、WindowsPhone和IBM的z/OS。操作系统的工作范围也从原来的计算机扩展到手机、游戏手柄、电视机顶盒、智能汽车、智能眼镜等，以及与云计算密切相关的网络服务器。20世纪70年代，计算机的快速发展导致数字数据爆炸式增长，“海量”数据的管理成为新的挑战。当采用通用操作系统的文件管理来进行数据管理时，无论从扩展性、效率还是便捷性上，都无法满足“海量”数据的管理需求，应用软件被迫嵌入一个数据管理自己设计的系统。同样，“海量”数据的管理也是由各个应用程序自己完成的。缺点是费力、复杂且容易出错、升级和移植困难、重复工作。于是一种专门针对“海量”数据管理的通用软件就出现了，那就是数据库管理系统（DBMS），一种应用系统软件。DBMS包括数据库的定义、创建、查询、更新和管理功能，这些功能是数据管理所必需的，是操作系统的文件管理系统所不具备的。著名的DBMS包括MySQL、PostgreSQL、SQLite、MicrosoftSQLServer、MicrosoftAess、Oracle、Sybase、dBASE、FoxPro和IBMDB2等，它们都是关系型DBMS。当然，也有非关系型NoSQL模型，但它们并不是那么流行。DBMS与文字处理软件一起成为单机时代最重要的应用软件，也让Oracle成为了一家伟大的应用软件公司。大约不到20年前，操作系统和数据库的技术和市场未来似乎是可以预测的。。一个是微软的世界，一个是甲骨文的世界。但互联网出现了，尤其是万维网变得流行起来。Web服务器所使用的操作系统最初是为单台机器设计的，但当扩展到管理局域网内的多台服务器时就勉强可用了。但当互联网巨头崛起并需要Web服务器操作系统来管理数百万台Web服务器时，传统操作系统却难以做到这一点，需要一场“技术革命”。“革命”的结果就是云计算。云计算下有很多概念，其中核心技术之一就是虚拟化。虚拟化有两种模式：“1虚N”和“N虚1”。前者主要是为了省钱，以亚马逊AWS为代表；后者主要针对大数据处理，以GoogleGAE为代表。云计算的“N虚拟1”模式可以将多台物理计算机虚拟成一台超级计算机，为应用程序提供资源池调度和管理服务。它具有与传统操作系统几乎相同的功能，因此常被称为“云计算操作系统”。只不过云计算操作系统的工作范围已经扩展到了数据中心甚至整个互联网，并将每台计算机作为一种资源来对待和管理。借助云计算操作系统，云应用软件和硬件（计算机资源）可以分离，各自可以独立开发。历史再次重演。随着云计算、SNS、微博、移动互联网、物联网的快速发展，具有3V特征的数据爆发，大数据管理的挑战也率先到来。同样，为计算而设计的通用云计算操作系统在大数据管理的可扩展性、效率和便利性方面也面临着新的挑战。从历史上看，当计算机面临“海量”数据的挑战时，它们将数据应用和数据管理分开，催生了通用DBMS。如今云计算面临大数据的挑战，也将大数据应用和大数据管理分离，催生了通用DBMS的诞生。“大数据库管理系统”逐步走向通用化、平台化。ATM（异步传输模式）是通信资源匮乏时代的产物，TCP/IP是通信资源丰富时代的产物。同样，传统的DBMS是IT资源稀缺时代的产物，而大数据管理系统是IT资源丰富时代的产物。