大数据与云计算专业领域认识

---

一、如何通俗的理解云计算和大数据？

每一项新技术、每一个新概念都是两个因素的结果：需求拉动和技术推动。这同样适用于云计算。云计算的出现既是厂商炒作的结果，也是其必然性。以业务需求为驱动，希望通过推动云计算技术发展，解决资源利用问题，提升IT创新的商业价值。

推动云计算发展的因素有很多：云计算主要是行业商业利益的结果。目前，云计算的主要业务模式、技术功能和解决方案反映了不同的业务需求。当前IT运营关键指标显示，IT资源利用率很低。虚拟化是解决这个问题的最佳技术。

云计算的一、二、三、四、五概念

为了让大家更容易理解云计算，我参考国科院的定义标准与技术(NIST)并对其进行总结。它成为一、二、三、四和五的数字概念。即一种部署模型、两层结构、三种服务形态、四种部署配置方式、五种主要功能。

“一”是指系统云平台、业务模型、集成系统、平台和集成的概念，重点是平台、系统、集成以及业务与IT的集成。“二”是指云平台和云服务的两层结构。“三”是指SaaS、PaaS、IaaS三种服务模式。“四”是指公有云、私有云、社区云、混合云四种部署模式。“五”是指云计算的五个重要特征：按需自助服务、资源池化、快速扩展、按使用付费服务和全面的网络接入。云计算也可以概括为六个字：智慧、资源、模式。

理解云计算

您如何理解云计算？云计算第一个基础服务就是如何利用现有的硬件，包括存储，对其进行动态优化。逐步打造一个平台，一定是一个开放的平台，包括开源。在这个平台上做创新、做服务、做管理。三是高性能数据中心。借助云，大公司可以在巨大的虚拟计算机上存储信息、数据库以及用于存储和处理信息的软件。公司只需要专注于获取并快速实施商机。借助云计算，中国企业无需搭建传统架构即可实现跨越式发展，直接进入云计算领域。

集团企业云

下面简单介绍一下集团企业云。所谓“企业云”本质上是“创建企业底层统一的IT基础设施”。特别是企业云可以将企业的IT资源整合成企业自身和其他企业可以共享和使用的服务，从而提高IT资源的利用率。

此外，企业云可以满足IT对安全性、可靠性和可管理性的要求。简而言之，它是一种基于互联网的商业云技术应用程序，位于防火墙后面，专门针对企业或商业环境的计算需求而定制。企业云可以为企业节省资金，降低公司运营的功耗，并动态管理和配置ERP、CRM等管理软件，以配合公司业务发展。

由于企业结构和业务模式的不同，集团公司需要提供简单、快捷的企业云计算服务，以满足企业扩张、行业整合和企业云计算创新升级的需求。服务模式使得这可能。希望成为现实。

“企业云”满足企业大规模服务、高扩展性、高可靠性、虚拟化、按需服务的需求，实现企业管控、业务协同、供应链管理、共享服务等。

大数据的重要性

云计算使大数据成为可能，大数据可以通过实验和灵活的行动创造透明度、识别需求、代表可变性并提高性能；使用自动算法替代或支持人工决策；随着公司越来越多地利用新形式的信息并寻找模式来支持业务决策，管理极端数据的能力将成为公司的关键竞争能力。

---

二、什么是大数据和云计算？这个都可以应用到什么行业中？大数据技术是指从各类数据中快速获取有价值信息的能力。用于大数据的技术包括大规模并行处理（MPP）数据库、数据挖掘网格、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展存储系统。
大数据应用：大数据是信息产业持续快速增长的新引擎几乎每个行业都会逐步引入大数据技术，特别是传统企业将实现互联网信息化转型。大数据市场的新技术、新产品、新服务、新业态将不断涌现。在硬件和集成设备领域，大数据将对芯片和存储行业产生重要影响，也将催生集成数据存储和处理服务器、内存计算等市场。在软件和服务领域，大数据将引发快速数据处理分析、数据挖掘技术和软件产品的发展。
云计算是一种用于添加、部署和交付基于互联网的相关服务的模型，通常涉及通过互联网提供动态扩展且通常是虚拟化的资源。云是网络和互联网的隐喻。过去，云经常被用来用图表来表示电信网络，后来也被用来表示互联网和底层基础设施的抽象。
云计算的主要应用：
云物联网，“物联网就是万物相连的互联网”。这有两层含义：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的网络的延伸和扩展。
云安全是由“云计算”演变而来的一个新术语。云安全的战略理念是：用户越多，每个用户就越安全，因为这么大的用户基数足以覆盖互联网的每一个角落只要网站被暂停或者出现新的木马病毒，就会立即被拦截。
云存储是从云计算概念延伸发展起来的一个新概念，是指利用集群应用、网格技术或分布式文件系统，将大量不同类型的数据组合在一个网络中。。将不同类型的存储设备集合在一起，通过应用软件协同工作，共同对外提供数据存储和业务访问功能的系统。

---

三、大数据与云计算具体是学什么的？云计算和大数据概述云计算（云计算）是基于互联网的添加、使用和提供相关服务的模型，通常涉及通过互联网提供动态可扩展且通常虚拟化的资源。云是网络和互联网的隐喻。过去，云经常被用来用图表来表示电信网络，后来也用来表示互联网和底层基础设施的抽象。狭义的云计算是指IT基础设施的提供和使用模式，是指通过网络以按需且易于扩展的方式获取所需的资源；从广义上讲，云计算指的是服务交付和消费模式，指的是通过网络按需且易于扩展的方式来获取您所需要的服务。这些服务可能是IT、软件、互联网相关或其他服务。这意味着计算能力也可以作为商品通过互联网进行分配。
大数据，即海量数据，是指所涉及的数据量如此之大，以至于无法通过当前传统的最有商业用途的软件工具在合理的时间内捕获、管理、处理和组织成有用的信息决定。大数据的4V特征：数量、速度、多样性和准确性。
从技术角度来看，大数据和云计算的关系就像同一枚硬币的两面，密不可分。大数据无法由单台计算机处理，需要采用分布式计算架构。其特点在于提取海量数据，但必须依赖分布式处理、分布式数据库、云存储和云计算虚拟化技术。
大数据管理，分布式文件系统，如Hadoop、Mapreduce数据切分并同时访问执行，SQL支持，以Hive+HADOOP为代表的SQL接口支持，利用云计算构建下一代大数据;数据技术数据仓库已经成为一个热门话题。从系统需求来看，大数据架构对系统提出了新的挑战：
1．标准框架最大程度地完成特定任务。
2.配置更合理，速度更快。存储、控制器、I/O通道、内存、CPU、网络的均衡设计，以及数据仓库访问的优化设计，均优于同类传统平台一个数量级以上。
3.总体能耗较低。对于相同的计算任务，功耗是最低的。
4.系统更加稳定可靠。它可以消除各种单点故障并统一组件或设备的质量和标准。
5.管理和维护成本低。数据收集的日常管理全部集成。
6.可规划和可预测的系统扩展和升级路线图。
云计算与大数据的关系
简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然这个解释并不完全恰当，但是可以帮助不懂这两个名字的人快速理解其中的区别。当然，如果解释得更形象一些的话，云计算就相当于我们的电脑和操作系统，将大量的硬件资源虚拟出来，然后分配使用。
可以说，大数据相当于海量数据的“数据库”。纵观大数据领域的发展，我们也可以看到，目前大数据的发展已经朝着与传统数据库的经历类似的方向发展。一句话，传统数据库为大数据发展提供了足够的空间。
大数据整体架构包括数据存储、数据处理和数据分析三层。数据首先要通过存储层进行存储，然后根据数据需求和目标建立相应的数据模型和数据分析指标体系，对数据进行分析以产生价值。
中级时效性是通过中级数据处理提供的强大的并行处理和分布式处理能力来实现的。三者相互配合，让大数据产生最终的价值。
无论目前云计算的发展如何，未来的趋势是：云计算作为下层计算资源，支撑更高层的大数据处理，而大数据的发展趋势是查询交互实时化。时间效率和分析能力，借用谷歌技术文档的话：“在Miaji里移动鼠标就可以管理PB级的数据”。