云计算与大数据入门

---

一、大数据与云计算具体是学什么的？云计算和大数据概述云计算是添加、使用和提供互联网相关服务的模型，通常涉及通过互联网提供动态且可扩展的资源。云是网络和互联网的隐喻。过去，云经常被用来用图表来表示电信网络，后来也被用来表示互联网和底层基础设施的抽象。狭义的云计算是指IT基础设施的交付和使用模式，是指通过网络以按需且易于扩展的方式获取所需资源；从广义上讲，云计算是指交付和使用模式；服务，是指通过网络按需且易于扩展的方式获取您所需要的服务。这些服务可以是计算机、软件、互联网相关的或其他的。这意味着算力也可以作为商品通过互联网流通。
大数据，即海量数据，是指所涉及的数据量如此之大，以至于使用当前的传统软件工具无法在合理的时间内捕获、管理、处理和组织成有用的信息。公司业务决策的目标更加积极。大数据的4V特征：容量（Volume）、速度（Velocity）、多样性（Variety）和准确性（Veracity）。
从技术角度来看，大数据和云计算的关系就像同一枚硬币的两面密不可分。大数据无法由单台计算机处理，必须采用分布式计算架构。其特殊性在于海量数据的开发，但必须依赖分布式处理、分布式数据库、云存储和云计算虚拟化技术。
大数据管理，分布式文件系统，如Hadoop、Mapreduce数据切分并同时访问执行，支持SQL，支持以Hive+HADOOP为代表的SQL接口，利用云计算构建下一代大数据;数据技术数据仓库已经成为一个热门话题。从系统需求来看，大数据架构对系统提出了新的挑战：
1．标准机箱尽可能完成特定任务。
2.配置更合理，速度更快。存储、控制器、I/O通道、内存、处理器和网络的均衡设计，以及数据仓库访问的优化设计，比传统同类平台高出一个数量级。
3.总体能耗较低。对于相同的计算任务，能耗是最低的。
4.系统更加稳定可靠。它可以消除各种单点故障并统一组件或设备的质量和标准。
5.管理和维护成本低。数据收集的日常管理完全集成。
6.可规划和可预测的系统扩展和升级的路线图。
云计算与大数据的关系
简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然这个解释并不完全恰当，但是可以帮助不懂这两个名字的人快速理解其中的区别。当然，如果解释清楚一点的话，云计算就相当于我们的电脑和操作系统，将大量的硬件资源虚拟化，然后分配使用。
可以说，大数据相当于海量数据的“数据库”。纵观大数据领域的发展，也可以看出，当前大数据的发展正在朝着一定的方向发展。类似于传统数据库的体验。一句话，传统数据库为大数据发展提供了足够的空间。
大数据整体架构包括数据存储、数据处理、数据分析三层。数据首先要通过存储层进行存储，然后根据数据的需求和目的建立相应的数据模型和数据分析指标体系，对数据进行分析以产生价值。
中间速度是通过中间数据处理层提供的强大的并行计算和分布式计算能力来实现的。三者相互配合，让大数据产生最终价值。
无论云计算目前发展如何，未来的趋势是：云计算作为下层计算资源，支撑上层大数据处理，大数据的发展趋势是实时交互询问。效率和分析能力，借用谷歌技术文档的一句话：“只需简单的鼠标移动，就可以在Miaji中挖掘PB级数据。”

---

二、什么是云计算?什么是大数据?二者有何联系?

云计算的关键词是“集成”。无论是使用传统的、现在已经非常成熟的虚拟机分割技术，还是后来Google使用的海量节点聚合技术，这都是通过海量服务器资源的整合来完成的。它们通过网络集成、调度并分配给用户，从而解决用户因存储和计算资源不足而带来的问题。

大数据是数据爆发式增长带来的新课题，如何存储当今互联网时代产生的庞大数据，如何有效利用和分析这些数据等等。

这样就可以理解两者的关系了。云计算技术是一个容器，大数据就是这个容器里储存的水。大数据依靠云计算技术进行存储和处理。

扩展信息：

云计算经常与网格计算、效用计算和自主计算相混淆。

网格计算：分布式计算的一种，由一组松散耦合的计算机组成的虚拟超级计算机，常用于执行大规模任务；

效用计算：IT资源打包计费方式，基于计算和存储分别计量成本，如电力等传统公共服务；

自主计算：具有自我管理功能的计算机系统。

确实，云计算的很多实现都是基于计算机集群（但它们在组成、架构、用途和网格工作方法上有很大不同），并且也吸收了计算自主和效用计算的特点。

人们普遍接受的云计算特点如下：

（一）超大规模

“云”具有相当规模，谷歌云计算已经拥有超过100万台服务器以及亚马逊、IBM、微软、雅虎等的“云”。他们都拥有数十万台服务器。企业私有云通常拥有数百或数千台服务器。“云”可以为用户提供前所未有的计算能力。

（2）虚拟化

云计算帮助用户在任何地点、使用各种终端获取应用服务。所需的资源来自“云”而不是固定的有形实体。应用程序运行在“云”中的某个地方，但用户实际上不必知道或关心应用程序运行的具体位置。只需一台笔记本电脑或手机，我们所需的一切都可以通过网络服务完成，甚至是超级计算之类的任务。

（三）高可靠性

“云”通过数据多副本、容错、计算节点同构可互换等措施，保证所使用服务的高可靠性。比使用本地计算机更可靠。

（4）通用性

云计算不针对特定应用。在“云”的支持下，可以构建不断发展的应用程序。同一“云”可以同时支持多个应用程序。

（5）高扩展性

“云”的规模可以动态扩展，以满足应用和用户的增长需求。

（六）按需服务

“云”是一个巨大的资源池，您可以按需购买；云可以像自来水、电和煤气一样计费。

大数据的特点：

1体量：数据的大小决定了所考虑的数据的价值和潜在信息

2类型（Variety）：数据类型的多样性；

3速度：指获取数据的速度；

4可变性（Variability）：阻碍了数据过程的有效处理和管理。

5真实性：数据的质量

6复杂性：海量数据来自多个渠道

7价值：合理利用大数据以低成本创造高价值

如果你想系统地认识大数据，你必须把它彻底、仔细地分解，从三个层次开始：

第一个层次是理论，是唯一的。认知的方式，也是被广泛认可和广泛使用的底线。这里我们将从大数据特征的定义来了解行业的一般描述以及大数据的表征；我们将从大数据价值的探讨中，深入剖析大数据的珍贵；并从大数据隐私这一特殊而重要的问题出发。从一个角度审视人与数据之间的长期博弈。

第二个层次是技术，它是体现大数据价值的手段，是进步的基石。这里将从云计算、分布式处理技术、存储技术和感知技术的发展角度来阐述大数据从采集、处理、存储到形成结果的整个过程。

第三个层次是实践，实践是大数据价值的最大体现。这里我们将从互联网大数据、政府大数据、企业大数据和个人大数据四个方面来描述大数据所展现的美好景象及其即将实现的蓝图。

参考资料：-大数据-云计算