云计算与大数据技术的整体架构(云计算与大数据相关技术)

---

一、大数据的技术架构是什么样的？

大数据的三大技术赋能：分布式处理技术、云技术和存储技术。

1.分布式处理技术

分布式处理系统可以使用通信网络连接位于不同地点、具有不同功能或数据的多台计算机。信息处理任务在控制系统的统一管理和控制下协调进行。比如Hadoop。

2.云技术

大数据通常与云计算联系在一起，因为需要实时分析大数据的能力和分布式处理框架来将工作分配给数十、数百甚至数万人计算机。可以说，云计算是工业革命的驱动力，大数据是电力。

3.存储技术

大数据可以抽象地分为大数据存储和大数据分析。两者之间的区别是：大数据存储的目的是支持大数据分析。

大数据的三个层次

第一个层次是理论，这是唯一的了解方式，这就是唯一知道的方法。也是一个被广泛认可和流行的基线。在这里，我们将从大数据特征的定义来了解大数据的一般行业描述和特征；我们将从讨论大数据的价值来深入分析大数据的价值；更好地了解大数据的发展趋势；大数据;并从大数据隐私这一独特且重要的问题出发。

第二个层面是技术，它是大数据价值展现的手段，也是进步的基础。这里将从云计算、分布式处理技术以及存储技术和认知技术的发展角度来阐述大数据从采集、处理、存储到结果形成的整个过程。

第三个层次是实践，实践是大数据最终的价值体现。在这里，我们将从互联网大数据、政府大数据、企业大数据和个人大数据四个角度来描述大数据已经呈现的美好场景和即将实现的蓝图。

---

二、大数据的核心是云技术和BI大数据的核心是云技术和BI
人们常常对大数据和云计算的关系存在误解。并且将它们混在一起，用一句话来解释：云计算是硬件资源的虚拟化，是海量数据的高效处理；解释得更清楚一点，云计算就相当于我们的电脑和操作系统，将大量的硬件资源虚拟化，然后分配给大数据使用，相当于一个大数据的“数据库”。
总体来说，未来趋势是云计算，作为底层计算资源，支撑顶层大数据处理大数据发展趋势是实时交互式查询效率和大数据分析能力数据处理已经演变成某种东西类似于传统数据库的体验。
大数据的4V特征是复杂、海量、快速、有价值，整体架构包括数据存储、数据处理和数据分析三层。类型复杂、数量大由数据存储层解决，速度和时效性要求由数据处理层解决，价值由数据分析层解决。数据首先要通过存储层进行存储，然后根据数据的需求和目标建立相应的数据模型和数据分析指标体系，对数据进行分析以产生价值。中间时间精度是通过中间数据理层提供的强大的并行计算和分布式计算能力来实现的。这三层相互配合，使大数据最终产生价值。
数据存储层
数据可以分为多种方式，有结构化、半结构化和非结构化，还有元数据、主数据和业务数据，还可以分为GIS、视频；、文件和语音、各种业务交易数据。传统的结构化数据库已经不能满足多样化数据的存储需求，以在RDBMS的基础上增加了两种类型，一种是hdfs，可以直接用于非结构化文件存储，另一种是nosql数据库，可以用于。结构化和半结构化数据存储。
在存储层建设方面，需要三种存储方式：关系数据库、NoSQL数据库和HDFS分布式文件系统。业务应用根据实际情况选择不同的存储模式，但为了业务存储和读取的方便，我们可以进一步对存储层进行封装，形成统一的共享存储服务层来方便这些操作。用户不关心底层存储的细节，只关心数据存储和读取的便捷性。通过共享数据存储层，可以将存储应用和存储基础设施完全分离。
数据处理层
数据处理层解决的核心问题在于分布式数据存储的出现带来的数据处理的时效性需求带来的数据处理的复杂性，这些都是需要解决的问题。由数据处理层来解决。
在传统的云相关技术架构中，所有与hive、pig、hadoop-mapreduce框架相关的技术内容都可以归入数据处理层能力。事实证明，我的想法是，在数据分析层中包含嵌套并不合适，因为嵌套的重点仍然是复杂查询的分离以及真实处理下查询结果的重新分组，而mapreduce本身就实现了真正的分布式处理能力。
Mapreduce只是实现了分布式计算的框架和逻辑，但实际分析需求的分离、分析结果的聚合和合并仍然需要层层嵌套的整合能力。主要目标很简单，就是支持分布式架构下的时效性需求。
数据分析层
最后回到分析层，分析层的重点是真正挖掘大数据的价值，而价值挖掘的核心在于数据分析和挖掘。那么数据分析层的核心还是在于传统BI分析的内容。包括数据维度分析、数据切片、数据上钻和下钻、立方体等。
我只关注数据分析的两个方面，一是这个传统数据仓库下的数据建模需要支持各种分析方法和分析策略。。解决这两个问题本质上就是解决数据分析的问题。
传统的BI分析是将大量的ETL数据提取并集中，形成完整的数据仓库，而基于大数据的BI分析可能没有集中式的数据仓库，或者数据仓库本身可以是分布式的BI分析方法和思路没有改变，但是落实到实现中的数据存储和数据处理方式发生了重大变化。
说了这么多，我还是想说明一下，大数据的两个核心是云技术和BI。没有云技术，大数据就没有基础和可能的实现，没有BI和价值，大数据就会变成云。最好的也是最后的，去掉主要目标。简单总结一下，大数据的目标驱动力是BI，大数据实现了底层云技术。

---

三、云计算和大数据是什么关系

由于大数据和云计算的技术架构都是基于分布式存储和分布式计算，因此两者之间的联系比较紧密。

从技术上讲，大数据和云计算之间的关系是密不可分的，就像硬币的两面一样。大数据无法由单台计算机处理，需要采用分布式架构。其特点是对大量数据进行分布式数据挖掘。但必须依赖于云计算中的分布式处理、分布式数据库和云存储、虚拟化技术。

从应用角度看，大数据是云计算的应用案例之一，云计算是大数据的实现工具之一。

云计算的特点

1.虚拟化技术。

需要强调的是，虚拟化是云计算最重要的特征，超越了时间和空间的界限。虚拟化技术包括应用虚拟化和资源虚拟化。众所周知，物理平台和应用部署环境之间没有空间联系。通过虚拟平台完成终端运营的数据备份、迁移和扩展。

2.动态可扩展。

云计算具有高效的计算能力。在现有服务器上添加云计算能力，可以快速提升计算速度，最终通过动态扩展虚拟化级别来实现扩展应用程序的目标。

3.根据要求分发。

计算机包含许多应用程序、程序软件等。不同的应用对应不同的数据资源库，因此运行不同应用的用户需要强大的计算能力来分配资源，而云计算平台可以根据用户基数来分配资源。您将在需要时快速获得所需的计算能力和资源。

4.高灵活性。

当今市场上的大多数IT资源、软件和硬件都支持虚拟化，包括存储网络、操作系统、开发软件和硬件。虚拟化元素在云系统资源的虚拟池中集成和管理。可见，云计算不仅能够兼容各厂商的低端机器和硬件产品，而且还提供了更高级别的兼容性。使用外围设备的高性能计算。