大数据中心平台有哪些

---

一、大数据有哪些常用的平台？

大数据包含三个主要部分，即数学、统计学和计算机科学。大数据的基础知识往往决定了开发者未来发展的高度，所以要重视基础知识的学习。

大数据平台是收集、存储、计算、分析和处理大量结构化、非结构化和半结构化数据的一系列技术平台。大数据平台处理的数据量通常为TB级，甚至PB级或EB级数据，传统数据仓库工具无法处理。涉及的技术包括分布式计算、高并发处理、高可用处理和集群、实时计算等，汇集了当前IT领域的各种流行技术。

详细信息：

备注：

大数据的第一站是收集大规模数据（公共/私人）并保存）。现在每个人都是一个巨大的数据源，通过智能手机和个人笔记本电脑提供大量的个人行为信息。获取数据似乎变得越来越容易。数据采集​​模块最大的挑战在于获取大规模数据的高速要求以及对数据的综合考虑。

传统的商业智能数据清洗（ETL）方法是将准确的数据放入定义的格式中，通过基本的提取统计生成高维数据以供直接使用。然而，大数据最突出的特点是数据是非结构化或半结构化的。因为数据可以是图像、二进制等。最大的挑战来自数据清洗——如何转换和处理大量非结构化数据以方便分布式计算和分析。

参考来源：-大数据

---

二、大数据平台的软件有哪些？

这会分为几个部分首先我想澄清一下，大数据项目也有很多依赖的模块。各个模块的软件有所不同，下面我们分别讨论。

1.大数据处理

这是所谓的大数据项目中想到的第一个模块。主要包括spark、hadoop、es、kafka、hbase、hive等。

当然也常用的是flume和sqoop。

该软件主要是为了解决大规模数据处理问题而设计的。软件有很多，我只列出一些经典的，详细的大家可以去百度搜索。

2.与机器学习相关

大多数大数据项目都与机器学习相关。所以会考虑几个机器学习软件，比如sklearn、spark的ml，当然还有自执行代码。

相关技术

大多数项目无法运行Web视图，因此Web对于Java特定的项目团队来说非常重要。

4.其他

还有一些很常用的东西，但是我个人觉得不完全属于大数据使用的具体范围。无论如何，我在做一个大数据项目时使用它。

比如数据存储：redis、mysql。

数据可视化：echart、d3js。

图数据库：neo4j。

我们来说说大数据平台软件或者工具：

1数据库，大数据平台的一种，星环，做Hadoop生态系列的大数据平台公司。Hadoop是开源星环的主要任务是优化Hadoop不稳定的部分，细化其功能，为企业提供Hadoop大数据机和数据库工具。

2.大数据存储硬件，浪潮是一家很老牌的IT公司，受国资委监管，研究大数据存储，在国内相对领先。

3.云计算，云大数据类别，阿里巴巴，明星产品——阿里云，与亚马逊AWS竞争，提供公有云、私有云和混合云。他的实力还不错，适合阿里巴巴的气质，而且很有野心。

4.数据应用有很多，比如帆软旗下的FineReport报表系统、FineBI大数据分析平台等。

帆软是一家商业智能和数据分析平台提供商，从报表工具到商业智能，在该领域拥有十多年非常成熟的数据应用基础，目前正处于快速增长期，但非常Low，是一家有技术、有实力、对客户有诚意的公司。