当前位置:首页 > 数据中心 > 正文

数据中心规模现状(数据中心现状与发展趋势)

如何搭建大数据分析平台?

我是一名大数据技术人员,可以跟提问者分享一些经验:
其实提问者需要了解以下几个问题。弄清楚了,问题的答案就真的有了:
1.是的,你想从学习和个人发展的角度搭建一个自学平台吗?或者当今的公司是否需要大数据技术进行分析?---从个人学习和开发的角度来看,建议直接按照Hadoop或Spark官方网站上的说明进行安装。建议阅读官方网站(英文)。在大数据技术领域,掌握英语很重要,因为涉及到模型组件的选择、安装、部署以及以后的运维,所有任务运行信息和错误信息都是英文,包括遇到问题的解答,所以还是很重要的。企业如果要做大数据分析,就必须研究以下问题:为什么要建设大数据分析平台?正在解决什么业务问题?需要什么类型的分析?有多少数据?是否需要实时分析?是否需要BI报告?--这是一个典型的情况:公司之前使用Oracle或MySQL来构建业务数据库并进行简单的数据分析,或者可能购买了直接支持业务数据的BI。数据正在增加。随着规模越来越大,就需要利用大数据技术来扩张。
明确要求后,请按以下步骤作:
1.整体解决方案设计;设计整体解决方案时要考虑的因素:数据量:几百GB?几十太字节?数据存储在哪里:MySQL中?预言?或者其他数据库?数据如何从现有的存储进入大数据平台?如何将结果数据写入另一个存储?分析的主题是什么:只是一些简单的指标?还是有很多统计指标需要专门人员对产品进行分类、分组、设计,是否需要建立一个综合的数据仓库?是否需要BI报表:有BI作能力的业务人员或者团队组成比较简单,不需要前端和后端人员的输入,使用BI比较方便;是真的吗——需要计算时间吗?
2.组件选型,架构设计完成后,需要进行组件选型。这时候让更有经验的建筑师参与设计。选择包括:离线计算引擎:Hadoop、Spark、Tez...实时计算引擎:Storm、Flink、Samza、SparkStreaming...BI软件:Tableau、QlikView、帆软...
3.安装部署,一旦做出选择,就可以安装部署了,这部分其实是最简单的。是的,您可以根据各个组件的实现要求直接安装。
4.另一种选择:使用商业软件如果企业需要构建大数据平台,另一种选择是直接使用商业数据平台。市场上有很多成熟的商用大数据平台,包括Cloudera、Starring、华为、亚信科技等,都有相应的产品线。袋鼠云是一家行业大数据公司,拥有一款优秀的大数据平台产品:DataStack。主要特点如下:
1.一扇门。一站式数据开发产品体系,满足企业在数据中台建设过程中多样化、复杂的需求。
2.兼容性强。支持连接多种计算工具,让更多企业参与其中。
3.开箱即用。基于的图形作界面,即用型、快速启动。
4.性价比高。满足中小企业数据中心建设需求,降低企业成本。