企业可以建大数据中心吗

---

一、为什么当下众多企业都在着力搭建自己的大数据平台?

(1)操作系统选择操作系统一般采用开源版本的RedHat、Centos或Debian作为底层构建平台。操作系统的正确选择必须基于大数据平台上构建的数据分析工具能够支持的系统版本。

（二）搭建Hadoop集群Hadoop是一个用于开发和运行数据大规模计算的软件平台在由大量廉价计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中的主要项目是HDFS，MapReduce是一个高度容错的系统，适合在廉价的机器上实现，能够提供高吞吐量的数据访问，适合具有极大数据集的应用程序，可以提取多种编程模型从海量数据中提取数据，最终返回一个结果集。在实际制造应用中，Hadoop非常适合大数据存储和分析应用。适合服务于数千到数万台服务器的集群操作，支持PB级存储容量。

(3)选择数据访问和预处理工具来处理不同来源的数据。目的是将这些分散的数据整合起来，进行综合分析。数据访问主要包括文件日志访问、数据库日志访问、关系数据库访问，应用程序访问常用的工具有Flume、Logstash、NDC（网易数据运河系统）等。对于实时性要求较高的业务场景，例如社交网站、新闻等现有数据信息流的快速处理和反馈，可以采用开源的Strom、Sparkstreaming等进行数据接入。

(4)数据存储除了已经广泛用于数据存储的HDFS之外Hadoop中的存储，常用的是分布式、面向列的开源数据库HBase。HBase是部署在HDFS上的key/value系统，HBase的目标主要是依靠水平扩展，不断添加廉价的商业服务器，增加处理和存储能力。
(5)选择Hive数据挖掘工具，它可以将结构化数据映射到数据库表中，并提供HQL查询功能。它是建立在Hadoop之上的数据仓库基础设施，减少MapReduce的编写工作批处理系统的出现，让有SQL技能但不熟悉MapReduce、编程能力较弱、Java不好的用户能够很好地利用SQL语言对大规模HDFS数据集的查询、汇总和分析。

---

二、企业如何建立大数据部门企业如何打造大数据部门？
企业如何打造大数据部门？未来数据中心需要组织人员，哪种薪资制度更合适？另一方面，很多大学毕业生也问我：“我的专业需要掌握哪些技术才能受到企业的青睐？”当然，也有一些工作了三年多的朋友问我他​​们的技术是什么？未来的职业规划。以后我会和大家讨论这个问题。大数据目前非常热门，很多大型互联网公司都对其感兴趣。数据部门的人员配置可能与财务系统人员相当。还有很多移动互联网公司获得了初创公司的资助来配置自己的大数据分析团队，可以说是市场上的佼佼者。分析师数量在10万左右，预计未来会有数据分析的需求。然而，大学缺乏大数据分析专业，基本上没有机会承担数据分析师的角色，因此该领域对数据分析师的需求会很高。有同学担心，未来数据分析师会因为人工智能的发展而失业，因为商业决策永远是人的事情，未来机器不仅可以取代人类的决策，还可以取代数据分析系统。一开始有很多临时需求，部门需要数据分析，提供一些数据，建立一些表。在我看来这很容易导致大问题，但在我看来，一个好的数据分析师应该是一个有良好沟通能力的半市场操作者。80%的工作量是业务和营销部门的需求。在掌握公司业务逻辑的前提下，他会结合数据中遇到的问题并提供合理的建议，当然现在可以在事后评估和监控中发挥更大的作用。
对于年轻的数据分析师来说，这个人能提供基本的统计模型和数据，尤其是SQL和Excel几乎能用，但关键是候选人是否有良好的逻辑和沟通能力。如果他是一个内向的人，以后其实很难做到这一点，因为数据分析师的技术门槛并不高，但是他对业务是否敏感，对数据是否敏感，分析的东西是否落地到了平台上。业务方可以，那就是数据分析师的价值。高级数据分析师需要三年以上的时间，并且必须熟悉一些基本模型和统计软件。如果能够超越这一点的合作伙伴需要能够设计自己的模型，那么他们如何才能进入业务的数据咨询阶段？
在设计数据部门人员时，最好将数据分析师连接到各个业务部门。数据仓库人员最好和业务部门对接，主要原因是数据仓库人员不去分析业务方的需求，因为有时候业务部门在做数据分析的时候并不知道自己想要什么。数据中心是一个服务部门，很难直接与公司对话。最糟糕的是，当数据中心自己生产产品时，它可以增加价值，但最终却很难产生结果。那么数据中心团队的负责人应该是数据分析师还是数据仓库员工呢？在我长期的观察中，如果是中小型公司，最好有商业智能背景，主要原因是能够满足入门级的数据分析系统，对数据分析系统有很好的了解。未来的数据分析有。如果公司技术开发能力不错，最好有数据分析背景，这会对数据价值的实现产生深远的影响。