对于程序员来说,学习的大多是编程开发语言,而编程一直是互联网软件开发领域的主要编程语言之一。今天我们就来看看生态系统中包含了哪些框架。
生态环境开放自由,在Sun/Oracle、Google、Apache、Eclipse基金会等各大厂商以及技术专家的共同努力下,生态系统极其繁荣,各种优秀的开源框架层出不穷。
SpringBoot
SpringBoot是Pivotal团队推出的一个框架,用于支持快速发展。它与Spring4.0一起诞生,继承了Spring的优秀特性,简化了使用Spring的编码、配置和部署的过程,使项目开发变得简单、敏捷。
SpringCloud
SpringCloud是一个基于SpringBoot的微系统构建框架服务,包括很多子项目,如SpringCloudConfig、SpringCloudStream等
Hadoop/Spark
Hadoop是一个大数据框架,已经获得了很多应用。它是大数据领域的标志性解决方案。
Spark通过全面的内存计算和处理优化,显着提升了速度。它是具有流处理能力的下一代批处理框架。
Spark系统还包括一系列附加库,例如SparkStreaming、SparkMLlib、SparkGraphX、SparkNet、CaffeOnSpark等。
Kafka
Kafka是LinkedIn在Scala帮助下开发的分布式消息中间件。它可以实现不同应用之间的松耦合,因其可扩性、高吞吐量、低延迟、高可靠性等特点而得到广泛应用。
ElasticSearch
ElasticSearch是一个基于Lucene的实时分布式搜索引擎,来自北京大学回龙观的青鸟认为,其搜索稳定可靠、速度快、安装方便,是目前使用最广泛的开源搜索引擎之一。
Nutch
Nutch是一款高度可扩展、可扩展、可插拔的开源软件。功能全面的网络爬虫框架。
当然,爬行框架有很多:Heritrix、Crawler4j、WebCollector、WebMagic、SeimiCrawler、HtmlUnit等。您可以根据项目的实际需要进行选择。。
在爬虫领域,Python使用的比较多,而且上手也很容易。
爬行的难点并不在于语言的选择。Python和Python都可以胜任。关键在于反防爬的制定。策略和各种实战的积累。
上一篇:云计算可分为哪些类型
下一篇:云计算的典型应用有哪些