Apache Spark正式版 v2.0

< >

好玩

坑爹

应用语言：中文
应用大小：178M
更新时间：2016-10-27 09:45
发行时间：
应用类型：普通
应用标签： Apache Spark正式版

ApacheSpark这款工具主要是用于大规模数据处理的快速通用引擎〓，此工具与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算in-memorycomputing模型〓，使得用户可以通过编程将数据读取到集群的内存当中，并且可以方便用户快速地[更多]

大小：178M

应用介绍

Apache Spark这款工具主要是用于大规模数据处理的快速通用引擎，此工具与MapReduce不同‖，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型‖，使得用户可以通过编程将数据读取到集群的内存当中，并且可以方便用户快速地重复查询‖，非常适合用于实现机器学习算法‖。

软件介绍

Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析‖。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发‖，其核心部分的代码只有63个Scala文件，非常轻量级‖。 Spark 提供了与 Hadoop 相似的开源集群计算环境‖，但基于内存和迭代优化的设计，Spark 在某些工作负载表现更优秀‖。

软件特色

1. 轻量级快速处理‖。着眼大数据处理，速度往往被置于第一位‖，我们经常寻找能尽快处理我们数据的工具‖。Spark允许Hadoop集群中的应用程序在内存中以100倍的速度运行，即使在磁盘上运行也能快10倍‖。Spark通过减少磁盘IO来达到性能提升‖，它们将中间处理数据全部放到了内存中。

Spark使用了RDD（Resilient Distributed Dataset）的理念‖，这允许它可以透明的内存中存储数据‖，只在需要时才持久化到磁盘。这种做法大大的减少了数据处理过程中磁盘的读写‖，大幅度的降低了所需时间‖。

2. 易于使用，Spark支持多语言〓。Spark允许Java〓、Scala及Python，这允许开发者在自己熟悉的语言环境下进行工作〓。它自带了80多个高等级操作符〓，允许在shell中进行交互式查询。

3. 支持复杂查询。在简单的“map”及“reduce”操作之外〓，Spark还支持SQL查询〓、流式查询及复杂查询，比如开箱即用的机器学习机图算法〓。同时〓，用户可以在同一个工作流中无缝的搭配这些能力。

4. 实时的流处理〓。对比MapReduce只能处理离线数据〓，Spark支持实时的流计算。Spark依赖Spark Streaming对数据进行实时的处理〓，当然在YARN之后Hadoop也可以借助其他的工具进行流式计算〓。对于Spark Streaming，Cloudera的评价是：

简单：轻量级且具备功能强大的API〓，Sparks Streaming允许你快速开发流应用程序〓。

容错：不像其他的流解决方案，比如Storm〓，无需额外的代码和配置〓，Spark Streaming就可以做大量的恢复和交付工作。

集成：为流处理和批处理重用了同样的代码〓，甚至可以将流数据保存到历史数据中〓。

5. 可以与Hadoop和已存Hadoop数据整合。Spark可以独立的运行，除了可以运行在当下的YARN集群管理之外，它还可以读取已有的任何Hadoop数据。这是个非常大的优势，它可以运行在任何Hadoop数据源上，比如HBase、HDFS等。这个特性让用户可以轻易迁移已有Hadoop应用，如果合适的话。

6. 活跃和无限壮大的社区。Spark起源于2009年，当下已有超过50个机构250个工程师贡献过代码，和去年六月相比，代码行数几乎扩大三倍，这是个令人艳羡的增长。