SparkML（MachineLearning）是ApacheSpark的一个机器学习库，它提供了一组高级的算法和工具，以便于构建、训练和部署大规模的机器学习模型。使用Scala编程语言编写SparkML的应用程序，不仅可以利用Scala的强大类型系统和函数式编程特性，还可以轻松地与Spark集群进行交互。

SparkMLlib是基于ApacheSpark的分布式机器学习库，提供了一系列的机器学习算法和工具。它能够在大规模数据集上高效地进行机器学习，并且可以与Spark的其他组件进行无缝集成，比如SparkSQL、SparkStreaming和GraphX等。

SparkGraphX是一种基于ApacheSpark的分布式图处理和分析框架，它提供了一种方便且高效的方式来进行大规模图数据处理和分析。Scala是一种高级编程语言，也是SparkGraphX的默认编程语言。在本篇文章中，我们将详细介绍Scala编程在SparkGraphX中的应用，以及如何使用SparkGraphX来处…

PySpark是Spark的PythonAPI，是一种用Python编写Spark应用程序的方式。Spark是一个基于内存的大数据处理框架，可以快速处理大规模的数据集，适用于数据挖掘、机器学习等领域。本文将详细介绍如何使用PySpark进行大数据处理。

自开源之日至今，Spark已经5岁了。从最初不到4000行代码发展到当下通用大数据处理引擎的有力竞争者，Spark一直保持着小而紧凑，使许多开发人员更容易理解，也让升级起来更加方便。快、通用让Spark如鱼得水，然而对于1个年仅5岁的开源项目来说，其远谈不上尽善尽美，就比如文档相…

【编者按】在2014年7月1日的SparkSummit上，Databricks宣布终止对Shark的开发，将重点放到SparkSQL上。SparkSQL将涵盖Shark的所有特性，用户可以从Shark0.9进行无缝的升级。

近日，Databricks正式发布Spark1.3版本。在此版本中，除下之前我们报道过的DataFrameAPI，此次升级还覆盖Streaming、ML、SQL等多个组件。当下，1.3版本已在页面提供下载，下面一起浏览PatrickWendell在DatabricksBlog上对Spark1.3版本的概括（PS：DataFrame请访问“”一文）。

Spark是继Hadoop之后新一代的大数据分布式处理平台。它是一个基于内存的、容错型的分布式计算引擎。与HadoopMapReduce相比，Spark的计算速度要快100倍。即便同样采用硬盘计算，Spark也比MapReduce快10倍。Spark卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有核心问…

将于4月16-18日在国家会议中心举行，这场聚焦在OpenStack、Spark、Container三大主题峰会的技术盛宴会有超过40位一线专家发表主题演讲，超过250家+行业企业购票参会，技术骨干组团参会。

显然早在今年六月份的上，当IBM宣布对Spark提供三百万美金的投资--其中还包括3500名研究人员的投入和在SanFrancisco建立一个Spark技术中心，IBM就已经公开支持。在LasVegas的事件发生后的今天，IBM宣布了IBMAnalytics在ApacheSpark的可行性，Spark将为云的提供部分服务。

【编者按】Dropbox研发经理邵铮，是我们的程序主席。近期美国有两场重要的技术会议。HadoopSummit2015和SparkSummit2015，中国技术圈都有组团参加。我们在7A程序员电子刊中都有相应的观察稿件。但同时参加两场会议的，知之甚少。昨天讨论Spark峰会和Docker峰会的对比时，还在思考…

在极短的时间内，ApacheSpark迅速成长为大数据分析的技术核心。这就使得保守派担心在这个技术更新如此之快的年代它是否会同样快的被淘汰呢。我反而却坚信，spark仅仅是崭露头角。

从容器到NoSQL再到Spark，这些趋势在可预计的2016年还会持续下去。我的预测主要针对大数据范畴，但我试图尝试突破自己，仅供参考。

【编者按】作者MichaelG.Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。

代号为Jaws的jaws-spark-sql-rest是一个SparkSQL/Shark队列的RESTful服务，基于Spark，提供Mesos和Tachyon支持。当前支持Spark0.9.x和Shark作为后端框架。

ApacheMRQL0.9.2-incubating发布，此版本现已提供在。

春节的脚步越来越近，很多在外打拼的人很快将走上回家的道路，在这里机器人小Q也祝各位准备好行李，一路平平安安。