IBM汇集3500名员工 全力进行Apache Spark相关研发

IBM公司已经将其全部火力集中在Spark项目——也就是Apache旗下的开源集群计算框架身上。

Spark将成为蓝色巨人全部分析与商务平台，外加沃森医疗云体系的基础组成部分。这套框架还将以服务形式在IBM的Bluemix云当中进行销售。

IBM公司将汇集超过3500名研究人员与开发者，并将他们投入到与Spark相关的项目当中去。蓝色巨人同时承诺在加利福尼亚州旧金山建立Spark技术中心，在这里数据科学家及开发人员将能够与IBM公司内部的设计师及架构师一同开展协作。

蓝色巨人还在开源机制的指导下致力于发布其SystemML家族的机器学习代码库。

Spark项目是由加州大学伯克利分校的研究人员于2009年打造而成，最初由Matei Zaharia负责领导，并在随后的2013年转交由Apach基金会打理。

作为利用Java、Scala以及Python编写而成的技术框架，Spark是一套专门用于处理大规模数据集的内存内系统。它的组成部分包括调度与统筹、SQL风格编程语言、机器学习框架外加分布式图形处理框架等。

Spark能够扩展至超过8000个生产节点，并在与Hadoop及MapReduce协作时针对特定工作负载提供更为出色的处理速度表现。截至去年，Spark项目共拥有465位贡献者（方）。

而IBM的介入很可能造就或者破坏这一开源项目。

IBM公司早期曾采用Eclipse框架作为自身关系型编程工具的构建基础。在IBM工具集的有力支持之下，Eclipse迅速成为业界规模最大的开发环境之一——仅次于微软的Visual Studio，同时也造就了由独立开发商构成的完整Eclipse插件生态系统。

这无疑是一种良性循环：IBM公司不必再为该IDE的技术维护工作费心，而独立软件开发商及开发人员则拥有了一套开放的、可插拔式工具平台。蓝色巨人能够充分享受到由此带来的方案改进与合作关系优势。

但从另一种极端角度出发，我们亦可以参考Harmony的命运——同样属于Apache项目之一，是由现已被甲骨文收购的原Sun Microsystems公司打造的一套独立的Java替代性方案。

IBM公司在该项目中同样曾经投入大量资源，因为其与Sun协作旨在实现超越Java的方案换代。

然而遗憾的是Sun在被甲骨文收购后彻底消失，IBM公司也于2010年10月放弃了Harmony、转而同苹果及甲骨文一道投身于OpenJDK项目的研发。

当这位规模最大的靠山撤离之后，Harmony在短短12个月之后即宣告关闭。

甲骨文公司曾于2011年试图与Apache基金会建立合作关系，从而推动其OpenOffice生产力套件引起开源领域各方的关注与支持。

就在本周一宣布加入Apache Spark阵营之后，IBM公司旋即将Spark作为其数据及分析平台，类似于将Linux——IBM公司同样是其贡献方之一——作为其应用程序运行平台。

虽然正面与负面可能性都客观存在，但目前来看Spark的命运似乎更接近于大获成功的Eclipse。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友