最佳大数据GitHub项目一览

　数据科学是未来，大数据分析则是打开未来之门的钥匙

 

　　企业正在迅速用新技术武装自己以便从大数据项目中获益。各行业对大数据分析人才的需求也迫使我们升级自己的技能以便寻找更好的职业发展。

 

　　跳槽之前最好先搞清楚一个岗位会接触到的项目类型，这样你才能掌握所有需要的技能，工作的效率也会更高。

 

　　下面我们尽量列出了一些流行的开源大数据项目。根据它们各自的授权协议，你或许可以在个人或者商业项目中使用这些项目的源代码。写作本文的目的也就是为大家介绍一些解决大数据相关问题可能会用到的工具。

　　大数据开源

 

　　1.Apache Mahout

 

　　我们可以使用Apache Mahout来快速创建高效扩展性又好的机器学习应用。Mahout结合了诸如H2O算法、Scala、Spark和Hadoop MapReduce等模块，为开发人员提供了一个构建可扩展算法的环境。现在最新的版本是去年11月6日发布的0.11.1版本。

 

　　Apache Mahout支持一个叫做Samsara的数学环境，用户可以在Samsara中使用它提供的常见算法来开发自己的数学解决方案。Samsara对于线性代数、数据结构和统计操作都有着很好的支持，而且可以通过Scala的Mahout扩展或Mahout库来进行定制。Samara对很多常见算法都进行了重写因此速度上有一定的提升。这里我们能列出的一些算法包括：朴素贝叶斯分类器、矩阵分解、协同过滤以及神经网络。新加入的相似性分析还可以通过分析用户的点击来实现共现推荐算法。

 

　　2.Apache Spark

 

　　Apache Spark是一个为实时大数据分析所设计的开源数据处理引擎。目前Spark的大用户有雅虎、腾讯和百度，使用Spark处理的数据在PB级别，集群节点数目也超过8000。Apache Spark是GitHub上最大的数据处理项目之一，有超过750名开发人员都曾对项目做出过贡献。

 

　　与Hadoop MapReduce相比Apache Spark在内存中的运行速度快100倍，在硬盘中运行速度的差距也在10倍以上。Spark能够达到这样的速度靠的是DAG引擎和内存内计算性能的提升。开发语言可以使用Java、Python、Scala和R，此外Spark还提供了差不多100种集合操作符以便开发人员构建并行应用。

 

　　spark生态

 

　spark生态

 

　　Apache Spark为机器学习、Spark Streaming和GraphX提供了众多强大的库，其中也包括为DataFrame和SQL所设计的库。开发人员可以用这些标准库来提升应用的性能和开发效率。Spark可以运行于很多环境中，如独立的集群、Hadoop YARN、EC2和Apache Mesos。Apache Spark也能从Hive、HBase、Tachyon、Cassandra和HDFS等数据源读取数据。

 

　　3.Apache Storm

 

　　Apache Storm的设计针对的是流式数据，不过对于大数据的实时分析它也是很可靠的计算系统。它同样是一个开源项目而且开发人员可以使用所有的主流高级语言。Apache Storm主要用于以下应用：在线机器学习、连续计算、实时分析、ETL、分布式RPC。Apache Storm有配置方便、可用性高、容错性好及扩展性好等诸多优点，处理速度也极快，每个节点每秒可以处理数百万个tuple。

 

　　目前最新的Apache Storm是去年11月5日发布的0.9.6版。

 

　　Storm集群中有三种节点：Nimbus、Zookeeper和Supervisor。Nimbus与Hadoop的JobTracker类似，主要用于运算的上传、代码的分发和计算的监测。Zookeeper节点的作用是Storm集群的协调，Supervisor节点则是实现对worker的控制。