大数据处理/数据分析/分布式工具
Hadoop:分布式的文件系统,结合其MapReduce编程模型可以用来做海量数据的批处理(Hive,Pig,HBase啥的就不说了),值得介绍的是Cloudera的Hadoop分支CDH5,基于YARN MRv2集成了Spark可直接用于生产环境的Hadoop,对于企业快速构建数据仓库非常有用。
Spark:大规模数据处理框架(可以应付企业中常见的三种数据处理场景:复杂的批量数据处理(batch data processing);基于历史数据的交互式查询(interactive query);基于实时数据流的数据处理(streaming data processing))
除了Spark,其他几个不错的计算框架还有:Kylin,Flink,Drill
Ignite: In-Memory Data Fabric
CarbonData: 华为的孵化项目,支持索引的列式存储
Ceph:Linux分布式文件系统(特点:无中心)
Storm:实时流数据处理,可以看下IBM的一篇介绍 (还有个Yahoo的S4,也是做流数据处理的)
Druid: 实时数据分析存储系统
Ambari: 大数据平台搭建、监控利器;类似的还有CDH
Tachyon:分布式内存文件系统
Greenplum: 基于PostgreSQL的分布式MPP数据库
Mesos:计算框架一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享
Impala:新一代开源大数据分析引擎,提供Sql语义,比Hive强在速度上
presto: facebook的开源工具,大数据分布式sql查询引擎
SNAPPY:快速的数据压缩系统,适用于Hadoop生态系统中
Kafka:高吞吐量的分布式消息队列系统
ActiveMQ:是Apache出品,最流行的,能力强劲的开源消息总线
MQTT:Message Queuing Telemetry Transport,消息队列遥测传输)是IBM开发的一个即时通讯协议,有可能成为物联网的重要组成部分
RabbitMQ:记得OpenStack就是用的这个东西吧
ZeroMQ:宣称是将分布式计算变得更简单,是个分布式消息队列,可以看下云风的一篇文章的介绍
开源的日志收集系统:scribe、chukwa、kafka、flume。这有一篇对比文章
Zookeeper:可靠的分布式协调的开源项目
Databus:LinkedIn 实时低延迟数据抓取系统
数据源获取:Flume、Google Refine、Needlebase、ScraperWiki、BloomReach
序列化技术:JSON、BSON、Thrift、Avro、Google Protocol Buffers
NoSql:ScyllaDB(宣称是世界上最快的NoSql)、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j
MapReduce相关:Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum
数据处理:R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop
NLP自然语言处理:Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais
机器学习:TensorFlow(Google出品),WEKA、Mahout、scikits.learn、SkyTree
可视化技术:GraphViz、Processing、Protovis、Google Fusion Tables、Tableau、Highcharts、EChats(百度的还不错)、Raphaël.js
Kettle:开源的ETL工具
Pentaho:以工作流为核心的开源BI系统
Mondrian:开源的Rolap服务器
Oozie:开源hadoop的工作流调度引擎,类似的还有:Azkaban
开源的数据分析可视化工具:Weka、Orange、KNIME
Cobar:阿里巴巴的MySql分布式中间件
数据清洗:data wrangler, Google Refine
亲,喜欢就关注哦。人省苦短,关注收藏。