大数据处理、数据分析及分布式工具-mpp文件

大数据处理/数据分析/分布式工具

  • Hadoop:分布式的文件系统,结合其MapReduce编程模型可以用来做海量数据的批处理(Hive,Pig,HBase啥的就不说了),值得介绍的是Cloudera的Hadoop分支CDH5,基于YARN MRv2集成了Spark可直接用于生产环境的Hadoop,对于企业快速构建数据仓库非常有用。

  • Spark:大规模数据处理框架(可以应付企业中常见的三种数据处理场景:复杂的批量数据处理(batch data processing);基于历史数据的交互式查询(interactive query);基于实时数据流的数据处理(streaming data processing))

  • 除了Spark,其他几个不错的计算框架还有:Kylin,Flink,Drill

  • Ignite: In-Memory Data Fabric

  • CarbonData: 华为的孵化项目,支持索引的列式存储

  • Ceph:Linux分布式文件系统(特点:无中心)

  • Storm:实时流数据处理,可以看下IBM的一篇介绍 (还有个Yahoo的S4,也是做流数据处理的)

  • Druid: 实时数据分析存储系统

  • Ambari: 大数据平台搭建、监控利器;类似的还有CDH

  • Tachyon:分布式内存文件系统

  • Greenplum: 基于PostgreSQL的分布式MPP数据库

  • Mesos:计算框架一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享

  • Impala:新一代开源大数据分析引擎,提供Sql语义,比Hive强在速度上

  • presto: facebook的开源工具,大数据分布式sql查询引擎

  • SNAPPY:快速的数据压缩系统,适用于Hadoop生态系统中

  • Kafka:高吞吐量的分布式消息队列系统

  • ActiveMQ:是Apache出品,最流行的,能力强劲的开源消息总线

  • MQTT:Message Queuing Telemetry Transport,消息队列遥测传输)是IBM开发的一个即时通讯协议,有可能成为物联网的重要组成部分

  • RabbitMQ:记得OpenStack就是用的这个东西吧

  • ZeroMQ:宣称是将分布式计算变得更简单,是个分布式消息队列,可以看下云风的一篇文章的介绍

  • 开源的日志收集系统:scribe、chukwa、kafka、flume。这有一篇对比文章

  • Zookeeper:可靠的分布式协调的开源项目

  • Databus:LinkedIn 实时低延迟数据抓取系统

  • 数据源获取:Flume、Google Refine、Needlebase、ScraperWiki、BloomReach

  • 序列化技术:JSON、BSON、Thrift、Avro、Google Protocol Buffers

  • NoSql:ScyllaDB(宣称是世界上最快的NoSql)、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j

  • MapReduce相关:Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum

  • 数据处理:R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop

  • NLP自然语言处理:Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais

  • 机器学习:TensorFlow(Google出品),WEKA、Mahout、scikits.learn、SkyTree

  • 可视化技术:GraphViz、Processing、Protovis、Google Fusion Tables、Tableau、Highcharts、EChats(百度的还不错)、Raphaël.js

  • Kettle:开源的ETL工具

  • Pentaho:以工作流为核心的开源BI系统

  • Mondrian:开源的Rolap服务器

  • Oozie:开源hadoop的工作流调度引擎,类似的还有:Azkaban

  • 开源的数据分析可视化工具:Weka、Orange、KNIME

  • Cobar:阿里巴巴的MySql分布式中间件

  • 数据清洗:data wrangler, Google Refine

大数据处理、数据分析及分布式工具


亲,喜欢就关注哦。人省苦短,关注收藏。

推荐阅读