A16Z 750万美元投资分布式文件系统Tachyon-分布式文件系统

据WSJ消息,Tachyon日前获得了硅谷风投 A16Z 750 万美元 A 轮投资。A16Z 的普通合伙人 Peter Levine 加入 Tachyon 董事会。

根据该项目官网的介绍,Tachyon 是一个以内存为中心的分布式文件系统,能够为集群框架(如 Spark、MapReduce)提供可靠的内存级速度的文件共享服务,具有类 Java 的文件 API、兼容 Hadoop MapReduce 和 Spark、底层文件系统可插拔等特性。

Tachyon 最初出现是为了解决如下问题:

  • 大数据分析流水线中数据共享通过基于磁盘文件系统(HDFS等)性能比较缓慢;
  • 大数据计算引擎的处理进程(Spark的Executor,MapReduce的Child JVM等)崩溃出错后,缓存的数据也会全部丢失;
  • 基于内存的系统存储数据冗余,对象太多会导致Java GC时间过长。

Tachyon 整体架构如下图所示(移步了解 Tachyon),

A16Z 750万美元投资分布式文件系统Tachyon

据悉,Tachyon 项目在 2012 年底对外发布,孵化自 UC Berkeley 的AMP实验室,由计算机在读博士李浩源创立,Tachyon 同样是李浩源的博士攻读方向。在接受InfoQ采访时李浩源表示,

长期来讲,我们会像 Apache Mesos 以及 Apache Spark 一样,进入 Apache Software Foundation。这里欢迎更多的开发者加入。

目前,这个开源项目已经吸引了超过 30 家公司的 70 多名贡献者。包括雅虎、红帽、Intel 还有 EMC,而 EMC 已经在其闪存产品 DSSD、Isilon 中尝试集成 Tachyon。创始人李浩源表示,Tachyon 的商业软件正在开发中,没有确切发布的时间。

值得注意的是,A16Z 还投资了大数据初创公司Adatao、Mesosphere、Databricks等,对新兴的大数据领域、数据分析软件看好。这几家公司和 Tachyon 一样,均与 AMP 实验室有联系。

推荐阅读