IT思维

文章页右侧顶部广告

Apache Hadoop 3.1.0重磅发布,终于支持GPU和FPGA了!

2018-04-08 14:45:35 0 人工智能 | , ,

公众号:AI前线

策划编辑|Natalie

编译|Debra、无明

AI 前线导读:4 月 6 日,Apache Hadoop 正式发布了 3.1.0 版本,这是 2018 年 Hadoop 3.x 系列的第一个小版本,较之前的 Hadoop 3.0 有了一些重大改变。需要注意的是,这个版本还不适用于生产环境,如果需要在生产环境下使用的用户还需等待 3.1.1 或 3.1.2 版本发布。但 3.1.0 也有其重大意义,因为它终于支持 GPU 和 FPGA 了。

重大改进

Hadoop 3.1.0 版本带来的重大变化简要介绍如下:

Yarn Service 服务框架为在 YARN 上长期运行的服务提供支持,作为一个容器编配平台来管理运行在 YARN 上那些被容器化的服务,支持 Docker 容器和传统容器。

详情参见:

http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/yarn-service/Overview.html

YARN 支持基于 GPU 的调度和隔离(Docker 和非 Docker 容器)。

详情参见:

http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/UsingGpus.html

YARN 支持基于 FPGA 的调度和隔离(Docker 和非 Docker 容器)。

详情参见:

http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/UsingFPGA.html

在 YARN 中支持更多的配置约束。这些约束对于应用程序的性能和弹性至关重要,尤其是那些包含长期运行容器的应用程序,如服务、机器学习和流式工作负载。在同一机架上调度有关联的任务(相似性约束)可以降低网络成本,在机器之间分配任务(反亲和约束)以便降低资源干扰,或者限定特定节点组的任务数量(基数约束)以在两者之间取得平衡。

详情参见:

http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/PlacementConstraints.html

支持管理员为队列指定具体数目的资源(比如具体的内存数量、vcore 核数、GPU 等),而不是提供基于百分比的值,这让管理员能够更好地控制给定队列配置所需的资源。

详情参见:

http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

3.1.0 提供的存储允许将存储在 HDFS 之外的数据映射到 HDFS,并从 HDFS 进行寻址。这是一种异构存储,通过向 DataNode 中引入新的存储类型 PROVIDED 来实现。

详情参见:

http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-hdfs/HdfsProvidedStorage.html

其他更新

3.1.0 版本中,Hadoop 社区修复了 768 个在 JIRA 记录的问题(https://s.apache.org/apache-hadoop-3.1.0-all-tickets),包括:

与 Hadoop Common 有关的 141 个 ,其中包括 S3/S3A/S3Guard 相关改进

与 HDFS 有关的 266 个

与 YARN 有关的 329 个

与 MapReduce 有关的 32 个

更多改动参见官方 Release Notes:

http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/release/3.1.0/RELEASENOTES.3.1.0.html

Hadoop 老矣?

Gartner 在 2017 年 9 月发布的一份关于数据管理的技术成熟度曲线显示,由于整个 Hadoop 堆栈的复杂性和可用性问题,许多组织已经开始重新考虑其在信息基础架构中的角色。Gartner 认为,Hadoop 已发行版本已经被淘汰出局,未能进入实质生产的高峰期 (Plateau of Productivity)。与此相对,企业正在寻求其他更有竞争力、更加便捷的基于云的产品。

Hadoop 是否真的老矣?此次 3.1.0 版本发布的几项重大改进,能否给这个老牌大数据平台带来新的活力?你怎么看?

原文链接:

https://lists.apache.org/thread.html/8313e605c0ed0012f134cce9cc6adca738eea81feccea99c8de87cd9@%3Cgeneral.hadoop.apache.org%3E

http://hadoop.apache.org/docs/r3.1.0/index.html

https://www.gartner.com/newsroom/id/3809163

IT思维

IT思维(itsiwei.com)是互联网首个定位在科技与电商“思维”韬略的平台,我们时刻关注互联网电商行业新动向; 诚邀行业资深从业者加入“思维客家族”!

发表留言

Return to Top ▲Return to Top ▲