最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
分享 MapReduce:详解Shuffle(copy,sort,merge)过程
51管天下 2014-8-5 20:28
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在 ...
3 次阅读|0 个评论 热度 11
分享 Hadoop Streaming 实战: 实用Partitioner类KeyFieldBasedPartitioner
51管天下 2014-8-5 20:22
我们知道,一个典型的Map-Reduce过程包括:Input-Map-Patition-Reduce-Output。Pation负责把Map任务输出的中间结果按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner,通过配置相应的参数就可以使用。通过KeyFieldBasedPartitioner可以方便地实现二次 ...
1 次阅读|0 个评论 热度 10
关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2022-8-20 00:58 , Processed in 0.037980 second(s), 7 queries , Xcache On.

Powered by BI168大数据社区

© 2012-2014 168大数据

返回顶部