最具影响力的数字化技术在线社区

开启辅助访问合作方案投稿需求拼课切换到宽版

1 2 3 4 5

168大数据 › 日志

日志

最新发表的日志| 推荐阅读的日志 | 人工智能 | 大数据 | 云计算 | 数据分析 | 商业智能 | 数据挖掘 | 数据仓库 | SAP | Linux | Oracle | 编程 | 创业 | 管理 | 观察 | 职场 | 经验 | 其他

分享 MapReduce:详解Shuffle(copy,sort,merge)过程: 51管天下 2014-8-5 20:28; Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在 ...; 3 次阅读|0 个评论热度 11

分享 Hadoop Streaming 实战：实用Partitioner类KeyFieldBasedPartitioner: 51管天下 2014-8-5 20:22; 我们知道，一个典型的Map-Reduce过程包括：Input-Map-Patition-Reduce-Output。Pation负责把Map任务输出的中间结果按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过KeyFieldBasedPartitioner可以方便地实现二次 ...; 1 次阅读|0 个评论热度 10

站长推荐 /1



与数十万数据精英亲密接触



关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号 ) |申请友情链接

GMT+8, 2024-4-19 03:36

Powered by BI168大数据社区

© 2012-2014 168大数据

返回顶部