168大数据

标题: 如何进行Hadoop二次开发? [打印本页]

作者: 乔帮主 时间: 2014-7-20 15:11
标题: 如何进行Hadoop二次开发?
本视频适合对Java有一定了解，熟悉java se的Hadoop爱好者，想对Hadoop进行二次开发。下面是以伪分布为例：

想对Hadoop二次开发：
一.首先需要Hadoop和Java之间搭建Eclipse搭建一个桥梁，也就是所谓的插件。
这个插件是由Hadoop来提供的。只要安装Hadoop，就可以在Hadoop安装目录中找到Hadoop-xx-eclipse-pligin.jar。

图1
二.把这个插件添加到Eclipse安装目录的插件文件夹

图2
在复制的过程中注意权限问题
三.复制完成之后，需要重启Eclipse。然后定位Hadoop安装目录。

图3
（1）选择Hadoop安装目录

图4
四.调出map/reduce location信息窗口

（1）通过如下操作添加map/reduce视图

图5

图6
（2）通过图7，图8操作显示map/reduce location信息窗口

图7

图8

图9
图9就可以看到map/reduce location信息窗口

五连接Hadoop
这一步主要配置开发那一台机器的Hadoop。通过new hadoop location，弹出信息配置窗口。
这里需要注意的是，对于伪分布这里填写的location，远程的需要填写ip，端口的配置要与map-site一致，否则会出错。

图10

图11

图12

图13

图14
六连接成功
连接则会出现图15所示

图15[groupid=284]Hadoop中国[/groupid]

作者: rain 时间: 2014-7-21 23:18
好好学习了确实不错

作者: 51管天下 时间: 2014-7-22 11:36
过来看看的

作者: rosemanor 时间: 2014-7-22 22:37
过来看看的

作者: lcm 时间: 2014-7-23 12:45
谢谢楼主，共同发展

作者: rain 时间: 2014-7-23 13:53
这是什么东东啊

作者: rosemanor 时间: 2014-7-23 15:03
学习了，谢谢分享、、、

欢迎光临 168大数据 (http://www.bi168.cn/)