这里我用的事eclipse对MapReduce进行编程,首先需要下载相关的eclipse,eclipse可以用于多种语言的开发,这里我们需要用到的是Eclipse IDE for Java EE Developers,不难看出是针对Java开发的安装包。
在eclipse的安装目录中,需要讲插件hadoop-eclipse-plugin-2.6.0(这是我的插件版本)复制到Eclipse安装目录下的dropins这个目录下。
之后在Eclipse中需要对MapReduce工程进行环境变量的配置。
①增加Map/Reduce 功能区。在Eclipse主界面的菜单中点击“window”-“Perspective”-“Open Perspective”-“Other”,弹出对话框中选择Map/Reduce选项,然后确定。
②增加Hadoop集群的连接。在控制台的选项卡中选择“Map/Reduce Locations”。
这里我已经创建了MapReduce工程,所以下面会有两个,否则是什么都没有的。
继续单击右侧的蓝色小象图标,就会弹出Hadoop集群的配置对话框。
相关的连接信息:
1.Location name:命名新建的Hadoop连接,如Hadoop Cluster。
2.Map/Reduce(V2) Master:填写Hadoop集群的ResourceManager
的IP和端口。
3.DFS Master:填写Hadoop集群的NameNode的IP地址和连接端口。
填写完成后点击“Finish”。
③之后就可以在Eclipse界面上看到之前我们在HDFS文件系统中的所有文件了。
接下来新建一个MapReduce工程,名称为MemberCount。
①首先需要导入MapReduce运行依赖的JAR包。在菜单上点击“Window”-“Preferences”,之后在Preference窗口中选择“Hadoop Map/Reduce”选项,单击“Browse”导入相应的Hadoop安装包。
我这里的是hadoop-2.6.4版本。
然后“Apply”进行应用。
② 创建MapReduce工程。在菜单栏中点击“File”-“New”-“Project”,在弹出的对话框选择“Map/Reduce Project”。
之后便可在左侧工程栏里看到MemberCount这项工程了。
还可以看到导入的JAR包,就可以进行MapReduce编程了!
以上就是我对MapReduce编程入门中去创建一个MapReduce工程的总结,希望可以帮到大家!
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)