MapReduce编程入门--用eclipse创建MapReduce工程

2023-05-16

        这里我用的事eclipse对MapReduce进行编程,首先需要下载相关的eclipse,eclipse可以用于多种语言的开发,这里我们需要用到的是Eclipse IDE for Java EE Developers,不难看出是针对Java开发的安装包。

        在eclipse的安装目录中,需要讲插件hadoop-eclipse-plugin-2.6.0(这是我的插件版本)复制到Eclipse安装目录下的dropins这个目录下。 

        之后在Eclipse中需要对MapReduce工程进行环境变量的配置。

①增加Map/Reduce 功能区。在Eclipse主界面的菜单中点击“window”-“Perspective”-“Open Perspective”-“Other”,弹出对话框中选择Map/Reduce选项,然后确定。

 

②增加Hadoop集群的连接。在控制台的选项卡中选择“Map/Reduce Locations”。

 这里我已经创建了MapReduce工程,所以下面会有两个,否则是什么都没有的。

继续单击右侧的蓝色小象图标,就会弹出Hadoop集群的配置对话框。

相关的连接信息:

        1.Location name:命名新建的Hadoop连接,如Hadoop Cluster。

        2.Map/Reduce(V2) Master:填写Hadoop集群的ResourceManager

的IP和端口。

        3.DFS Master:填写Hadoop集群的NameNode的IP地址和连接端口。

填写完成后点击“Finish”。

③之后就可以在Eclipse界面上看到之前我们在HDFS文件系统中的所有文件了。

        接下来新建一个MapReduce工程,名称为MemberCount。

①首先需要导入MapReduce运行依赖的JAR包。在菜单上点击“Window”-“Preferences”,之后在Preference窗口中选择“Hadoop Map/Reduce”选项,单击“Browse”导入相应的Hadoop安装包。

        我这里的是hadoop-2.6.4版本。

        然后“Apply”进行应用。

② 创建MapReduce工程。在菜单栏中点击“File”-“New”-“Project”,在弹出的对话框选择“Map/Reduce Project”。

 

        之后便可在左侧工程栏里看到MemberCount这项工程了。 

         还可以看到导入的JAR包,就可以进行MapReduce编程了!

以上就是我对MapReduce编程入门中去创建一个MapReduce工程的总结,希望可以帮到大家! 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

MapReduce编程入门--用eclipse创建MapReduce工程 的相关文章

  • ROS学习记录:RLException: Invalid <param> tag: Cannot load command parameter [robot_description]: no such

    本人Ubuntu版本 xff1a 20 04 在运行基于gazebo的仿真的时候出现了这样的报错 xff1a 跟着报错去检查对应的xml文件时发现没有问题 xff0c 然后参考 Problem with xacro invalid lt p
  • 计算机网络期末复习之大题

    目录 信噪比 路由表的更新 路由转发 拥塞控制算法 CRC循环检验码 数据报分片 码分多址通信 地址聚合 子网划分 信噪比 C 61 B log2 1 43 SNR 单位 bps C比特率 xff0c B带宽 SNR信噪比 1 设有一个1M
  • uboot配置和编译过程详解-2.4.uboot和系统移植第4部分-朱有鹏-专题视频课程

    uboot配置和编译过程详解 2 4 uboot和系统移植第4部分 4163人已学习 课程介绍 本课程为uboot学习的第四部分 xff0c 主要目标是详细分析和介绍uboot的主makefile和配置脚本mkconfig 本部分学习的目的
  • 虚拟机Ubuntu18.04连不上网络问题

    要想知道虚拟机Ubuntu有没有网 xff0c 可在终端ping一下网络 xff0c 如在终端输入 ping baidu com 如果出现如下情况 xff0c 则没有连上 正常的情况是这样的 那么 xff0c 如果连不上该如何解决呢 xff
  • 前端可视化数据大屏(1)

    效果图 技术架构 xff1a datav xff0c vue2 xff0c echarts 我们一步一步的来实现一个简单的可视化数据大屏 xff0c 开始吧 xff01 xff01 1 xff0c vue脚手架搭建项目 太简单了 xff0c
  • Kmeans聚类(手写数字识别)

    Kmeans算法原理 xff1a 在给定K个初始聚类中心点的情况下 xff0c xff08 1 xff09 把数据中的每个样本分到离其最近的聚类中心所代表的类中 xff08 2 xff09 分类完后计算从新每个类的中心点 xff08 取平均
  • day11 TCP连接管理与UDP协议

    目录 编辑 连接的建立 三次握手 连接的释放 四次挥手 保活计时器 用户数据报协议 UDP 编辑 连接的建立 三次握手 TCP 建立连接的过程叫做握手 采用三报文握手 xff1a 在客户和服务器之间交换三个 TCP 报文段 xff0c 以防
  • 手动搭建服务器—Python

    目录 1 HTTP协议 2 HTTP请求头 3 IP地址的绑定 4 根据不同的请求返回不同的内容 5 面向对象的服务器封装 6 WSGI服务器 6 1 WSGI接口 6 2 WSGI不同路径返回不同内容 6 3 读取文件并加载返回给浏览器
  • C语言学习分享第一天

    对C语言的认识 xff1a C语言是一种高级语言 xff0c 由低级语言发展而来 xff0c 实际上计算机是不能直接识别高级语言的 xff0c 计算机能够识别的只有低级语言 xff08 其实就是机器语言 xff09 xff0c 机器语言全部
  • C语言学习第二天

    VS上的编译 xff1a ctrl 43 F7或者ctrl 43 Fn 43 F7 运行 xff1a ctrl 43 F5或者ctrl 43 Fn 43 F75 调试 xff1a ctrl 43 F10或者ctrl 43 Fn 43 F10
  • 引发了异常: 读取访问权限冲突。**pStu_Head** 是 0x55BAA6E0。

    问题 xff1a 这几天在研究一个图书馆信息管理系统的代码 xff0c 结果在第一步就出错 xff0c 一直报错 其中的 deroy list create函数 是为一个结构体指针申请内存空间 xff0c 并对其该结构体的成员变量进行赋值
  • xxx不在 sudoers 文件中。此事将被报告。

    出现此类问题是因为当前用户未被授予sudo权限 xff0c 可通过以下步骤添加sudo权限 1 xff0c 通过su命令切换到root用户 注 xff1a 输入密码的过程屏幕上不会有输出 2 xff0c 在终端输入 visudo xff0c
  • Centos系统中使用Firefix播放视频

    这几天想尝试在Linux系统中使用Firefix来看视频 xff0c 在网上找了很多方法 xff0c 什么安装flash xff0c 安装FFmpeg视频解码器的 xff0c 费了很多时间也没有成功 xff0c 最后终于找到方法了 xff0
  • uboot源码分析1-启动第一阶段-2.5.uboot和系统移植第5部分-朱有鹏-专题视频课程...

    uboot源码分析1 启动第一阶段 2 5 uboot和系统移植第5部分 6166人已学习 课程介绍 本课程为uboot学习的第5部分 xff0c 主要内容是uboot启动的第一阶段start S文件中的汇编初始化部分 学习本部分的主要目标
  • java关于对象比较---equals与hashCode详解

    目录 前言 一 equals方法 二 hashCode 1 什么是hashCode 2 hashCode的使用 1 相等值的hashCode一定相等 2 不同的值 hashCode也可能相等的情况 三 为什么hashCode和equals要
  • 状态码500问题

    1 从客户端解决500内部服务器错误是由服务器造成的 xff0c 但也可以从客户端尝试解决 步骤如下 xff1a 1 xff09 清除缓存 xff0c 并删除Cookie后 xff0c 重新启动浏览器 2 xff09 把它作为一个504的错
  • MapReduce详解

    目录 xff08 一 xff09 MapReduce的基本知识 xff08 二 xff09 MapReduce计算框架概述 xff08 三 xff09 MapReduce 具体计算过程 xff08 一 xff09 MapReduce的基本知
  • 进程(线程)调度及调度的九种算法。

    2 1 进程调度 进积 线程 调度即处理机调度 一般在大型批 处理系统中配有作业调度 xff0c 而其他系统中 xff0c 通常无须配置作业调度 xff1b 而在采用虚拟存储管理的操作系统中 xff0c 中级调度被页面调入策略 页面置换策略
  • 网络配置:vlan配置

    一 进入管理员系统并修改交换机名字 system 进入管理员系统 sysname XX 修改名字 二 设置PC端口 vlan XXX 配置单个vlan 例 xff1a vlan 10 创建vlan10 vlan batch XXX XXXX
  • 51单片机——LCD12864

    目录 LCD12864简介 特征 工作参数 LCD12864引脚说明 LCD12864常用指令集 基本指令 扩充指令 字符表 汉字显示地址编排 编辑 绘图地址与汉字显示编排示意图 程序设计 图形显示程序 字符显示程序设计 LCD12864简

随机推荐