hadoop实践(六)eclipse 打包和liunx下运行

2023-10-29

在eclipse环境下开发的代码,可以打包并放入到linux环境的 hadoop 下运行。

第一步:打包

前提是已经安装了打包工具,fatjar。  

        首先eclipse右上角,从map/reduce 切换到java, 点击工程,右键会出现fat jar。


       选中fatjar,打开打包配置界面。


       执行finished后,eclipse会打包正常jar文件


第二步: 将jar文件上传到linux下的hadoop环境

       用hadoop用户,执行如下命令

[hadoop@master wordcount]$ 
[hadoop@master wordcount]$ hadoop jar  DemoWordCount_fat.jar /user/hadoop/input/wordcount  /user/hadoop/output/wordcount3
       最后三个参数分别是打包的jar文件,  单词文件输入源路径, 执行结果输出路径。执行过程中会打印信息



       执行完成后,可以查看是否有生成结果文件

[hadoop@master wordcount]$ hadoop fs -ls output/wordcount3
Found 2 items
-rw-r--r--   1 hadoop supergroup          0 2016-06-15 02:06 output/wordcount3/_SUCCESS
-rw-r--r--   1 hadoop supergroup         42 2016-06-15 02:06 output/wordcount3/part-r-00000
[hadoop@master wordcount]$ 
[hadoop@master wordcount]$ 

       最后,可以查看结果:

[hadoop@master wordcount]$ 
[hadoop@master wordcount]$ hadoop fs -cat output/wordcount3/part-r-00000
Hello   4
cwq     1
me!     1
solo    2
world   2
you!    1
[hadoop@master wordcount]$ 


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

hadoop实践(六)eclipse 打包和liunx下运行 的相关文章

随机推荐

  • s3 实现图片上传并返回图片路径

    一般做图片上传的的业务时我们接收的都是 MultipartFile 类型的文件 但是s3提供的图片上传只支持file 类型的文件上传 所以需要我先把 MultipartFile 转换为 file MultipartFile 转换为file
  • 递归树形结构的多级分类数据封装

    在日常开发中 我们经常需要查询一些树形结构的多级分类数据 如 多级菜单 商品三级分类 企业组织架构等等 我们以商品三级分类为例 大部分情况下 在同一张数据表中 无论是一级商品还是三级商品 每一条商品信息独占一行空间 通过 层级 字段 标明该
  • 金先生的 NutUI3 初体验

    冬日清晨 客服小王第一个来到了公司 还没顾得上脱下厚厚的羽绒服 桌上的电话就响了起来 您好 这里是京东客服 请问有什么可以帮到您的么 电话那头很嘈杂 呼啸的北风让来电人的声音很难被听清 而唯一可以被弄懂的就是对方一直在声嘶力竭反复强调的 开
  • 人脸相似度对比

    由清晰的人脸照转化出的像素值矩阵 应当设计出什么样的函数 f x 转化为特征值呢 这个问题的答案依赖于分类问题 即 先不谈特征值 首先如何把照片集合按人正确地分类 这里就要先谈谈机器学习 机器学习认为可以从有限的训练集样本中把算法很好地泛化
  • Sql Server 锁知识及锁应用

    转 sql server锁知识及锁应用 胡杰的专栏 CSDN博客sql server锁 lock 知识及锁应用一 关于锁的基础知识二 锁的分析及应用系列三 SQL Server 锁机制 悲观锁 乐观锁 实测解析四 SQL Server 中W
  • android车载行业前景,车载 Android 系统快来了,但前景可能并不乐观

    行业内相关主机厂 供应商已经习惯了利用移动版 Android 系统的开源性 进行框架层面的定制化改造 但是 车载 Android 系统为了保证满足车规应用 显然不会像移动版那样有很大的灵活定制性 特别是当谷歌开始把手伸向更底层的车辆控制系统
  • linux通信机制signal()函数详解

    我们来谈一谈signal 函数的作用 linux系统提供了signal 和sigaction 两个函数来改变对于信号的处理方法 其中signal 是一个基于sigaction 系统调用的glibc库函数 其行为在不同的linux操作系统存在
  • 赋值语句作为if的判断条件

    具体如下代码所示 char name xiaopingguo if char p NULL cout lt lt NULL lt
  • mysql按照每个表一个备份文件的逻辑备份脚本和检查报警脚本

    下面是逻辑备份脚本 1 首先通过information schema tables获取所有数据库名称 2 然后根据日期创建临时备份目录 根据数据库名进行循环 获取每个数据库下面的表名集合 3 然后进行循环备份 按照表级备份完成后 4 然后进
  • Microsemi Libero系列教程(一)——Libero开发环境介绍、下载、安装与注册

    文章目录 前言 Libero 简介 关于Libero IDE和Libero SoC Libero SoC Libero 下载 支持的操作系统 所有版本的安装包下载链接 V11 8安装包下载 V11 8 SP2补丁包下载 Libero 安装
  • java的示例题1

    前言 整理一部分java的示例题型 在线编译 入口 java的System out println与System out print 浩星 CSDN博客前言 java基础知识之System out println System out pr
  • vue配置history路由(Nginx版)

    修改Nginx配置文件 在里面加上这两段 h5为vue项目打包文件名 location h5 try files uri uri router index index html index htm location router rewri
  • css页眉标签,css与页眉,页脚和多栏布局scrled

    我正在尝试创建一个网页布局模板我的目标是页眉 页脚和2列之间 2栏是什么都给我最大的头痛 我想左列为固定宽度 右侧列填充剩余区域 我也成功完成了这一项 但我也希望这两列 垂直填充雨区 当内容填充超过我看每列要分别骂而不使用正常的Brower
  • 龙架构(LoongArch)赋能众享链网,相关产品已完成适配

    立足于中国特色区块链发展现状 以及 低成本 高效率 多兼容 新型网络技术发展需求 近日 龙芯3C5000L与众享链网底层平台 ChainSQL完成了兼容适配 龙芯3C5000L服务器作为超级节点正式加入众享链网并对外提供服务 适配结果表明
  • 【计算机视觉】MoCo 讲解

    有任何的书写错误 排版错误 概念错误等 希望大家包含指正 MoCo 模型概述 MoCo 是何恺明提出的一种通过对比学习的方式无监督地对图像编码器进行预训练的方法 MoCo 包括三个结构 query 编码器 key 编码器和动态字典 训练完成
  • Ubuntu20.4安装gnuradio艰辛之路

    自从毕设选了跟老师做雷达信号 一路坎坷 做信号盲检测需要安装gnuradio 一路艰辛 小白零基础经历耗费了差不多四天 经历了很多次系统奔溃死机 光是Ubuntu系统就重装了不下十次 最后打王者等待的时候 水晶爆了 但是突然弹出来安装好gn
  • Docker 具名和匿名挂载

    匿名挂载 v 容器内路径 docker run d p 9090 80 name nginx01 v etc nginx nginx 查看所有卷 volume 情况 docker volume ls DRIVER VOLUME NAME l
  • 使用Canvas扩展绘制动态ASP.NET Core Blazor气泡图

    目录 介绍 背景 使用代码 步骤1 创建ASP NET Core Blazor服务器应用程序 运行测试应用程序 步骤2 安装软件包 步骤3 创建模型类 创建服务类 步骤4 将服务添加到Startup cs中 步骤5 使用客户端项目 添加Ra
  • npm参数解释

    npm i i代表install 即安装模块选项 npm y y是yes的缩写 即npm后面需要手动配置的选项采用默认配置 npm S 将安装的模块放到dependency下 安装的模块在生产版本也会用到 如element ui等插件 生产
  • hadoop实践(六)eclipse 打包和liunx下运行

    在eclipse环境下开发的代码 可以打包并放入到linux环境的 hadoop 下运行 第一步 打包 前提是已经安装了打包工具 fatjar 首先eclipse右上角 从map reduce 切换到java 点击工程 右键会出现fat j