关于使用HTTP上传文件到hdfs文件系统

2023-05-16


String tenantName = System.getenv("OPENPALETTE_NAMESPACE");
String dataIntegrationServiceName = "dataintegration-ms";

@Override
public void importData(MultipartFile file, DataImportRecordDTO request) throws Exception {
    log.info("数据导入开始。");
    log.info("数据导入参数:" + JSONUtil.toJson(request));
    // 拼装URL
    String url = "http://" + dataIntegrationServiceName + "-" + tenantName + ":10258/dataintegration/file/importdata" +
            "?dbName=" + URLEncoder.encode(request.getDbName(), "utf-8") +
            "&tableName=" + URLEncoder.encode(request.getTableName(), "utf-8") +
            "&partitions=" + URLEncoder.encode(request.getPartitionConfig(), "utf-8") +
            "&isOverWrite=" + URLEncoder.encode(request.getOverwrite().toString(), "utf-8") +
            "&clusterName=" + URLEncoder.encode(request.getClusterName(), "utf-8") +
            "&sparkSourceName=" + URLEncoder.encode(request.getSparkSourceName(), "utf-8");
    log.info("URL: " + url);

    // 设置Rest请求参数
    CloseableHttpClient httpClient = HttpClients.createDefault();
    HttpPost httpPost = new HttpPost(url);
    httpPost.addHeader("Authorization", "administrator:SdzV4wj1ufh3+X1PgIQXj7ld9gc=");
    HttpEntity entity = MultipartEntityBuilder.create()
            .setCharset(Consts.UTF_8)
            .addBinaryBody("file", file.getInputStream(), ContentType.MULTIPART_FORM_DATA, file.getOriginalFilename())
            .build();
    httpPost.setEntity(entity);

    // 执行文件上传
    HttpResponse response;
    DataImportRecord record = request.toDataImportRecord();
    record.setFileName(file.getOriginalFilename());
    record.setFileSize(file.getSize());
    String errorMsg = "";
    try {
        response = httpClient.execute(httpPost);
        log.info("接口返回信息:" + response);

        if (response.getStatusLine().getStatusCode() != 200) {
            log.error("数据导入失败!");
            errorMsg = response.toString();
            record.setIsSuccess(false);
        } else {
            log.info("数据导入成功。");
            record.setIsSuccess(true);
        }
    } catch (Exception e) {
        log.error("数据导入失败!");
        record.setIsSuccess(false);
        errorMsg = e.getMessage() + "\n" + Arrays.stream(e.getStackTrace()).map(StackTraceElement::toString).collect(Collectors.joining("\n"));
        throw e;
    } finally {
        // 插入操作记录
        log.info("插入数据导入记录。");
        record.setFailMessage(errorMsg);
        record.setCreateTime(new Date());
        record.setId(SnowflakeIdWorker.newId());
        dataImportDao.insert(record);
    }

}

@Override
public DataImportEnvironmentInfoDTO getDataImportEnvironmentInfo(Long tableId, String envType) throws Exception {
    // 获取表信息
    Table table = tableDao.findByID(tableId);
    if (table == null) throw new BusinessException(BusinessExceptionEnums.PARAM_ERROR.getCode(), "未找到表信息,表ID:" + tableId);
    // 获取环境信息
    EnvironmentInfo envInfo = getEnvironmentInfo(table.getBusinessInformation().getProjectID(), EnvironmentEnum.valueOf(envType));
    if (envInfo == null) throw new BusinessException(BusinessExceptionEnums.PARAM_ERROR.getCode(), "未找到环境信息,项目ID:" + table.getBusinessInformation().getProjectID());
    DataImportEnvironmentInfoDTO data = new DataImportEnvironmentInfoDTO();
    data.setDbName(table.getDatabase());
    data.setClusterName(envInfo.getClusterName());
    data.setSparkSourceName(envInfo.getSourceData().getSourceName());
    return data;
}  
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

关于使用HTTP上传文件到hdfs文件系统 的相关文章

  • 基于I2C/SPI总线的温湿度采集与OLED显示

    目录 一 STM32之基于I2C的温湿度采集 xff08 AHT20 xff09 1 I2C协议2 AHT20温湿度采集程序接线烧录效果视频 二 STM32在oled上显示文字滚动1 了解SPI xff08 串行外设接口 xff09 2 字
  • 调用别人的接口的几种方法

    概述 在实际开发过程中 xff0c 我们经常需要调用对方提供的接口或测试自己写的接口是否合适 很多项目都会封装规定好本身项目的接口规范 xff0c 所以大多数需要去调用对方提供的接口或第三方接口 xff08 短信 天气等 xff09 在Ja
  • 搭建springboot项目报错合集

    报错一 xff1a 服务器端口已被占用 解决办法 xff1a 报错二 xff1a There was a problem with the instance info replicator 该服务尝试将自己作为客服端注册 解决办法 xff1
  • 手写 Lodash (2)

    文章目录 手写 Lodash 2 1 先看这次要达到的效果2 开始手写2 1 这是第一期的代码2 2 接着写思路 xff1a 代码 xff1a 4 测试例子5 总结 手写 Lodash 2 这里参考的是 lodash js 4 17 21
  • [LQR简要快速入门]+[一级倒立摆的LQR控制]

    LQR简要快速入门 43 一级倒立摆的LQR控制 1 什么是LQR2 公式含义3 倒立摆的建模3 1 线性化3 2 状态空间建立 4 LQR算法实现5 MATLAB代码仿真6 优缺点 1 什么是LQR LQR是一种最优控制算法 xff0c
  • 滑模控制理论(SMC)概述

    滑模控制理论 xff08 SMC xff09 概述 一 背景二 数学理论三 高维拓展四 分析 一 背景 滑模控制理论 xff08 Sliding Mode Control SMC xff09 是一种建立在现代控制理论基础上的控制理论 xff
  • 扩张状态观测器简介

    扩张状态观测器简介 1 系统模型2 增广状态空间的建立3 扩张状态观测器的建立4 重构柯西方程组 由于这两天经常用到关于观测器的一些东西 xff0c 于是看到了这个 扩张状态观测器 xff0c Extended State Obsever
  • 基于kubernetes的Prometheus监控mysql

    kubernetes Prometheus监控mysql Prometheus监控Pod中的应用 xff0c 比如mysql xff0c 有2种方法 1 exporter pod方式 xff0c 通过这个pod去监控mysql servic
  • [Ubuntu]Scrcpy+Zeromq实现手机屏幕yuv数据传输,并通过OpenCV实现连续播放——(二)(思路+代码解析)

    Scrcpy在上一篇博客中有所介绍 xff0c 并且使用Scrcpy实现了手机屏幕yuv数据的提取 xff08 Ubuntu Scrcpy获取手机屏幕yuv数据 又是谁在卷的博客 CSDN博客 xff09 本文将介绍一个当下较为好用的消息中
  • Jmeter性能测试(19)--HTTP属性管理器

    jmeter是一个开源灵活的接口和性能测试工具 xff0c 当然也能利用jmeter进行接口自动化测试 在我们利用它进行测试过程中 xff0c 最常用的sampler大概就是Http Request xff0c 使用这个sampler时 x
  • 选择光模块时,应该从哪些方面去选择?

    光模块在通信网络中也占据着不小的位置 xff0c 在选择光模块时 xff0c 我们应该从哪些方面去选择呢 xff1f 1 传输距离 xff1a 不一样的光模块支持的传输距离是不一样的 xff0c 一般而言 xff0c 多模光模块的传输距离会
  • Vue3 + Vite + Ts 开发必备的 VSCode 插件

    Vetur xff1a Vue 语法高亮和语法检查插件 Vue Peek xff1a 快速定位 Vue 组件和模板 Vue 3 Snippets xff1a 快速生成 Vue3 相关代码的代码片段 Vue VSCode Extension
  • 入门STM32--怎么学习STM32

    目录 前言 一 STM32是什么 xff1f 二 一些概念 xff08 不懂可能会被装到 xff09 1 Soc芯片 2 MCU 3 FLASH 三 STM32的学习 1 51 2 学习方法 3 建议 四 学前准备 1 开发板 2 下载器
  • RTOS学习(4)--启动过程分析

    比较常见的启动流程有两种 xff0c 一种是在main函数中完成硬件和RTOS系统的初始化 xff0c 并且创建所需的任务 xff0c 最后只需要开启调度器即可 还有一种是在main函数中将硬件和RTOS初始化 xff0c 然后创建一个启动
  • 【解决问题】RLException: [xx.launch] is neither a launch file in package [x] nor is [x] a launch file name

    看网上很多大神都是进入bashrc修改或者添加代码但是好多没啥用 xff0c 亲测一种方法如下 这种方法不需要每次编写都添加环境变量了 首先打开这个文件 xff1a sudo gedit bashrc 在该文件的最后添加如下代码 ros w
  • 嵌入式Linux驱动复习(5)驱动设计的思想:面向对象/分层/分离

    在上节中我们已经写出了具体单板的驱动程序 xff1a 字符设备驱动程序抽象出一个file operations结构体 xff1b 我们写的程序针对硬件部分抽象出led operations结构体 我们采用的是上下分层的驱动写法 上下分层 x
  • 立创eda入门-原理图,PCB制作

    这个学期要修一门电子线路制图的课 xff0c 用到了立创eda xff0c 有些收获 xff0c 故在此记下 1 原理图 这个刚开始都是老师给 xff0c 学生照着画就行 xff0c 所以就简单说一下怎么找元器件 像一般的电阻 xff0c
  • 网络爬虫到底违法吗?转行做爬虫可行吗?

    网络爬虫 Web Spider xff0c 是一种按照一定的规则 xff0c 自动地抓取万维网信息的程序或者脚本 它可以通过程序设计来获取指定网页中的指定信息 xff0c 如百度贴吧的帖子信息 xff0c 新闻网站的新闻文章等等 获取到的数
  • 静态方法里面是不能调用实例方法的,但是静态方法可以调用构造方法,因为他不需要依赖对象

    public class MyMath public MyMath System out print 34 对象已创造 34 构造方法 public void getmax int a int x 61 a 0 for int i 61 1
  • 嵌入式开发一定用的着的网站分享

    大家好呀 xff01 我是何同学 xff0c 这期给大家分享一些常用的工具网站 xff0c 这些网站在你今后的开发中多多少少都可以给你带来一定的帮助 xff01 不要进收藏夹吃灰了 一 方案类网站 这个网站提供了产品库和方案库 xff1a

随机推荐