impala高级设置set之BATCH_SIZE

2023-11-01

官网地址 

https://impala.apache.org/docs/build/html/topics/impala_batch_size.html

Number of rows evaluated at a time by SQL operators. Unspecified or a size of 0 uses a predefined default size. Using a large number improves responsiveness, especially for scan operations, at the cost of a higher memory footprint.

This option is primarily for testing during Impala development, or for use under the direction of the appropriate support channel.

翻译,sql执行过程中每次处理的行数。默认是=0,其实是1024.使用更大的值可以提高响应能力,尤其是扫描操作,但代价是使用更多内存。

Type: numeric

Default: 0 (meaning the predefined default of 1024)

Range: 0-65536. The value of 0 still has the special meaning of "use the default", so the effective range is 1-65536. The maximum applies in Impala 2.11 and higher.

实战!!!

这里可惜的是,我在impala set结果没有这个参数。。。

impala版本  impalad version 3.2.0-cdh6.3.2 RELEASE (build 1bb9836227301b839a32c6bc230e35439d5984ac)

set 参数 无batch_size。 单独设置了1和65535 也感觉不到查询区别。全当了解了。

[test-flimpala.woa.com:25003] odsiadata> set ;
Query options (defaults shown in []):
    ABORT_ON_ERROR: [0]
    COMPRESSION_CODEC: []
    DISABLE_CODEGEN: [0]
    DISABLE_ROW_RUNTIME_FILTERING: [0]
    DISABLE_STREAMING_PREAGGREGATIONS: [0]
    DISABLE_UNSAFE_SPILLS: [0]
    EXEC_TIME_LIMIT_S: [0]
    EXPLAIN_LEVEL: [STANDARD]
    IDLE_SESSION_TIMEOUT: [0]
    MAX_ROW_SIZE: [524288]
    MEM_LIMIT: [0]
    MT_DOP: []
    NUM_SCANNER_THREADS: [0]
    OPTIMIZE_PARTITION_KEY_SCANS: [0]
    PARQUET_ARRAY_RESOLUTION: [THREE_LEVEL]
    PARQUET_FALLBACK_SCHEMA_RESOLUTION: [POSITION]
    QUERY_TIMEOUT_S: [0]
    REQUEST_POOL: []
    RUNTIME_FILTER_MODE: [GLOBAL]
    RUNTIME_FILTER_WAIT_TIME_MS: [0]
    S3_SKIP_INSERT_STAGING: [1]
    SCRATCH_LIMIT: [-1]
    SYNC_DDL: [0]
    THREAD_RESERVATION_AGGREGATE_LIMIT: [0]
    THREAD_RESERVATION_LIMIT: [3000]
    TIMEZONE: [Asia/Shanghai]

Advanced Query Options:
    APPX_COUNT_DISTINCT: [0]
    BUFFER_POOL_LIMIT: []
    CLIENT_IDENTIFIER: Impala Shell v3.2.0-cdh6.3.2 (1bb9836) built on Fri Nov  8 07:22:06 PST 2019
    COMPUTE_STATS_MIN_SAMPLE_SIZE: [1073741824]
    DEFAULT_JOIN_DISTRIBUTION_MODE: [BROADCAST]
    DEFAULT_SPILLABLE_BUFFER_SIZE: [2097152]
    DISABLE_CODEGEN_ROWS_THRESHOLD: [50000]
    ENABLE_EXPR_REWRITES: [1]
    EXEC_SINGLE_NODE_ROWS_THRESHOLD: [100]
    HBASE_CACHE_BLOCKS: [0]
    HBASE_CACHING: [0]
    KUDU_READ_MODE: [DEFAULT]
    MAX_ERRORS: [100]
    MAX_MEM_ESTIMATE_FOR_ADMISSION: [0]
    MAX_NUM_RUNTIME_FILTERS: [10]
    MIN_SPILLABLE_BUFFER_SIZE: [65536]
    NUM_REMOTE_EXECUTOR_CANDIDATES: [3]
    NUM_ROWS_PRODUCED_LIMIT: [0]
    PARQUET_ANNOTATE_STRINGS_UTF8: [0]
    PARQUET_DICTIONARY_FILTERING: [1]
    PARQUET_FILE_SIZE: [0]
    PARQUET_READ_STATISTICS: [1]
    PREFETCH_MODE: [HT_BUCKET]
    REPLICA_PREFERENCE: [CACHE_LOCAL]
    RESOURCE_TRACE_RATIO: [0.000000]
    RUNTIME_BLOOM_FILTER_SIZE: [1048576]
    RUNTIME_FILTER_MAX_SIZE: [16777216]
    RUNTIME_FILTER_MIN_SIZE: [1048576]
    SCAN_BYTES_LIMIT: [0]
    SCHEDULE_RANDOM_REPLICA: [0]
    SHUFFLE_DISTINCT_EXPRS: [1]
    SUPPORT_START_OVER: [false]
    TOPN_BYTES_LIMIT: [536870912]

Shell Options
    WRITE_DELIMITED: False
    VERBOSE: True
    LIVE_SUMMARY: False
    OUTPUT_FILE: None
    DELIMITER: \t
    LIVE_PROGRESS: False

Variables:
    No variables defined.
 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

impala高级设置set之BATCH_SIZE 的相关文章

随机推荐

  • python使用openai生成图像教程详解

    OpenAI 是一个人工智能的工具包 包括神经网络 遗传算法和有限状态机等 使用python可以非常便捷的操作OpenAI的API 一下是OpenAI官网列举的功能DEMO 首先使用python的pip进行openai库的安装 pip in
  • Springboot整合Nacos配置中心 多环境配置

    Nacos多环境的配置 方法一 1 在项目中的bootstrap yaml文件中配置激活指定的配置文件 spring application name gabriel cloud nacos config server addr 127 0
  • 如何申请iOS推送证书p12文件并配置极光推送平台

    编辑切换为居中 添加图片注释 不超过 140 字 可选 极光推送平台需要上传配置开发测试的iOS推送证书 开发环境 和上架到App Store的iOS推送证书 生产环境 以下是申请这两个环境的推送证书p12文件的教程 创建APP ID时勾选
  • 显卡检测工具:GPU-Z

    今天小编为大家测试了一款轻量级的GPU显卡的测试工具 可以查看GPU的详细信息 以供各位同学们学习 一 简单介绍 GPU Z是一款方便实用的软件工具 专门为用户提供视频卡和GPU的详尽信息 它具有轻巧的特点 不需要安装即可使用 并且可以一键
  • matlab中svd, svds, lansvd 函数

    首先我们看一下wiki上关于奇异值分解的理论描述 1 理论描述 假设M是一个m n阶矩阵 其中的元素全部属于域K 也就是实数域或复数域 如此则存在一个分解使得 displaystyle M U Sigma V 其中U是m m阶酉矩阵 是m
  • 小记初学android过程中遇到的小问题(android 4.4)

    在layout文件中有下面这样一个编辑框
  • List> 转 Map>

    将List转成Map结构 以下为没有水平的写法 好久之前写的土方法转换 不知道有没有优秀的解法 还希望大家提供 Map
  • 吸尘器电机拆解图解_家庭打扫全能选手-美的无线吸尘器P2G

    最近美的推出了一款轻便式家用吸尘器 一改吸尘器在心中笨大重托的形象 但具体清洁效果与实际体验如何呢 现在就让我们全方位探究一下这台美的无线吸尘器P2G 部件及功能介绍 包装小巧到我惊掉下巴 这真的就可以组装成一台吸尘器吗 打开包装 有序排列
  • JAVA多态(超详细讲解)

    目录 多态的基本介绍 实现多态的条件 1 继承 必须要有子类继承父类的继承关系 2 重写 子类需要对父类中的一些方法进行重写 然后调用方法时就会调用子类重写的方法而不是原本父类的方法 3 向上转型 在多态中需要将子类的引用赋给父类对象 只有
  • Windows下搭建nginx和rtspToWebRTC以及Windows程序添加为服务开机启动和后台运行

    1 前言 之前的rtsp转webrtc的服务很好用 https blog csdn net weixin 39510813 article details 123718363 spm 1001 2014 3001 5502 测试使用效果都很
  • Axios 企业级3封装以及常见的get和post请求写法

    简洁用法 发送get请求 第一种 适合少量参数 axios get api url 参数名1 参数值1 参数2 参数值2 then res gt res data就是后端响应的数据 catch err gt err就是错误信息 请求挂掉了
  • expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘struct’

    这篇准备长期更新 1 在编译时遇到错误 错误 expected asm or attribute before struct src cli socket handle c 在函数 client login 中 这种错误第一次遇到肯定很懵逼
  • iptables的基本使用

    iptables 防火墙 防火墙的分类 Netfilter 链的概念 表的概念 表链的关系 iptables规则的匹配 iptables 的命令 查询规则 添加规则 删除规则 修改规则 保存规则 iptables的扩展模块 Tcp模块 mu
  • 基于Java设计和实现系统的自动化巡检

    系统巡检对于系统管理员并不陌生 日常工作是离不开它的 笔者记得进入运维岗位的第一天 学习的第一课就是如何系统巡检 首先远程登陆各服务器 然后通过执行命令或操作页面查看系统内存 CPU和磁盘利用率等情况 最后将相应的数值填写入系检表格 看似几
  • 新一代视频压缩编码标准-----H.264/AVC

    2 数字视频 2 1 2 数字电视PCM原理 将输入的模拟信号转化为输出的数字电视信号 经过取样 量化 编码三个步骤 由A D变换器完成 2 1 2 1 取样 在时间轴上将连续变化的模拟信号 转化为离散量 2 1 2 2 量化 因取样后的脉
  • 服务中不存在mysql 或者没有启动成功

    服务器中不存在mysql mysql admin V 查看mysql环境的配置是否成功 成功则执行services msc 去服务中查找mysql服务 如果有则设置自动启动 或者 执行net start mysql 黑窗口开启服务 如果没有
  • 【AI面试】RoI Pooling 和 RoI Align 辨析

    RoI Pooling和RoI Align是两种常用的目标检测中的RoI特征提取方法 它们的主要区别在于 如何将不同大小的RoI对齐到固定大小的特征图上 并在这个过程中保留更多的空间信息 如果你是做目标检测相关的项目 那么这个问题肯定是跑不
  • 嵌入式单元测试框架之Ceedling

    Ceedling Ceedling 是一个用 Ruby 语言编写的自动化测试框架 一个 C 项目构建系统 是对 Ruby Rake 的一个延申 Ceedling 主要目标是以测试为驱动的 C 语言开发 集成CMock Unity CExce
  • 【算法】中序与后序遍历序列构造二叉树(二叉树、递归)

    106 从中序与后序遍历序列构造二叉树 根据一棵树的中序遍历与后序遍历构造二叉树 注意 你可以假设树中没有重复的元素 例如 给出中序遍历 inorder 9 3 15 20 7 后序遍历 postorder 9 15 7 20 3 返回如下
  • impala高级设置set之BATCH_SIZE

    官网地址 https impala apache org docs build html topics impala batch size html Number of rows evaluated at a time by SQL ope