如何从直线访问Metastore?

2023-12-09

我需要做一些 SQL 查询(如here)直接来自 Metasore。
PS:命令 SHOW/DESCRIBE 是not足够的。

如何启用它作为数据库的访问,或者 Metastore 的数据库名称是什么? ...现在(2019年)有可能吗?


NOTES

  • What is 元存储?
    对我来说这是 Hive 架构的一个非常重要的元素,最终用户需要对其进行一些访问......“所有 Hive 实现都需要一个元存储服务,用于存储元数据。它是使用关系数据库中的表实现的。默认情况下,Hive 使用内置的 Derby SQL 服务器”, 1.
    当然,你需要在你的背景下 a “标准”元存储。在我公司的 Hadoop 集群上,我们计划标准化 Metastore(本地和长期标准),也许是 PostgreSQL 以及(PostgREST API用于从其中外部使用一些 SQL 视图)。

  • 当 Metastore 成为长期本地标准时,SQL 定义(表名等)将是稳定的,Metastore 查询将是可靠的。

  • Metastore 它与 Hive 紧密相连,它是一个 Java API,但 Metastore 也是一个标准的 RDBMS,并为外部宇宙提供标准连接(通过 SQL)。
    PS:我对 Metastore 的兴趣就是在这个外部背景下。


Spark-shell 解决方案

Spark 在底层访问 Metastore,它有一个头等舱元数据方法,返回一个数据帧,schema属性,公开名称、类型等并提供getComment方法。

See https://stackoverflow.com/a/57857021/287948

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何从直线访问Metastore? 的相关文章

随机推荐

  • 在 Java 中从文件中完全读取对象流的最佳方法是什么?

    我正在创建一个可能很长的对象日志 并且不想在写入文件之前将它们全部保留在内存中 因此我无法将对象的序列化集合写入文件 我试图找出在日志记录完成后读取整个对象流的 最佳 方式 我注意到以下方法不起作用 FileInputStream fis
  • 为什么我需要重写 Java 中的 equals 和 hashCode 方法?

    最近我读到了这篇文章开发者作品文档 该文档主要是关于定义hashCode and equals 有效且正确 但是我无法弄清楚为什么我们需要重写这两种方法 我如何决定有效地实施这些方法 Joshua Bloch 在 Effective Jav
  • 矩阵乘法在 MATLAB 和 NUMPY(?) 中产生不同的值[重复]

    这个问题在这里已经有答案了 这是矩阵 gt gt x 2 7 5 9 2 8 3 1 6 10 4 7 3 10 1 6 7 10 1 8 2 8 2 5 9 Matlab给我 gt gt mtimes x x ans 124 124 94
  • 使用 Maven/Cucumber/Serenity 重新运行失败的场景

    有没有人使用 Maven Surefire 插件或任何其他机制来重新运行失败的场景 我将 Cucumber 与 Serenity 和 Maven 一起使用 我尝试了以下不同的方法 以便在没有任何手动干预的情况下重新运行失败的场景例如 如果
  • 如何使用 Java 解压目录中所有受密码保护的 zip 文件

    我是java新手 试图编写一个程序来解压缩目录中的所有受密码保护的zip文件 我能够解压缩所有普通的zip文件 没有密码 但我不确定如何解压缩受密码保护的文件 注意 所有 zip 文件具有相同的密码 import java io Outpu
  • C 函数中的冒号代表什么?

    冒号的这种用法叫什么 以下代码摘自书中学习核心音频 int main int argc const char argv cleanup AudioQueueDispose queue true AudioFileClose player p
  • 临时局部变量的命名约定

    在本地函数中命名临时变量的标准方法是什么 让我向您说明我正在做的事情 我得到一个指向结构的指针 因此我想在本地存储其成员之一以避免取消引用 然后将任何修改分配回指针 更具体地说 struct Foo double m d void func
  • 使用python从MAC获取IP地址

    我的本地网络中有一个设备并且知道它的 MAC 地址 它通过 DHCP 自动获取 IP 地址 我想获得这个IP 我不想使用 nmap 但 scapy 就可以了 因为我是从 kivy 应用程序导入的 I found from scapy all
  • Codeigniter 3 中禁止 POST url 403

    您好 专家们 您能给我一个建议吗 为什么我在当前在本地主机上运行的代码点火器上收到此 403 禁止消息 403 禁止 过程是这样的 我使用 ajax 来轻松 顺利地访问和检索从模型 控制器到视图的数据 下图是我在视图到控制器中的代码 div
  • Python:如何在其他函数中使用一个函数中的命名变量

    我是一名新手程序员 试图使用 Python 3 3 2 编写一个程序 该程序具有main 调用的函数function1 然后循环function2 and function3 我的代码通常如下所示 def function1 print h
  • 阻止禁用用户 firebase 规则

    我不确定这是否有效 但我想知道如果用户已被禁用 是否可以在规则中阻止存储 firestore 读 写 这可能吗 上下文 auth 禁用 或者我是否只需要等待令牌过期 用户就被拒绝访问 禁用用户意味着他们无法再登录 也无法刷新其 ID 令牌
  • python 字符串搜索替换

    SSViewer set theme bullsorbit 这是我的绳子 我想在字符串中搜索 SSViewer set theme bullsorbit 并替换 bullsorbit 用另一根绳子 bullsorbit 字符串是动态变化的
  • IE8 内部 HTML 错误

    这个innerHTML代码在IE8中不能可靠地工作 但正在 IE6 IE7 FF Opera Chrome Safari 中工作 通过不可靠地工作 我的意思是我已将此代码放置在各种元素上的 onmouseover 处理程序中 有时当鼠标悬停
  • 表单嵌套在表中时的 jQuery 表单提交

    是否有原因导致表单无法在表内使用 jQuery 提交 或者我只是做错了什么 我已经在表格外测试了表单提交 然后当我将其包装在表格内时 它就停止工作 即使我添加了额外的parent 来弥补上方移动的形式 td 代码中的元素 有人可以帮我解决这
  • AJAX 响应在 C++ 中无效,但在 Apache 中无效

    我想制作一个用 C 编写的服务器来支持我的游戏 我学习了套接字的基础知识 并编写了一个运行良好的基本聊天程序 现在我想创建一个像 Apache 一样的 HTTP 服务器 但仅限于 AJAX 请求响应部分 我想一开始我复制了一个 Apache
  • Rails 3 + PDFKit 问题:权限被拒绝 (Errno::EACCES)

    我想用PDFKit在我的 Rails 3 应用程序中在 Windows 上 我安装了wkhtmltopdf和pdfkit gem 这是我用来创建 PDF 的代码 class JobsController lt ApplicationCont
  • 如何创建 POI Word 格式的电子邮件链接

    如何在电子邮件中创建外部链接或电子邮件链接XWPF文档 有一个描述Excel HSSF XSSF 但我还没有找到与 Word HWPF XWPF 类似的内容 public void example throws Exception XWPF
  • Android Studio:测试:使用 java 8 或更高版本编译的库依赖项

    请帮忙 我在为 android studio 设置测试时经历了一段非常糟糕的时光 我已经从 cucumber github 下载了计算器示例来练习 cumcumber 代码测试 https github com cucumber cucum
  • Pepper 机器人:上传 python 模块

    我正在编程一个辣椒机器人 with 编舞我正在使用一个真正的机器人 我遇到的问题是如何将 python 模块安装到机器人上 因为我需要使用requests包进行 API 调用 我一直在互联网上浏览 但没有找到任何解决方案 出于安全原因 根访
  • 如何从直线访问Metastore?

    我需要做一些 SQL 查询 如here 直接来自 Metasore PS 命令 SHOW DESCRIBE 是not足够的 如何启用它作为数据库的访问 或者 Metastore 的数据库名称是什么 现在 2019年 有可能吗 NOTES W