Spark hivecontext 的查询会锁定 hive 表吗?

2024-03-08

我知道如果我从 Hive 提交查询,将获取共享锁,然后 Hive 表将被查询锁定:https://cwiki.apache.org/confluence/display/Hive/Locking https://cwiki.apache.org/confluence/display/Hive/Locking

所以我只是想知道查询是否由 Spark Hivecontext 执行,是否需要锁定以及表是否也会被锁定?另外,如果我通过Spark Hivecontext将数据插入表中,是否需要独占锁?

Thanks


Spark SQL v.1.6 支持,2.x 和 3.x 版本不支持。

https://github.com/apache/spark/blob/branch-2.2/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/SqlBase.g4 https://github.com/apache/spark/blob/branch-2.2/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/SqlBase.g4

unsupportedHiveNativeCommands
...
    | kw1=LOCK kw2=TABLE
    | kw1=LOCK kw2=DATABASE
    | kw1=UNLOCK kw2=TABLE
    | kw1=UNLOCK kw2=DATABASE
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Spark hivecontext 的查询会锁定 hive 表吗? 的相关文章

随机推荐