我正在尝试使用 Spark JDBC 连接到 HiveTable,代码如下:
val df = spark.read.format("jdbc").
option("driver", "org.apache.hive.jdbc.HiveDriver").
option("user","hive").
option("password", "").
option("url", jdbcUrl).
option("dbTable", tableName).load()
df.show()
但我得到的返回只是一个带有修改后的列名称的空数据框,如下所示:
--------------|---------------|
tableName.uuid|tableName.name |
--------------|---------------|
我尝试以多种方式读取数据框,但结果总是相同。
我正在使用 JDBC Hive 驱动程序,并且此 HiveTable 位于 EMR 集群中。该代码也在同一个集群中运行。
任何帮助将不胜感激。
谢谢你们。
请在选项中设置 fetchsize 它应该起作用。
Dataset<Row> referenceData
= sparkSession.read()
.option("fetchsize", "100")
.format("jdbc")
.option("url", jdbc.getJdbcURL())
.option("user", "")
.option("password", "")
.option("dbtable", hiveTableName).load();
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)