java.lang.IllegalArgumentException:无法获取数组 的 JDBC 类型

2023-12-24

我想将输出数据导入到mysql数据库中,但是出现以下错误,我不会将数组转换为所需的字符串类型,可以帮助我吗?

 val Array(trainingData, testData) = msgDF.randomSplit(Array(0.9, 0.1))
    val pipeline = new Pipeline().setStages(Array(labelIndexer, word2Vec, mlpc, labelConverter))
    val model = pipeline.fit(trainingData)
    val predictionResultDF = model.transform(testData)
    val rows = predictionResultDF.select("song", "label", "predictedLabel")
    val df = rows.registerTempTable("song_classify")
    val sqlcommand = "select * from song_classify"
    val prop = new java.util.Properties
    prop.setProperty("user", "root")
    prop.setProperty("password", "123")
    sqlContext.sql(sqlcommand)
      .write.mode(SaveMode.Append).jdbc("jdbc:mysql://localhost:3306/yuncun", "song_classify", prop)
    sc.stop

这是控制台输出

Exception in thread "main" java.lang.IllegalArgumentException: Can't get JDBC type for array<string>
    at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$org$apache$spark$sql$execution$datasources$jdbc$JdbcUtils$$getJdbcType$2.apply(JdbcUtils.scala:148)
    at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$org$apache$spark$sql$execution$datasources$jdbc$JdbcUtils$$getJdbcType$2.apply(JdbcUtils.scala:148)
    at scala.Option.getOrElse(Option.scala:121)

我想将以下数据存储在mysql数据库中

+---------+-----+--------------+
|     song|label|predictedLabel|
+---------+-----+--------------+
|   [一吻天荒]|    1|             2|
|  [有一点动心]|    1|             2|
|   [有你真好]|    1|             2|
|  [永远不分开]|    1|             2|
|[我要我们在一起]|    2|             2|
|  [后来的我们]|    2|             2|
|     [喜欢]|    2|             2|
|     [夜车]|    2|             2|
|   [寂寞疯了]|    2|             2|
|     [拥抱]|    2|             2|
|   [方圆几里]|    2|             2|
|   [时间煮雨]|    2|             2|
|    [爱上你]|    2|             2|
|     [献世]|    2|             2|
|   [说散就散]|    2|             2|
+---------+-----+--------------+

但第一列是一个数组,因此程序出现错误

你能帮我提出一个改变计划吗?谢谢


您需要删除columns with array在写入数据库之前键入。

您可以创建一个string用逗号分隔列类型array as

val datafrme = ??

import org.apache.spark.sql.functions._

dataframe.withColumn("song", concat_ws(",", $"song"))
// then write to database
    .write.mode(SaveMode.Append).jdbc("url", "song_classify", prop)

concat_ws创建一个字符串,其中的值array提供分隔符。

希望这可以帮助!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

java.lang.IllegalArgumentException:无法获取数组 的 JDBC 类型 的相关文章

随机推荐