使用 Spark 和 scala 编写 CSV 文件 - 空引号而不是 Null 值

我正在使用 Spark 2.4.1 和 scala， 并尝试将 DF 写入 csv 文件。 似乎在空值的情况下，csv 包含“”。 是否可以删除那些空引号？

 val data = Seq(
      Row(1, "a"),
      Row(5, "z"),
      Row(5, null)
    )

    val schema = StructType(
      List(
        StructField("num", IntegerType, true),
        StructField("letter", StringType, true)
      )
    )

    var df = spark.createDataFrame(
      spark.sparkContext.parallelize(data),
      schema
    )
  df.write.csv("location/")

输出看起来像：

1,a
5,z
5,""

我希望它是：

1,a
5,z
5,

我应该怎么办？

Thanks!

您可以使用作者的选项查看CSV https://spark.apache.org/docs/latest/sql-data-sources-csv.html#data-source-option具体选项（SaveMode与答案无关）；

 df.write
   .option("nullValue", null)
   .mode(SaveMode.Overwrite)
   .csv("location/")