我有一个 Spark 结构化流：
val df = spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("startingOffsets", "earliest")
.option("endingOffsets", "latest")
.option("subscribe", "topic")
.load()
我想使用 DataStreamWriter 将数据写入文件系统，
val query = df
.writeStream
.outputMode("append")
.format("parquet")
.start("data")
但正在创建零个文件data文件夹。仅有的_spark_metadata正在被创建。
但是，我可以在控制台上看到数据format is console:
val query = df
.writeStream
.outputMode("append")
.format("console")
.start()
+--------------------+------------------+------------------+
| time| col1| col2|
+--------------------+------------------+------------------+
|49368-05-11 20:42...|0.9166470338147503|0.5576946794171861|
+--------------------+------------------+------------------+
我无法理解其背后的原因。
火花 - 2.1.0
我遇到了类似的问题，但出于不同的原因，在这里发帖以防有人遇到同样的问题。当使用水印以追加模式将输出流写入文件时，结构化流有一个有趣的行为，即直到时间段早于水印时间之前，它实际上不会写入任何数据。如果您正在测试结构化流并有一个小时长的水印，那么您至少在一个小时内不会看到任何输出。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
