在spark 1.6中将csv读取为数据框

我有 Spark 1.6 并尝试读取 csv（或 tsv）文件作为数据帧。 以下是我采取的步骤：

scala>  val sqlContext= new org.apache.spark.sql.SQLContext(sc)
scala> import sqlContext.implicits._
scala> val df = sqlContext.read
scala> .format("com.databricks.spark.csv")
scala> .option("header", "true")
scala.option("inferSchema", "true")
scala> .load("data.csv")
scala> df.show()

Error:

<console>:35: error: value show is not a member of org.apache.spark.sql.DataFrameReader df.show()

最后一个命令应该显示数据帧的前几行，但我收到错误消息。任何帮助都感激不尽。

看起来您的函数没有正确链接在一起，并且它试图在 val df 上运行“show()”，这是对 DataFrameReader 类的引用。 如果我运行以下命令，我可以重现您的错误：

val df = sqlContext.read
df.show()

如果你重构代码，它会起作用：

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("data.csv")
df.show()