目录
一、基本操作
二、默认数据源
(一)默认数据源Parquet
(二)案例演示读取Parquet文件
1、在Spark Shell中演示
2、通过Scala程序演示
一、基本操作
Spark SQL提供了两个常用的加载数据和写入数据的方法:load()
方法和save()
方法。load()
方法可以加载外部数据源为一个DataFrame,save()
方法可以将一个DataFrame写入指定的数据源。
二、默认数据源
(一)默认数据源Parquet
默认情况下,load()方法和save()方法只支持Parquet格式的文件,Parquet文件是以二进制方式存储数据的,因此不可以直接读取,文件中包括该文件