我正在做一个 POC,我想将一些简单的数据集写入 Redshift。
我有以下 sbt 文件:
name := "Spark_POC"
version := "1.0"
scalaVersion := "2.10.6"
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "2.0.1"
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "2.0.1"
resolvers += "jitpack" at "https://jitpack.io"
libraryDependencies += "com.databricks" %% "spark-redshift" % "3.0.0-preview1"
和以下代码:
object Main extends App{
val conf = new SparkConf().setAppName("Hello World").setMaster("local[2]")
System.setProperty("hadoop.home.dir", "C:\\Users\\Srdjan Nikitovic\\Desktop\\scala\\hadoop")
val spark = SparkSession
.builder()
.appName("Spark 1")
.config(conf)
.getOrCreate()
val tempS3Dir = "s3n://access_key:secret_access_key@bucket_location"
spark.sparkContext.hadoopConfiguration.set("fs.s3n.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "access_key")
spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "secret_access_key")
val data =
spark
.read
.csv("hello.csv")
data.write
.format("com.databricks.spark.redshift")
.option("url", "jdbc:redshift://redshift_server:5439/database?user=user_name&password=password")
.option("dbtable", "public.testSpark")
.option("forward_spark_s3_credentials",true)
.option("tempdir", tempS3Dir)
.mode("error")
.save()
}
我正在本地 Windows 计算机上通过 Intellij 运行代码。
我收到以下错误:
线程“main”中出现异常 java.lang.ClassNotFoundException:无法加载 Amazon Redshift JDBC 驱动程序;有关下载和配置亚马逊官方驱动程序的说明,请参阅自述文件。
我尝试过几乎所有版本的 Spark-Redshift 驱动程序(1.0.0、2.0.0、2.0.1 和现在的 3.0.0-PREVIEW),但我无法让此代码工作。
有什么帮助吗?
您首先需要下载来自 Amazon 的 Redshift JDBC 驱动程序 http://docs.aws.amazon.com/redshift/latest/mgmt/configure-jdbc-connection.html#download-jdbc-driver.
然后你必须在这段代码运行的环境中告诉Spark。例如。为一个spark-shell
在 EMR 上运行:
spark-shell … --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC41.jar
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)