我想从 Spark 读取一个巨大的 MongoDB 集合，创建一个持久的 RDD 并对其进行进一步的数据分析。
有什么办法可以更快地从 MongoDB 读取数据。
尝试过MongoDB Java + Casbah的方法
我可以使用worker/slave从MongoDB并行读取数据，然后将其保存为持久数据并使用它吗？
有两种方法可以将数据从 MongoDB 获取到 Apache Spark。
方法一：
使用 Casbah（MongoDB Java 驱动程序层）
val uriRemote = MongoClientURI("mongodb://RemoteURL:27017/")
val mongoClientRemote = MongoClient(uriRemote)
val dbRemote = mongoClientRemote("dbName")
val collectionRemote = dbRemote("collectionName")
val ipMongo = collectionRemote.find
val ipRDD = sc.makeRDD(ipMongo.toList)
ipRDD.saveAsTextFile("hdfs://path/to/hdfs")
这里我们使用 Scala 和 Casbah 首先获取数据，然后将其保存到 HDFS。
方法二：我们使用的Spark Worker
更好的代码版本：使用Spark Worker和多核来在短时间内获取数据。
val config = new Configuration()
config.set("mongo.job.input.format","com.mongodb.hadoop.MongoInputFormat")
config.set("mongo.input.uri", "mongodb://RemoteURL:27017/dbName.collectionName")
val keyClassName = classOf[Object]
val valueClassName = classOf[BSONObject]
val inputFormatClassName = classOf[com.mongodb.hadoop.MongoInputFormat]
val ipRDD = sc.newAPIHadoopRDD(config,inputFormatClassName,keyClassName,valueClassName)
ipRDD.saveAsTextFile("hdfs://path/to/hdfs")
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
