我正在本地计算机(16G,8 个 cpu 核心)上运行 Spark。我试图在大小为 300MB 的数据集上训练线性回归模型。我检查了CPU统计信息以及正在运行的程序,它只执行一个线程。
文档称他们已经实现了 SGD 的分布式版本。http://spark.apache.org/docs/latest/mllib-线性-methods.html#implementation-developer
from pyspark.mllib.regression import LabeledPoint, LinearRegressionWithSGD, LinearRegressionModel
from pyspark import SparkContext
def parsePoint(line):
values = [float(x) for x in line.replace(',', ' ').split(' ')]
return LabeledPoint(values[0], values[1:])
sc = SparkContext("local", "Linear Reg Simple")
data = sc.textFile("/home/guptap/Dropbox/spark_opt/test.txt")
data.cache()
parsedData = data.map(parsePoint)
model = LinearRegressionWithSGD.train(parsedData)
valuesAndPreds = parsedData.map(lambda p: (p.label,model.predict(p.features)))
MSE = valuesAndPreds.map(lambda (v, p): (v - p)**2).reduce(lambda x, y: x + y) / valuesAndPreds.count()
print("Mean Squared Error = " + str(MSE))
model.save(sc, "myModelPath")
sameModel = LinearRegressionModel.load(sc, "myModelPath")
我认为您想要做的是明确说明要在本地上下文中使用的核心数量。从评论中可以看出here, "local"
(这就是你正在做的)在一个线程上实例化一个上下文,而"local[4]"
将以 4 核运行。相信你也可以使用"local[*]"
在系统上的所有内核上运行。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)