如何正确使用 scikit-learn 的高斯过程进行 2D 输入、1D 输出回归？

在发帖之前我做了很多搜索并发现这个问题 https://stackoverflow.com/questions/21320964/how-to-make-a-2d-gaussian-process-using-gpml-matlab-for-regression这可能正是我的问题。但是，我尝试了答案中提出的内容，但不幸的是这并没有解决它，而且我无法添加评论来请求进一步的解释，因为我是这里的新成员。

无论如何，我想在 Python 中将高斯过程与 scikit-learn 结合使用，从一个简单但真实的案例开始（使用 scikit-learn 文档中提供的示例）。我有一个 2D 输入集（8 对 2 个参数），称为X。我有 8 个相应的输出，聚集在一维数组中y.

#  Inputs: 8 points 
X = np.array([[p1, q1],[p2, q2],[p3, q3],[p4, q4],[p5, q5],[p6, q6],[p7, q7],[p8, q8]])

# Observations: 8 couples
y = np.array([r1,r2,r3,r4,r5,r6,r7,r8])

我定义了一个输入测试空间x:

# Input space
x1 = np.linspace(x1min, x1max) #p
x2 = np.linspace(x2min, x2max) #q
x = (np.array([x1, x2])).T

然后我实例化 GP 模型，将其拟合到我的训练数据中(X,y)，并进行一维预测y_pred在我的输入空间上x:

from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C

kernel = C(1.0, (1e-3, 1e3)) * RBF([5,5], (1e-2, 1e2))
gp = GaussianProcessRegressor(kernel=kernel, n_restarts_optimizer=15)
gp.fit(X, y)
y_pred, MSE = gp.predict(x, return_std=True)

然后我制作了一个 3D 绘图：

fig = pl.figure()
ax = fig.add_subplot(111, projection='3d')
Xp, Yp = np.meshgrid(x1, x2)
Zp = np.reshape(y_pred,50)

surf = ax.plot_surface(Xp, Yp, Zp, rstride=1, cstride=1, cmap=cm.jet,
linewidth=0, antialiased=False)
pl.show()

这是我得到的：

当我修改内核参数时，我得到这样的信息，类似于我上面提到的海报得到的信息：

这些图甚至与原始训练点的观察结果不匹配（[65.1,37] 获得较低响应，[92.3,54] 获得最高响应）。

我对 2D GP 相当陌生（不久前也开始使用 Python），所以我想我在这里遗漏了一些东西......任何答案都会有帮助并且非常感谢，谢谢！

您正在使用两个特征来预测第三个特征。而不是像这样的 3D 绘图plot_surface，如果您使用能够显示有关第三维信息的二维图，通常会更清楚，例如hist2d or pcolormesh。这是一个使用与问题中类似的数据/代码的完整示例：

from itertools import product
import numpy as np
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C

X = np.array([[0,0],[2,0],[4,0],[6,0],[8,0],[10,0],[12,0],[14,0],[16,0],[0,2],
                    [2,2],[4,2],[6,2],[8,2],[10,2],[12,2],[14,2],[16,2]])

y = np.array([-54,-60,-62,-64,-66,-68,-70,-72,-74,-60,-62,-64,-66,
                    -68,-70,-72,-74,-76])

# Input space
x1 = np.linspace(X[:,0].min(), X[:,0].max()) #p
x2 = np.linspace(X[:,1].min(), X[:,1].max()) #q
x = (np.array([x1, x2])).T

kernel = C(1.0, (1e-3, 1e3)) * RBF([5,5], (1e-2, 1e2))
gp = GaussianProcessRegressor(kernel=kernel, n_restarts_optimizer=15)

gp.fit(X, y)

x1x2 = np.array(list(product(x1, x2)))
y_pred, MSE = gp.predict(x1x2, return_std=True)

X0p, X1p = x1x2[:,0].reshape(50,50), x1x2[:,1].reshape(50,50)
Zp = np.reshape(y_pred,(50,50))

# alternative way to generate equivalent X0p, X1p, Zp
# X0p, X1p = np.meshgrid(x1, x2)
# Zp = [gp.predict([(X0p[i, j], X1p[i, j]) for i in range(X0p.shape[0])]) for j in range(X0p.shape[1])]
# Zp = np.array(Zp).T

fig = plt.figure(figsize=(10,8))
ax = fig.add_subplot(111)
ax.pcolormesh(X0p, X1p, Zp)

plt.show()

Output:

看起来有点普通，但我的示例数据也是如此。一般来说，您不应期望通过这几个数据点得到特别有趣的结果。

另外，如果你确实想要曲面图，你可以直接替换pcolormesh与您最初拥有的一致（或多或少）：

ax = fig.add_subplot(111, projection='3d')            
surf = ax.plot_surface(X0p, X1p, Zp, rstride=1, cstride=1, cmap='jet', linewidth=0, antialiased=False)

Output: