如何在 scipy.optimize 中使用 fmin_cg 获得正确的尺寸

我一直在尝试使用 fmin_cg 来最小化逻辑回归的成本函数。

xopt = fmin_cg(costFn, fprime=grad, x0= initial_theta, 
                                 args = (X, y, m), maxiter = 400, disp = True, full_output = True )

这就是我调用 fmin_cg 的方式

这是我的 CostFn：

def costFn(theta, X, y, m):
    h = sigmoid(X.dot(theta))
    J = 0
    J = 1 / m * np.sum((-(y * np.log(h))) - ((1-y) * np.log(1-h)))
    return J.flatten()

这是我的毕业生：

def grad(theta, X, y, m):
    h = sigmoid(X.dot(theta))
    J = 1 / m * np.sum((-(y * np.log(h))) - ((1-y) * np.log(1-h)))
    gg = 1 / m * (X.T.dot(h-y))
    return gg.flatten()

它似乎抛出这个错误：

/Users/sugethakch/miniconda2/lib/python2.7/site-packages/scipy/optimize/linesearch.pyc in phi(s)
     85     def phi(s):
     86         fc[0] += 1
---> 87         return f(xk + s*pk, *args)
     88 
     89     def derphi(s):

ValueError: operands could not be broadcast together with shapes (3,) (300,) 

我知道这和我的身材有关。但我似乎无法弄清楚。 我是菜鸟，所以我可能会犯一个明显的错误。

我已阅读此链接：

fmin_cg：由于精度损失，不一定能达到期望的误差 https://stackoverflow.com/questions/33853929/fmin-cg-desired-error-not-necessarily-achieved-due-to-precision-loss

但是，它似乎对我不起作用。

有什么帮助吗？

更新了 X、y、m、theta 的尺寸

(100, 3) ----> X

(100, 1) -----> y

100---->米

(3, 1) ----> 西塔

这就是我初始化 X,y,m 的方式：

data = pd.read_csv('ex2data1.txt', sep=",", header=None)                        
data.columns = ['x1', 'x2', 'y']                                                       
x1 = data.iloc[:, 0].values[:, None]                                                     
x2 = data.iloc[:, 1].values[:, None]                                                    
y = data.iloc[:, 2].values[:, None]
# join x1 and x2 to make one array of X
X = np.concatenate((x1, x2), axis=1)
m, n = X.shape

ex2data1.txt：

34.62365962451697,78.0246928153624,0
30.28671076822607,43.89499752400101,0
35.84740876993872,72.90219802708364,0
.....

如果有帮助的话，我正在尝试用 python 重新编写 Andrew Ng 的 Coursera ML 课程的作业之一

最后，我弄清楚了我最初的程序中的问题所在。

我的 'y' 是 (100, 1) 并且 fmin_cg 期望 (100, )。一旦我压平我的“y”，它就不再抛出最初的错误。但是，优化仍然不起作用。

 Warning: Desired error not necessarily achieved due to precision loss.
     Current function value: 0.693147
     Iterations: 0
     Function evaluations: 43
     Gradient evaluations: 41

这与我在没有优化的情况下实现的效果相同。

我发现优化这个的方法是使用“Nelder-Mead”方法。我遵循了这个答案：scipy 未优化并返回“由于精度损失不一定实现所需的错误” https://stackoverflow.com/questions/24767191/scipy-is-not-optimizing-and-returns-desired-error-not-necessarily-achieved-due

Result = op.minimize(fun = costFn, 
                x0 = initial_theta, 
                args = (X, y, m),
                method = 'Nelder-Mead',
                options={'disp': True})#,
                #jac = grad)

此方法不需要“雅可比”。 我得到了我想要的结果

Optimization terminated successfully.
     Current function value: 0.203498
     Iterations: 157
     Function evaluations: 287