1.Logistic Regression(逻辑回归)
逻辑回归是机器学习中的一个非常常见的模型, 逻辑回归模型其实仅在线性回归的基础上,套用了一个逻辑函数。
逻辑回归可以看做是两步,第一步和线性回归模型的形式相同,即一个关于输入x的线性函数:
![](https://img-blog.csdn.net/20180605181112168?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
第二步通过一个逻辑函数,即sigmoid函数,将线性函数转换为非线性函数。
![](https://img-blog.csdn.net/20180605182112672?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
2.损失函数
为了训练逻辑回归模型的参数w和b需要一个代价函数,算法的代价函数是对m个样本的损失函数求和然后除以m:
![](https://img-blog.csdn.net/20180605181552719?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180605181617361?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
3.为什么逻辑回归的损失函数是这样的形式
我们假定输入样本x,用y^表示训练样本x条件下预测y=1的概率,对应的,用1-y^表示训练样本x条件下预测y=0的概率,也就是说:
![](https://img-blog.csdn.net/20180605181650670?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
我们可以把这两个公式合并成一个公式:
![](https://img-blog.csdn.net/20180605181658112?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
可以发现,在y=1时公式右边等于y^,在y=1时公式右边等于1-y^。由于log函数是严格递增函数,所以最大化log等价于最大化原函数,上式因此可以化简为式子,也就是损失函数的负数。
![](https://img-blog.csdn.net/20180605181718447?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
(上式第一个符号应当是+号,感谢评论区细心的小伙伴指出,手动笔芯)
最大化似然函数也就是最小化损失函数。
对于m个样本的整个训练集,服从独立同分布的样本的联合概率就是每个样本的概率的乘积:
![](https://img-blog.csdn.net/20180605181730481?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
同样的,最大化似然函数也就是最小化代价函数,因此可以去掉负号,并除以一个常数m对代价函数进行适当的缩放,得到:
![](https://img-blog.csdn.net/20180605181753177?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTUzNzU5OQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
4.参考资料
以上是解释在逻辑回归中为什么设定这样的损失函数,对之后的深度学习的损失函数原理做一定启发。参考资料是Andrew Ng在Coursera上的neural networks and deep learning课程:
Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera