统计学习方法- 感知机

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。

1 感知模型 

 定义：

2 感知机学习策略

数据集的线性可分性

感知机学习策略是假设空间中选取使损失函数最小的模型参数w，b即感知模型

 3.感知机学习算法

感知机学习问题转化为求解损失函数的最优化问题，最优化的方法是随机梯度下降法。

感知机学习算法的原始形式：

 感知机收敛性：感知机学习算法存在许多解，这些解依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序，为了得到唯一的超平面，需要对分离超平面增加约束条件。当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。

感知机学习算法的对偶形式：与原始形式一样，感知机学习算法的对偶形式迭代是收敛的，存在多个解。