1、有监督学习：输入数据是带有标签的，称为有监督学习。
2、无监督学习：输入数据是不带标签的，称为无监督学习。
3、局部最优：函数值空间的一个有限区域内寻找最小值，这个最小值，是小于或等于附近点的函数值，但是有可能大于较远距离的点；
4、全局最大值：在函数值空间整个区域内寻找最小值。
1、监督学习
特征：监督学习是利用已知正确答案的实例来训练网络，输入数据要和其标签一一对应。
应用场景：分类问题和回归问题
算法：支持向量机、朴素贝叶斯、逻辑回归、K近邻、决策树、随机森林、AdaBoost以及深度学习。
2、非监督学习
特征：数据没有被标识，适用于无标签的数据集
应用场景：关联规则的学习和聚类等
算法：k-Mean算法、Apriopri算法
特征工程：是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。本质上，特征工程是一个表现和展现的数据的过程。
数据类型有：结构化数据和非结构化数据。
为了消除数据特征之间的量纲影响，需要对特征进行归一化处理，都统一到一个大致相同的数值区间内，使得不同指标之间具有可比性。
常用方法：
（1）、线性函数归一化
（2）、零均值归一化
将原始数据映射到均值为0，标准差为1的分布上。具体来说，假设原始特征的均值为μ、标准差为σ，那么 归一化公式定义为
类别型特征，主要是指性别、血型等只在有限选项内取值的特征。类别型特征原始输入通常是字符串形式，除了决策树等少量模型能直接使用字符串形式的输入，对于逻辑回归、支持向量机等模型来说，类别型特征必须经过处理转化为 数值型才能正常工作。
方法：
（1）、序号编码：
用于处理类别间具有大小关系的数据。
（2）、独热编码
用于处理类别间不具有大小关系的特征。将特征向量变为稀疏向量
注意：
a、使用稀疏向量节省空间。特征向量只有某一维取值为1，其他位置为0。
b、配合特征来降低维度。高维特征问题：一是在K近邻算法中，高维空间下两点之间的距离很难得到有效的衡量；二是在逻辑回归模型中，参数的数量会随着维度的增高而增加；三是通常只有部分维度对分类、预测有帮助，因此要降低维度。
（3）、二进制编码
分为两步，首先用序号编码给每个类别赋予一个ID，然后将类别ID对应的二进制编码作为结果。例如：
为了提高复杂关系的拟合能力，在特征工程中经常把一阶离散特征两两组合，构成高阶组合特征。
将高维分别用k维的低维向量表示出来，参数模型：m * n ——> m * k+n * k
基于决策树的特征寻找
（1）、词袋模型：
通俗上将，就是将每篇文章看成一袋子词，并忽略每个词出现的顺序。正式定义是，将整片文章以词为单位切分开，再把每篇文章看成一个长向量，向量的每一维代表一个词，而该维的权重则是该此在文中的分量。常用TF-IDE计算权重：
TF是单词t在文档d中出现的频率，IDF是逆文档频率，衡量单词t对表达语义所起的重要性
如果一个词在很多文章出现过，就要对其作出惩罚
（2）、主题模型
为了解决词袋模型中无法识别两个不同词或词组具有相同的主题。主题模型是一种特别的概率图模型，假设有K个主题，把任意文章表示成一个K维的主题向量，其中向量的每一维代表一个主题，权重代表这篇文章属于这个主题的概率。主题模型所解决的事情，就是从文本库中发现有代表的主题（得到每个主题上面词的分布），计算出每篇文章对应哪些主题。
a、pLSA主题模型
b、LDA
LDA是pLSA的贝叶斯版本，下面是LDA的图模型，其中α，β分别为两个狄利克雷分布的超参数，为人工设定。
语料库的生成过程为：对每一篇文档di，采用以下操作：
首先，从参数为α的狄利克雷分布中抽取生成文档di的主题分布θi；
然后，对文档di中的每一个词进行下面3个操作：
1)、从代表主题的多项式分布θi中抽取生成它所对应的主题zij
2)、从超参数为β的狄利克雷分布中抽样生成主题zij对应的词分布 zij
3)、从代表词的多项式分布 zij中抽样生成词wij
Word2Vec是一种浅层的神经网络模型，有两种网络结构，分别是CBOW(Continues Bag of Words)和Skip-gram。
CBOW是根据上下文出现的词语来预测当前词的生成的概率，而Skip-gram是根据当前词来预测上下文各词的生成概率。
对于准确率而言，存在正样本和负样本一说，也就是，得到的准确率即便是高达99%，也可能时负样本，即你最不想要得特征。解决这个问题，使用平均准确率（每个类别下的样本准确率的算数平均）作为模型评估的指标。
分类正确的正样本个数占分类器判定为正样本的样本个数（这里面有可能把正样本判定为正样本，也有可能是把负样本判定为正样本）的比例。
分类正确的正样本个数占真正的正样本个数的比例。
为了综合评估一个排序模型的好坏，不仅要看模型在不同 Top N下的Precision@N和Recall@N，而且最好绘制出模型的P-R（Precision- Recall）曲线。这里简单介绍一下P-R曲线的绘制方法。
P-R曲线的横轴是召回率，纵轴是精确率。P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。整条P-R曲线是通过将阈值从高到低移动生成的。下图是P-R曲线样例图。
当召回率接近0时，模型A的精确率为0.9，B接近于1,B得分前几位的样本全部是真正的正样本，而A即便得分最高的几个样本也存在误差。且随着召回率的增加，精确率在下降，所以，只用某个点对应的精确率和召回率是不能全面评估模型的性能的。
是精确率和召回率的调和平均值
对于RMSE，模型在95%的时间里预测误差都小于1%，说明，大部分时间预测效果都是好的，然而RMSE却比较差，可能的原因就是，在其他5%的时间里，存在严重的偏离点。一般要么是去掉这些偏离点，要么是用别的更好的指标，如平均绝对百分比误差（MAPE）,定义是：
Receiver Operating Characteristic Curve，横坐标是假阳性率（False Positive Rate，FPR），纵坐标是真阳性率（True Positive Rate，TPR），
P是真实的正样本数量，N是真实的负样本数，TP是P个正样本中被分类器预测为正样本的个数，FP是N个负样本中被分类器预测为正样本的个数。
评价ROC的好坏，是使用AUC值。AUC是指ROC曲线下的面积大小。AUC值一般在0.5~1之间，值越大，说明分类器越可能把真正的正样本排在前面，分类性能越好。
（1）分析两个特征向量之间的相似性，使用余弦相似度来表示，取值范围是[-1,1]，相同的两个向量之间的相似度为1。1-余弦相似度=余弦距离，取值范围只[0,2]，相似的两个向量余弦距离为0。
（2）在文本、图像、视频等领域，研究对象的特征维度比较高，余弦相似度在高维情况下依然保持“相同是为1，正交时为0，相反时为-1”的性质。
（1）、Holdout检验
将原始数据随机分为训练集和验证集，如训练集占70%，验证集占30%，通过绘制ROC曲线、计算精确率和召回率等评价模型性能；
缺点是：验证集计算出的评估指标与原始分组有很大关系
（2）、交叉验证
将全部样本划分为k个大小相等的样本子集；依次遍历这k个子集，每次把当前的子集作为验证集，其余所有子集作为训练集，进行模型的训练和评估，最后把k次评估指标的平均值作为最终的评估指标，k通常去10。
缺点是：时间开销大
（3）、自助法
对于总数为n的样本集合，进行n次有放回的随机抽样，得到的大小为n的训练集。n次采样过程中，有的样本会被重复采样，有的没有被抽出过，将这些没有抽出的样本作为验证集，进行模型验证，这就是自助法的验证过程。
在自助法的采样过程中，对n个样本进行n次抽样，当n趋向于无穷大时，最终有多少数据从未被采样过的计算过程：
