基于sklearn的分类与回归基础总结

一、分类

一、数据类型
1、python自带类型

 list    #列表
 tuple   #元组，类似列表，不允许修改，只能被查询
 dict    #字典
 set     #集和，不允许重复元素，类似于无值的字典
 my_set = {'123','456',89,True}

2、numpy包中多维数组ndarray
ndarray内存方式优于列表，还允许矢量运算，存储数据类型一致的元素

#loadtxt方法可将指定文件（txt或csv）中的数据加载到数组，返回ndarray类型
#当读取的原始表格数据类型不一致时，会尝试转换为一致，不成功则报错
import numpy as np
x=np.loadtxt(../xxx.csv,delimiter=',')
y=np.array([1,2,3])

3、pandas包中dataframe二维表格结构
（其他创建方式见这条博客）

#通过读取文件方式创建
import pandas as pd
#参数header表示每行的索引，names表示列标题
df_train = pd.read_csv('../train.csv',header=None,names=['sepal,'sepal_wid','target'])

通过values进行访问,返回ndarray结构数组

df_train.values
#输出
array([[2000, 'Ohio', 1.5, 0],
       [2001, 'Ohio', 1.7, 1],
       [2002, 'Ohio', 3.6, 2],
       [2001, 'Nevada', 2.4, 3],
       [2002, 'Nevada', 2.9, 4]], dtype=object)

pd.series()    #带有索引index的一维数组
value.counts() #查看数量和类别分布

二、分类器

#逻辑斯蒂回归
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(X_train, y_train)
lr_y_predict = lr.predict(X_test)
lr.score(X_test, y_test)

#随机梯度参数
from sklearn.linear_model import SGDClassifier
sgdc = SGDClassifier()

#支持向量分类器
from sklearn.svm import LinearSVC
lsvc = LinearSVC()

#朴素贝叶斯分类器
from sklearn.naive_bayes import MultinomialNB
mnb = MultinomialNB()

#k近邻分类器
from sklearn.neighbors import KNeighborsClassifier
knc = KNeighborsClassifier()

#决策树分类器
from sklearn.tree import DecisionTreeClassifier
dtc = DecisionTreeClassifier()

#集成模型
#随机森林
from sklearn.ensemble import RandomForestClassifier
rfc = RandomForestClassifier()
#梯度提升决策树
from sklearn.ensemble import GradientBoostingClassifier
gbc = GradientBoostingClassifier()

三、数据标准化

对之前部分trainData进行fit的整体指标，对剩余的数据（testData）使用同样的均值、方差、最大最小值等指标进行转换transform(testData)，从而保证train、test处理方式相同。
对于回归，由于预测值也为连续，所以对标签也需要标准化

#标准化数据，保证每个维度的特征数据方差为1，均值为0。使得预测结果不会被某些维度过大的特征值而主导。
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
X_train = ss.fit_transform(X_train)
X_test = ss.transform(X_test)

文本特征提取

CountVectorizer：只考虑词汇在文本中出现的频率。
TfidfVectorizer：除了考量某词汇在文本出现的频率，还关注包含这个词汇的所有文本的数量，能够削减高频没有意义的词汇出现带来的影响, 挖掘更有意义的特征。

#将文本转化为特征向量
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
vec = CountVectorizer()
tfvec = TfidfVectorizer()
X_train = vec.fit_transform(X_train)
X_test = vec.transform(X_test)

决策树特征转换

有多少特征值就产生多少特征
https://blog.csdn.net/Jon_Sheng/article/details/79693971

from sklearn.feature_extraction import DictVectorizer
dict_vec = DictVectorizer(sparse=False)# #sparse=False意思是不产生稀疏矩阵
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
X_test = vec.transform(X_test.to_dict(orient='record'))

DataFrame.to_dict（orient='record'）
#将DataFrame格式的数据转化成字典形式

https://blog.csdn.net/weixin_30577801/article/details/101335405
四、数据划分

from sklearn.model_selection import train_test_split
# 随机选取75%的数据作为训练样本；其余25%的数据作为测试样本。
X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.25, random_state=33)
#train_data：被划分的样本特征集
#train_target：被划分的样本标签
#test_size：如果是浮点数，在0-1之间，表示样本占比；如果是整数的话就是样本的数量
#random_state：是随机数的种子。

五、分类结果报告

分析精确率，召回率，F 等

# 依然使用sklearn.metrics里面的classification_report模块对预测结果做更加详细的分析。
from sklearn.metrics import classification_report
print (classification_report(y_test, y_predict, target_names=digits.target_names.astype(str)))

六、绘图

import matplotlib.pyplot as plt

#生成Scatter散点图
plt.scatter(x,y,s=20,c='b',marker='x')
#x，y：表示的是shape大小为(n,)的数组，也就是我们即将绘制散点图的数据点，输入数据。
#s：表示的是大小，是一个标量或者是一个shape大小为(n,)的数组，可选，默认20。
#c：表示的是色彩或颜色序列
#marker：MarkerStyle，表示的是标记的样式，可选，默认’o’。

x = [1, 2, 3, 4] y = [1, 2, 20, 50] 
# 创建一个画布 plt.figure() 
# 创建一条线 plt.plot(x, y) 
# 展现画布 plt.show()

二、回归

一、分类器

# 使用默认配置初始化线性回归器LinearRegression。
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
# 使用默认配置初始化线性回归器SGDRegressor。
from sklearn.linear_model import SGDRegressor
sgdr = SGDRegressor()

# 使用线性核函数配置的支持向量机进行回归训练，并且对测试样本进行预测。
from sklearn.svm import SVR
linear_svr = SVR(kernel='linear')
# 使用多项式核函数配置的支持向量机进行回归训练，并且对测试样本进行预测。
poly_svr = SVR(kernel='poly')
# 使用径向基核函数配置的支持向量机进行回归训练，并且对测试样本进行预测。
rbf_svr = SVR(kernel='rbf')

# 初始化K近邻回归器，并且调整配置，使得预测的方式为平均回归：weights='uniform'。
from sklearn.neighbors import KNeighborsRegressor
uni_knr = KNeighborsRegressor(weights='uniform')
# 初始化K近邻回归器，并且调整配置，使得预测的方式为根据距离加权回归：weights='distance'。
dis_knr = KNeighborsRegressor(weights='distance')

# 使用默认配置初始化DecisionTreeRegressor。
from sklearn.tree import DecisionTreeRegressor
dtr = DecisionTreeRegressor()

# 使用RandomForestRegressor训练模型，并对测试数据做出预测，结果存储在变量rfr_y_predict中。
from sklearn.ensemble import RandomForestRegressor, ExtraTreesRegressor, GradientBoostingRegressor
rfr = RandomForestRegressor()
# 使用ExtraTreesRegressor训练模型，并对测试数据做出预测，结果存储在变量etr_y_predict中。
etr = ExtraTreesRegressor()
# 使用GradientBoostingRegressor训练模型，并对测试数据做出预测，结果存储在变量gbr_y_predict中。
gbr = GradientBoostingRegressor()

二、评价方式

from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error

# 使用r2_score模块，并输出评估结果。和lr.score(X_test, y_test)结果相同
print ('The value of R-squared of LinearRegression is', r2_score(y_test, lr_y_predict))

# 使用mean_squared_error模块，并输出评估结果。
print ('The mean squared error of LinearRegression is', mean_squared_error(ss_y.inverse_transform(y_test), ss_y.inverse_transform(lr_y_predict)))

# 使用mean_absolute_error模块，并输出评估结果。
print ('The mean absoluate error of LinearRegression is', mean_absolute_error(ss_y.inverse_transform(y_test), ss_y.inverse_transform(lr_y_predict)))