使用 LightGBM 进行多类分类

2024-05-20

我正在尝试使用 Python 中的 LightGBM 为多类分类问题(3 类)建模分类器。我使用了以下参数。

params = {'task': 'train',
    'boosting_type': 'gbdt',
    'objective': 'multiclass',
    'num_class':3,
    'metric': 'multi_logloss',
    'learning_rate': 0.002296,
    'max_depth': 7,
    'num_leaves': 17,
    'feature_fraction': 0.4,
    'bagging_fraction': 0.6,
    'bagging_freq': 17}

数据集的所有分类特征均使用标签编码LabelEncoder。我在运行后训练了模型cv with eartly_stopping如下所示。

lgb_cv = lgbm.cv(params, d_train, num_boost_round=10000, nfold=3, shuffle=True, stratified=True, verbose_eval=20, early_stopping_rounds=100)

nround = lgb_cv['multi_logloss-mean'].index(np.min(lgb_cv['multi_logloss-mean']))
print(nround)

model = lgbm.train(params, d_train, num_boost_round=nround)

训练后,我用这样的模型进行了预测,

preds = model.predict(test)
print(preds)             

我得到了一个嵌套数组作为输出,如下所示。

[[  7.93856847e-06   9.99989550e-01   2.51164967e-06]
 [  7.26332978e-01   1.65316511e-05   2.73650491e-01]
 [  7.28564308e-01   8.36756769e-06   2.71427325e-01]
 ..., 
 [  7.26892634e-01   1.26915179e-05   2.73094674e-01]
 [  5.93217601e-01   2.07172044e-04   4.06575227e-01]
 [  5.91722491e-05   9.99883828e-01   5.69994435e-05]]

正如每个列表中preds代表我使用的类别概率np.argmax()找到这样的课程..

predictions = []

for x in preds:
    predictions.append(np.argmax(x))

在分析预测时,我发现我的预测仅包含 2 个类 - 0 和 1。第 2 类是训练集中的第二大类,但在预测中找不到它。在评估结果时,它给出了大约78%准确性。

那么,为什么我的模型在任何情况下都没有预测 2 类?我使用的参数有问题吗?

这不是解释模型做出的预测的正确方法吗?我应该对参数进行任何更改吗?


尝试通过交换类 0 和 2 并重新运行训练和预测过程来排除故障。

如果新的预测仅包含类别 1 和类别 2(很可能考虑到您提供的数据):

  • 分类器可能没有学过第三类;也许它的特征与较大类的特征重叠,并且分类器默认为较大类,以便最小化目标函数。尝试提供平衡的训练集(每个类的样本数量相同)并重试。

如果新的预测确实包含所有 3 个类别:

  • 您的代码某处出了问题。需要更多信息来确定到底出了什么问题。

希望这可以帮助。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 LightGBM 进行多类分类 的相关文章

随机推荐