HuggingFace 评估微调的零样本模型

我正在微调 HuggingFacefacebook/bart-large-mnli为了满足我的需要，我使用以下参数：

training_args = TrainingArguments(
    output_dir=model_directory,      # output directory
    num_train_epochs=30,              # total number of training epochs
    per_device_train_batch_size=1,  # batch size per device during training - 16 - Don't go over 1, it's out of memory
    per_device_eval_batch_size=2,   # batch size for evaluation - 64 - Don't go over 2, it's out of memory
    warmup_steps=500,                 # number of warmup steps for learning rate scheduler - 500
    weight_decay=0.01,               # strength of weight decay
)

model = BartForSequenceClassification.from_pretrained("facebook/bart-large-mnli")

trainer = Trainer(
    model=model,                          # the instantiated ???? Transformers model to be trained
    args=training_args,                   # training arguments, defined above
    compute_metrics=compute_metrics,      # a function to compute the metrics
    train_dataset=train_dataset,          # training dataset
    eval_dataset=test_dataset             # evaluation dataset
)

# Train the trainer
trainer.train()

The compute_metrics我用的是：

import numpy as np
from datasets import Dataset, load_metric
from transformers import EvalPrediction

def compute_metrics(p: EvalPrediction):
  metric_acc = load_metric("accuracy")
  preds = p.predictions[0] if isinstance(p.predictions, tuple) else p.predictions
  preds = np.argmax(preds, axis=1)
  result = {}
  result["accuracy"] = metric_acc.compute(predictions=preds, references=p.label_ids)["accuracy"]
  return result

但无论我使用多少训练或测试数据，或者多少个纪元，当我使用trainer.evaluate()我得到的准确度为 0.5。

我的问题是：

1. 我该如何改进它？
2. 如何实施其他评估指标？例如 F1 分数。

我尝试更改（添加）指标：

def compute_metrics(p: EvalPrediction):
  load_accuracy = load_metric("accuracy")
  load_f1 = load_metric("f1")
  preds = p.predictions[0] if isinstance(p.predictions, tuple) else p.predictions
  preds = np.argmax(preds, axis=1)
  result = {}
  result["accuracy"] = load_accuracy.compute(predictions=preds, references=p.label_ids)["accuracy"]
  result["f1"] = load_f1.compute(predictions=preds, references=p.label_ids)["f1"]
  return result

但后来我在运行时遇到了这个错误trainer.evaluate():

ValueError: pos_label=1 不是有效标签。它应该是 [0, 2] 之一

您可以参考我之前的问题以了解有关我的微调的更多详细信息here

Update:

这是我使用的标记器：

from transformers import BartTokenizerFast
tokenizer = BartTokenizerFast.from_pretrained('facebook/bart-large-mnli')

正如我在其他相关问题中所述，this是我用来创建和转换数据集的

正如我上面所写的，您可以参考我的链接问题以获取有关我所有流程的更多数据，我觉得没有必要再次将所有内容放入每个问题中，如果我错了，请纠正我。

0.5 并不是一个令人满意的准确度分数。

回答你的第一个问题。如何改进呢？

正如您所提到的，您已经尝试增加纪元数和批量大小。您可以尝试使用不同的优化器而不是 AdamW 进行训练，并使用不同的权重衰减。

尝试使用 SGD 或 Adagrad。

• 与 AdamW 相比，它们需要调整的超参数更少。这可以使它们更容易调整，并且对于不同的数据集和架构更加稳健。

• 通过根据历史梯度调整每个参数的学习率，可以帮助模型收敛到更好的解决方案。这在损失情况复杂且模型需要遍历许多局部最小值以找到全局最小值的任务中特别有用。

    # for using SGD
    from transformers import AdamW, get_linear_schedule_with_warmup, SGD
  
    training_args = TrainingArguments(
        output_dir=model_directory,      
        num_train_epochs=30,              
        per_device_train_batch_size=1,  
        per_device_eval_batch_size=2,   
        warmup_steps=500,                 
        weight_decay=0.01,              
        learning_rate=0.01,              
        optimizer_type=SGD,             
        optimizer_params={"momentum": 0.9}  # specify the optimizer hyperparameters
    )
  

这里的“动量”用于通过将先前更新的一小部分添加到模型参数的当前更新来加速优化算法的收敛。减少值以找到最合适的值。

 # For using Adagrad
from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir=model_directory,      
    num_train_epochs=30,              
    per_device_train_batch_size=1,  
    per_device_eval_batch_size=2,   
    warmup_steps=500,                 
    weight_decay=0.01,               
    learning_rate=0.01,              
    optimizer_type="Adagrad",        
    optimizer_params={"initial_accumulator_value": 0.1}  # specify the optimizer hyperparameters
)

这里'initial_accumulator_value'是每个参数的历史梯度累加器的初始值。这是每个参数的梯度平方的运行和，用于在训练期间调整每个参数的学习率。尝试改变值。

回答第二个问题。

尝试将平均参数添加为“宏”以计算多类分类的 F1 分数。我相信您的数据集标签编码时存在一些错误。如果您正在进行二元分类，则 0 或 2 是 pos_label 的有效值，具体取决于您想要将其视为正标签。

# for Multi-class classification
import numpy as np
from datasets import Dataset, load_metric
from transformers import EvalPrediction

def compute_metrics(p: EvalPrediction):
  metric_acc = load_metric("accuracy")
  metric_f1 = load_metric("f1")
  preds = p.predictions[0] if isinstance(p.predictions, tuple) else p.predictions
  preds = np.argmax(preds, axis=1)
  result = {}
  result["accuracy"] = metric_acc.compute(predictions=preds, references=p.label_ids)["accuracy"]
  result["f1"] = metric_f1.compute(predictions=preds, references=p.label_ids, average='macro')["f1"]
  return result