Keras 文本预处理 - 将 Tokenizer 对象保存到文件中以进行评分

我按照以下步骤（大致）使用 Keras 库训练了一个情感分类器模型。

1. 使用 Tokenizer 对象/类将文本语料库转换为序列
2. 使用 model.fit() 方法构建模型
3. 评估这个模型

现在，为了使用此模型进行评分，我可以将模型保存到文件中并从文件加载。但是我还没有找到将 Tokenizer 对象保存到文件的方法。如果没有这个，每次我需要对单个句子进行评分时，我都必须处理语料库。有没有解决的办法？

最常见的方法是使用pickle https://docs.python.org/3/library/pickle.html or joblib https://pypi.python.org/pypi/joblib。这里有一个关于如何使用的示例pickle为了节省Tokenizer:

import pickle

# saving
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

# loading
with open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)