我正在使用气流来安排管道,这将导致使用人工智能平台训练 scikitlearn 模型。我用这个 DAG 来训练它
with models.DAG(JOB_NAME,
schedule_interval=None,
default_args=default_args) as dag:
# Tasks definition
training_op = MLEngineTrainingOperator(
task_id='submit_job_for_training',
project_id=PROJECT,
job_id=job_id,
package_uris=[os.path.join(TRAINER_BIN)],
training_python_module=TRAINER_MODULE,
runtime_version=RUNTIME_VERSION,
region='europe-west1',
training_args=[
'--base-dir={}'.format(BASE_DIR),
'--event-date=20200212',
],
python_version='3.5')
training_op
训练包加载所需的 csv 文件并在其上训练 RandomForestClassifier。
在文件的数量和大小增加之前,这种方法可以正常工作。然后我得到这个错误:
ERROR - The replica master 0 ran out-of-memory and exited with a non-zero status of 9(SIGKILL). To find out more about why your job exited please check the logs:
文件的总大小约为 4 GB。我不知道使用的默认机器是什么,但这似乎还不够。希望这能解决内存消耗问题我尝试更改参数n_jobs
的分类器来自-1
to 1
,不再有运气。
查看 MLEngineTrainingOperator 的代码和文档,我添加了一个自定义的scale_tier和一个master_type n1-highmem-8、8个CPU和52GB的RAM,如下所示:
with models.DAG(JOB_NAME,
schedule_interval=None,
default_args=default_args) as dag:
# Tasks definition
training_op = MLEngineTrainingOperator(
task_id='submit_job_for_training',
project_id=PROJECT,
job_id=job_id,
package_uris=[os.path.join(TRAINER_BIN)],
training_python_module=TRAINER_MODULE,
runtime_version=RUNTIME_VERSION,
region='europe-west1',
master_type="n1-highmem-8",
scale_tier="custom",
training_args=[
'--base-dir={}'.format(BASE_DIR),
'--event-date=20200116',
],
python_version='3.5')
training_op
这导致了另一个错误:
ERROR - <HttpError 400 when requesting https://ml.googleapis.com/v1/projects/MY_PROJECT/jobs?alt=json returned "Field: master_type Error: Master type must be specified for the CUSTOM scale tier.">
我不知道出了什么问题,但似乎这不是这样做的方法。
编辑:使用命令行我设法启动该作业:
gcloud ai-platform jobs submit training training_job_name --packages=gs://path/to/package/package.tar.gz --python-version=3.5 --region=europe-west1 --runtime-version=1.14 --module-name=trainer.train --scale-tier=CUSTOM --master-machine-type=n1-highmem-16
不过我想在气流中做到这一点。
任何帮助将非常感激。
编辑:我的环境使用旧版本的 apache airflow 1.10.3,其中不存在 master_type 参数。
更新版本到1.10.6解决了这个问题