我使用 Gitlab CI 脚本缓存了 Pip 包,所以这不是问题。
现在我还想赶上Conda虚拟环境,因为它减少了设置环境的时间。
我缓存了一个虚拟环境。不幸的是,最后需要很长时间才能缓存所有 venv 文件。
我尝试仅缓存$CI_PROJECT_DIR/myenv/lib/python3.6/site-packages
文件夹,它似乎减少了管道的运行时间。
我的问题是:我做得正确吗?
脚本如下:
gitlab-ci.yml
image: continuumio/miniconda3:latest
cache:
paths:
- .pip
- ls -l $CI_PROJECT_DIR/myvenv/lib/python3.6/site-packages
- $CI_PROJECT_DIR/myvenv/lib/python3.6/site-packages
before_script:
- chmod +x gitlab-ci.sh
- ./gitlab-ci.sh
stages:
- test
test:
stage: test
script:
- python eval.py
gitlab-ci.sh
#!/usr/bin/env bash
ENV_NAME=myenv
ENV_REQUIREMENTS=requirements.txt
if [ ! -d $ENV_NAME ]; then
echo "Environment $ENV_NAME does not exist. Creating it now!"
conda create --path --prefix "$CI_PROJECT_DIR/$ENV_NAME"
fi
echo "Activating environment: $CI_PROJECT_DIR/$ENV_NAME"
source activate "$CI_PROJECT_DIR/$ENV_NAME"
echo "Installing PIP"
conda install -y pip
echo "PIP: installing required packages"
echo `which pip`
pip --cache-dir=.pip install -r "$ENV_REQUIREMENTS"
在构建之间重用 pip 缓存是一个非常好的主意,但对 virtualenvs 做同样的事情是一个非常糟糕的主意。
这是因为 virtualenv 很容易变得混乱,而您在运行时无法真正检测到。这种情况不仅会发生,而且发生的频率比您想象的要高,因此请避免这种情况。
附言。来自经历过惨痛教训的人的建议。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)