部署到测试环境，并设置定时启动任务
-
通过FileZille工具，将本地的文件上传到测试服务器上面的python文件夹中
-
在与spider同级目录下写一个shell脚本，启动所编辑的运行爬虫文件
vi run.sh
1 #! /bin/sh
2 export PATH=$PATH:/usr/local/bin
3 cd /data/project/python/...../run
4 nohup python3 run_all_spider.py >/dev/null 2>&1 &
注意：当编写完.sh文件的时候，还需要记得给其添加可执行权限
sudo chmod +x run.sh
-
设置定时任务
crontab介绍（apt-get install cron）
crontab -e [UserName]: 执行文字编辑器来设定时程表，内定的文字编辑器是 vi
crontab -r [UserName]: 删除目前的时程表
crontab -l [UserName]: 列出目前的时程表
crontab -v [UserName]:列出用户cron作业的状态
编辑：
分 小时 日 月 星期 命令
0-59 0-23 1-31 1-12 0-6 command
* * * * * * command
11 11 * * * command 每天十一点十一分执行任务
*/10 * * * * command 每10分钟执行一次命令
注意：
1:星期中0表示周日
2：每隔几个小时的时候前面的分钟不能为*，为*表示分钟都会执行，用0表示
-
写入到crontab中
sh脚本文件也可能会报错，对应的可以把其输出和错误重定向到run_run.log中
0 6 * * * /data/project/python/../run.sh >> /data/project/python/....../run_log.log 2>&1
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
