linux 运行scrapy,linux下部署scrapy

1.如何部署scrapy

下载scrapy-client(下载地址 https://github.com/scrapy/scrapyd-client) 并进行安装,安装命令 python setup install

进入项目目录 执行scrapyd 启动服务

查看project的deploy列表

进入到project目录后执行下面的命令

scrapyd-deploy -l

如果有返回类似下面的内容的说明配置正确

scrapyd http://localhost:6800/

如果没有显示就编辑project的scrapy.cfg里面的deploy

————————-版本一版—————————-

[deploy]

url = http://localhost:6800/

project = map

进入项目目录(map目录) 执行 scrapyd-deploy default -m map –version 10(版本可选择)

————————-版本二版—————————-

[deploy]

url = http://localhost:6800/

project = map

进入项目目录(map目录) 执行 scrapyd-deploy default -m map –version 10(版本可选择)

返回信息如下

{“status”: “ok”, “project”: “map”, “version”: “1348817612”, “spiders”: 1}

运行jobs

部署完成后使用curl提交信息到scrapyd就可以运行指定的spiders了

执行上条命令后 就会执行gaode这个任务，像当于在命令行执行 scrapy crawl gaode

curl http://localhost:6800/cancel.json -d project=map -d job=2df75e38798311e6a9e74437e6ddc10a

curl http://localhost:6800/delversion.json -d project=myproject -d version=r99