我的项目文件夹中有多个蜘蛛,并且希望立即运行所有蜘蛛,因此我决定使用 scrapyd 服务运行它们。
我开始这样做是因为看到here http://scrapy.readthedocs.org/en/0.7/topics/scrapyd.html
首先我在当前项目文件夹中
-
我已经打开了scrapy.cfg
文件并取消注释后面的 url 行
[deploy]
我跑过scrapy server
命令,工作正常并且 scrapyd 服务器运行
-
我尝试了这个命令scrapy deploy -l
结果 :default http://localhost:6800/
- 当我尝试这个命令时
scrapy deploy -L scrapyd
我得到以下输出
Result:
Usage
=====
scrapy deploy [options] [ [target] | -l | -L <target> ]
deploy: error: Unknown target: scrapyd
当我尝试使用此命令部署项目时scrapy deploy scrapyd -p default
出现以下错误
Usage
=====
scrapy deploy [options] [ [target] | -l | -L <target> ]
deploy: error: Unknown target: scrapyd
我真的无法识别乳清 scrapyd 显示上述错误,可以引导我找到如何将项目部署到 scrapyd 的正确方法
提前致谢..........
编辑后的代码:
看到 Peter Kirby 的答案后,我在 scrapy.cfg 中命名了 target 并在我的项目文件夹中尝试了以下命令,
command:
scrapy deploy ebsite -p ebsite
然后我收到以下错误
Building egg of ebsite-1341808241
'build/lib' does not exist -- can't clean it
'build/bdist.linux-x86_64' does not exist -- can't clean it
'build/scripts-2.7' does not exist -- can't clean it
zip_safe flag not set; analyzing archive contents...
Deploying ebsite-1341808241 to http://localhost:6800/addversion.json
Deploy failed: <urlopen error [Errno 111] Connection refused>
怎么解决这个问题......
来自 scrapyd 服务文档:(http://scrapy.readthedocs.org/en/latest/topics/scrapyd.html?highlight=scrapyd)
您可以通过将目标添加到项目的 scrapy.cfg 来定义目标
文件...这是一个定义新目标 scrapyd2 的示例
通过 HTTP 基本身份验证限制访问:
[deploy:scrapyd2]
url = http://scrapyd.mydomain.com/api/scrapyd/
username = john
password = secret
本质上,您的错误意味着您的“目标”名称不正确。如果我没记错的话,scrapy.cfg 文件将初始目标名称设置为“默认”。您应该输入如下内容:
scrapy deploy default -p project_name
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)