我是 scrapy 新手。在 items.py 中,我声明了 2 个 ItemClass,分别称为 ItemClass1 和 ItemClass2。蜘蛛方法 parseUrl 获取 html 并抓取数据并将其放入相应项目类的列表中。
e.g:
C1Items = []
C1Item = ItemClass1()
#scrape data
C1Items.append(C1Item)
...
C2Items = []
C2Item = ItemClass2()
#scrape data
C2Items.append(C2Item)
...
最后:C1Items 和 C2Items 包含所需的数据。
return C1Items #will pass ItemClass1 data to pipeline
return C2Items #will pass ItemClass2 data to pipeline
您能否告知将 C1 项目、C2 项目传递到管道的最佳方法是什么?
将不同类别的所有项目组合到一个列表中并返回该列表,或者使用yield
陈述:
C1Item = ItemClass1()
#scrape data
yield C1Item
...
C2Item = ItemClass2()
#scrape data
yield C2Item
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)