通过 .txt 文件向 Scrapy Spider 传递要抓取的 URL 列表

我对 Python 有点陌生，对 Scrapy 也很陌生。

我已经设置了一个蜘蛛来爬行并提取我需要的所有信息。但是，我需要将 URL 的 .txt 文件传递​​给 start_urls 变量。

例如：

class LinkChecker(BaseSpider):
    name = 'linkchecker'
    start_urls = [] #Here I want the list to start crawling a list of urls from a text file a pass via the command line.

我做了一些研究，但总是空手而归。我见过这种类型的例子（如何在 scrapy 蜘蛛中传递用户定义的参数），但我认为这不适用于传递文本文件。

运行你的蜘蛛-a选项如：

scrapy crawl myspider -a filename=text.txt

然后读取里面的文件__init__蜘蛛的方法和定义start_urls:

class MySpider(BaseSpider):
    name = 'myspider'

    def __init__(self, filename=None):
        if filename:
            with open(filename, 'r') as f:
                self.start_urls = f.readlines()

希望有帮助。