如何从scrapy调用输出文件名

2023-12-14

scrapy crawl test -o test123.csv

如何从代码中调用输出文件名,即我想使用在终端中输入的文件名spider_closed功能

@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
    spider = super(MySpider, cls).from_crawler(crawler, *args, **kwargs)
    crawler.signals.connect(spider.spider_closed, signal=scrapy.signals.spider_closed)
def spider_closed(self):
    #read test123.csv (whatever the filename is)

您可以使用self.settings.attributes["FEED_URI"].value在你的蜘蛛中获取输出文件名。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何从scrapy调用输出文件名 的相关文章

随机推荐

  • 将数据帧行转换为字符向量时出错

    所以我有以下数据框 数据框 X1 X2 X1 1 X2 1 Composite Element Composite Element 14 3 3 epsilon M C 0 8660101895 14 3 3 epsilon M C 0 6
  • Java 列表排序:有没有办法像 TreeMap 一样让列表自动永久排序?

    在Java中你可以建立一个ArrayList与项目 然后调用 Collections sort list comparator 无论如何 是否可以在列表创建时传入比较器 就像您可以做的那样TreeMap 目标是能够将一个元素添加到列表中 而
  • Azure Web App 是否关心其实例是否健康?

    如果我将 Web 应用程序 以前称为 Azure 网站 部署到 Azure 中具有几个实例的应用程序托管计划 规模 2 实例前面的负载均衡器会关心是否有任何实例不健康吗 我正在解决有时会导致我的网站在大约 50 的情况下返回 http 50
  • 使用 OpenCV 和 Python 显示网络摄像头源

    我一直在尝试创建一个简单的程序Python它使用 OpenCV 从我的网络摄像头获取视频源并将其显示在屏幕上 我知道我部分在那里 因为窗口已创建并且网络摄像头上的灯闪烁 但窗口中似乎没有显示任何内容 希望有人能解释我做错了什么 import
  • 如何在嵌套列表上使用映射函数并将字符串转换为整数?

    我需要使用Python 2 4 4 中的map函数为列表中的每个项目加1 所以我尝试将字符串转换为整数 line 10 13 n 3 4 n 5 3 n 1 13 map lambda X X 1 int line 这不起作用是因为 n还有
  • 指针和多维数组[重复]

    这个问题在这里已经有答案了 可能的重复 如何在 C 中使用数组 二维数组是双指针吗 二维数组和指针 我知道这是一个非常基本的问题 但无论经过多少谷歌搜索 我都无法弄清楚这一点 这就是我将其发布在这里的原因 在 C 中考虑声明int x 10
  • getch() 和 getchar() 有什么区别?

    两者之间的确切区别是什么getch and getchar功能 getchar 是一个从标准输入获取字符的标准函数 getch 是非标准的 它从键盘获取一个字符 可能与标准输入不同 并且不回显它
  • 解码作为 json 响应返回的 html - android

    我将编码后的 html 作为 json 响应进行跟踪 并且不知道如何将其解码为正常的 html 字符串 顺便说一下 这是一个 achor 标签 x3ca hrefx3dx22http wordnetweb princeton edu per
  • 抛出异常时从堆栈跟踪和帧中获取文件名

    我试图在引发异常时获取文件名和源代码行号 但我什么也没得到 class Program static void Main string args try throw new InvalidOperationException catch I
  • C# try catch 语句中的变量作用域问题

    我不想在这里问这个简单的问题 但我已经研究了一段时间但无济于事 这极大地限制了我的申请 为什么我在 try 块内的 excelWorksheet 变量上出现红色波浪线 无法在此范围内声明名为 excelWorksheet 的本地或参数 因为
  • Swift 将货币字符串转换为双精度

    我有一根绳子 4 102 33 需要转换为双精度 这永远是美国 我唯一的方法是破解 and 然后转换为双精度 似乎NSFormatter只允许我转换为货币 而不是从货币转换 有没有内置功能或比仅仅删除更好的方法 and 在将其转换为双精度之
  • 10.8中如何显示文件复制进度

    FSCopyObject异步在 OS X v10 8 中已弃用 现在如何显示文件复制操作的进度指示器 我的回答假设你正在谈论展示一个项目的进展单个文件被复制 Yes FSCopyObjectAsync 已被弃用 但尚未消失 正如您所发现的
  • 使用 htaccess 重写特定文件的路径

    我想为具有长文件路径的目录中的特定文件创建一个友好的 URL 并重命名该文件 我什至不确定这是否可能 到目前为止我已经在 htaccess 中尝试过 RewriteEngine On Options FollowSymLinks Rewri
  • 使用 PIL 在 python 上向图像添加透明圆圈

    我有一个 python 程序 它创建一个带有圆圈的 png 文件 现在我希望这个圆是半透明的 给定一个 alpha 值 这是我所做的 img map Image new some arguments here tile Image open
  • 将 Woocommerce 变体属性下拉列表中的默认“选择选项”文本替换为不同的自定义文本

    我刚刚开始使用 Woocommerce 并对可变产品的下拉选择字段有疑问 在 woocommerce 中 如果在此下拉列表中未选择任何内容 则会显示 选择选项 文本 我需要每个下拉选择字段选项在尚未选择任何内容时显示不同的文本 我发现这段代
  • 在 MVC 视图中迭代匿名类型数据

    我将匿名类型的结果放入一些视图数据中 var projectData from p in db Projects orderby p title select new Title p title DevURL p devURL N A QA
  • 为什么返回响应的格式很奇怪?

    我正在学习node中的后端 我正在尝试执行以下代码 const axios require axios async function getData const resp await axios get https jsonplacehol
  • ng-animate:有条件地切换“返回”过渡(BUG?)

    大家好 通读这个谷歌群组以及从那里链接的小提琴和博客文章 我设法使用 ng animate 实现页面转换 Here s我的小提琴 the fiddle is nicely commented please let me know if an
  • mySQL子查询限制

    这可能是一个简单的 我怎样才能通过这个查询实现我想要的 delete from posts where id not in SELECT id FROM posts order by timestamp desc limit 0 15 所以
  • 如何从scrapy调用输出文件名

    scrapy crawl test o test123 csv 如何从代码中调用输出文件名 即我想使用在终端中输入的文件名spider closed功能 classmethod def from crawler cls crawler ar