程序员经验分享-hwhale

同时下载多个页面？

2023-12-11

我想用Python编写一个脚本，它可以从数据库中获取url，并同时下载网页以加快速度，而不是等待每个页面一个接一个地下载。

根据这个线程，Python 不允许这样做，因为称为全局解释器锁这可以防止多次启动相同的脚本。

在投入时间学习 Twisted 框架之前，我想确保没有更简单的方法来完成我上面需要做的事情。

感谢您的任何提示。


不用担心吉尔。在你的情况下，这并不重要。

做你想做的事情的最简单方法是创建线程池，使用线程模块和线程池实现之一ASPN。该池中的每个线程都可以使用httplib下载您的网页。

另一种选择是使用PyCURL模块——它本身支持并行下载，因此您不必自己实现。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

concurrentprocessing

同时下载多个页面？ 的相关文章

  • (discord.py) 尝试更改成员角色时，“用户”对象没有属性“角色”

    因此 我正在尝试编写一个机器人 让某人在命令中指定的主持人指定的一段时间内暂停角色 我知道该变量称为 小时 即使它目前以秒为单位 我稍后会解决这个问题 基本上 它是由主持人在消息 暂停 personmention numberofhours

  • 如何在python中读取多个文件中的文本

    我的文件夹中有许多文本文件 大约有 3000 个文件 每个文件中第 193 行是唯一包含重要信息的行 我如何使用 python 将所有这些文件读入 1 个文本文件 os 模块中有一个名为 list dir 的函数 该函数返回给定目录中所有文

  • Python、Tkinter、更改标签颜色

    有没有一种简单的方法来更改按钮中文本的颜色 I use button text input text here 更改按下后按钮文本的内容 是否存在类似的颜色变化 button color red Use the foreground设置按钮

  • InterfaceError：连接已关闭（使用 django + celery + Scrapy）

    当我在 Celery 任务中使用 Scrapy 解析函数 有时可能需要 10 分钟 时 我得到了这个信息 我用 姜戈 1 6 5 django celery 3 1 16 芹菜 3 1 16 psycopg2 2 5 5 我也使用了psyc

  • Python PAM 模块的安全问题？

    我有兴趣编写一个 PAM 模块 该模块将利用流行的 Unix 登录身份验证机制 我过去的大部分编程经验都是使用 Python 进行的 并且我正在交互的系统已经有一个 Python API 我用谷歌搜索发现pam python http pa

  • 更改自动插入 tkinter 小部件的文本颜色

    我有一个文本框小部件 其中插入了三条消息 一条是开始消息 一条是结束消息 一条是在 单位 被摧毁时发出警报的消息 我希望开始和结束消息是黑色的 但被毁坏的消息 参见我在代码中评论的位置 插入小部件时颜色为红色 我不太确定如何去做这件事 我看

  • 如何等到 Excel 计算公式后再继续 win32com

    我有一个 win32com Python 脚本 它将多个 Excel 文件合并到电子表格中并将其另存为 PDF 现在的工作原理是输出几乎都是 NAME 因为文件是在计算 Excel 文件内容之前输出的 这可能需要一分钟 如何强制工作簿计算值

  • __del__ 真的是析构函数吗？

    我主要用 C 做事情 其中 析构函数方法实际上是为了销毁所获取的资源 最近我开始使用python 这真的很有趣而且很棒 我开始了解到它有像java一样的GC 因此 没有过分强调对象所有权 构造和销毁 据我所知 init 方法对我来说在 py

  • 安装后 Anaconda 提示损坏

    我刚刚安装张量流GPU创建单独的后环境按照以下指示here https github com antoniosehk keras tensorflow windows installation 但是 安装后当我关闭提示窗口并打开新航站楼弹出

  • 从列表中的数据框列中搜索部分字符串匹配 - Pandas - Python

    我有一个清单 things A1 B2 C3 我有一个 pandas 数据框 其中有一列包含用分号分隔的值 某些行将包含与上面列表中的一项的匹配 它不会是完美的匹配 因为它在其中包含字符串的其他部分 该列 例如 该列中的一行可能有 哇 这里

  • IRichBolt 在storm-1.0.0 和 pyleus-0.3.0 上运行拓扑时出错

    我正在运行风暴拓扑 pyleus verbose local xyz topology jar using storm 1 0 0 pyleus 0 3 0 centos 6 6并得到错误 线程 main java lang NoClass

  • Python 中的二进制缓冲区

    在Python中你可以使用StringIO https docs python org library struct html用于字符数据的类似文件的缓冲区 内存映射文件 https docs python org library mmap

  • python pandas 中的双端队列

    我正在使用Python的deque 实现一个简单的循环缓冲区 from collections import deque import numpy as np test sequence np array range 100 2 resha

  • python 集合可以包含的值的数量是否有限制？

    我正在尝试使用 python 设置作为 mysql 表中 ids 的过滤器 python集存储了所有要过滤的id 现在大约有30000个 这个数字会随着时间的推移慢慢增长 我担心python集的最大容量 它可以包含的元素数量有限制吗 您最大

  • Python：字符串不会转换为浮点数[重复]

    这个问题在这里已经有答案了 我几个小时前写了这个程序 while True print What would you like me to double line raw input gt if line done break else f

  • Python - 按月对日期进行分组

    这是一个简单的问题 起初我认为很简单而忽略了它 一个小时过去了 我不太确定 所以 我有一个Python列表datetime对象 我想用图表来表示它们 x 值是年份和月份 y 值是此列表中本月发生的日期对象的数量 也许一个例子可以更好地证明这

  • VSCode：调试配置中的 Python 路径无效

    对 Python 和 VSCode 以及 stackoverflow 非常陌生 直到最近 我已经使用了大约 3 个月 一切都很好 当尝试在调试器中运行任何基本的 Python 程序时 弹出窗口The Python path in your

  • 在 Python 类中动态定义实例字段

    我是 Python 新手 主要从事 Java 编程 我目前正在思考Python中的类是如何实例化的 我明白那个 init 就像Java中的构造函数 然而 有时 python 类没有 init 方法 在这种情况下我假设有一个默认构造函数 就像

  • Spark.read 在 Databricks 中给出 KrbException

    我正在尝试从 databricks 笔记本连接到 SQL 数据库 以下是我的代码 jdbcDF spark read format com microsoft sqlserver jdbc spark option url jdbc sql

  • 改变字典的哈希函数

    按照此question https stackoverflow com questions 37100390 towards understanding dictionaries 我们知道两个不同的字典 dict 1 and dict 2例

随机推荐

  • 如何在不选择 ORDER BY 字段的情况下选择 DISTINCT 行

    所以我有两个表学生 PK sID 和导师 PK pID 这个查询 SELECT s pID FROM students s JOIN mentors m ON s pID m pID WHERE m tags LIKE a ORDER BY

  • 如何使用 scanf 读取 nasm x86 64 中的浮点值？

    我试图简单地读取浮点值并使用程序集 x86 64 打印它 因此 当我尝试打印时 我用作 c 函数 scanf 缓冲区的变量价格的值不会改变它 它将打印最初设置的值 因此在下面的代码中 它打印 0 0 因此 scanf 函数无法正确更改价格值

  • 在php中显示链接

    我正在尝试将存储在 mysql 中的 URL 显示为 php 表中的链接 如下所示 echo td a href Resume a td 其中 row resume 使用 mysql fetch array 检索正确的数据 但是 文件链接之

  • 检测地理位置是否在复杂多边形中

    我们目前正在使用以下算法来检测地理点是否位于复杂多边形内 除非多边形穿过 180 经度线 否则效果很好 例如 在多边形中未检测到点 170 60 160 65 0 160 15 0 160 15 0 160 65 0 160 65 0 看下

  • ASP.NET，相当于PHP的Print_r函数吗？

    PHP Print r 对于打印数组和字典集合很有用 asp net 是在这个函数中构建的吗 你可以通过JavaScriptSerializer来实现 var json new JavaScriptSerializer Serialize

  • 安装 libv8 时出错：错误：无法构建 gem 本机扩展

    我做了一个 Rails 项目 rails new test bootstrap 成功了 移动到项目目录并添加宝石 gem therubyracer gem less rails Sprockets what Rails 3 1 uses f

  • Javascript/Typescript 将默认常量导出为异步函数调用的值

    我读了很多书 但还没有找到有效的解决方案 我见过的最接近的是这里 导出React中async函数的结果 请记住 我想导出一个对象 并且该对象是异步函数的结果 而不是导出异步函数定义本身 这是到目前为止我的用例和实现 我们有一个名为 conf

  • 有没有更简洁的正则表达式来完成这个任务？

    首先 对这个蹩脚的标题感到抱歉 但我想不出更好的标题 我需要测试密码以确保以下内容 密码必须至少包含以下 3 项 大写字母 小写字母 numbers 特殊字符 这是我想到的 它有效 但我想知道是否有更好的方法来做到这一点 Dim lower

  • 从 3D Rcpp NumericVector 索引切片

    您好 我有一个关于将 NumericVector 对象视为多维数组的非常简单的 Rcpp 问题 我找不到可能显而易见的答案 如果是这种情况 请先道歉 我对 C 的经验不足是罪魁祸首 如果我使用此处发布的答案 在 Rcpp 中构造 3D 数组

  • Android 支持 JDK 6 或 7 [重复]

    这个问题在这里已经有答案了 我是 Android 开发新手 我可以在 Android 中使用使用 JDK 7 开发的现有 Java 代码吗 这些函数使用 xerces dom xslt 和 xpathapi 目前 当我安装Android E

  • 错误：控制到达非 void 函数的末尾 [-Werror=return-type] } ^

    问题基本上是从给定的 n 个数字生成一个算术表达式 并且该表达式应该能被 101 整除 我们只能有 运算符 并且表达式是左关联的 我已经尝试了所有可用的解决方案 这些解决方案已经在堆栈溢出中提到过 例如用 else 关闭表达式等等 bool

  • Vbscript msxml12.XMLHTTP错误处理

    我使用这个 vbscript 代码来下载网页 Dim oXML Set oXML CreateObject msxm12 XMLHTTP oXML Open GET mysite com False oXML Send 如果没有这样的网站

  • PHP REGEX - 通过 preg_split 在换行符处将文本转换为数组

    EDITED 需要有关拆分数组的帮助 数组示例 array 0 gt some normal text some long text here and so on sometimes i m breaking down and some n

  • TFSPreview.com 和 Azure 持续部署 TFS 中的多个解决方案

    我最近尝试了 Microsoft 的 TFS in the cloud 服务 TFSPreview com 感觉 TFS 团队终于 明白了 TFSPreview com 可能会让我们从 GIT bug 跟踪器 powershell 切换过来

  • 如何在多列上创建索引

    我们有以下实体关系 其中用户属于特定组织 我的查询看起来像 select from User where org org 或 select from User where org org and type type 我在 User 类上有单

  • 是否可以将 Nesta CMS 包含到 Rails3 应用程序中？

    我想将 Nesta CMS 应用程序 安装 到 Rails3 应用程序上 这可能是 Nesta Sinatra 应用程序的原因 它应该是机架可安装层 但是您会怎么做 你将从哪里开始 有人有关于这个话题的经验吗 建议的文档 嘿卢卡 我一两个月

  • R中如何使用函数名的字符串来调用函数？

    我正在尝试使用给定的函数名称字符串来调用函数 E g print funcList 1 2 sin works mult lt mult 5 6 1 30 不起作用 func1 lt funcList 1 func1 5 6 func2 l

  • 从 URL 获取 HTTP 响应代码的最佳方法是什么？

    我正在寻找一种从 URL 获取 HTTP 响应代码 即 200 404 等 的快速方法 我不确定要使用哪个库 更新使用精彩请求库 请注意 我们使用的是 HEAD 请求 它应该比完整的 GET 或 POST 请求发生得更快 import re

  • 将片段实例保留在 FragmentPagerAdapter 中

    是否可以保留为某个片段创建的每个片段的实例 FragmentPagerAdapter在 的里面FragmentPagerAdapter 像这样的东西 Override public Object instantiateItem ViewGr

  • 同时下载多个页面？

    我想用Python编写一个脚本 它可以从数据库中获取url 并同时下载网页以加快速度 而不是等待每个页面一个接一个地下载 根据这个线程 Python 不允许这样做 因为称为全局解释器锁这可以防止多次启动相同的脚本 在投入时间学习 Twist

热门标签