使用 Pycurl 获取 HTML

2024-01-11

我一直在尝试使用 pycurl 检索 HTML 页面,因此我可以使用 str.split 和一些 for 循环解析它以获取相关信息。我知道 Pycurl 检索 HTML,因为它将它打印到终端,但是,如果我尝试做类似的事情

html = str(c.perform())  

该变量仅保存一个表示“None”的字符串。

如何使用 pycurl 获取 html,或重定向它发送到控制台的任何内容,以便它可以用作如上所述的字符串?

非常感谢任何有建议的人!


这将发送请求并存储/打印响应正文:

from StringIO import StringIO    
import pycurl

url = 'http://www.google.com/'

storage = StringIO()
c = pycurl.Curl()
c.setopt(c.URL, url)
c.setopt(c.WRITEFUNCTION, storage.write)
c.perform()
c.close()
content = storage.getvalue()
print content

如果要存储响应标头,请使用:

c.setopt(c.HEADERFUNCTION, storage.write)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 Pycurl 获取 HTML 的相关文章

随机推荐

  • 如何使soapUI 附件路径相对?

    我正在使用soapUI 来测试HTTP 服务器 我需要发送一个多部分 表单数据请求 当我通过文件选择器并附加它时 该请求工作正常 但它将路径保存为绝对路径 并且我需要保存相对于我的测试文件的路径 但没有缓存在我的测试文件中 我怎样才能做到这
  • UITableViewCell 与 UIImage,宽度未更新初始显示的单元格

    我想动态调整 UITableViewCell 内 UIImage 的宽度 我使用情节提要来设计 UITableViewCell 我刚刚添加了一个标签和一个图像 属性得到正确更新 我什至加载了将宽度放入标签以显示它是正确的值 对于图像 我正在
  • Hadoop MapReduce 与 MPI(与 Spark、Mahout 与 Mesos) - 何时使用其中之一?

    我是并行计算新手 刚刚开始在 Amazon AWS 上尝试 MPI 和 Hadoop MapReduce 但我对何时使用其中一种而不是另一种感到困惑 例如 我看到的一个常见的经验法则可以总结为 大数据 非迭代 容错 gt MapReduce
  • docker-machine 和 docker-compose 有什么区别?

    我想我不明白 首先 我创建了 docker machine docker machine create d virtualbox dev eval docker machine env dev 然后我编写了 Dockerfile 和 doc
  • MVC 区域 - 非区域路由解析为区域

    我已在我的 MVC 3 项目中添加了一个区域 我似乎无法在非常简单的场景中使用路由 看来总是想去区解决一下 这是我的配置 启动时 AreaRegistration RegisterAllAreas IgnoreRoute resource
  • HTML5:输入类型持续时间

    有没有办法使用输入类型持续时间 我正在尝试以某种方式进行输入 用户可以添加类似这样的持续时间06 30 27 15 hh mm ss ms 并且应该只允许 0 23 0 59 0 59 0 59 任何帮助表示赞赏 NOTE 我想在 Angu
  • TypeError: jQuery(...).validate 不是一个函数

    我将动态 html 内容添加到另一个 html 内容上 这基本上是一个编辑表单 html 视图 但是当我尝试验证 from 时 它给出了 TypeError jQuery validate is not a function 错误 我使用的
  • conda 'base' 和 'root' 环境有什么区别?

    我最近一直在努力组织我的 conda 环境 我最终重新安装了 miniconda 现在一切顺利 我的问题是 当我跑步时conda env list I get conda environments base Users rheft mini
  • 是否有即将推出的 Cloud Spanner 框架?

    我开始研究 Google 的 Cloud Spanner 它看起来确实很有趣 由于ruby有rails MongoDB有Meteor RethinkDB有Horizo n 是否有关于Cloud Spanner拥有某种专用框架的讨论 或者是否
  • 在近实时分析中,为什么 Lambda-->Firehose-->S3 优于 Lambda-->S3?

    许多用于无服务器实时分析的 AWS 参考架构建议通过 Kinesis Firehose 将处理后的数据从 Lambda 推送到 S3 e g https aws amazon com blogs big data create real t
  • PHP mail() 仅发送给单个收件人

    我正在为客户端更新一些非 PHP 相关页面 这些页面将表单输入发送到 PHP 但是 如果不对代码进行任何更改 客户端就会报告没有收到电子邮件 相反 他说它只向其中一封电子邮件发送电子邮件 而不是向所有 3 封电子邮件发送电子邮件 有人能指出
  • 如何使用 Mongoid 查看原始 mongoDB 查询

    我按照此页面查看了 mongoDB 查询 结果我可以看到轻便摩托车日志 但我看不到原始的 mongoDB 查询 如何在 Rails 控制台 服务器中显示 MongoDB 查询 https stackoverflow com question
  • 在 /proc/net 中创建 ProcFS 条目

    我尝试在里面创建一个条目 proc net来自内核模块 如下所示 struct file filp filp open proc net O RDONLY 0 struct proc dir entry parent PDE filp gt
  • Rails 在 grouped_collection_select 中选择一个字段

    I m using this code in my view to create a selection grouped collection select query city id states cities name id name
  • Adobe Acrobat Pro XI - 将 Javascript 添加到 PDF

    这似乎是一个非常新手的问题 但我一整天都在为这个问题绞尽脑汁 我正在运行 Adob e Acrobat Professional XI 的试用版 我希望将简单的 JavaScript 添加到 PDF 文件中 目的是创建一个 PDF 文件 打
  • 帮助比较 argv 字符串

    I have int main int argc char argv if argc 2 printf Mode of Use copy ex1 n return 1 formatDisk argv void formatDisk char
  • MVC 中的验证规则和业务规则

    我有一个 MVC Web 项目 根据最佳实践 添加验证规则和业务规则的正确位置在哪里 验证规则将是必填字段和必填格式 商业规则将是 该电子邮件已被存入数据库 这是我目前正在做的注册模型 public class RegisterModel
  • 基于 BGL 的新类中的自定义函数 addEdge 的返回值应该是多少?

    我尝试实现一个基于的图形类https stackoverflow com a 950173 7558038 https stackoverflow com a 950173 7558038 添加边缘时 我返回所添加边缘的边缘描述符 但如果边
  • Android:检查互联网是否有可用网络

    我使用此代码来检查网络连接 public boolean isOnline ConnectivityManager cm ConnectivityManager getSystemService Context CONNECTIVITY S
  • 使用 Pycurl 获取 HTML

    我一直在尝试使用 pycurl 检索 HTML 页面 因此我可以使用 str split 和一些 for 循环解析它以获取相关信息 我知道 Pycurl 检索 HTML 因为它将它打印到终端 但是 如果我尝试做类似的事情 html str