Python 中哪个最好：urllib2、PycURL 还是 mechanize？

好的，我需要使用 Python 下载一些网页，并对我的选项进行了快速调查。

Python 中包含：

urllib http://docs.python.org/library/urllib.html- 在我看来我应该使用 urllib2 代替。 urllib 不支持 cookie，仅支持 HTTP/FTP/本地文件（无 SSL）

urllib2 http://docs.python.org/library/urllib2.html- 完整的 HTTP/FTP 客户端，支持大多数需要的东西，如 cookie，不支持所有 HTTP 动词（仅 GET 和 POST，不支持 TRACE 等）

功能齐全：

机械化 http://wwwsearch.sourceforge.net/mechanize/- 可以使用/保存 Firefox/IE cookie，采取类似第二个链接的操作，积极维护（2011 年 3 月发布 0.2.5）

PycURL http://pycurl.sourceforge.net/- 支持curl所做的一切（FTP、FTPS、HTTP、HTTPS、GOPHER、TELNET、DICT、FILE和LDAP），坏消息：自2008年9月9日（7.19.0）以来未更新

新的可能性：

urllib3 http://code.google.com/p/urllib3/- 支持连接重用/池和文件发布

已弃用（也称为使用 urllib/urllib2 代替）：

httplib http://docs.python.org/library/httplib.html- 仅 HTTP/HTTPS（无 FTP）

httplib2 http://code.google.com/p/httplib2/- 仅 HTTP/HTTPS（无 FTP）

首先让我印象深刻的是 urllib/urllib2/PycURL/mechanize 都是相当成熟且运行良好的解决方案。 mechanize 和 PycURL 随许多 Linux 发行版（例如 Fedora 13）和 BSD 一起提供，因此安装通常不是问题（所以这很好）。

urllib2 看起来不错，但我想知道为什么 PycURL 和 mechanize 看起来都很受欢迎，我是否缺少一些东西（即，如果我使用 urllib2，我会在某个时候把自己逼到角落吗？）。我真的很想得到一些关于这些东西的优点/缺点的反馈，这样我就可以为自己做出最好的选择。

编辑：添加了关于 urllib2 中动词支持的注释

我认为这个演讲（在 pycon 2009）可以满足您所寻找的答案（Asheesh Laroia 在这方面拥有丰富的经验）。他指出了您大部分列表中的优点和缺点

• 抓取网络：策略 不支持的编程网站 期待它（第 1 部分，共 3 部分） http://pyvideo.org/video/166/pycon-2009--scrape-the-web--strategies-for-progr0
• 抓取网络：策略 不支持的编程网站 期待它（第 2 部分，共 3 部分） http://pyvideo.org/video/165/pycon-2009--scrape-the-web--strategies-for-progra
• 抓取网络：策略 不支持的编程网站 期待它（第 3 部分，共 3 部分） http://pyvideo.org/video/167/pycon-2009--scrape-the-web--strategies-for-progr1

从 PYCON 2009 日程表来看：

你是否发现自己面临着 拥有您需要的数据的网站 提炼？ 如果你的生活会更简单吗 您可以通过编程方式输入数据 进入网络应用程序，甚至那些 调整为抵抗机器人交互？

我们将讨论网络基础知识 刮擦，然后潜入 不同方法的详细信息以及在哪里 它们是最适用的。

你会离开 了解何时申请 不同的工具，并了解 屏幕抓取的“重锤” 我在一个项目中捡到的 电子前沿基金会。

如果可能的话，与会者应携带笔记本电脑来尝试我们讨论的示例，并可选择做笔记。

Update:Asheesh Laroia 更新了他的 pycon 2010 演示文稿

• PyCon 2010：抓取网络： 网站编程策略 没想到 http://pyvideo.org/video/256/pycon-2010--scrape-the-web--strategies-for-progra

  * My motto: "The website is the API."
  * Choosing a parser: BeautifulSoup, lxml, HTMLParse, and html5lib.
  * Extracting information, even in the face of bad HTML: Regular expressions, BeautifulSoup, SAX, and XPath.
  * Automatic template reverse-engineering tools.
  * Submitting to forms.
  * Playing with XML-RPC
  * DO NOT BECOME AN EVIL COMMENT SPAMMER.
  * Countermeasures, and circumventing them:
        o IP address limits
        o Hidden form fields
        o User-agent detection
        o JavaScript
        o CAPTCHAs 
  * Plenty of full source code to working examples:
        o Submitting to forms for text-to-speech.
        o Downloading music from web stores.
        o Automating Firefox with Selenium RC to navigate a pure-JavaScript service. 
  * Q&A; and workshopping
  * Use your power for good, not evil. 
  

更新2：

PyCon US 2012 - 网页抓取：可靠且高效地从不需要的页面中提取数据 https://www.youtube.com/watch?v=52wxGESwQSA

令人兴奋的信息被隐藏在网页和 HTML 表单后面。在本教程中，>您将学习如何解析这些页面以及何时应用使抓取更快、更稳定的高级技术。我们将介绍使用 Twisted、gevent 等进行并行下载；分析 SSL 背后的网站；使用 Selenium 驱动 JavaScript-y 网站； > 规避常见的反抓取技术。