我想从网站上抓取一些数据。
基本上，该网站有一些表格显示并显示大约 50 条记录。对于更多记录，用户必须单击某个按钮，使 ajax 调用获取并显示接下来的 50 条记录。
我以前有过 Selenium webdriver(Python) 的知识。我可以在 Selenium 中快速完成此操作。但是，Selenium 更像是一种自动化测试工具，而且速度非常慢。
我做了一些研发，发现使用 Scrapy 或 Mechanize，我也可以做同样的事情。
为此，我应该选择 Scrapy、Mechanize 还是 Selenium？
我建议您结合使用 Mechanize 和 ExecJS (https://github.com/sstephenson/execjs https://github.com/sstephenson/execjs) 来执行您可能遇到的任何 JavaScript 请求。我已经将这两种宝石结合使用相当长一段时间了，它们的效果非常好。
您应该选择它而不是 Selenium，因为与必须在无头浏览器中渲染整个页面相比，它会快得多。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
