Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
使用来自同一 URL 的多个 POST 数据进行抓取
我已经创建了一个蜘蛛 它可以收集具有匹配电话号码的公司名称列表 然后将其保存到 CSV 文件中 然后我想使用 CSV 文件中的电话号码作为 POST 数据从另一个网站抓取数据 我希望它循环访问相同的起始 URL 但只是抓取每个电话号码生成的
python
loops
webscraping
screenscraping
Scrapy
阻止来自我的网站的 cURL 请求
我有一个网站 其中包含大量产品和价格数据库 我经常被价格困扰 我想用一个来防止它
javascript
php
cURL
screenscraping
BeautifulSoup find_all() 不返回任何数据
我对 Python 很陌生 我最近的项目是从博彩网站抓取数据 我想要抓取的是网页上的赔率信息 这是我的代码 from urllib request import urlopen as uReq from bs4 import Beautif
python
html
webscraping
beautifulsoup
screenscraping
LoadError: 无法加载此类文件 -- capybara 独立代码
我正在使用 Ruby 和以下教程构建一个简单的后挖矿程序 http ngauthier com 2014 06 scraping the web with ruby html http ngauthier com 2014 06 scrap
ruby
webscraping
screenscraping
html
Python WWW 宏
我需要类似 iMacros for Python 的东西 如果有这样的东西那就太好了 browse to www google com type in input search query click button search list
python
screenscraping
Python网络抓取:睡眠和请求之间的区别(页面,超时= x)
当循环抓取多个网站时 我注意到之间的速度存在相当大的差异 sleep 10 response requests get url and response requests get url timeout 10 那是 timeout速度要快得
python
timeout
screenscraping
sleep
difference
如何录制屏幕并保存为gif动画? [关闭]
Closed 这个问题是无关 help closed questions 目前不接受答案 有这样的软件吗 尝试这个名为 Cropper 的免费工具 无限帧 将输出设置为动画 Gif http cropper codeplex com htt
screenscraping
record
animatedgif
使用 Node.js 进行网页抓取时,我可以在页面上运行所有 JavaScript 吗? (即模拟真实的浏览器?)
我正在尝试使用 Node js 进行一些网络抓取 使用jsdom 很容易加载 DOM 并将 JavaScript 注入其中 我想更进一步 运行从网页链接到的所有 JavaScript 然后检查生成的 DOM 包括元素的视觉属性 高度 宽度等
nodejs
screenscraping
大量 iTunes Connect 抓取
我正在研究从 iTunes Connect 网站获取销售报告和其他数据的不同选项 由于Apple不提供API 所以我找到的所有解决方案都是基于抓取页面 由于我需要我们提供的产品的信息 因此我不太乐意将所有 iTunes 帐户提供给第三方服务
screenscraping
itunes
AppStoreConnect
Nokogiri、open-uri 和 Unicode 字符
我正在使用 Nokogiri 和 open uri 来获取网页上标题标签的内容 但在处理重音字符时遇到问题 处理这些问题的最佳方法是什么 这就是我正在做的 require open uri require nokogiri doc Noko
ruby
Unicode
screenscraping
nokogiri
openuri
最好的屏幕抓取语言是什么? [关闭]
就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
programminglanguages
screenscraping
webscraping
Selenium 缓慢向下滚动
我正在尝试使用 Python 在 javascript 渲染的网页上进行动态网页抓取 1 但是 只有当我缓慢向下滚动页面时 才会加载元素 我努力了 driver execute script window scrollTo 0 Y 这不起作
python
selenium
Web
screenscraping
用 C# 与网页交互
有一个使用 ColdFusion 创建的网站 不确定这是否重要 我需要与该网站进行交互 我需要做的主要事情是导航到不同的页面并单击按钮 关于如何做到这一点 我提出了两个想法 第一种是使用WebBrowser 控件 有了这个 我当然可以导航页
c
Automation
screenscraping
htmlparsing
如何使用简单的 HTML DOM 来抓取它 [关闭]
这个问题不太可能对任何未来的访客有帮助 它只与一个较小的地理区域 一个特定的时间点或一个非常狭窄的情况相关 通常不适用于全世界的互联网受众 为了帮助使这个问题更广泛地适用 访问帮助中心 help reopen questions 我正在尝试
php
screenscraping
simplehtmldom
使用 PIL 或 cv2 等模块在 python 中捕获屏幕的最有效方法是什么?因为它占用了很多内存
使用 PIL 或 cv2 等模块在 python 中捕获屏幕的最有效方法是什么 因为它占用大量内存 我想教 AI 通过屏幕抓取和整洁的方式来玩 Chrome 的恐龙游戏 但它的速度很慢 我努力了 import numpy as np fro
python
performance
opencv
screen
screenscraping
使用 BeautifulSoup 和 Selenium 抓取网站多个网页的内容
我要废弃的网站是 http www mouthshut com mobile operators Reliance Jio reviews 925812061 http www mouthshut com mobile operators
python
selenium
seleniumwebdriver
beautifulsoup
screenscraping
如何在不使用 API 的情况下以编程方式执行搜索?
我想创建一个程序 将字符串输入到 Google 等网站的文本框中 不使用其公共 API 然后提交表单并获取结果 这可能吗 我认为抓取结果需要使用 HTML 抓取 但是如何在文本字段中输入数据并提交表单呢 我会被迫使用公共 API 吗 难道这
Search
screenscraping
抓取域列表的登陆页面[关闭]
很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我有一个相当长的网站列表 我想下载
python
screenscraping
Scrapy
高级 HTML Agility Pack 使用
我对 HTML Agility Pack 还很陌生 因此我需要一些帮助来了解下一步该做什么 我可以做一些简单的事情 比如从 href 中提取一个值 知道我正在寻找的 url 字符串 并且我可以根据正在使用的特定类来提取跨度中的值 但我不明白
c
screenscraping
htmlagilitypack
如何使用 Splinter 查找元素值?
我有以下一段html p class attrs span foo span strong foo strong p p class attrs span bar span strong bar strong p p class attrs
python
DOM
webscraping
screenscraping
splinter
«
1
2
3
4
5
6
7
»