我使用 Net::HTTP 进行 HTTP 请求并获取响应:
uri = URI("http://www.example.com")
http = Net::HTTP.start(uri.host, uri.port, proxy_host, proxy_port)
request = Net::HTTP::Get.new uri.request_uri
response = http.request request # Net::HTTPResponse object
body = response.body
如果我必须使用 Nokogiri gem 来解析这个 HTML 响应,我会这样做:
nokogiri_obj = Nokogiri::HTML(body)
但如果我想使用 Mechanize gem,我需要这样做:
agent = Mechanize.new
mechanize_obj = agent.get("http://www.example.com")
我是否可以使用 Net::Http 获取 HTML 响应,然后使用 Mechanize gem 将其转换为 Mechanize 对象,而不是使用agent.get()
?
EDIT:
绕行的原因agent.get()
方法是因为我想使用EventMachine::Iterator
使并发EM-HTTP
要求。
EventMachine.run do
EM::Iterator.new(urls, 3).each do |url,iter|
puts "giving #{url} to httprequest now"
http = EM::HttpRequest.new(url).get
http.callback { |resp|
uri = resp.send(:URI, url)
puts "inside callback of #{url}"
body = resp.response
page = agent.parse(uri, resp, body)
}
iter.next
end
end
但它不起作用。我收到错误:
/usr/local/rvm/gems/ruby-1.9.3-p194/gems/mechanize-2.5.1/lib/mechanize.rb:1165:in`parse': undefined method `[]' for #<EventMachine::HttpClient:0x0000001c18eb30> (NoMethodError)
当我使用parse
方法用于Net::HTTP
它工作正常,我得到了 Mechanize 对象:
uri = URI("http://www.example.com")
http = Net::HTTP.start(uri.host, uri.port, proxy_host, proxy_port)
request = Net::HTTP::Get.new uri.request_uri
response = http.request request # Net::HTTPResponse object
body = response.body
agent = Mechanize.new
page = agent.parse(uri, response, body)
我是否传递了错误的论点parse
使用 em-http 时的方法?