用python计算网页大小

2024-05-05

我将如何使用 Python 计算网页 (url) 的大小。我尝试了 urllib2 并获取内容长度标头,但它不存在。

import urllib2
url = 'http://www.google.com/'
r = urllib2.urlopen(url)
#Not sure what to do from here

当你使用urlopen,您将请求整个内容(HTTP GET 请求),因此,一旦您这样做了,寻找可选的内容长度标头就没那么有用了(没关系,可以节省您一些时间和内存,但您有对服务器和网络施加了可避免的负载)。尽管如此,正如现有答案所示,len of the read() of the urlopen的结果是即使内容长度丢失也能工作的方式。

唉,urllib2 不支持 HEAD http 方法。要尝试 HEAD,您必须使用较低级别的模块httplib http://docs.python.org/library/httplib.html?highlight=httplib#module-httplib(建立到服务器的连接,调用它的request('HEAD', url)方法,调用它的getresponse要获取 HttpResponse 对象,请调用getheader后者的方法来获取内容长度标头...你明白为什么我说该模块是较低级别的;-)。如果您正在处理非常大的页面和合理的服务器(设置内容长度标头的服务器),这虽然很混乱,但可能是一个重要的优化。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

用python计算网页大小 的相关文章

随机推荐