你好,我只是想知道我正在尝试创建一个从互联网下载文件的Python应用程序,但目前它只下载一个我知道的名称的文件...有什么方法可以获取文件列表在线目录并下载它们?我将向您展示我一次下载一个文件的代码,这样您就知道我不想做什么。
import urllib2
url = "http://cdn.primarygames.com/taxi.swf"
file_name = url.split('/')[-1]
u = urllib2.urlopen(url)
f = open(file_name, 'wb')
meta = u.info()
file_size = int(meta.getheaders("Content-Length")[0])
print "Downloading: %s Bytes: %s" % (file_name, file_size)
file_size_dl = 0
block_sz = 8192
while True:
buffer = u.read(block_sz)
if not buffer:
break
file_size_dl += len(buffer)
f.write(buffer)
status = r"%10d [%3.2f%%]" % (file_size_dl, file_size_dl * 100. / file_size)
status = status + chr(8)*(len(status)+1)
print status,
f.close()
那么它从这个网站下载taxi.swf是做什么的,但我想要它做的是将所有.swf从该目录“/”下载到计算机?
是否可能,非常感谢您。 -特瑞-
由于您尝试一次下载一堆内容,因此首先要查找站点索引或网页,其中整齐地列出了您要下载的所有内容。网站的移动版本通常比桌面版本更轻,并且更容易抓取。
这个网站正是您所寻找的:所有游戏.
现在,这真的很简单。只需提取所有游戏页面链接即可。我用美丽汤 and requests去做这个:
import requests
from bs4 import BeautifulSoup
games_url = 'http://www.primarygames.com/mobile/category/all/'
def get_all_games():
soup = BeautifulSoup(requests.get(games_url).text)
for a in soup.find('div', {'class': 'catlist'}).find_all('a'):
yield 'http://www.primarygames.com' + a['href']
def download_game(url):
# You have to do this stuff. I'm lazy and won't do it.
if __name__ == '__main__':
for game in get_all_games():
download_game(url)
剩下的就取决于你了。download_game()
根据游戏的 URL 下载游戏,因此您必须找出游戏的位置<object>
DOM 中的标签。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)