##Python爬取站长素材上的图片
罗纳尔康
首先这是一个学习的案例，我将其记录下来，因为所学的内容有点多，爬取这个图片，我是用的xpath来解析网页，当然也可以用bs4来进行解析，看个人喜好，该案例比较简单，但涉及的内容并不少。
第一页：https://sc.chinaz.com/tupian/gougoutupian.html
第二页：https://sc.chinaz.com/tupian/gougoutupian_2.html
第三页：https://sc.chinaz.com/tupian/gougoutupian_3.html
可以看出来除了第一页以外，后面的每一页都是_页码,下划线+页码。所以这个规律很好找，就除了第一页以外，之后的每一页都拼接一个下划线+页码就可以完成url地址栏的获取。
首先需要 定制请求对象需要的两个参数，一个是URL地址，一个headers,请求头。
因此第一步定义一个定制请求对象的函数，并且是一个含参有返回值的函数，参数用于接收传来的页码，并将得到的请求对象返回过去，用于下一步的获取内容。
首先就是url，url用if判断，除了第一页直接给https://sc.chinaz.com/tupian/gougoutupian.html这个地址以外，后面的每一页都是
url=‘https://sc.chinaz.com/tupian/gougoutupian_’+str(page)+’.html’，用来改变url地址，从而获取不同页的数据。
headers:可在浏览器中的开发者模式中去复制，并且是一个字典类型。
将url和headers两个参数传入urllib.request.Request()这个方法中，将会得到一个request。将这个请求对象返回，下一步将会用到。
def create_request(page):
if(page==1):
url='https://sc.chinaz.com/tupian/gougoutupian.html'
else:
url='https://sc.chinaz.com/tupian/gougoutupian_'+str(page)+'.html'
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
request=urllib.request.Request(url=url,headers=headers)
return request
一样定义一个函数用于获取响应内容，封装起来。
通过urllib.request.urlopen(request)方法可以获取响应的respone,将其读取出来，respone.read().decode(‘utf-8’),注意编码格式，要和获取的一致，基本都是utf-8。这样就得到了网页的源码，具体需要的内容，通过下一步的xpath来筛选自己所需的内容。
def get_content(request):
respone=urllib.request.urlopen(request)
content=respone.read().decode('utf-8')
return content
为了将获取到的内容筛选下载下来，需要引入xpath库。
接下来就是解析数据，我们需要下载图片，先来分析下网页的内容。
所以我们获取先获取图片的名称，xpath为//*[@id=“container”]/div/div/a/img/@alt，将会返回一个列表名称
下面就是图片的链接地址,其中涉及到一个图片的懒加载。//*[@id=“container”]/div/div/a/img/@src2
就可以获取到它们的一个名字列表和下载地址列表。可是下载地址是https:,所以应该拼接起来。
然后最后用urllib.request.urlretrieve(url,filename),第一个参数传下载的地址，第二个则是文件的名字。
效果图如下：
最后完整的代码如下
#需求:爬取站长素材上的狗狗图片的前5页数据
#第一页
#https://sc.chinaz.com/tupian/gougoutupian.html
#第二页
#https://sc.chinaz.com/tupian/gougoutupian_2.html
#第三页
#https://sc.chinaz.com/tupian/gougoutupian_3.html
import urllib.request
from lxml import etree
#1.定制请求对象
def create_request(page):
if(page==1):
url='https://sc.chinaz.com/tupian/gougoutupian.html'
else:
url='https://sc.chinaz.com/tupian/gougoutupian_'+str(page)+'.html'
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
request=urllib.request.Request(url=url,headers=headers)
return request
#2.获取内容
def get_content(request):
respone=urllib.request.urlopen(request)
content=respone.read().decode('utf-8')
return content
#3.下载图片
def down_load(content):
#将获取的内容，传进去用于解析数据
tree=etree.HTML(content)
#xpath解析数据,首先解析一下图片的名称，在解析图片的地址
name_list=tree.xpath('//*[@id="container"]/div/div/a/img/@alt')
src_list=tree.xpath('//*[@id="container"]/div/div/a/img/@src2')
for i in range(len(name_list)):
name=name_list[i]
src=src_list[i]
url='https:'+src
urllib.request.urlretrieve(url=url,filename='./狗狗图片/'+name+'.jpg')
if __name__ == '__main__':
start_page=int(input('请输入起始页'))
end_page=int(input('请输入结束页'))
#循环遍历页数
for page in range(start_page,end_page+1):
#定制请求对象
request=create_request(page)
#获取响应内容
content=get_content(request)
#批量下载图片
down_load(content)