前言

     夏天已经接近尾声了，虽然各种大白腿会少了很多，但是会冒出很多各种黑色的大长腿哇！尤其是黑色的，黑丝才是永远滴神！今天带你们大饱眼福一波！

一、技术路线

requests：网页请求
BeautifulSoup：解析html网页
re：正则表达式，提取html网页信息
os：保存文件

import re
import requests
import os
from bs4 import BeautifulSoup

二、获取网页信息

获取网页信息的固定格式，返回的字符串格式的网页内容，其中headers参数可模拟人为的操作，‘欺骗’网站不被发现

def getHtml(url):  #固定格式，获取html内容
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
    }  #模拟用户操作
    try:
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('网络状态错误')

三、网页爬取分析

右键单击图片区域，选择 审查元素 ,可以查看当前网页图片详情链接，我就满心欢喜的复制链接打开保存，看看效果，结果一张图片只有60几kb，这就是缩略图啊，不清晰，果断舍弃。。。

没有办法，只有点击找到详情页链接，再进行单独爬取。

空白右键，查看页面源代码，把刚刚复制的缩略图链接复制查找快速定位，分析所有图片详情页链接存在div标签，并且class=‘list’ 唯一，因此可以使用BeautifulSoup提取此标签。并且发现图片详情页链接在herf=后面（同时我们注意到有部分无效链接也在div标签中，观察它们异同，发现无效链接存在'https'字样，因此可在代码中依据此排出无效链接，对应第4条中的函数代码），只需提取出来再在前面加上网页首页链接即可打开，并且右键图片，‘审查元素’，复制链接下载的图片接近1M，表示是高清图片了，到这一步我