【转载】爬虫篇——urllib3的基础知识（总结）

2023-11-17

一、快速入门

1、提出请求

# 导入urllib3模块
import urllib3
# 创建一个PoolManager对象，用于处理连接池和线程安全的所有详细信息
http = urllib3.PoolManager()
# 提出请求，请使用request()
r = http.request('GET','http://httpbin.org/robots.txt')
print(r.data) # b'User-agent: *\nDisallow: /deny\n'

request请求

import urllib3
import json

http = urllib3.PoolManager()
r = http.request('POST','https://httpbin.org/post',fields={'hello':'world'})
print(json.loads(r.data.decode('utf-8')))

2、响应内容

status ，data 和headers 属性

import urllib3
http = urllib3.PoolManager()
r = http.request('GET',"http://httpbin.org/ip")
# 响应状态
print(r.status) # 200
# 响应数据
print(r.data) # b'{\n  "origin": "120.239.165.180"\n}\n'
# 响应头文件
print(r.headers) # HTTPHeaderDict({'Date': 'Fri, 22 Apr 2022 02:34:03 GMT', 'Content-Type': 'application/json', 'Content-Length': '34', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true'})

JSON内容

JSON内容可以通过解码和反序列化来加载。 data请求的属性：

import json
import urllib3

http = urllib3.PoolManager()
r = http.request('GET','https://httpbin.org/ip')
json_data = json.loads(r.data.decode('utf-8'))
print(json_data) # {'origin': '120.239.165.180'}

二进制内容

data 响应的属性始终设置为表示响应内容的字节字符串

import urllib3
import json

http = urllib3.PoolManager()
r = http.request('GET','http://httpbin.org/bytes/8')
print(r.data) # b'\xa6\xe6\xb6\x7f\xc1\xd7\xbb9'

对响应内容使用io包装器

有时候你想用 io.TextIOWrapper 或类似的对象，如直接使用 HTTPResponse 数据。要使这两个接口很好地结合在一起，需要使用 auto_close 通过将其设置为 False 。默认情况下，读取所有字节后关闭HTTP响应，这将禁用该行为：

import io
import urllib3

http = urllib3.PoolManager()
r = http.request('GET', 'https://www.qq.com', preload_content=False)
r.auto_close = False
for line in io.TextIOWrapper(r):
    print(line)

3、请求数据

3.1 报头

import urllib3
import json

http = urllib3.PoolManager()
r = http.request('GET','https://httpbin.org/headers',headers={'X-Something': 'value'})
json_data_headers = json.loads(r.data.decode('utf-8'))['headers']
print(json_data_headers)

3.2 查询参数

A、为了 GET ， HEAD 和 DELETE 请求，您可以简单地将参数作为字典传递到 fields 参数 request() 。

import urllib3
import json

http = urllib3.PoolManager()

r = http.request('GET', 'https://httpbin.org/get', fields={'get_key': 'get_value'})
json_data_args = json.loads(r.data.decode('utf-8'))['args']
print(json_data_args) # {'get_key': 'get_value'}

POST请求的特殊点：

import urllib3
import json

http = urllib3.PoolManager()
r = http.request('POST', 'https://httpbin.org/post', fields={'post_key': 'post_value'})
json_data_form = json.loads(r.data.decode('utf-8'))['args']
print(json_data_form)  # {}

B、为了 POST 和 PUT 请求时，需要在URL中手动编码查询参数。

import urllib3
import json
from urllib.parse import urlencode

http = urllib3.PoolManager()

encoded_args = urlencode({'arg': 'value'})
url = 'https://httpbin.org/post?' + encoded_args
r = http.request('POST', url)
print(json.loads(r.data.decode('utf-8'))['args'])  # {'arg': 'value'}

3.3 表单数据

为了 PUT 和 POST 请求时，urllib3将在 fields 参数提供给 request() ：

import urllib3
import json

http = urllib3.PoolManager()
r = http.request('POST', 'https://httpbin.org/post', fields={'post_key': 'post_value'})
json_data_form = json.loads(r.data.decode('utf-8'))['form']
print(json_data_form) # {'post_key': 'post_value'}

3.4 JSON

import json
import urllib3

http = urllib3.PoolManager()
data = {'attribute': 'value'}
headers = {'Content-Type': 'application/json'}
encoded_data = json.dumps(data).encode('utf-8')
print(encoded_data) # b'{"attribute": "value"}'
r = http.request('POST', 'https://httpbin.org/post', body=encoded_data, headers=headers)
print(json.loads(r.data.decode('utf-8'))['json']) # {'attribute': 'value'}

3.5 文件和二进制数据

⑴ 文件为txt文档：

import urllib3
import json

http = urllib3.PoolManager()
with open('example.txt', mode='r', encoding='utf-8') as fp:
    file_data = fp.read()

r = http.request('POST', 'https://httpbin.org/post',
                 fields={
                 	 # 将文件字段指定为 (file_name, file_data)
                     'filefield': ('example.txt', file_data),
                 })
json_data_files = json.loads(r.data.decode('utf-8'))['files']
print(json_data_files) # {'filefield': '..文本文档中的内容，其中换行显示为“\n”..'}

显式指定文件的MIME类型（传递第三个项）：

import urllib3
import json

http = urllib3.PoolManager()
with open('example.txt', mode='r', encoding='utf-8') as fp:
    file_data = fp.read()

r = http.request('POST', 'https://httpbin.org/post',
                 fields={
                     # 下面的第三个参数，指定文件的MIME类型
                     'filefield':('example.txt',file_data,'text/plain'),
                 })
json_data_files = json.loads(r.data.decode('utf-8'))['files']
print(json_data_files) # {'filefield': '..文本文档中的内容，其中换行显示为“\n”..'}

⑵ 文件为图片：

import urllib3
import json

http = urllib3.PoolManager()
with open('img001.jpg', mode='rb') as fp:
    binary_data = fp.read()
r = http.request('POST', 'https://httpbin.org/post',
				 # 发送二进制文件时，只需指定body参数
                 body=binary_data,
                 headers={
                     # 在Content-Type，设置指定文件类型
                     'Content-type': 'image/jpeg',}
                 )
json_data = json.loads(r.data.decode('utf-8'))['data']
print(json_data)

4、使用超时

4.1 控制请求在中止之前允许运行多长时间（以秒为单位）

import urllib3

http = urllib3.PoolManager()
# timeout 超过设置的4.0秒后，自动断开，并报错
r = http.request('GET', 'https://httpbin.org/delay/3', timeout=4.0)
print(r)  # <urllib3.response.HTTPResponse>

# timeout 超过设置的2.5秒后，自动断开，并报错
r1 = http.request('GET', 'https://httpbin.org/delay/3', timeout=2.5)
print(r1)  # MaxRetryError caused by ReadTimeoutError

4.2 精细控制，允许您指定单独的连接和读取超时

# Python版本：3.6
# -*- coding:utf-8 -*-

import urllib3

http = urllib3.PoolManager()

r = http.request('GET', 'http://httpbin.org/delay/3', timeout=urllib3.Timeout(connect=1.0))
print(r)  # <urllib3.response.HTTPResponse>

r1 = http.request('GET', 'http://httpbin.org/delay/3',
timeout=urllib3.Timeout(connect=1.0, read=2.0))
print(r1)  # MaxRetryError caused by ReadTimeoutError

4.3 PoolManager，设置超时

import urllib3

http = urllib3.PoolManager(timeout=3.0)
# 同上，请求受到相同的超时
http = urllib3.PoolManager(timeout=urllib3.Timeout(connect=1.0,read=2.0))

5、重试请求和重定向

5.1 重试请求

import urllib3

http = urllib3.PoolManager()
r = http.requests('GET', 'http://httpbin.org/ip', retries=10) # 重次10次

5.2 禁用所有重试和重定向逻辑

import urllib3

http = urllib3.PoolManager()

# NewConnectionError,新建连接错误，重试连接错误,因为链接不支持重试
# r = http.request('GET', 'http://nxdomain.example.com', retries=False)
# print(r.status) # NewConnectionError错误

r1 = http.request('GET', 'https://httpbin.org/redirect/1', retries=False)
print(r1.status)  # 302

5.3 精细控制，分配重试次数和重定向（多重定向）

重定向没有一步到底会报错

比如：下方的代码 redirect=2 代表重定向2次，实际重定向还有1次，故报错

# Python版本：3.6
# -*- coding:utf-8 -*-

import urllib3

http = urllib3.PoolManager()
# Retry(5, redirect=3)：总共重试 5 次，但仅限于 2 次重定向，没有重定向一步到底（位）
r = http.request('GET','http://httpbin.org/redirect/3',retries=urllib3.Retry(5, redirect=2))
print(r.status) # 报错，MaxRetryError

重定向一步到底

比如：下方的代码 redirect=3 代表重定向3次，实际重定向共3次，故没有报错

# Python版本：3.6
# -*- coding:utf-8 -*-

import urllib3

http = urllib3.PoolManager()

# Retry(5, redirect=3)：总共重试 5 次，但仅限于 2 次重定向，没有重定向一步到底（位）
r = http.request('GET','http://httpbin.org/redirect/3',retries=urllib3.Retry(5, redirect=3))
print(r.status) # 200

分析上方的重定向

Retry(5, redirect=3)：总共重试 5 次，但仅限于 3 次重定向

重定向由 http://httpbin.org/redirect/3 重定向到 http://httpbin.org/get，中间重定向3次，次数少了会报错
-------------------------------------
次数          重定向到（指定的网页）
1       http://httpbin.org/redirect/2
2       http://httpbin.org/redirect/1
3       http://httpbin.org/get

5.4 禁用过多重定向

import urllib3

http = urllib3.PoolManager()

r = http.request('GET', 'http://httpbin.org/redirect/3',
                 retries=urllib3.Retry(redirect=2, raise_on_redirect=False))
print(r.status) # 302

5.5 设置重试策略：规定所有请求使用相同的重试策略

规定所有请求，禁用重试请求

import urllib3

# 禁用重试
http = urllib3.PoolManager(retries=False)

规定所有请求，分配重试总次数和重定向

import urllib3

# 精细控制，分配重试总次数和重定向
http = urllib3.PoolManager(retries=urllib3.Retry(5, redirect=2))

6、错误和异常

import urllib3

http = urllib3.PoolManager()
try:
    http.request('GET','nx.example.com',retries=False)
except urllib3.exceptions.NewConnectionError as e:
    print('连接失败！',e)

7、日志记录

更改 urllib3 记录器的日志级别

logging.getLogger("urllib3").setLevel(logging.WARNING)

二、高级用法

1、自定义池行为

import urllib3
# 向许多不同的主机发出请求，则增加此数量可能会提高性能，同时增加内存和套接字消耗
http = urllib3.PoolManager(num_pools=50)

最大连接数：同时向同一主机发出许多请求，则增加此数量可能会提高性能

import urllib3

# 二者选一
http = urllib3.PoolManager(maxsize=10)
http = urllib3.HTTPConnectionPool('https://cn.bing.com', maxsize=10)

2、stream 和 I/O

在处理大型响应时，最好将响应内容流式传输

import urllib3

http = urllib3.PoolManager()
r = http.request(
    'GET',
    'https://httpbin.org/bytes/1024',
    preload_content=False)  # 预加载连接为False，即将http连接释放回连接池，以便重新使用
for chunk in r.stream(32): # stream()允许迭代响应内容的块
    print(chunk)

把response当作文件对象，可以直接使用 read() 读取数据

import urllib3

http = urllib3.PoolManager()
response = http.request(
    'GET',
    'https://httpbin.org/bytes/1024',
    preload_content=False)
print(response.read(4)) # b'\xae\x95\n\xc2'

调用read()将阻塞，直到有更多响应数据可用

import urllib3
import io

http = urllib3.PoolManager()
r = http.request(
    'GET',
    'https://httpbin.org/bytes/1024',
    preload_content=False)  # 预加载连接为False，即将http连接释放回连接池，以便重新使用
reader = io.BufferedReader(r, 8)
print(reader.read(4)) # b'\xcec\x1f\r'
# 释放连接
r.release_conn()

使用这个类似文件的对象来执行诸如解码内容之类的操作 codecs

import urllib3
import json
import codecs

http = urllib3.PoolManager()
reader = codecs.getreader('utf-8')
r = http.request(
    'GET',
    'http://httpbin.org/ip',
    preload_content=False)
print(json.load(reader(r)))  # {'origin': '120.239.165.180'}

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

urllib3的使用

爬虫

python

【转载】爬虫篇——urllib3的基础知识（总结）的相关文章

如何替换 Pandas Dataframe 中不在列表中的所有值？ [复制]

这个问题在这里已经有答案了我有一个值列表如何替换 Dataframe 列中不在给定值列表中的所有值例如 gt gt gt df pd DataFrame D ND D garbage columns S gt gt gt df S 0
在 Python 中解析 TCL 列表

我需要在双括号上拆分以空格分隔的 TCL 列表例如 OUTPUT 172 25 50 10 01 01 Ethernet 172 25 50 10 01 02 Ethernet Traffic Item 1 172 25 50 10 01
如何在 Matplotlib 饼图周围绘制箭头以将每个标签指向圆圈中各自的部分？

我一直在用 Matplotlib 绘制一些图表我有一个饼图想要在图表周围绘制箭头使每个标签都指向图表我有一个例子这是我当前的代码 import matplotlib pyplot as plt plt rcParams font
为什么 dataclasses.astuple 返回类属性的深层副本？

在下面的代码中astuple函数正在执行数据类的类属性的深层复制为什么它不能产生与函数相同的结果my tuple import copy import dataclasses dataclasses dataclass class Dem
在 Python 中将列表元素作为单独的项目返回

Stackoverflow 的朋友们大家好我有一个计算列表的函数我想单独返回列表的每个元素如下所示接收此返回的函数旨在处理未定义数量的参数 def foo my list 1 2 3 4 return 1 2 3 4 列表中的元素数
NLTK 2.0分类器批量分类器方法

当我运行此代码时它会抛出一个错误我认为这是由于 NLTK 3 0 中不存在batch classify 方法我很好奇如何解决旧版本中的某些内容在新版本中消失的此类问题 def accuracy classifier gold resu
我应该使用 Python 双端队列还是列表作为堆栈？ [复制]

这个问题在这里已经有答案了我想要一个可以用作堆栈的 Python 对象使用双端队列还是列表更好元素数量较少还是数量较多有什么区别您的情况可能会根据您的应用程序和具体用例而有所不同但在一般情况下列表非常适合堆栈 append is
如何从Python中的函数返回多个值？ [复制]

这个问题在这里已经有答案了如何从Python中的函数返回多个变量您可以用逗号分隔要返回的值 def get name you code return first name last name 逗号表示它是一个元组因此您可以用括号将值括
矩形函数的数值傅里叶变换

本文的目的是通过一个众所周知的分析傅里叶变换示例来正确理解 Python 或 Matlab 上的数值傅里叶变换为此我选择矩形函数这里报告了它的解析表达式及其傅立叶变换https en wikipedia org wiki Rectan
如何使用 Selenium 和 ChromeDriver 解决 TypeError: 'module' object is not callable 错误 [重复]

这个问题在这里已经有答案了代码试验 from selenium import webdriver from selenium webdriver chrome options import Options as Chromeoptions
使用 python/numpy 重塑数组

我想重塑以下数组 gt gt gt test array 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 为了得到 gt gt gt test2 array 11 12 21 22 13 14
Django REST Framework - CurrentUserDefault 使用

我正在尝试使用CurrentUserDefault一个序列化器的类 user serializers HiddenField default serializers CurrentUserDefault 文档说为了使用它请求必须作为
找到一个数字所属的一组范围

我有一个 200k 行的数字范围列表例如开始位置停止位置该列表包括除了非重叠的重叠之外的所有类型的重叠列表看起来像这样 3 5 10 30 15 25 5 15 25 35 我需要找到给定数字所属的范围并对 100k 个数字重复该
Python：Goslate 翻译请求返回“503：服务不可用”[关闭]

Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案我们不允许提出寻求书籍工具软件库等推荐的问题您可以编辑问题以便用事实和引文来回答这个问题似乎不是关于主要由程序员使用的特定编程问
每当使用 import cv2 时 OpenCV 都会出错

我在终端上使用 pip3 install opencv contrib python 安装了 cv2 并且它工作了但是每当我尝试导入 cv2 或运行导入了 cv2 的 vscode 文件时在 python IDLE 上它都会说 Trac
等待子进程使用 os.system

我用了很多os system在 for 循环内调用创建后台进程如何等待所有后台进程结束 os wait告诉我没有子进程 ps 我使用的是Solaris 这是我的代码 usr bin python import subprocess imp
pandas.read_csv 将列名移动一倍

我正在使用位于的 ALL zip 文件here http www fec gov disclosurep PDownload do 我的目标是用它创建一个 pandas DataFrame 但是如果我跑 data pd read csv
如何在 Flask 中的视图函数/会话之间传递复杂对象

我正在编写一个 Web 应用程序当且仅当用户登录时该应用程序从第三方服务器接收大量数据这些数据被解析为自定义对象并存储在list 现在用户在应用程序中使用这些数据调用不同的视图例如发送不同的请求我不确定什么是最好的模式在视
JSON：TypeError：Decimal（'34.3'）不是JSON可序列化的[重复]

这个问题在这里已经有答案了我正在运行一个 SQL 查询它返回一个小数列表当我尝试将其转换为 JSON 时出现类型错误查询 res db execute SELECT CAST SUM r SalesVolume 1000 0 AS
NLTK：查找单词大小为 2k 的上下文

我有一个语料库我有一个词对于语料库中该单词的每次出现我想获取一个包含该单词之前的 k 个单词和该单词之后的 k 个单词的列表我在算法上做得很好见下文但我想知道 NLTK 是否提供了一些我错过的功能来满足我的需求 def size

随机推荐

C语言-扫雷游戏程序设计

文章目录一问题要求 1 问题描述 2 程序的功能二基本要求 1 要求分析 2 需求分析四设计概要 1 程序的设计概要 2 程序的主要流程 1 设置棋盘 2 布地雷五用户说明六测试结果 1 运行结果说明 2 测试结论七
区块链基本加密概念

什么是区块链目前狭义就任务就是一个超级账本区块链可以用来做什么可以用来无障碍的置换既然是用来交易的那么我们就要有一个地址存放我的资产地址举例比特资产地址一个比特币地址由两部分组成一部分是公钥哈希值经过Base58check
面试：Spring&SpringMVC&Mybatis 面试必备面试题

Spring SpringMVC Mybatis常见面试题历史文章多线程史上最全面试题持续更新中 dubbo zookeeper55道高频面试题附加答案 SpringCloud SpringBoot经典面试题附加答案 Spring
linux进程snprintf函数功能,linux 之 snprintf函数用法

int snprintf char restrict buf size t n const char restrict format 函数说明最多从源串中拷贝n 1个字符到目标串中然后再在后面加一个0 所以如果目标串的大小为n 的话将
MapReduce实现TopN的效果

1 背景最近在学习Hadoop的MapReduce 此处记录一下如何实现 TopN 的效果以及在MapReduce中如何实现自定义分组 2 需求我们有一份数据数据中存在如下3个字段订单编号订单项和订单项价格输出的数据需求如
最近邻检索（NN）和近似最近邻（ANN）检索

文章目录 1 最近邻检索 Nearest Neighbor Search 1 1 概述 1 2 应用领域 2 最近邻检索的发展 2 1 精确检索 2 2 近似检索参考文献 1 最近邻检索 Nearest Neighbor Search 1
解决导入aliyun-sdk-vod-upload后仍报错的问题

在手动下载阿里云的aliyun sdk vod upload jar包并执行mvn install install file DgroupId com aliyun DartifactId aliyun sdk vod upload Dve
STM32 Freertos 添加外部sram heap_5.c

1 添加外部SRAM 初始化 2 添加heap 5 c 3 初始化heap 5 c 外部堆栈 Define the start address and size of the two RAM regions not used by the
MYSQL基础命令及添加用户及权限操作

用root管理打开mysql 1 连接数据库 mysql u root p或者 mysql h192 168 222 132 uroot p通过ip远程连接数据库 mysql h host u user p password P port
啊哈C语言——安装啊哈C编译器

安装啊哈C编译器首先访问啊哈C语言编译器的官网www ahacpp com 下载啊哈 C语言编译器安装包 Windows 单击下载之后会跳转到腾讯微云选中文件复选框然后单击保存微云这个时候会弹出登录框选择自己喜欢的登录方式然后再
华为OD机试 - 全量和已占用字符集（Java）

题目描述给定两个字符集合一个是全量字符集一个是已占用字符集已占用字符集中的字符不能再使用要求输出剩余可用字符集输入描述输入一个字符串一定包含前为全量字符集后的为已占用字符集已占用字符集中的字符一定是全量字符集中的字符
drop mysql,MySQL删除大表更快的DROP TABLE办法

本文内容遵从CC版权协议可以随意转载但必须以超链接形式标明文章原始出处和作者信息及版权声明网址 http www penglixun com tech database mysql fast drop table use hard li
【Python】植物大战僵尸-基于pygame模块-part2

文章目录版本介绍一种子栏类 SeedBank py 1 成员变量 2 方法展示种子栏二主游戏类 MainGame py 1 成员变量 2 加载项 3 主事件项三最终效果版本介绍继上篇内容开发该版本为ver1 1 后续版
go 进阶请求代理相关: 二. ReverseProxy 基础讲解

目录一 ReverseProxy 基础 ReverseProxy 中提供了哪些功能 ReverseProxy 结构详解 ReverseProxy实现代理的简单示例 1 NewSingleHostReverseProxy 函数源码解释 2
元宇宙大投资 & 元宇宙通证

元宇宙大投资元宇宙大投资 1 备战元宇宙大浪潮元宇宙大投资 2 抓紧元宇宙本质元宇宙大投资 3 决胜元宇宙投资元宇宙大投资 4 元宇宙的终局生物与数字的融合元宇宙大投资 6 元宇宙中国之崛起元宇宙大投资 7 全球投资脉络下的元
Linux 下搭建 Kafka 环境

安装步骤准备软件目录 mkdir datalake 上传之前下载好的安装包到 datalake 目录下 jdk 8u181 linux x64 gz kafka 2 11 2 1 0 tgz zookeeper 3 4 5 tar gz
Openwrt按键检测分析-窥探Linux内核与用户空间通讯机制netlink使用

首先看一下Openwrt系统中关于按键功能的使用和修改以18 06版本为例按键功能实现在脚本中比如18 06 package base files files etc rc button reset bin sh lib functi
【闲趣】软链接：拯救你的C盘

转载本文主要解决电脑系统盘空间问题虽然有一些软件我们修改了安装路径但是无可避免的是还是有一些文件装在了C盘里有没有什么办法可以把它们全部放到非系统盘呢自从上次重装系统之后电脑上的3dsmax也用不了了今天想重新下载回来但是之
Unity Frame Debugger和Profiler连接Android真机调试

当用Profiler分析到不是代码导致的性能问题当前场景最大的性能瓶颈是渲染时或者自己写的Shader要调试时都可以用Frame Debugger进行调试按下列步骤设置打包既可以用Profiler又可以用Frame Debugge
【转载】爬虫篇——urllib3的基础知识（总结）

一快速入门 1 提出请求导入urllib3模块 import urllib3 创建一个PoolManager对象用于处理连接池和线程安全的所有详细信息 http urllib3 PoolManager 提出请求请使用request