Python 中阻止 GET 请求的解决方法

我正在尝试使用 requests 和 beautifulsoup 检索和处理网络搜索的结果。

我编写了一些简单的代码来完成这项工作，并且它成功返回（状态 = 200），但请求的内容只是一条错误消息“对于给您带来的不便，我们深表歉意，但该站点当前不可用。” ，并且在过去的几天里一直如此。但是，在 Firefox 中搜索会毫无问题地返回结果。我已经使用英国网站的 URL 运行了代码，并且运行没有问题，所以我想知道美国网站是否设置为阻止抓取网络搜索的尝试。

有没有办法掩盖我试图从 Python 中检索搜索结果的事实（例如，伪装成 Firefox 中的标准搜索）或其他一些解决方法以允许访问搜索结果？

包含代码供参考如下：

import pandas as pd
from requests import get
import bs4 as bs
import re
# works
# baseURL = 'https://www.autotrader.co.uk/car-search?sort=sponsored&radius=1500&postcode=ky119sb&onesearchad=Used&onesearchad=Nearly%20New&onesearchad=New&make=TOYOTA&model=VERSO&year-from=1990&year-to=2017&minimum-mileage=0&maximum-mileage=200000&body-type=MPV&fuel-type=Diesel&minimum-badge-engine-size=1.6&maximum-badge-engine-size=4.5&maximum-seats=8'
# doesn't work
baseURL = 'https://www.autotrader.com/cars-for-sale/Certified+Cars/cars+under+50000/Jeep/Grand+Cherokee/Seattle+WA-98101?extColorsSimple=BURGUNDY%2CRED%2CWHITE&maxMileage=45000&makeCodeList=JEEP&listingTypes=CERTIFIED%2CUSED&interiorColorsSimple=BEIGE%2CBROWN%2CBURGUNDY%2CTAN&searchRadius=0&modelCodeList=JEEPGRAND&trimCodeList=JEEPGRAND%7CSRT%2CJEEPGRAND%7CSRT8&zip=98101&maxPrice=50000&startYear=2015&marketExtension=true&sortBy=derivedpriceDESC&numRecords=25&firstRecord=0'
a = get(baseURL)
soup = bs.BeautifulSoup(a.content,'html.parser')

info = soup.find_all('div', class_ = 'information-container')
price = soup.find_all('div', class_ = 'vehicle-price')

d = [] 
for idx, i in enumerate(info):
    ii = i.find_next('ul').find_all('li')

    year_ = ii[0].text
    miles = re.sub("[^0-9\.]", "", ii[2].text)
    engine = ii[3].text
    hp = re.sub("[^\d\.]", "", ii[4].text)
    p = re.sub("[^\d\.]", "", price[idx].text)

    d.append([year_, miles, engine, hp, p])

df = pd.DataFrame(d, columns=['year','miles','engine','hp','price']) 

默认情况下，Requests 在发出请求时会发送唯一的用户代理。

>>> r = requests.get('https://google.com')
>>> r.request.headers
{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

您正在使用的网站可能试图通过拒绝用户代理的任何请求来避免抓取工具python-requests.

要解决这个问题，您可以更改您的用户代理 https://stackoverflow.com/questions/10606133/sending-user-agent-using-requests-library-in-python发送请求时。由于它可以在您的浏览器上运行，因此只需复制您的浏览器用户代理（您可以通过 Google 搜索，或记录对网页的请求并复制您的用户代理）。对我来说，它是Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36（真是拗口），所以我像这样设置我的用户代理：

>>> headers = {
...     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
... }

然后发送带有新标头的请求（新标头将添加到默认标头中，除非它们具有相同的名称，否则它们不会替换它们）：

>>> r = requests.get('https://google.com', headers=headers)  # Using the custom headers we defined above
>>> r.request.headers
{'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

现在我们可以看到请求是使用我们首选的标头发送的，希望网站无法区分请求和浏览器之间的区别。