我正在尝试编写一个 Python 程序来从 Google Trends (GT) 收集数据 - 具体来说，我想自动打开 URL 并访问折线图中显示的特定值：
我很乐意下载 CSV 文件，或者通过网络抓取值（根据我对 Inspect Element 的阅读，清理数据只需要简单的拆分或两次）。我有很多想要进行的搜索（很多不同的关键字）
我正在创建许多 URL 来从 Google 趋势收集数据。我使用了测试搜索中的实际 URL。网址示例：在浏览器上实际搜索该 URL 会显示相关的 GT 页面。当我尝试通过程序访问它时，问题就出现了。
我看到的大多数回复都建议使用 Pip 的公共模块（例如 PyTrends 和“非官方 Google Trends API”）——我的项目经理坚持认为我不使用不是由网站直接创建的模块（即：API 是可以接受的，但只能官方 Google API）。只有 BeautifulSoup 被批准为插件（不要问为什么）。
下面是我尝试过的代码示例。我知道这是基本的，但最重要的是first我收到的请求：
HTTPError：HTTP 错误 429：未知”：请求太多。
对其他问题的一些答复提到了 Google Trends API - 这是真的吗？我找不到任何有关官方 API 的文档。
这是另一篇文章，概述了我尝试过但对我不起作用的解决方案：
https://codereview.stackexchange.com/questions/208277/web-scraping-google-trends-in-python
url = 'https://trends.google.com/trends/explore?q=sports%20cars&geo=US'
html = urlopen(url).read()
soup = bs(html, 'html.parser')
divs = soup.find_all('div')
return divs
它使用您可以在网络选项卡中找到的 API
import requests
import json
r = requests.get('https://trends.google.com/trends/api/widgetdata/multiline?hl=en-GB&tz=-60&req=%7B%22time%22:%222018-05-29+2019-05-29%22,%22resolution%22:%22WEEK%22,%22locale%22:%22en-GB%22,%22comparisonItem%22:%5B%7B%22geo%22:%7B%22country%22:%22US%22%7D,%22complexKeywordsRestriction%22:%7B%22keyword%22:%5B%7B%22type%22:%22BROAD%22,%22value%22:%22sports+cars%22%7D%5D%7D%7D%5D,%22requestOptions%22:%7B%22property%22:%22%22,%22backend%22:%22IZG%22,%22category%22:0%7D%7D&token=APP6_UEAAAAAXO-yaYekqJ7Tf2nuoLBAigMSW7axoLTL&tz=-60')
data = json.loads(r.text.lstrip(")]}\',\n"))
for item in data['default']['timelineData']:
print(item['formattedAxisTime'], item['value'])
我们可以取消对 url 的引用，以便更好地了解发生了什么：
import urllib.parse
url = 'https://trends.google.com/trends/api/widgetdata/multiline?hl=en-GB&tz=-60&req=%7B%22time%22:%222018-05-29+2019-05-29%22,%22resolution%22:%22WEEK%22,%22locale%22:%22en-GB%22,%22comparisonItem%22:%5B%7B%22geo%22:%7B%22country%22:%22US%22%7D,%22complexKeywordsRestriction%22:%7B%22keyword%22:%5B%7B%22type%22:%22BROAD%22,%22value%22:%22sports+cars%22%7D%5D%7D%7D%5D,%22requestOptions%22:%7B%22property%22:%22%22,%22backend%22:%22IZG%22,%22category%22:0%7D%7D&token=APP6_UEAAAAAXO-yaYekqJ7Tf2nuoLBAigMSW7axoLTL&tz=-60'
print(urllib.parse.unquote(url))
这产生：
'https://trends.google.com/trends/api/widgetdata/multiline?hl=en-GB&tz=-60&req={"time":"2018-05-29+2019-05-29","resolution":"WEEK","locale":"en-GB","comparisonItem":[{"geo":{"country":"US"},"complexKeywordsRestriction":{"keyword":[{"type":"BROAD","value":"sports+cars"}]}}],"requestOptions":{"property":"","backend":"IZG","category":0}}&token=APP6_UEAAAAAXO-yaYekqJ7Tf2nuoLBAigMSW7axoLTL&tz=-60'
您需要探索其中的元素如何可转移。
例如，我查看了搜索词banana结果是这样的：
未引用：
'https://trends.google.com/trends/api/explore?hl=en-GB&tz=-60&req={"comparisonItem":[{"keyword":"banana","geo":"US","time":"today+12-m"}],"category":0,"property":""}&tz=-60'
quoted:
'https://trends.google.com/trends/api/explore?hl=en-GB&tz=-60&req=%7B%22comparisonItem%22:%5B%7B%22keyword%22:%22banana%22,%22geo%22:%22US%22,%22time%22:%22today+12-m%22%7D%5D,%22category%22:0,%22property%22:%22%22%7D&tz=-60'