网页抓取 - 如何通过 Angular.js 访问在 JavaScript 中呈现的内容？

我正在尝试从公共网站抓取数据asx.com.au http://www.asx.com.au

这一页http://www.asx.com.au/asx/research/company.do#!/ACB/details http://www.asx.com.au/asx/research/company.do#!/ACB/details包含一个div带有“view-content”类，其中包含我需要的信息：

但是当我尝试通过Python查看这个页面时urllib2.urlopen该 div 是空的：

import urllib2
from bs4 import BeautifulSoup

url = 'http://www.asx.com.au/asx/research/company.do#!/ACB/details'
page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page, "html.parser")
contentDiv = soup.find("div", {"class": "view-content"})
print(contentDiv)

# the results is an empty div:
# <div class="view-content" ui-view=""></div>

是否可以通过编程方式访问该 div 的内容？

编辑：根据评论，内容似乎是通过Angular.js。是否可以通过 Python 触发该内容的渲染？

本页使用JavaScript从服务器读取数据并填充页面。

我看到你使用开发者工具Chrome- 参见选项卡Network on XHR or JS要求。

我找到了这个网址：

该 url 提供的所有数据几乎都是 JSON 格式

但如果您使用此链接时没有&callback=angular.callbacks._0然后你得到纯 JSON 格式的数据，你可以使用json模块将其转换为 python 字典。

EDIT:工作代码

import urllib2
import json

# new url      
url = 'http://data.asx.com.au/data/1/company/ACB?fields=primary_share,latest_annual_reports,last_dividend,primary_share.indices'

# read all data
page = urllib2.urlopen(url).read()

# convert json text to python dictionary
data = json.loads(page)

print(data['principal_activities'])

Output:

Mineral exploration in Botswana, China and Australia.

编辑 (2020.12.23)

这个答案已经有近 5 年历史了，是为 Python2 创建的。现在在Python3中它需要urllib.request.urlopen() or requests.get()但真正的问题是，五年来这个页面的结构和技术发生了变化。网址（在问题和答案中）不再存在。这个页面需要新的分析和新的方法。

有问题的是网址

http://www.asx.com.au/asx/research/company.do#!/ACB/details http://www.asx.com.au/asx/research/company.do#!/ACB/details

但当前页面使用 url

https://www2.asx.com.au/markets/company/acb https://www2.asx.com.au/markets/company/acb

它使用不同的网址AJAX,XHR

https://asx.api.markitdigital.com/asx-research/1.0/companies/acb/about https://asx.api.markitdigital.com/asx-research/1.0/companies/acb/about
https://asx.api.markitdigital.com/asx-research/1.0/companies/acb/announcements https://asx.api.markitdigital.com/asx-research/1.0/companies/acb/announcements
https://asx.api.markitdigital.com/asx-research/1.0/companies/acb/key-statistics https://asx.api.markitdigital.com/asx-research/1.0/companies/acb/key-statistics
etc.

您可以使用以下方式找到更多网址DevTools in Chrome/Firefox (tab: Network， 筛选：XHR)

import urllib.request
import json

# new url      
url = 'https://asx.api.markitdigital.com/asx-research/1.0/companies/acb/about'

# read all data
page = urllib.request.urlopen(url).read()

# convert json text to python dictionary
data = json.loads(page)

print(data['data']['description'])

Output:

Minerals exploration & development