博主在学习爬虫之初，利用BeautifulSoup爬取了无锡美团美食数据，博客链接在这里，后来有童鞋指出代码不能运行，在一番讨论后发现是在使用get_text函数时返回的数据为空值，博主本来想弄明白到底是怎么回事的，于是用相同的代码爬了一遍豆瓣电影的数据，发现使用get_text函数没有出现任何问题，也就是说博主在写这篇博客时，也还没弄明白为啥get_text函数没法解析美团的网页代码。这个问题姑且放在一遍，在使用get_text函数时，我发现，豆瓣网页解析出来的数据是纯文本数据，而非json数据，也就是说，我用get_text函数解析出来数据除了用正则表达式外，很难把我想要的信息解析出来。
为了正确的解析这种数据，博主琢磨一番，弄明白了其中的一些细节，供大家参考。博主写博客的目的，主要是为了梳理自己当时遇到的问题，加深对代码的理解。
请求头的构造在我之前的博客里已经提到，这里不再讲解，这个请求头在一段时间之前是无需加入的，但是现在爬豆瓣必须加入，否则状态码不等于200。
import requests
import time
import json
import csv
import pandas as pd
from bs4 import BeautifulSoup
results = []
raw = 'https://movie.douban.com/top250'
for index in range(10): # 1
url = raw + '?start=' + str(25*index) +'&filter='
page = requests.get(url = url,headers = headers)
time.sleep(2)
print(index)
print(page.status_code)
if (page.status_code != 200): # 2
print('error')
continue
page = requests.get(url = url, headers = headers)
soup = BeautifulSoup(page.text,'lxml')
div = soup.find_all('div', attrs={'class':'hd'}) # 3
pageindex = []
for i in div:
name = i('span') # 4
name1 = name[0].string.strip() # 5
href = i('a') # 6
lst = [] # 6
lst.append(str(href)) # 6
soup1 = BeautifulSoup(''.join(lst),'lxml') # 6
href = soup1.a.attrs['href'] # 6
name2 = name[1].string.strip('/\xa0') # 7
pageindex.append([name1,name2,href])
results.extend(pageindex)
对标注的地方进行解释：
output = pd.DataFrame(results,columns = ['电影名','别名','豆瓣链接'])
output.to_excel('豆瓣高分电影.xls')
看结果：
至此完成所有爬取过程。
博主也是爬虫初学，因为工作的原因，最早接触爬虫是要爬取gxb的网站获取相关数据，他们的网站其实没有这么复杂，但有个问题，很多情况下，数据都是贴成图片的形式展示的，所以爬取反而更费劲一点。但其实思路都是一样，首先是对网页发起请求，如果请求正常，则会给你返回一大串你想要的不想要的数据，那么接下来就是你从返回的数据中提取你想要的数据，如果返回的是json数据，那么很好，json.load()就行了，如果返回的是网页代码，那么通过beautifulsoup解析各种标签获取数据，基本是这个套路。
由于这些互联网企业都会不定期更新网页代码，所以爬虫代码不知道啥时候就不能用了，有空再来更新。