Python网络爬虫实战：爬取携程网酒店评价信息

这个爬虫是在一个小老弟的委托之下写的。

他需要爬取携程网上的酒店的评价数据，来做一些分词和统计方面的分析，然后来找我帮忙。

爬这个网站的时候也遇到了一些有意思的小麻烦，正好整理一下拿出来跟大家分享一下。

这次爬取过程稍微曲折，各种碰壁，最终成功的过程，还是有点意思。

所以本文我会按照自己当时爬取的思路来讲述，希望能给大家一些思路上的启发。

分析部分略长，如果赶时间可以直接拉到最下面，自取代码。

如果是想学习爬虫的话，最好还是跟着文章的思路走一遍吧。

 

一、明确需求

这位小老弟给我的需求是：

• 爬取携程网（https://hotels.ctrip.com/）酒店的用户评价数据，具体来讲就是要爬取【上海静安香格里拉大酒店】的评价中，出行类型为【家庭亲子】的用户的评价数据。
• 评价数据包括：昵称，房型，入住日期，评价日期，评分，评价内容。

要求很简单不是嘛，数据量也不是很大（我看了一下，也才 910 条评价，后来爬取完成之后发现其实只有 750 条左右），根本不够看的。于是，我自作主张，返了个场，在他需求的基础上添加了几条：

• 酒店不只爬一家了，要爬就爬取【北京市】的所有【四星级以上】的酒店。
• 评价数据也不止爬【家庭亲子】类型了，要爬就爬所有的评价数据。

 

二、分析目标网站

这里我发现新手在这里一般都有一个共有的误区，就是他们觉得爬虫都是 “通用” 的，一个网站的爬虫拿过来，网址改一下，再随便撺吧撺吧就可以爬另一个网站了。

实际上，每一个网站的爬取都是需要单独进行分析的，你需要找到目标数据是在网页上的什么位置，是通过静态还是动态的方式加载进去的，网站是否有难搞的反爬虫措施，等等，从而来制定自己爬虫的爬取策略。

一般情况下，除非两个网站是极其相似的，或者根本就是用同一个网页模板开发的，这样的话可以套用同一个爬虫来爬，否则，需要针对每个网站的特点去写对应的爬虫。

 

1. 酒店列表爬取

好了，话不多讲，我们先来分析一下目标网站。

首先打开携程网站，目的地选择【北京】，星级选择【四星级】和【五星级】，点击搜索。

此时网址是：https://hotels.ctrip.com/hotel/beijing1#ctm_ref=hod_hp_sb_lst

可以看到网址中只包含了 【北京】 这个信息，什么四星级五星级的筛选条件，并没有体现在 URL 中。但是从结果来看，它又是确实完成了筛选，所以筛选条件的这些参数肯定是包含在请求的某一个位置的。

继续向下看，翻到页尾，发现网站是用这种方式来实现【翻页】功能的。点击【下一页】，跳转到了第 2 页。

回头看一下 URL，居然没有一丝变化，还是：https://hotels.ctrip.com/hotel/beijing1#ctm_ref=hod_hp_sb_lst

到现在基本可以确定一件事儿了，网页中的酒店信息是通过【动态】方式加载进来的。

 

好，我们去抓包看一下，按 F12 召唤出【开发者工具】，切换到【Network】选项卡，然后刷新一下页面。

天哪，瞧我发现了什么！！！

在浏览器加载页面时，我抓到了一个叫【AjaxHotelList.aspx】的网络请求，而它的返回结果，恰恰就是我们页面中展示的酒店列表的信息。

果然，携程网的酒店数据，是通过 Ajax 请求动态地加载的。如果没猜错的话，刚才没找到的【四星级、五星级】筛选条件参数，以及页码的参数，应该就藏在这个 Ajax 请求的参数中吧。

如图，切换到 Headers 选项，拉到最底下（Form Data 里的参数有点多，代表了各种各样的筛选条件，不过我们不关心那些），看到了 star 和 page 两个参数。

 

果然如我所料！

不过不能高兴太早，为了防止网站有什么比较坑爹的反爬机制，最好先写段代码验证一下，看能否按照预期爬到数据。

这里我网络请求用的是 requests 库，数据解析用的是 json 库。

照着浏览器中开发者工具里的 Ajax 请求，把里面的 url，headers，以及 form data 搬过来填这里，发起请求，打印返回结果。

（无关的参数实在太多了，这里简化了一下，只保留了关键的三个参数，cityId，star，和 page）

  
  


    
    
    
    

     
     

      
      import requests
     
     
    
    


    
    
    
    

     
     

      
      import json
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def fetchHotel(city, star, page):
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          url = 
      
      "https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx"
     
     
    
    


    
    
    
    

     
     

      
          headers = {
     
     
    
    


    
    
    
    

     
     
        
      
      'Content-type': 
      
      'application/x-www-form-urlencoded; charset=UTF-8',
     
     
    
    


    
    
    
    

     
     
        
      
      'Origin': 
      
      'https://hotels.ctrip.com',
     
     
    
    


    
    
    
    

     
     
        
      
      'Referer': 
      
      'https://hotels.ctrip.com/hotel/beijing1',
     
     
    
    


    
    
    
    

     
     
        
      
      'accept': 
      
      '*/*',
     
     
    
    


    
    
    
    

     
     
        
      
      'user-agent': 
      
      'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          formData = {
     
     
    
    


    
    
    
    

     
     
        
      
      'cityId': city,
     
     
    
    


    
    
    
    

     
     
        
      
      'star': star,
     
     
    
    


    
    
    
    

     
     
        
      
      'page': page,
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 发起网络请求
     
     
    
    


    
    
    
    

     
     

      
          r = requests.post(url, data=formData,headers=headers)
     
     
    
    


    
    
    
    

     
     

      
          r.raise_for_status()
     
     
    
    


    
    
    
    

     
     

      
          r.encoding = r.apparent_encoding
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 打印 r.text 来看看是否获取到了酒店数据
     
     
    
    


    
    
    
    

     
     

      
          print(r.text)
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      fetchHotel(
      
      '1',
      
      '4,5',
      
      1)
     
     
    
    


  
  

 运行一下，确实出来结果了（虽然输出一堆 “乱七八糟” 的东西，但是从中文字里还是能够看出来，数据取到了）

 OK，这条路走通了，不过既然都写到这儿了，顺手把 json 给解析一下，把数据提取了吧。（免得有的小伙伴不相信）

这里我们提取 酒店名称，酒店ID 打印出来看看。

  
  


    
    
    
    

     
     

      
      import requests
     
     
    
    


    
    
    
    

     
     

      
      import json
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def fetchHotel(city, star, page):
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          url = 
      
      "https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx"
     
     
    
    


    
    
    
    

     
     

      
          headers = {
     
     
    
    


    
    
    
    

     
     
        
      
      'Content-type': 
      
      'application/x-www-form-urlencoded; charset=UTF-8',
     
     
    
    


    
    
    
    

     
     
        
      
      'Origin': 
      
      'https://hotels.ctrip.com',
     
     
    
    


    
    
    
    

     
     
        
      
      'Referer': 
      
      'https://hotels.ctrip.com/hotel/beijing1',
     
     
    
    


    
    
    
    

     
     
        
      
      'accept': 
      
      '*/*',
     
     
    
    


    
    
    
    

     
     
        
      
      'user-agent': 
      
      'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          formData = {
     
     
    
    


    
    
    
    

     
     
        
      
      'cityId': city,
     
     
    
    


    
    
    
    

     
     
        
      
      'star': star,
     
     
    
    


    
    
    
    

     
     
        
      
      'page': page,
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 发起网络请求
     
     
    
    


    
    
    
    

     
     

      
          r = requests.post(url, data=formData,headers=headers)
     
     
    
    


    
    
    
    

     
     

      
          r.raise_for_status()
     
     
    
    


    
    
    
    

     
     

      
          r.encoding = r.apparent_encoding
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 打印 r.text 来看看是否获取到了酒店数据
     
     
    
    


    
    
    
    

     
     
    
      
      #print(r.text)
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 解析 json 文件，提取酒店数据
     
     
    
    


    
    
    
    

     
     

      
          json_data = json.loads(r.text)[
      
      'hotelPositionJSON']
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          hotelList = []
     
     
    
    


    
    
    
    

     
     
    
      
      for item 
      
      in json_data:
     
     
    
    


    
    
    
    

     
     

      
              hotelId = item[
      
      'id']
     
     
    
    


    
    
    
    

     
     

      
              hotelList.append(hotelId)
     
     
    
    


    
    
    
    

     
     

      
              print(item[
      
      'name'], hotelId)
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      return hotelList
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      fetchHotel(
      
      '1',
      
      '4,5',
      
      1)
     
     
    
    


  
  

运行代码，你看！没错吧，是我们要的酒店列表。

到这里，酒店列表爬取工作，基本就跑通了。

---

 2. 酒店评论爬取

接下来该研究研究酒店评论该怎么爬取吧。

随便打开一个酒店，进入详情页之后，找到了【酒店点评】部分。

在这里，我们可以找到需要的评论的数据，用户昵称，评分，出游类型，入住时间，评价时间，房型，评价内容等等。

继续往下翻，评论页数同样的方式翻页，而且翻页时候 URL 不变，不用说，又是 Ajax 动态加载咯。

直接 F12 召唤 开发者工具，流程很熟悉了，就讲快一点啦。于是我就抓到了评价数据的包了。

（其实很好找的啦，AjaxHotelCommentList，懂点英语的都能猜到是这个了）

不过它返回的内容格式不是 json 了，而是 html，而且没有排版，格式有点乱。

这个不要紧，去随便找一个在线代码格式化网站（http://tool.oschina.net/codeformat/html），排个版就好了。

解析 json 文件可以用 json 库，解析 HTML 文件用什么呢？我一般用 BeautifulSoup 库，贼拉好用。

这里先不急解析，先写代码验证一下，看看有没有什么坑爹的反爬机制。

 同样的方法，讲 Ajax 请求中的 Url，headers 还有 formdata 里的参数都扣过来，跑一下。

  
  


    
    
    
    

     
     

      
      import requests
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def fetchCmts(hotel, page):
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          url = 
      
      "https://hotels.ctrip.com/Domestic/tool/AjaxHotelCommentList.aspx?MasterHotelID=469055&hotel=469055&NewOpenCount=0&AutoExpiredCount=0&RecordCount=5420&OpenDate=2013-12-01&card=-1&property=-1&userType=-1&productcode=&keyword=&roomName=&orderBy=2&viewVersion=c&contyped=0&eleven=12488c2f039b057861112f7bc2f1322271c415a3618cba855bcc85b09795189e&callback=CASOmTvWnCuMJeETo&_=1572277191008"
     
     
    
    


    
    
    
    

     
     

      
          headers = {
     
     
    
    


    
    
    
    

     
     
        
      
      'Content-type': 
      
      'application/x-www-form-urlencoded; charset=UTF-8',
     
     
    
    


    
    
    
    

     
     
        
      
      'referer':
      
      'https://hotels.ctrip.com/hotel/469055.html?isFull=F&masterhotelid=469055&hcityid=2',
     
     
    
    


    
    
    
    

     
     
        
      
      'accept': 
      
      '*/*',
     
     
    
    


    
    
    
    

     
     
        
      
      'user-agent': 
      
      'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    

     
     

      
          formData = {
     
     
    
    


    
    
    
    

     
     
        
      
      'hotel': str(hotel),
     
     
    
    


    
    
    
    

     
     
        
      
      'currentPage': str(page),
     
     
    
    


    
    
    
    

     
     
        
      
      'eleven': 
      
      '12488c2f039b057861112f7bc2f1322271c415a3618cba855bcc85b09795189e',
     
     
    
    


    
    
    
    

     
     
        
      
      'callback': 
      
      'CASOmTvWnCuMJeETo',
     
     
    
    


    
    
    
    

     
     
        
      
      '_': 
      
      '1572277191008',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          r = requests.post(url, headers=headers)
     
     
    
    


    
    
    
    

     
     

      
          r.raise_for_status()
     
     
    
    


    
    
    
    

     
     

      
          r.encoding = 
      
      "utf-8"
     
     
    
    


    
    
    
    

     
     

      
          print(r.text)
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      fetchCmts(
      
      '469055', 
      
      1)
     
     
    
    


  
  

运行代码，果然，可以获取到数据。

不过，这个可不能高兴的太早，为什么呢？

你看 Form Data 的参数中，有三个参数 eleven，callback 和 _ ，这三个的值有点奇怪，一长串看不懂的数字和字母，而且每次的值都不一样。

'_' 的值，1572277191008，这个有点熟悉，好像是时间戳，找在线工具解析一下，没错，果然是。

内心咯噔一下，坏了！

根据经验来讲，参数中带时间戳的，请求一般都是有时效性的。什么意思呢？就是这类请求的参数都是根据一定的规则动态生成的，而且一般几分钟之内就会失效。（再次运行上面的代码，果然啥也获取不到了，失效了）。

 也就是说，如果我想通过 Ajax 请求去获取数据的话，我必须搞清楚这三个参数的生成规则。

而这些参数又是经过 JS 加密的，搞这个又涉及到了 JS 逆向的东西。。。

我其实去网上查过携程网酒店爬虫，想看看别人是怎么绕过这个反爬机制的。

结果搜出来的好几个结果，都是用 Selenium webdriver 爬的。那个是什么原理呢。

就是我们正常的思路，是用爬虫直接去访问网站获取数据，爬虫伪装不好的话很容易被发现；

而它们这个，相当于是爬虫操作一个真的浏览器去访问网站，对方网站看到的是真正的浏览器在访问，它怎么也想不到操作浏览器的不是人，而是一只爬虫。所以这个方法几乎可以绕过所有的反爬机制。

不过！！！！

一个爬虫玩家的尊严，不允许我使用这种低效率又无脑的方式（误，手动狗头保命）。

于是我决定硬刚 Ajax 请求！！

 不过 JS 逆向哪有这么容易的，一时半会儿也搞不定（记得我第一次做 JS 逆向时，整整调试了一个礼拜的 JS 代码才搞出来）,而那边小老弟要的又比较急......

正在我一筹莫展之际，看到了一张帖子，有个老哥的回答让我茅塞顿开。

对呀，网页端的不行，那就模拟手机端的来试试。 

网址由 https://hotels.ctrip.com/hotel 变成了 https://m.ctrip.com/webapp/hotel 。

手机版的评论不是点页码翻页的，是划到页面底部时候自动加载下一页内容的，然后我们在 开发者工具中 成功抓到了评论数据的请求包。

再看一下它的参数列表，嗯，还好，没有奇奇怪怪的动态加密的参数了。

 这次怎么样呢？写段代码验证一下吧。

  
  


    
    
    
    

     
     

      
      import requests
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def fetchCmts(hotel, page):
     
     
    
    


    
    
    
    

     
     

      
          url = 
      
      "https://m.ctrip.com/restapi/soa2/16765/gethotelcomment?&_fxpcqlniredt=09031074110034723384"
     
     
    
    


    
    
    
    

     
     

      
          headers = {
     
     
    
    


    
    
    
    

     
     
        
      
      'Content-type': 
      
      'application/x-www-form-urlencoded; charset=UTF-8',
     
     
    
    


    
    
    
    

     
     
        
      
      'Origin': 
      
      'https://m.ctrip.com',
     
     
    
    


    
    
    
    

     
     
        
      
      'accept': 
      
      '*/*',
     
     
    
    


    
    
    
    

     
     
        
      
      'user-agent': 
      
      'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          formData = {
     
     
    
    


    
    
    
    

     
     
        
      
      'groupTypeBitMap': 
      
      '2',
     
     
    
    


    
    
    
    

     
     
        
      
      'hotelId': str(hotel),
     
     
    
    


    
    
    
    

     
     
        
      
      'pageIndex': str(page),
     
     
    
    


    
    
    
    

     
     
        
      
      'pageSize': 
      
      '10',
     
     
    
    


    
    
    
    

     
     
        
      
      'travelType': 
      
      '-1',       
      
      # -1 表示全部，家庭亲子为 30
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          r = requests.post(url, data=formData, headers=headers) 
      
      # formData,
     
     
    
    


    
    
    
    

     
     

      
          r.raise_for_status()
     
     
    
    


    
    
    
    

     
     

      
          r.encoding = 
      
      "utf-8"
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      return r.text
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      fetchCmts(
      
      '6410223', 
      
      1)
     
     
    
    


  
  

运行程序，可以获取到结果，修改酒店编号，修改页码，再运行都没问题。

返回的结果是 json格式的，回头用 json 库解析一下，把关键数据提取出来就可以了。 

 

事情进行到这儿，对目标网站的分析研究也就基本结束了。

酒店列表，评论数据的爬取，流程也基本跑通了，接下来只需要把代码整理一下，爬就完事儿了。

 

二、爬虫代码编写

前面将网站的爬取思路已经捋清楚了，而且做了些小测试也基本跑通了，接下来就是撸码环节了。

1. 获取酒店列表

我们其实也发现了，爬取评论数据时，只需要酒店ID和页码两个参数就够了，所以爬酒店列表时，我们只需要提取 酒店ID 即可。

  
  


    
    
    
    

     
     

      
      import requests
     
     
    
    


    
    
    
    

     
     

      
      import json
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def fetchHotel(city, star, page):
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          url = 
      
      "https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx"
     
     
    
    


    
    
    
    

     
     

      
          headers = {
     
     
    
    


    
    
    
    

     
     
        
      
      'Content-type': 
      
      'application/x-www-form-urlencoded; charset=UTF-8',
     
     
    
    


    
    
    
    

     
     
        
      
      'Origin': 
      
      'https://hotels.ctrip.com',
     
     
    
    


    
    
    
    

     
     
        
      
      'Referer': 
      
      'https://hotels.ctrip.com/hotel/beijing1',
     
     
    
    


    
    
    
    

     
     
        
      
      'accept': 
      
      '*/*',
     
     
    
    


    
    
    
    

     
     
        
      
      'user-agent': 
      
      'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          formData = {
     
     
    
    


    
    
    
    

     
     
        
      
      'cityId': city,
     
     
    
    


    
    
    
    

     
     
        
      
      'star': star,
     
     
    
    


    
    
    
    

     
     
        
      
      'page': page,
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 发起网络请求
     
     
    
    


    
    
    
    

     
     

      
          r = requests.post(url, data=formData,headers=headers)
     
     
    
    


    
    
    
    

     
     

      
          r.raise_for_status()
     
     
    
    


    
    
    
    

     
     

      
          r.encoding = r.apparent_encoding
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 解析 json 文件，提取酒店数据
     
     
    
    


    
    
    
    

     
     

      
          json_data = json.loads(r.text)[
      
      'hotelPositionJSON']
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          hotelList = []
     
     
    
    


    
    
    
    

     
     
    
      
      for item 
      
      in json_data:
     
     
    
    


    
    
    
    

     
     

      
              hotelId = item[
      
      'id']
     
     
    
    


    
    
    
    

     
     

      
              hotelList.append(hotelId)
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      return hotelList
     
     
    
    


  
  

2. 爬取评论数据

  
  


    
    
    
    

     
     

      
      import requests
     
     
    
    


    
    
    
    

     
     

      
      import json
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def fetchCmts(hotel, page):
     
     
    
    


    
    
    
    

     
     

      
          url = 
      
      "https://m.ctrip.com/restapi/soa2/16765/gethotelcomment?&_fxpcqlniredt=09031074110034723384"
     
     
    
    


    
    
    
    

     
     

      
          headers = {
     
     
    
    


    
    
    
    

     
     
        
      
      'Content-type': 
      
      'application/x-www-form-urlencoded; charset=UTF-8',
     
     
    
    


    
    
    
    

     
     
        
      
      'Referer': 
      
      'https://m.ctrip.com/webapp/hotel/hoteldetail/dianping/'+ hotel + 
      
      '.html?&fr=detail&atime=20191027&days=1',
     
     
    
    


    
    
    
    

     
     
        
      
      'Origin': 
      
      'https://m.ctrip.com',
     
     
    
    


    
    
    
    

     
     
        
      
      'accept': 
      
      '*/*',
     
     
    
    


    
    
    
    

     
     
        
      
      'user-agent': 
      
      'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          formData = {
     
     
    
    


    
    
    
    

     
     
        
      
      'groupTypeBitMap': 
      
      '3',
     
     
    
    


    
    
    
    

     
     
        
      
      'auth': 
      
      "",
     
     
    
    


    
    
    
    

     
     
        
      
      'cid': 
      
      "09031074110034723384",
     
     
    
    


    
    
    
    

     
     
        
      
      'ctok': 
      
      "",
     
     
    
    


    
    
    
    

     
     
        
      
      'cver': 
      
      "1.0",
     
     
    
    


    
    
    
    

     
     
        
      
      'extension': 
      
      '[]',
     
     
    
    


    
    
    
    

     
     
        
      
      'lang': 
      
      "01",
     
     
    
    


    
    
    
    

     
     
        
      
      'sid': 
      
      "8888",
     
     
    
    


    
    
    
    

     
     
        
      
      'syscode': 
      
      "09",
     
     
    
    


    
    
    
    

     
     
        
      
      'hotelId': str(hotel),
     
     
    
    


    
    
    
    

     
     
        
      
      'needStatisticInfo': 
      
      '0',
     
     
    
    


    
    
    
    

     
     
        
      
      'order': 
      
      '0',
     
     
    
    


    
    
    
    

     
     
        
      
      'pageIndex': str(page),
     
     
    
    


    
    
    
    

     
     
        
      
      'pageSize': 
      
      '10',
     
     
    
    


    
    
    
    

     
     
        
      
      'tagId': 
      
      '0',
     
     
    
    


    
    
    
    

     
     
        
      
      'travelType': 
      
      '-1',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          r = requests.post(url, data=formData, headers=headers) 
      
      # formData,
     
     
    
    


    
    
    
    

     
     

      
          r.raise_for_status()
     
     
    
    


    
    
    
    

     
     

      
          r.encoding = r.apparent_encoding
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          json_data = json.loads(r.text)
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          cmtsList = []
     
     
    
    


    
    
    
    

     
     

      
          hotelName = json_data[
      
      'hotelName']
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      for item 
      
      in json_data[
      
      'othersCommentList']:
     
     
    
    


    
    
    
    

     
     

      
              cmt = []
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
              userName = item[
      
      'userNickName']
     
     
    
    


    
    
    
    

     
     

      
              travelType = item[
      
      'travelType']
     
     
    
    


    
    
    
    

     
     

      
              baseRoomName = item[
      
      'baseRoomName']
     
     
    
    


    
    
    
    

     
     

      
              checkInDate = item[
      
      'checkInDate']
     
     
    
    


    
    
    
    

     
     

      
              postDate = item[
      
      'postDate']
     
     
    
    


    
    
    
    

     
     

      
              ratingPoint = item[
      
      'ratingPoint']
     
     
    
    


    
    
    
    

     
     

      
              content = item[
      
      'content']
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
              cmt.append(userName)
     
     
    
    


    
    
    
    

     
     

      
              cmt.append(hotelName)
     
     
    
    


    
    
    
    

     
     

      
              cmt.append(travelType)
     
     
    
    


    
    
    
    

     
     

      
              cmt.append(baseRoomName)
     
     
    
    


    
    
    
    

     
     

      
              cmt.append(checkInDate)
     
     
    
    


    
    
    
    

     
     

      
              cmt.append(postDate)
     
     
    
    


    
    
    
    

     
     

      
              cmt.append(ratingPoint)
     
     
    
    


    
    
    
    

     
     

      
              cmt.append(content)
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
              cmtsList.append(cmt)
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      return cmtsList
     
     
    
    


  
  

3. 数据保存函数

将数据保存到 csv 文件中。

  
  


    
    
    
    

     
     

      
      import pandas 
      
      as pd
     
     
    
    


    
    
    
    

     
     

      
      import os
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def saveCmts(path, filename, data):
     
     
    
    


    
    
    
    

     
     
    
      
      # 如果路径不存在，就创建路径
     
     
    
    


    
    
    
    

     
     
    
      
      if 
      
      not os.path.exists(path):
     
     
    
    


    
    
    
    

     
     

      
              os.makedirs(path)
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      # 保存文件
     
     
    
    


    
    
    
    

     
     

      
          dataframe = pd.DataFrame(data)
     
     
    
    


    
    
    
    

     
     

      
          dataframe.to_csv(path + filename, encoding=
      
      'utf_8_sig', mode=
      
      'a', index=
      
      False, sep=
      
      ',', header=
      
      False )
     
     
    
    


  
  

4. 爬虫调度器

由于小老弟提的要求是： 上海静安香格里拉大酒店，家庭亲子类型的，评论数据。所以，

在 fetchCmts 中，将 travelType 的值设置为 30，

'travelType': '30',   # 30 表示 家庭亲子 类型
  
  

由于看到评论区内容只有九百多条， 每页显示 10 条，所以我们将页码范围设置为 1 - 100 。

  
  


    
    
    
    

     
     

      
      import time
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      if __name__ == 
      
      '__main__':
     
     
    
    


    
    
    
    

     
     

      
          hotel = 
      
      '469055'      
      
      # 上海静安香格里拉大酒店
     
     
    
    


    
    
    
    

     
     

      
          startPage = 
      
      1
     
     
    
    


    
    
    
    

     
     

      
          endPage = 
      
      100
     
     
    
    


    
    
    
    

     
     

      
          path = 
      
      'Data/'
     
     
    
    


    
    
    
    

     
     

      
          filename = 
      
      'cmtTest.csv'
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      for p 
      
      in range(startPage, endPage+
      
      1):
     
     
    
    


    
    
    
    

     
     

      
              cmts = fetchCmts(hotel, p)
     
     
    
    


    
    
    
    

     
     

      
              saveCmts(path, filename, cmts)
     
     
    
    


    
    
    
    

     
     

      
              time.sleep(
      
      0.5)
     
     
    
    


  
  

 为了保险期间，还加了一个 sleep 函数，每爬一次歇半秒，免得因为爬取太频繁被发现。

 几分钟之后，爬取完成，共爬取到 735 条数据。至此，小老弟的忙总算是帮完了。

 

不过，最开始也说了，我嫌爬的不过瘾，又给自己加了几条需求。

爬取北京市的，所有四星级以上酒店的，所有类型的评价数据。

  
  


    
    
    
    

     
     

      
      import time
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      if __name__ == 
      
      '__main__':
     
     
    
    


    
    
    
    

     
     

      
          city = 
      
      '1'
     
     
    
    


    
    
    
    

     
     

      
          star = 
      
      '4,5'
     
     
    
    


    
    
    
    

     
     

      
          startPage = 
      
      1
     
     
    
    


    
    
    
    

     
     

      
          hotelEndPage = 
      
      30
     
     
    
    


    
    
    
    

     
     

      
          cmtsEndPage = 
      
      100
     
     
    
    


    
    
    
    


    
    
    
    

     
     
    
      
      for page 
      
      in range(startPage, hotelEndPage + 
      
      1):
     
     
    
    


    
    
    
    

     
     

      
              hotelList = fetchHotel(city, star, page)
     
     
    
    


    
    
    
    

     
     
        
      
      for hotel 
      
      in hotelList:
     
     
    
    


    
    
    
    

     
     
            
      
      for p 
      
      in range(startPage, cmtsEndPage + 
      
      1):
     
     
    
    


    
    
    
    

     
     

      
                      cmts = fetchCmts(hotel, p)
     
     
    
    


    
    
    
    

     
     

      
                      saveCmts(
      
      "Data/", 
      
      "cmtTest.csv", cmts)
     
     
    
    


    
    
    
    

     
     

      
                      time.sleep(
      
      1)
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          print(
      
      "爬取完成")
     
     
    
    


  
  

 这里偷了个懒，具体有多少酒店，每个酒店有多少评论我们不去管它了，就爬 30 页的酒店，每个酒店爬 100 页的评论，

大概就是爬 300 个酒店，每个酒店 1000 条左右的评论，差不多可以了，如果想爬更多的话，可以自行去修改页码范围。

---

后记

这个爬虫给了我一个新的启示，就是，遇到问题，我们要有死磕的觉悟，但是也要有灵活变通的思维。

就像这个爬虫，爬取评论信息时，PC 版网页的请求加了密不好整，那就换个途径，从手机端来获取数据。

时间也省了，事儿也办了，岂不快哉。

 

---

2019年12月18日 更新

有读者反馈说，在抓取酒店列表信息的部分，使用文章中的代码无法正常获取数据。

运行代码的结果是这样的，也不报错，就是返回的搜索结果是 0 条。

经调试发现，可能是对方服务器做了调整，需要验证 cookies 信息，只需要在 headers 中添加 cookies 参数即可。

 

2020年6月20日 更新

距离这个爬虫写好已经比较久了，期间对方网站也做过一些反爬机制的调整导致爬虫失效。

很多读者反馈说，前面更新时说的向 headers 中添加 cookies 的方法也失效了。经过测试，确实是，现在网站需要验证 “登陆账号后” 的 cookie 了，注意是登陆账号后的，未登录的cookie爬出来还是0条。

后续网站是否会有调整我不知道，截至本次更新时，添加登陆账号后的 cookie 后，文中的爬虫仍是有效的。（可能有些读者刚刚接触爬虫，不知道 cookie 加在哪儿，下面贴一段测试代码，大家参考）

  
  


    
    
    
    

     
     

      
      import requests
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      def fetchCmts(hotel, page):
     
     
    
    


    
    
    
    

     
     

      
          url = 
      
      "https://m.ctrip.com/restapi/soa2/16765/gethotelcomment?&_fxpcqlniredt=09031074110034723384"
     
     
    
    


    
    
    
    

     
     

      
          headers = {
     
     
    
    


    
    
    
    

     
     
        
      
      'Content-type': 
      
      'application/x-www-form-urlencoded; charset=UTF-8',
     
     
    
    


    
    
    
    

     
     
        
      
      'Origin': 
      
      'https://m.ctrip.com',
     
     
    
    


    
    
    
    

     
     
        
      
      'accept': 
      
      '*/*',
     
     
    
    


    
    
    
    

     
     
        
      
      'user-agent': 
      
      'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36',
     
     
    
    


    
    
    
    

     
     
        
      
      'cookie':
      
      '这里放登陆账号后登陆账号后登陆账号后的cookie',
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          formData = {
     
     
    
    


    
    
    
    

     
     
        
      
      'groupTypeBitMap': 
      
      '2',
     
     
    
    


    
    
    
    

     
     
        
      
      'hotelId': str(hotel),
     
     
    
    


    
    
    
    

     
     
        
      
      'pageIndex': str(page),
     
     
    
    


    
    
    
    

     
     
        
      
      'pageSize': 
      
      '10',
     
     
    
    


    
    
    
    

     
     
        
      
      'travelType': 
      
      '-1',       
      
      # -1 表示全部，家庭亲子为 30
     
     
    
    


    
    
    
    

     
     

      
          }
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
          r = requests.post(url, data=formData, headers=headers) 
      
      # formData,
     
     
    
    


    
    
    
    

     
     

      
          r.raise_for_status()
     
     
    
    


    
    
    
    

     
     

      
          r.encoding = 
      
      "utf-8"
     
     
    
    


    
    
    
    

     
     

      
          print(r.text)
     
     
    
    


    
    
    
    

     
     
    
      
      return r.text
     
     
    
    


    
    
    
    


    
    
    
    

     
     

      
      fetchCmts(
      
      '10246623', 
      
      2)
     
     
    
    


  
  

对方网站反爬机制升级，也是侧面反映了网站收到各种爬虫爬取的困扰很大。

希望大家在爬取数据时，注意控制爬取节奏，时间允许的范围内，尽量放慢爬取速度。

 

---

 如果文章中有哪里没有讲明白，或者讲解有误的地方，欢迎在评论区批评指正，或者扫描下面的二维码，加我微信，大家一起学习交流，共同进步。