‘NoneType‘ object has no attribute ‘find_all‘问题解决

2023-11-12

问题描述:

Python爬虫学习过程中遇到的AttributeError: ‘NoneType’ object has no attribute ‘find_all’ 问题解决

Traceback (most recent call last):
  File "D:\Study\Python\爬虫\03数据解析\爬取小说top.py", line 29, in <module>
    parse_infos = parse_soup.find('div',class_='rankpage_box').find_all('div',class_='rank_d_list borderB_c_dsh clearfix')
AttributeError: 'NoneType' object has no attribute 'find_all'

原因分析:

‘NoneType’ object has no attribute ‘find_all’,这个错误提示告诉我们 ‘children’ 属性的对象 soup 是一个空类型,那就意味着

parse_infos=parse_soup.find('div',class_='rankpage_box').find_all('div',class_='rank_d_list borderB_c_dsh clearfix')
中parse_soup并没有得到解析出来的html页面


解决方案:

在查找资料之后发现设置headers可以避免这种情况的产生

在请求网页爬取的时候,在检查语句正确之后,结果输出错误,这就是后台服务器禁止爬取,需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。

对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 。

# 另外无意中发现了一个可以快捷获得xpath的方法
# 在浏览器里面,F12 找到需要查询的标签,然后鼠标右击找到复制,复制里面有一个xpath完整路径和xpath路径
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

‘NoneType‘ object has no attribute ‘find_all‘问题解决 的相关文章

  • Python实现超简单【抖音】无水印视频批量下载

    前言 本文的文字及图片来源于网络 仅供学习 交流使用 不具有任何商业用途 版权归原作者所有 如有问题请及时联系我们以作处理 作者 python乱炖 PS 如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资
  • sojson jsjiami.com.v6 爬虫js逆向

    sojson jsjiami com v6 爬虫js逆向 地址 aHR0cDovL3d3dy5wYmMuZ292LmNuL3JteWgvMTA1MjA4Lzg1MzIvaW5kZXg1Lmh0bWw 抓取内容 第一次请求 发现返回的不是正确
  • 零基础学完Python的7大就业方向,原来赚钱的路子这么多?

    我想学 Python 但是学完 Python 后都能干啥 现在学 Python 哪个方向最简单 哪个方向最吃香 相信不少 Python 的初学者 都会遇到上面的这些问题 大家都知道 Python 很吃香 薪资高 就业面广 但具体的 有哪些方
  • Python爬虫该怎么学习?学习步骤是什么?

    学Python 想必大家都是从爬虫开始的吧 python爬虫即 网络爬虫 网络爬虫是一种程序 主要用于搜索引擎 它将一个网站的所有内容与链接进行阅读 并建立相关的全文索引到数据库中 然后跳到另一个网站 搜索引擎 SearchEngine 是
  • ‘NoneType‘ object has no attribute ‘find_all‘问题解决

    Python爬虫 问题描述 原因分析 解决方案 问题描述 Python爬虫学习过程中遇到的AttributeError NoneType object has no attribute find all 问题解决 Traceback mos
  • Python爬虫-11-response.text出现乱码的解决方案

    代码如下 这里是封装的一个下载url页面的方法 import requests def download page url user Agent None referer None print Downloading url headers
  • sublime text3下搭建Python IDE--Anaconda插件(自动补全)

    今天自己想在sublime text3下装个python自动补全插件 当安装一个包管理器时 Package Contral 时 ctrl shift p输入Install Package时 总是报错说没有这个包 在网上也找了很多解决办法 有
  • 大数据采集概述

    文章目录 大数据采集概述 1 互联网大数据与采集 1 1互联网大数据来源 1 社交媒体 2 社交网络 3 百科知识库 4 新闻网站 5 评论信息 6 位置型信息 1 2 互联网大数据的特征 1 大数据类型和语义更加丰富 2 数据的规范化程度
  • 爬虫需要知道的基础

    一 爬虫概述 1 爬虫必须知道的要素 爬虫要遵循网上的爬虫机器人协议 怎样查看 在网址后面加上 robots txt来查看 可以查到哪些是允许的 哪些是不允许的 爬虫的基本步骤 找到网址 发起请求 解析页面并获得原始数据 对数据进行处理 保
  • Python爬虫实战之电影爬取过程

    俗话说 兴趣所在 方能大展拳脚 so结合兴趣的学习才能事半功倍 更加努力专心 apparently本次任务是在视频网站爬取一些好看的小电影 地址不放 狗头保命 只记录过程 实现功能 从网站上爬取采用m3u8分段方式的视频文件 对加密的 ts
  • python爬虫第9天 用爬虫测试网站 远程采集

    网站的前端通常并没 有自动化测试 尽管前端才是整个项目中真正与用户零距离接触的唯一一个部分 想象有一个由测试驱动的网络开发项目 每天进行测试以保证网络接口的每个环节的功能 都是正常的 每当有新的特性加入网站 或者一个元素的位置改变时 就执行
  • Python爬虫10-Selenium模拟登录

    目录 10 1Selenium和PhantomJS和headless chrome 10 1 1Selenium的概念和安装 10 1 2浏览器的选择和安装 10 2Selenium和PhantomJS与Chrome的配合使用 10 2 1
  • Python模拟登陆万能法-微博

    Python模拟登陆让不少人伤透脑筋 今天奉上一种万能登陆方法 你无须精通HTML 甚至也无须精通Python 但却能让你成功的进行模拟登陆 本文讲的是登陆所有网站的一种方法 并不局限于微博与知乎 仅用其作为例子来讲解 用到的库有 sele
  • 利用几行python代码爬取全国疫情数据,全方位地图分析疫情地区分布

    爬取全国疫情数据 所用的网页连接 https api inews qq com newsqa v1 automation foreign country ranklist 可视化用到的模块 gt 戳这里下载 也可以看最后 或私信我 如果没有
  • python—scrapy框架爬虫—链家二手房数据

    本文讲解的是scrapy框架爬虫的实例 文章目录 前言 scrapy简介 1 scrapy框架的流程 2 流程简介 操作 1 创建scrapy项目 2 运行 3 代码部分 前言 本文爬取的是链家重庆主城九区的二手房数据 同时将爬取的数据存入
  • 05笔趣阁小说爬取--爬取作者所有小说

    前面的程序已经实现了从笔趣阁自动爬取整部小说 接下来在之前的基础上 将功能进一步扩展 实现自动爬取某一作者在笔趣阁中的所有小说 继续以方想为例 下图是方想作品列表的页面 https www 52bqg com modules article
  • 初学Python到月入过万最快的兼职途径(纯干货)

    1 兼职薪资 附行哥工资单 2 兼职门槛 附学习知识清单 3 兼职途径 附入职考核过程 4 行哥的兼职感受 答应行友的第一篇赚钱干货推文来啦 行哥第一个在读书期间通过兼职赚到的10w 收入 这也是初学Python小白最快达到月入过万的途径
  • 高考失利,还适合选计算机专业吗??

    前言 高考落榜 人生陷入低谷 对于很多人来说 这意味着梦想的破灭和无尽的绝望 但是 对于我来说 这只是人生旅程的一个起点 我喜欢编程也热爱编程 虽然网上很多言论说计算机行业已经很卷了 但是我却认为无论再哪个行业 你不卷 也同样落后于人 所以
  • 英雄联盟英雄信息【python爬虫】

    文章目录 下面开始正式教学 思路分析 开始工作 这里要注意一下 实现 以下是全部代码 相信大家都知道撸啊撸这个游戏了吧 小时候偷偷跑去网吧和朋友们开黑的日子 那是我们逝去的青春 学了爬虫课后终于按捺不住了 决定自己手动编写爬虫程序 就把自己
  • Python获取去哪儿旅游数据并作可视化攻略

    嗨喽 大家好呀 这里是爱看美女的茜茜呐 开发环境 版 本 python 3 8 编辑器 pycharm 第三方库 requests gt gt gt pip install requests parsel gt gt gt pip inst

随机推荐

  • [转载]PropertyChanged 事件

    在 NET平台上 数据绑定是一项令人十分愉快的技术 利用数据绑定能减少代码 简化控制逻辑 通常 可以将某个对象的一个属性绑定到一个可视化的控件上 当属性值改变时 控件上的显示数据也随之发生变化 要实现这一功能 只需要为自定义对象实现 INo
  • Pandas 笔记 (一)

    Pandas 笔记 Pandas 提供高性能 易于使用的数据结构和数据分析工具 Pandas 可以从 CSV JSON SQL MICROSOFTEXCEL 导入数据 Pandas 可以对各种数据进行运算操作 比如归并 再形成 选择 还有数
  • vue3的一些知识点plus--4

    二十六 hooks使用 hooks 复用代码进行封装 钩子函数 和vue2中的mixins相似 将共同部分抽离出来 也有开源的库 vueUse 包含各种hooks 可以在 官网 查看 我们自己怎么编写呢 要知道hook底层就是个函数 返回p
  • 树(Tree)——(六)平衡搜索二叉树理论篇

    目录 平衡 分类 最小不平衡子树 AVL Tree AVL树的失衡调整的四种情况 1 左单旋 RR 关键代码 例 补充 2 右单旋 LL 关键代码 3 右左双旋 RL 4 左右双旋 LR 总结 平衡 影响树的平衡的因素主要有 插入顺序 删除
  • 数据结构---栈与队列

    今天是高木同学哦 栈 栈的基本概念 栈 栈是一种特殊的线性表 其只允许在固定的一端进行插入和删除元素操作 进行数据插入和删除操作的一端称为栈顶 另一端被称为栈底 栈中的数据元素遵守后进先出 LIFO 的原则 压栈 栈的插入操作叫做压栈 出栈
  • 【复变函数与积分变换】02. 解析函数

    Contents 2 解析函数 2 1 复变函数 2 2 解析函数 2 3 解析函数的充分必要条件 2 4 解析函数与调和函数的关系 2 5 初等解析函数 2 解析函数 2 1 复变函数 复变函数的定义 设 D D D 是复平面中的一个点集
  • JDK8,JDK11,JDK17,JDK21及中间版本主要更新特性

    一 版本roadmap图 官方地址 https www oracle com java technologies java se support roadmap html 从上图可以很清晰得可以看出 JDK7 JDK8 JDK11 JDK1
  • CCS8.0和XDS100V3仿真器连接目标板失败的解决办法

    对于新手 要想顺利的连接上目标板不是一个容易的事 所以我这里记录一下我这个新手为了连接目标板的折腾过程 我的开发平台 WIN10系统CCS8 0 目标板芯片 TMS320VC5509A 仿真器 研旭XDS100V3 已确定的前提条件 CCS
  • 华北水利水电大学c语言无暇素数,华北水大C语言实验报告(三)

    华北水大高级语言程序设计 C语言 实验报告 三 2014 2015学年 第二学期 2014级 专业 学号 姓名 一 实验题目 循环结构程序设计 二 实验目的 略 三 实验内容 1 程序验证 略 2 程序设计 1 找出100 900之间的无暇
  • C++中使用UDP Socket发送字节数据

    文章目录 参考 代码 结果展示 参考 这篇文章给的代码也能用 https blog csdn net qq 36437446 article details 106446172 CRC代码来自https blog csdn net huij
  • 自己实现ls-l命令

    include
  • c4d人物模型 - mixamo 网页骨骼绑定

    1 首先拿出建立好的模型 成男 全身 c4d 2 复制一份到新文件 绑定动作 c4d 把轴对齐设置到人物脚中心 然后复位psr 确认没有问题后把模型 C 掉 导出obj文件准备放到网页中进行骨骼绑定 3 登录网址 Mixamo 导入obj文
  • spring Security4 和 oauth2整合 注解+xml混合使用(授权码篇)

    Spring Security4 和 oauth2整合授权码模式 上两篇介绍了环境配置和用户密码模式 下面介绍授权码模式 git地址 https gitee com ffch OauthUmp spring Security4 和 oaut
  • kvm虚拟机读取宿主机usb设备

    1 查看usb设备 用lsusb查看宿主机usb设备信息 2 在kvm虚拟机的xml文件中添加如下
  • 代码安全审计规范 安全措施缺陷审计列表

    声明 本文是学习GB T 39412 2020 信息安全技术 代码安全审计规范 而整理的学习笔记 分享出来希望更多人受益 如果存在侵权请及时联系我们 代码安全审计规范 安全措施缺陷审计列表 数据清洗 关键状态数据外部可控 审计指标 应避免关
  • 表情识别综述2018-Deep Facial Expression Recognition: A Survey

    表情识别综述2018 Deep Facial Expression Recognition A Survey 一 该论文从4各方面 应用领域 表情数据库 识别流程和表情识别的算法 讲述了基于深度学习的表情识别在近几年的发展情况 该论文根据表
  • shell对比文件夹(文件)创建时间

    判断一个文件夹中的所有文件是否是最近5分钟内创建的 bin bash folder path path to folder current time date s five minutes ago current time 300 300秒
  • Zabbix监控系统与部署Zabbix5.0监控(系列操作完整版)

    目录 一 监控软件的作用 二 Zabbix基本介绍 1 Zabbix是什么 2 Zabbix监控原理 3 Zabbix的优点 4 Zabbix的缺点 5 Zabbix监控系统的监控对象 三 Zabbix的监控架构 1 server clie
  • springboot + mybatis手动提交事务

    Service public class MyService Autowired DataSourceTransactionManager transactionManager public ResultMap lockStockWhenN
  • ‘NoneType‘ object has no attribute ‘find_all‘问题解决

    Python爬虫 问题描述 原因分析 解决方案 问题描述 Python爬虫学习过程中遇到的AttributeError NoneType object has no attribute find all 问题解决 Traceback mos