分布式爬虫学习笔记

2023-11-15

安装python 虚拟环境    (将使用python2/3的项目分开)
    1、安装virtualenvcmd
            cmd命令:pip install virtualenv
    2、因为下载开发包很慢,所以下载开发包的第三方镜像--python豆瓣源(百度)
        安装djangio
            cmd命令:pip install -i https://pypi.douban.com/simple/  django
    3、新建virtualenv
            cmd命令:E:\virtualenv_test>virtualenv scrapytest
                该目录下就会出现scrapytest虚拟环境,里面是python最初的包
            
            E:\virtualenv_test\scrapytest\Scripts>activate.bat
    4、利用Phython3.5新建一个虚拟环境
        启用(scrapypy3) E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>deactivate.bat
        退出(scrapypy3) E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>deactivate.bat
    5、安装 virtualenvwrapper(虚拟环境管理器)
            E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>pip install virtualenvwrapper
        1、配置系统变量 WORKON_HOME=E:\Evns
        2、C:\Users\lenovo>pip install virtualenvwrapper-win
        3、C:\Users\lenovo>workon
            显示E:\Evns下的虚拟环境(一个文件夹)
    6、快速创建虚拟环境
        C:\Users\lenovo>mkvirtualenv py2scrapy
        退出输入deactivate
        进入输入workon py2scrapy
    7、安装request sccrapy
        缺包参考:www.lfd.uci.edu/~gohlke/pythonlibs/
        1\pip request
        2\(py2scrapy) G:\python3.5>pip install -i       https://pypi.douban.com/simple scrapy
            我用的是python3.5 32位
    8、创建一个python2.7的版本
            mkvirtualenv --python=路径+python.exe
            这样就可以在workon目录下建立不同python版本的虚拟环境
       
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

分布式爬虫学习笔记 的相关文章

  • JavaScript 生成流程图

    插件地址 dagre d3 引用的资源 d3 v3 min js http d3js org d3 v3 min js dagre d3 min js http cpettitt github io project dagre d3 v0
  • 创建Web项目时,Maven更新失败,Cannot resolve plugin org.apache.maven.plugins:maven-surefire-plugin:2.22.2

    创建Web项目时 Maven更新失败 Cannot resolve plugin org apache maven plugins maven surefire plugin 2 22 2 错误图片 这个问题是由于本地仓库和idea自带仓库
  • 用MATLAB和内点法实现带有时变不等式约束的分布式优化

    文章目录 问题描述 内点法 MATLAB实现 仿真结果 源代码 问题描述 考虑代价函数 f i x i
  • 靶场vulnstack4内网渗透

    环境介绍 服务器 192 168 183 129 192 168 10 232 win7 192 168 183 131 DC 192 168 183 130 kali 192 168 10 182 1 拿webshell 对ubuntu的
  • Illustrator打开visio导出的emf为什么会报错

    问题描述 将使用Visio绘制的 emf文件直接拖入Adobe Illustrator有时候会弹出如下报错窗口 无法完成操作 因为出现未知错误 原因分析 经过多次测试 发现这个跟Visio中元素的数量有关 当数量 gt 24或 gt 27
  • 听说这个爬虫面试题很难?看完你就知道怎么做了

    最近有一个爬虫面试题 http shaoq com 7777 exam 在圈内看起来挺火的 经常在各个爬虫群里看到它被提到 而几乎所有提到这个面试题的人在题目限制的条件下就不知道该怎么办了 但这题目其实真的并不难 甚至可以说应该只是为了在招
  • window安装Docker Desktop for Windows(基于WSL2)

    目录 一 什么是Ducker 二 安装Ducker 1 window for Linux子系统环境搭建 1 1 打开系统虚拟机平台和WSL 适用于Linux的window子系统 1 2安装WSL2 1 3为什么用wsl2 不用wsl1 1
  • EasyUI之Combobox(下拉列表框)组件

  • 淘宝商品图文描述

    data sellerId 2209194664312 wdescContent pages https img alicdn com imgextra i1 2209194664312 O1CN01rhwtQh1hiwZNnUNh3 22
  • QT 之多种布局展示

    QT布局 目录 QT布局 一 QHBoxLayout QVBoxLayout 二 QFont 大小 颜色 三 QLinearGradient 颜色渐变 应用背景渐变 四 QGroupBox分组框 五 QSS 结合setStyleSheet使
  • 03libevent下通信的主要函数

    03libevent下通信的主要函数 以下是关于libevent学习的相关文章 01libevent库的下载与安装并且测试是否安装成功 02libevent库的整体框架思想 03libevent下通信的主要函数 04libevent库下fi
  • JDK环境

    windows 1 下载jdk 2 安装 3 找到具体位置 4 添加jre 新版本不用天健jre 调换盘符 D 找到路径 cd 路径 输出当前路径 chdir 没安装在C盘 调盘符 准备安装jre E 换路径 cd E Program Fi
  • 微博评论爬虫解决 meiko 之问,S 11 冠军皮肤选猫咪还是选露露呢

    S11 结束了 EDG 牛逼就完事了 作为 Meiko 十年老粉 我看到他发了这样一条微博 所以是选露露还是猫咪呢 广大网友在评论区讨论得不亦乐乎 我突然灵光一闪 可以用爬虫把这些评论抓取下来 提取每一条评论中的包含露露 猫咪等关键词 每一
  • 【Nginx】检查配置文件是否正确

    1 进入配置nginx路径 usr local sbin nginx t c usr local nginx conf nginx conf 2 返回这个就是正确 nginx the configuration file usr local
  • (要更新)N沟道和P沟道MOSFET

    一 借鉴基础知识 MOS管基础知识百度文库链接 https wenku baidu com view fc0a7d2eccbff121dd3683b2 html 首先 我并没有转载某知名博主的文章 只是觉得PPT的图片截取的还可以 其次 博
  • 抖音引流话术怎么写?这些引流话术你必须掌握

    抖音引流话术怎么写 这些引流话术你必须掌握 在这个以流量为红利的互联网时代 越来越多的人抓住这个营销风口利用抖音平台来吸引流量赚钱 那么我们应该如何在抖音上正确的话术引流而不被限流封号呢 被降权限流后又该怎样快速恢复播放量 相信现在玩一抖双
  • < 纯前端实现「羊了个羊」小游戏 >

    纯前端实现 羊了个羊 小游戏 背景 游戏本体 原理讲解 gt 地图模拟 gt 地图生成 gt 覆盖关系 gt 填充数据 gt 点击交互 往期内容 背景 最近简单的 羊了个羊 小游戏火到出圈 据说狂赚几百几千万 这么弱智的玩意 即便是前端 我
  • 使用make_blob,KNeighborsClassifier-K近邻算法进行分类

    写这篇博客源于博友的提问 1 效果图 输入 100 5 3 7 得到结果 2 可视化效果图如下 待预测点红色x展示 输入 88 2 1 9 得到结果 1 可视化效果图如下 待预测点红色x展示 2 源码 KNeighborsClassifie
  • [电源系列]二、低成本MOS快速关断电路原理分析

    电源系列 二 低成本MOS快速关断电路原理分析 1 电路图 2 电路分析 1 电路图 如图所示 R22为PWM输入 16 8V为输入电压 4为输出开关管 Q5 D2 R17为MOS快速关断电路 2 电路分析 当PWM输入为高时 三极管Q6导
  • [LitCTF 2023]Http pro max plus

    打开环境后提示说 只允许在本地访问 本地访问 还是想到了XFF字段 好家伙的 直接被嘲讽 还是了解太少了 都不知道还有没有其他方式可以控制ip地址信息 经过查看wp 得知一种新的方式 Client IP 当客户端发送HTTP请求时 可以使用

随机推荐

  • java学生信息管理系统实训报告错误总结

    1 知道了Java数据库应用怎样连接 还有关于mysql数据库 在写代码之前 我们要先在lib里面添加连接MySQL数据库的jar包 作为库添加到项目里 Add as Library 然后在创建实体类的时候 名称要和mysql数据库里面的名
  • element的el-select input组件双向绑定无法选中回显的问题

    在选择下拉后出现了下拉无法回显的情况 但是其他输入框一填内容 马上就回显了的情况 经过排查也并不是下拉框绑定的值有问题 最后是使用了Vue 官方提供了 vm forceUpdate 方法才解决的 此方法的作用是迫使 Vue 实例重新渲染 解
  • FasterViT实战:使用FasterViT实现图像分类任务(二)

    文章目录 训练部分 导入项目使用的库 设置随机因子 设置全局参数 图像预处理与增强 读取数据 设置Loss 设置模型 设置优化器和学习率调整算法 设置混合精度 DP多卡 EMA 定义训练和验证函数 训练函数 验证函数 调用训练和验证方法 运
  • IPv6笔记-地址结构与分类

    1 地址基础 IPv6地址由被划分为8个16位块的128位组成 然后将每个块转换为由冒号符号分隔的4位十六进制数字 2001 0000 3238 00E1 0063 0000 0000 FEFB 每一块多个前导的0可以省略 一个块全为0可以
  • Unity_There are 2 audio listeners in the scene.Please ensure there is always exactly one audio......

    分析 这意味着你有两个音频监听器 每个摄像机可能有一个 您一次只能有一个音频侦听器处于活动状态 您必须在相机之间切换时启用 禁用它们 或者删除其中一个 解决方案 您可以通过在heirarchy视图上方的搜索字段中键入AudioListene
  • 【C++】类的小练习

    目录 基本知识 例题1 正方体 完整代码 不足 例题2 点与圆 要点 完整代码 头文件point h 源文件 基本知识 class 类名 访问权限 属性 参数 行为 函数 注 类中的属性和行为统称为成员 属性 也称 成员属性 成员变量 行为
  • Binder机制详解(三)

    系列目录 Binder机制详解 一 Binder机制详解 二 文章目录 前言 一 Binder机制理解 二 应用层 1 Linux下的进程通信 2 binder通信 3 stub 4 流程总结 三 native层 1 Binder基于mma
  • 【计算机视觉

    文章目录 一 分割 语义相关 18篇 1 1 TomatoDIFF On plant Tomato Segmentation with Denoising Diffusion Models 1 2 CGAM Click Guided Att
  • k8s跨namespace复制pvc方式之一

    前言 今天发现小伙伴把mysql的pod部署到了default命名空间下 而且已经用了好久 而恰巧我们清理k8s空间 就把他pod删了 小伙伴很恼火 哈哈哈哈 default命名空间禁止部署业务pod 幸好pvc还在 那如何把default
  • 如何用 Github Pages 免费部署静态站点

    最低成本部署静态网站 所谓静态网站 是指它所有内容都是静态的 即预先编写好并存储在服务器上 访问者获取到的是事先准备好的静态文件 所以完全不需要购买服务器 除了域名之外 几乎不会有其他花销 我在构建五个静态站点的过程中 积累了大量经验 本篇
  • sql uniqueidentifier转换成varchar 数据类型

    塗聚文 Geovin Du DECLARE myid uniqueidentifier SET myid NEWID SELECT CONVERT char 255 myid AS char GO 塗聚文 Geovin Du declare
  • css背景图片和背景颜色一起显示

    如果需要在一个元素中既要显示背景图片也要显示背景颜色 我们都知道背景图片可以使用background image url 来指定 也可以省略image 但是如果我们既显示背景图片又要显示背景颜色 那么我们可以将background url
  • 使用grep 过滤logcat输出

    转自 http www xmumu com post 2012 02 15 15478732 如何过滤 adb logcat 输出 简介 本文介绍如何在shell 命令行中过滤 adb logcat 输出的几个小技巧 开发当中经常看到别人的
  • 自定义busybox文件系统存在的问题

    1 串口终端看不到命令行入口 只能在显示器端HDMI 看到 2 内核默认无法加载除了busybox openwrt文件系统 debian ubuntu无法加载
  • 缓冲转换流

    只用字符流时可能出现乱码 而转换流可以解决这个问题 再加上缓冲流又可以提高效率 import java io BufferedReader import java io BufferedWriter import java io FileI
  • C++&QT-day5

    作业 多重继承 1 定义一个学生类 Student 私有成员属性 姓名 年龄 分数 成员方法 无参构造 有参构造 析构函数 show函数 2 再定义一个党员类 Party 私有成员属性 党组织活动 组织 成员方法 无参构造 有参构造 析构函
  • python封装一个logging模块,可以直接使用

    记录下遇到的问题以及解决方法 日志等级 等级 等级代码 翻译 NOTSET 0 未设置 DEBUG 10 调试 INFO 20 信息 WARNING 30 警告 WARN 30 警告 ERROR 40 错误 CRITICAL 50 至关重要
  • 【论文阅读】Multimodal Fusion with Co-Attention Networks for Fake News Detection --- 虚假新闻检测,多模态融合

    本博客系本人理解该论文之后所写 非逐句翻译 预知该论文详情 请参阅论文原文 论文标题 Multimodal Fusion with Co Attention Networks for Fake News Detection 作者 Yang
  • 学深度学习可以做什么?可以从事什么工作?

    学习深度学习可以让您涉足人工智能领域的前沿 为各种领域带来巨大的创新和改进机会 深度学习的核心思想是通过多层神经网络模拟人类大脑的工作方式 从而实现对复杂数据的高级处理和理解 这为以下方面的应用提供了广泛的可能性 学深度学习可以做什么 首先
  • 分布式爬虫学习笔记

    安装python 虚拟环境 将使用python2 3的项目分开 1 安装virtualenvcmd cmd命令 pip install virtualenv 2 因为下载开发包很慢 所以下载开发包的第三方镜像 python豆瓣源 百度 安装