部署langchain+chatglm

2023-10-26

先参考:window零基础部署langchain-ChatGLM_飞奔的屎壳郎的博客-CSDN博客

安装一部分, 

1.GCC安装
gcc64位下载
一定要装64位的gcc,因为我的电脑是w10 64位的,装32位运行langchain报错并配置环境变量
可直接用压缩包中的文件:x86_64-8.1.0-release-posix-seh-rt_v6-rev0.7z
软件下载地址:https://sourceforge.net/projects/mingw-w64/files/

安装后解压,然后将bin目录配置到path目录

image.png
gcc64安装验证
gcc -v

2.Visual Studio 2019安装
可直接用压缩包的文件:vs_community__studio2019.exe
官方下载地址:https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/
2019版下载链接,社区版就够用了:https://my.visualstudio.com/Downloads?q=visual%20studio%202019&wt.mc_id=omsftvscom~older-downloads

 注意,需要选择C++开发模块,其余默认,其它根据自己的需求安装就好了,安装路径可以默认,也可以根据自己情况更改一下,然后点击安装就好了,后面都是自动安装了,因为需要在线下载东西,过程有点长,耐心等待一下~~

3.Anaconda安装
可直接用压缩包中的文件:Anaconda3-2023.03-0-Windows-x86_64.exe

下载安装
下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

安装的时候选择所有all users,直接下一步就行

4. CUDA安装
安装CUDA11.7
参考https://blog.csdn.net/chen565884393/article/details/127905428

下载安装包
可直接用压缩包的文件:cuda_11.7.1_516.94_windows.exe

下载CUDA,根据自己的配置选择,win10还是win11安装包
下载地址:https://developer.nvidia.com/cuda-11-7-1-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local

检查命令:nvcc -V

6. 安装CUDNN
下载CUDNN
可直接用压缩包的文件:cudnn-windows-x86_64-8.5.0.96_cuda11-archive.zip
下载安装包,在NVIDIA官方网站即可下载,地址为:https://developer.nvidia.com/rdp/cudnn-archive

把这CUDNN中三个文件夹的文件分别拷贝到CUDA安装目录对应的(bin、include、lib)文件夹中即可。CUDA的lib目录有x64 、Win32、cmake三个文件夹,拷到其中的x64这个文件夹中

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin\x64

 torch_stable
下载地址:https://download.pytorch.org/whl/torch_stable.html
下载torch==2.0.1+cu117,可以观察到cu117/torch-2.0.1有很多的版本,cp38对应python3.8,win_amd64对应windows的64位操作系统,根据自己的实际情况进行下载即可。 (+cu117表示CUDA10.1,+cpu表示CPU版本)
 

chatglm_langchain_demo

#Setup envirnment

conda create -n langchain python=3.10 -channel  http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

conda activate langchain

# 拉取仓库

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

# 安装依赖

cd langchain-ChatGLM

python3 -m pip install -r requirements.txt

python3 -m pip install gradio==3.28.3

python3 -m pip install tabulate

#Download models

git lfs install   #此句我没写

git clone https://huggingface.co/THUDM/chatglm-6b-int4

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

python3 webui.py

成功

【langchain_chatglm问中级职称评定】 https://www.bilibili.com/video/BV1GW4y1Z7wu/?share_source=copy_web&vd_source=159f872f790f3f11c2991f350622f681

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

部署langchain+chatglm 的相关文章

  • 打印100-200之间的所有素数。 (C语言)

    分析 判断是否是素数 1 能被1和自身整除的数是素数 2 试除法 代码 include
  • 服务器选择多大的带宽比较合适,如果遇到攻击了该怎么办

    首先要了解带宽是什么 对于服务器来说带宽分两种 上行带宽和下行带宽 上行带宽 是上传数据的速度 用户要获取到服务器程序搭建里面的内容就需要用到上传带宽 就好比搭建了网站别人要加载内容 服务器首先就要先把内容上传到用户的本地上 而这个步骤就需
  • 杰卡德系数(Jaccard Index)

    杰卡德系数 Jaccard Index 杰卡德系数 又称为杰卡德相似系数 用于比较两个样本之间的差异性和相似性 杰卡德系数越高 则两个样本相似度越高 定义 有两个集合A和B 那么这两个集合的杰卡德系数为A和B的交集除以A和B的并集 当集合A

随机推荐

  • VMware虚拟机启动错误(正在被占用、内部错误)等问题

    参考 VMware虚拟机启动错误 正在被占用 内部错误 等问题 作者 扫地僧 发布时间 2019 09 20 15 02 55 网址 https blog csdn net weixin 42119153 article details 1
  • Spring cache 注解详解

    spring cache注解的使用 CacheConfig 类级别的缓存注解 允许共享缓存名称 Caching 将多种缓存操作分组 Cacheable 触发缓存入口 CacahePut 更新缓存 CacheEvict 触发移除缓存 最常用的
  • 浅谈vscode以及解决官网下载速度慢的问题

    浅谈vscode VSCode 全称 Visual Studio Code 是一款由微软开发且跨平台的免费源代码编辑器 该软件支持语法高亮 代码自动补全 又称 IntelliSense 代码重构 查看定义功能 并且内置了命令行工具和 Git
  • DB-Engines 2017年8月数据库排名发布 总体走势复归平稳

    近日 DB Engines发布了2017年8月数据库排名 数据库排行 经历过此前一系列暴跌暴涨 8月数据库得分走势渐趋平缓 前二十名涨跌幅皆控制在十分以内 前十席位本月无变动 为首的三巨头自不必提 Oracle MySQL Microsof
  • Impala常见错误

    1 尽量少使用 invalidate metadata 尽量用REFRESH TABLE NAME 2 set APPX COUNT DISTINCT true 与 ndv 函数是一样的 都只是估值 Impala SQL 不支持的一个查询中
  • 计算机组成原理——存储系统の选择题整理

    存储器概述 1 存储器存取周期是指 A 存储器的读出时间 B 存储器的写入时间 C 存储器进行连续读或写操作所允许的最短时间间隔 D 存储器进行一次读或写操作所需的平均时间 解析 选C 存取周期是存储器进行连续读或写操作所允许的最短时间间隔
  • LeetCode 最热 100 题, 搜索旋转排序数组,search in rotated sorted array

    作者 Linux猿 简介 CSDN博客专家 华为云享专家 Linux C C 面试 刷题 算法尽管咨询我 关注我 有问题私聊 关注专栏 LeetCode面试必备100题 优质好文持续更新中 欢迎小伙伴们点赞 收藏 留言 目录 一 题目描述
  • 自然语言编程的尝试

    班上有30个学生 甲叫肖鹤云 乙叫李诗情 显示甲 乙的名字 这段代码明显不能运行 需要做一些修改 分配30个学生类至班 甲为班 0 乙为班 1 甲的名字为肖鹤云 乙的名字为李诗情 显示甲的名字 乙的名字 进一步转化 学生类 班 学生类 ma
  • 杨辉三角c语言实现

    在屏幕上打印杨辉三角 include
  • Spring Boot实战.Spring Boot核心原理剖析

    在上节中我们通过了一个小的入门案例已经看到了Spring Boot的强大和简单之处 本章将详细介绍Spring Boot的核心注解 基本配置和运行机制 笔者一直认为 精通一个技术一定要深入了解这个技术帮助我们做了哪些动作 深入理解它底层的运
  • VMware Workstation(虚拟机)安装英文版XP系统

    因需要写英文文档 里面的截图也要求全英文 所以打算在在原有的XP系统上安装一虚拟机 再在虚拟机里安装英文版XP系统 在此记录一下自己的安装过程 虚拟机的安装过程在此略过 首先要下载英文版XP操作系统iso镜像 本人下载网址 http www
  • pytorch实现简易回归问题

    代码部分 import torch from torch autograd import Variable import torch nn as nn import torch nn functional as F import torch
  • Excel中如何获取汉字拼音首字母

    Excel中如何获取汉字拼音首字母 在工作中 为了方便查询 排序或者编码 需要生成汉字内容信息的首字母 如果信息很多的话 一个个录入是一件很麻烦的事情 下面给大家介绍一个便捷的方法 轻松获取汉字拼音首字母信息 最终效果如下 工具 原料 Mi
  • vue3中使用webcamjs拍照

    最近做了一个考试答题的pc端vue3项目 就是pc端有人脸识别这个流程 于是熟悉了下 附上官方文档地址 https www npmjs com package webcamjs 一 第一步下载 npm i webcamjs 二 vue3中引
  • React如何使用styled-component

    首先需要安装style component 在控住台输入npm install styled component save 全局如何使用呢 在index js中引入style js 以下是style js中的代码 其中使用了reset cs
  • 【数学】张量通俗入门

    1 张量 张量就是一组有序数 或者说 张量就是一组有序数的表现方式 或者说是记号 比如向量是一种表现方式 矩阵是一种表现方式 张量同样也是一种表现方式 它本质就是一组有序的数字而已 值得指出的是 张量是比向量和矩阵更高级的记号 它向下包含了
  • 射频功率衰减器一般采用电阻元件,有两种主要电路形式:π型和T型

    射频功率衰减器一般采用电阻元件 有两种主要电路形式 型和T型 工具下载 https download csdn net download xingqingly 12921701 1 型 输入阻抗和输出阻抗50欧姆
  • STM32中iic驱动mpu6050例程

    一 mpu6050寄存器相关知识 1 本机地址 可在寄存器使用手册查找 mpu6050在iic中是七位地址 Bit6 Bit1是他的前六位地址 默认是110100 末位由AD0引脚的值确定 并不是该寄存器的Bit0位 若AD0引脚置0 则m
  • 电赛需知

    电赛是大学生活里一个很好锻炼自己的机会 电赛前需要规划好电赛期间的几天生活 要撰写好方案 坚定信念 要注意饮食 电赛一般三到五人组队 需要很好的协作能力 较强的沟通能力 参赛期间难免会有争议 不要好高骛远 不要中途改方案
  • 部署langchain+chatglm

    先参考 window零基础部署langchain ChatGLM 飞奔的屎壳郎的博客 CSDN博客 安装一部分 1 GCC安装 gcc64位下载 一定要装64位的gcc 因为我的电脑是w10 64位的 装32位运行langchain报错并配