Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
pytorch构造可迭代的Dataset——IterableDataset(pytorch Data学习二)
如果是可以一次性加载进内存的数据 上一篇博客 pytorch 构造读取数据的工具类 Dataset 与 DataLoader pytorch Data学习一 已经足以应付了 但是很多时候数据集较大 比如6个T 的数据 没办法直接加载 因此这
pytorch神经网络
python
pytorch构造可迭代的DataLoader,动态流式读取数据源,不担心内存炸裂(pytorch Data学习三)
构造迭代读取的Dataloader 首先需要可迭代的DataSet 这一部分详细请参考 pytorch构造可迭代的Dataset IterableDataset pytorch Data学习二 下面直接开始封装到DataLoader中 文章
pytorch神经网络
Pytorch
pytorch测试模型时根据不同列别的概率值得到具体的分类
pytorch 分类任务的教程 https pytorch org tutorials beginner blitz cifar10 tutorial html 主要使用的是 predict torch max out data 1 最后的
pytorch神经网络
Pytorch
深度学习
机器学习
pytorch将Tensor转为list
import torch value torch Tensor 1 2 3 print list value tolist 得到 list 1 0 2 0 3 0
pytorch神经网络
Pytorch
list
python
pytorch Embedding模块,自动为文本加载预训练的embedding
pytorch 提供了一个简便方法torch nn Embedding from pretrained 可以将文本与预训练的embedding对应起来 词 embedding word1 0 2 3 4 word2 1 2 3 4 word
pytorch神经网络
Pytorch
缺失值填充5——AutoEncoder填充序列缺失值
AutoEncoder可以参考 pytorch实现基本AutoEncoder与案例 AutoEncoder填充缺失值的思路是 在完整的数据集上训练一个AutoEncoder 把有缺失的数据拿过来 先全零填充原有的值 再通过AutoEncod
python
pytorch神经网络
特征工程
Pytorch
机器学习
多进程IterableDataset流式读取数据的坑:每个进程会读取一遍完整数据
构建流式读取DataLoader的方法可以参考 pytorch构造可迭代的DataLoader 动态流式读取数据源 不担心内存炸裂 pytorch Data学习三 使用如下方法构造DataLoader 如果num workers设置为N 就
pytorch神经网络
Pytorch
Pytorch 配置 Tensorboard 可视化学习(一)
安装 pip install i https mirrors aliyun com pypi simple tensorboard 使用案例 新建一个python的文件 写入 from torch utils tensorboard imp
pytorch神经网络
Pytorch
使用Pytorch DataLoader快捷封装训练数据、测试数据的X与Y
DataSet的用法可以参考 pytorch 构造读取数据的工具类 Dataset 与 DataLoader pytorch Data学习一 DataLoader的封装方法可以参考 Pytorch DataLoader一次性封装多种数据集
pytorch神经网络
Pytorch
使用Transformers离线模型(以bert模型为例)
首先需要安装transformers pip install transformers 以bert base uncased为例 进入网站 https huggingface co bert base uncased tree main 可
pytorch神经网络
Bert
深度学习
tensorflow
pytorch使用早停策略
文章目录 早停的目的与流程 早停策略 pytorch使用示例 参考网站 早停的目的与流程 目的 防止模型过拟合 由于深度学习模型可以无限迭代下去 因此希望在即将过拟合时 或训练效果微乎其微时停止训练 流程如下 将数据集切分为三部分 训练数据
pytorch神经网络
Pytorch
深度学习
pytorch 构造读取数据的工具类 Dataset 与 DataLoader (pytorch Data学习一)
基本思路 所有的数据都叫Dataset 加载数据的叫DataLoader 每次加载多少条数据叫batch size 所以构造训练数据的步骤是 首先把数据加载为Dataset 然后用DataLoader依次把数据传递到模型中即可 全部代码 i
pytorch神经网络
Pytorch
Torchtext 0.12+ API构造训练用DataLoader与词向量的Embedding(2)
torchtext的详细用法请参考上一期 Torchtext 0 12 新版API学习与使用示例 1 构造embedding的思路也很简单 把语料训练成torchtext对应的vocab 然后对于输入的句子 进行如下转换 文本 gt voc
pytorch神经网络
自然语言处理
Pytorch
深度学习
注意力机制学习(二)——空间注意力与pytorch案例
文章目录 一 空间注意力机制简介 二 空间注意力与pytorch代码 三 使用案例 一 空间注意力机制简介 空间注意力的示意图如下 长条的是通道注意力机制 而平面则是空间注意力机制 可以发现 通道注意力在意的是每个特怔面的权重 空间注意力在
pytorch神经网络
Pytorch
深度学习
神经网络
NLP扎实基础4:FastText模型与Pytorch复现
FastText 论文 Joulin Armand et al Bag of tricks for efficient text classification arXiv preprint arXiv 1607 01759 2016 Fas
pytorch神经网络
自然语言处理
Pytorch
深度学习
解决导入torch报错from torch._C import xxxx
当使用import torch是 报错from torch C import xxxx 与Symbol not found mkl blas caxpy或其他类似的报错 解决方法 pip uninstall torch 卸载当前的pytor
pytorch神经网络
Pytorch
pytorch自定义loss损失函数
自定义loss的方法有很多 但是在博主查资料的时候发现有挺多写法会有问题 靠谱一点的方法是把loss作为一个pytorch的模块 比如 class CustomLoss nn Module 注意继承 nn Module def init s
pytorch神经网络
Pytorch
pytorch使用masked掩盖某些值(筛选值)
mask主要用来根据一定条件 筛选出一部分值来 基本案例 import torch x torch randn 3 4 mask 1 x ge 0 5 大于0 5的为True 小于0 5的值为False mask 2 torch BoolT
pytorch神经网络
Pytorch