程序员经验分享-hwhale

GPT和GPT2

2023-11-11

https://blog.csdn.net/weixin_48185819/article/details/106533850

https://zhuanlan.zhihu.com/p/174782647

https://wmathor.com/index.php/archives/1456/

我们知道transformer里有encoder层和decoder层，而GPT里主要用的是decoder层，不过做了一点改变，就是去掉了中间的Encoder-Decoder Attention层（因为没有encoder层，所以也就不需要Encoder-Decoder Attention这一层啦~）。也有人说用到的是encoder层，做的改变是将Multi-Head Attention换成了Masked Multi-Head Attention。

那么可能有人会问，这两种说法到底哪个正确呢？其实，这两种说法都对，因为仔细分析一下就会发现这两种说法是一个意思，不就是 Masked Multi-Head Attention + Feed Forward 嘛 ~ 如下图所示：
在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

笔记

GPT和GPT2 的相关文章

  • jdb 调试

    目录 1 代码 2 编译代码 3 调试 3 1 jdb 3 2 stop 3 3 list 3 4 run 3 5 list 3 6 step 3 7 print dump eval 3 8 set 3 9 locals 3 10 next

  • 目标检测之网络篇（2）【STN-空间变换网络】

    文章目录 1 STN是什么 2 问题的提出 CNN的平移不变性 3 STN基本结构 3 1 Localisation network 参数预测 3 2 Grid generator 坐标映射 3 3 Sampler 像素采集 4 总结 5

  • 发展，管理，前辈，名人等有用的文章链接

    专访李智勇 一个老程序员的哲学思考与勇猛精进的人生 http www csdn net article 2014 09 24 2821834 程序员生存定律 目录 http blog csdn net leezy 2000 article

  • 无限计算力：探索云计算的无限可能性

    这里写目录标题 前言 云计算介绍 服务模型 应用领域 云计算主要体现在生活中的地方 云计算未来发展的方向 前言 云计算是一种基于互联网的计算模型 通过它可以实现资源的共享 存储 管理和处理 它已经成为许多个人 企业和组织的重要技术基础 具有

随机推荐

  • 源码安装Apache2，报错：Cannot use an external APR with the bundled APR-util

    一般在第一次源码安装是没有问题的 在版本变化情况下在次源码安装可能会遇到此问题 apache2 0 x与apache2 2 x在apr有很大区别 前者为依赖公用apr 后者依赖于自身的apr 一般前者也就是2 0 x的编译基本上没有apr方

  • 什么是冒烟测试？

    In computer programming and software testing smoke testing also confidence testing sanity testing build verification tes

  • k8s部署微服务项目

    之前用docker compose部署微服务项目 但是只能单节点的 那你用微服务架构干啥 所以想搞一下k8s集群 网上找了下资料没有视频专门讲这一块 自己找了很多资料 搞了蛮长时间的 所以记录一下 1 安装k8s和管理界面kuboard 高

  • IndexFile实现原理

    摘要 rocketmq作为转发数据的中间件 其特点就是快字当头 那么如何做到快 rocketmq从各个角度都进行了优化 今天我们来看下它的索引文件 观察其组织文件的格式 使用的方式 一 组织文件的格式 Indexfile是mq索引文件的主要

  • uni-app 系列之（五）—— 路由

    简介 uni app 页面路由为框架统一管理 需要在 pages json 里配置每个路由页面的路径和页面样式 类似的小程序在 app json 中配置页面路由相同 uni app 的路由用法与 Vue Router 不同 路由跳转 uni

  • 初始C语言-2.C语言程序的四种基本结构

    学习C语言二 C语言的四大基本结构 还有下的视频在我B站主页找 概要 C语言的四种基本结构是很重要的 程序主要是由这些结构组成 学完这些结构 便可以写一些基本的程序 一 四种基本结构 二 四种基本结构精析 一 分支结构 if else if

  • JSTL自定义标签的使用

    由于dwr的js和jquery冲突 导致不得不换解决方案 记得以前写过一个OA项目 里面有一个jstl的权限标签 今天根据管理员ID那管理员名字的时候可以使用这个技术 于是记个简单的步骤 以免以后再次使用 1 先写一个标签的处理类 pack

  • 《银行法律法规》二、银行业务——6、银行卡业务

    第六章 银行卡业务 第一节 银行卡业务概述 考点1 银行卡定义和分类 定义 银行卡是由商业银行 或者发卡机构 发行的具有消费信用 转账结算 存取现金等全部或部分功能的信用支付工具 银行卡功能包括 支付结算 汇兑转账 储蓄 循环信贷 个人信用

  • DTO、VO、Entity、Condition使用习惯，以及对于多映射关系字段的处理

    POJO 的定义是无规则简单的对象 在日常的代码分层中 pojo 会被分为VO BO PO DTO 一 定义和使用情景 Entity 对象实体类 一般就是和数据库表字段一一对应的那个类 DTO Data Transfer Object 数据

  • 基于D11的教程一个向量缩放、旋转、位移示例

    D11学习心得第二章 一个向量缩放 旋转 位移示例 xnamath h原本是位于DirectX SDK的一个数学库 但是现在Windows SDK包含的数学库已经抛弃掉原来的xnamath h 并演变成了现在的DirectXMath h 其

  • 三相三线制逆变器的dq解耦控制

    1 三相三线制逆变器拓扑 三相三线制逆变器的拓扑如下图所示 其中开关变换器的端口线电压是 U A B U AB UAB

  • 二进制之补码与小数

    牛逼的二进制 1 前言 计算机使用二进制来表示所有形式的数据 颜色 文字 图像等 当前辈们想方设法要造一台计算机时都会遇到一个问题 怎么用电来表示数 显然他们发现开关的开和关正好对应二进制的0和1 然后计算机就使用二进制直到如今 那计算机怎

  • php实例——用户注册与登录

    这周做了个php的简单实例 算是学了这么久php语法的一次综合应用吧 感觉前面学的东西都不知道怎么用 不看教程还真做不出来 本来想把它写在网页弹出层上的 这样看起来更像是一个用户登录框 但是看了弹出层的代码后发现太麻烦了 所有的登录框代码都

  • Ubuntu安装Nvidia Container Toolkit

    文章目录 前言 一 基本概念 二 操作步骤 1 添加源 2 安装重启 总结 前言 NVIDIA Container Toolkit 可用于各种 Linux 发行版并支持不同的容器引擎 在开始之前 请确保您已经为您的 Linux 发行版安装了

  • 【微信小程序】 tabs切换时自动定位到点击的元素

    重点是设置 scroll into view 值为点击时元素的ID id不能以数字开头

  • 使用 MVC 架构构建 Flask CRUD 应用程序

    转自 Felipe Silveira 的 Build a Flask CRUD Application with MVC Architecture 翻译 如何用 Flask 的 Blueprint 实现一个 CRUD 的应用 我多年来一直在

  • 项目前端技术总结

    设计目标 在前端的设计阶段引入prototype prototype用于允许用户评估开发人员提案 并在实施之前尝试它们 它还有助于了解用户特定的要求 并且可能在开发商在产品设计期间可能没有考虑到这些要求 在数据处理之前需要用户填写表单或浏览

  • C#中的三种参数传递

    在 C 中 有三种向方法传递参数的方式 1 值参数 调用方法时 会为每个值参数创建一个新的存储位置 复制参数的实际值给函数的形参 按值传递 传递实参变量存储的内容 作用 传递信息 2 引用参数 引用参数是一个对变量的内存位置的引用 复制参数

  • 自己制作npy数据集，数据格式类似于mnist数据（16）---《深度学习》

    代码 import tensorflow as tf import numpy as np import os from PIL import Image dir home jobs Pictures test def getFileArr

  • GPT和GPT2

    https blog csdn net weixin 48185819 article details 106533850 https zhuanlan zhihu com p 174782647 https wmathor com ind

热门标签