oracle清除试图的数据,ORACLE大表中删除部分数据最佳方案

2023-11-19

如果业务无法停止的话,主要有这三种思路:=======================================================================================================

思路1:根据ROWID分片、再利用Rowid排序、批量处理、回表删除。        在业务无法停止的时候,选择这种方式,的确是最好的。一般可以控制在每一万行以内提交一次,不会对回滚段造成太大压力(我在做大DML时,通常选

择一两千行一提交)。选择业务低峰时做,对应用也不至于有太大影响。

感谢htyansp,在49楼提供了一个很简捷的脚本,如果你对这种方式不熟悉,可以参考此脚本:

declare

cursor mycursor is SELECT  ROWID FROM TEST WHERE  XXX=XXXX  order by rowid;   

况来定。

type rowid_table_type is  table  of rowid index by pls_integer;

v_rowid   rowid_table_type;

BEGIN

open mycursor;

loop

fetch   mycursor bulk collect into v_rowid  limit 5000;   

exit when v_rowid.count=0;

forall i in v_rowid.first..v_rowid.last

delete from test  where rowid=v_rowid(i);

commit;

end loop;

close mycursor;

END;

/

这种方法的缺点是排序有可能会消耗太多临时表空间。还有一种方式,先根据Rowid分片。将一个大表用Rowid划分成多个部分,每部分单独根据Rowid排

序。这种方式的另一个优点就是还可以并行。

有一次我需要删除DW库一个大表中满足条件的行。应用方保证不会再出现此条件的行,我只需要在几天内,将所有满足条件的行删除完即可。此表所在

的表空间有几十个数据文件(每个文件32G),我用如下的命令生成表在每个文件中行的ROWID范围:

select dbms_rowid.ROWID_CREATE(1,12227,file_id,MIN(BLOCK_ID),0),dbms_rowid.ROWID_CREATE(1,12227,file_id,MAX(BLOCK_ID+BLOCKS-1),8192) from

dba_extents where segment_name='DML_TST' group by file_id order by file_id;

此命令中DATA_OID是dba_objects 中data_object_id列值。

然后,根据上面得到的ROWID范围操作目标表。其实就是将htyansp的存储过程中第二行,根据生成的ROWID修改如下:

cursor mycursor is SELECT  ROWID FROM TEST WHERE  rowid between 'ROWID' and  'ROWID' and XXX=XXXX order by rowid;

存储过程其他行基本不变。

搞几十个这样的存储过程,开几个会话并行着跑。

另外,TOM在9i&10G编程艺术 648页到652页有一个很好的例子,其中650页自动生成ROWID部分,可以参考。

使用这种方式最大的优点就是性能可控,需要快点的话,可以多设几个并行。想慢点的,并行就少点。而且,一次处理的行数有限,对ROWID的排序不会

撑爆临时表空间。

=======================================================================================================

思路二:根据ROWID分片、非批量处理、回表删除        比如,要删除dml_tst中ID等于Value的行,最基本的存储过程如下:

declare

CURSOR test2_cs(value number,rid1 rowid,rid2 rowid)

IS SELECT id from dml_tst

where id=value and rowid between rid1 and  rid2

FOR UPDATE ;

k number:=0;

BEGIN

FOR c1_rec IN test2_cs(3338,'AAAC/DAAEAAAABJAAA','AAAC/DAAEAAAABQCAA') LOOP

delete dml_tst where CURRENT OF test2_cs;

END LOOP;

END;

/

这种方式也可以根据ROWID分片,只会对表进行一次扫描。但没有批量处理,性能反而不如上面。

=======================================================================================================

思路三: ON PREBUILT物化视图方法这种方式,阿里迁移数据的确使用较多,也是一种不错的方式。速度没有方法一快,但比较简单,而且对业务基本上没有影响。另外,对于删除操作,可以释放

删除过的空间。缺点就是需要有主键。

假设目标表是P3,主键列是ID1,要删除ID2列于小1000的行:

步1,建立中间表p3_m:

create table p3_m as select * from p3 where 0=1;

步2,建产和中间表同名的物化视图,一定要有ON PREBUILT选项:

CREATE MATERIALIZED VIEW p3_m

ON PREBUILT TABLE AS

select * from p3 where id2>=1000;  

步3:添加物化视图日志:

CREATE MATERIALIZED VIEW LOG ON p3 WITH PRIMARY KEY,sequence (id2,id3,cc1,cc2) INCLUDING NEW VALUES;

步4:在数据库空闲的时候,进行一次完全刷新:

exec dbms_mview.refresh('P3_M','C');

完全刷新后,可以在中间表上创建和目标表一样的索引、约束等等

步5:进行个一、两次增量刷新:

exec dbms_mview.refresh('P3_M','F');

步6:将原表锁住,最后进行一次增量刷新,然后马上Rename目标表为其他名字

lock table p3 in EXCLUSIVE mode;

exec dbms_mview.refresh('P3_M','F');

drop MATERIALIZED VIEW LOG ON p3;

alter table p3 rename to p3_n;

步7:删除物化视图,修改中间表为原目标表的名字:

drop MATERIALIZED VIEW p3_m;

alter table p3_m rename to p3;

步8:确定原表如果没有用了,可以删除改过名的原表

也可以使用再线重定义,思路和这个类似。

在线重定义案件:http://www.askmaclean.com/archives/%e5%88%a9%e7%94%a8oracle%e5%9c%a8%e7%ba%bf%e9%87%8d%e5%ae%9a%e4%b9%89online-redefinition%e6%b8%85%e7%90%86%e5%8e%86%e5%8f%b2%e6%95%b0%e6%8d%ae.html

======================================================================================

如果不影响应用的话,常规方法也就这些了。这三种思路,也可以用于Update。

根据这三种思路,我们可以结合自身应用情况加以改变。总能找到一款适合应用的方法。

注意事项是

1、注意备份

2、千万注意不要太猛,曾经有一次同事因为Update的太猛,影响了我们一个重要的前台应用。一定要注意,一次提交的行数不能太高。

如果应用可以停,哪方法就太多了。1、CTAS的方法创建一个新表,排除要DELETE的数据,再改名。为提高速度,还可以禁用索引,DML完再重建。 2、只导出不删除的数据,再导入,再改名 3、如果表空间可以设为只读,还有坛友的表空间迁移,迁到测试平台,慢慢删除再导入回来的方法 等等。可以停应用的方法就很多了。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

oracle清除试图的数据,ORACLE大表中删除部分数据最佳方案 的相关文章

  • Apollo注册到自己的Eureka注册中心+配置中心集群(超详细)

    重要提示 在任何步骤开始之前 谨记下面的东西 在对apollo master这个文件进行处理的时候 要找到文件夹scripts下的文件build bat 苹果用户请找到build sh 并且在最开始的时候运行上述两个文件 在工程文件夹下 s
  • linux升级openssh9

    下载 下载 libressl 3 5 3 tar gz openssh 9 0p1 tar gz zlib 1 2 12 tar gz 放到 usr local 目录下 链接 https pan baidu com s 1ZCyDDmJ5h
  • 华为OD机试 - 分糖果(Java & C)

    题目描述 小明从糖果盒中随意抓一把糖果 每次小明会取出一半的糖果分给同学们 当糖果不能平均分配时 小明可以选择从糖果盒中 假设盒中糖果足够 取出一个糖果或放回一个糖果 小明最少需要多少次 取出 放回和平均分配均记一次 能将手中糖果分至只剩一
  • 【AcDbRegion::createFromCurves】

    public static class AcRxClass cdecl AcDbRegion desc void desc AcDbRegion SAPEAVAcRxClass XZ 函数 public static enum Acad E
  • 掌握Python的X篇_18_字典(通过“{}“定义一个字典)

    文章目录 1 字典是什么 2 字典的基本操作 2 1 定义字典 2 2 添加元素 2 3 通过Key引用value 2 4 删除元素 2 5 遍历字典中元素 1 字典是什么 list作为容器已经非常方便 但是引用list中的元素是依赖下标
  • 第十二章_Redis单线程 VS 多线程

    Redis为什么选择单线程 是什么 这种问法其实并不严谨 为啥这么说呢 Redis的版本很多3 x 4 x 6 x 版本不同架构也是不同的 不限定版本问是否单线程也不太严谨 1 版本3 x 最早版本 也就是大家口口相传的redis是单线程
  • 史上最全 ——LINQ to SQL语句

    适用场景 实现过滤 查询等功能 说明 与SQL命令中的Where作用相似 都是起到范围限定也就是过滤作用的 而判断条件就是它后面所接的子句 Where操作包括3种形式 分别为简单形式 关系条件形式 First 形式 下面分别用实例举例下 1
  • 单片机中常用的C语言编程

    单片机内部集成了CPU RAM ROM 定时器 中断系统 通讯接口等一系列电脑的常用硬件功能 其任务是信息采集 依靠传感器 处理 依靠CPU 和硬件设备 例如电机 LED等 的控制 在给单片机输入灵魂时常使用C语言进行编程 本文以keil
  • C++基础——引用讲解1

    目录 6 1 引用概念 1 定义 2 引用的格式 2 引用的特性 三 引用的用法 1 有了引用 就不需要取地址了 2 引用的另一大用法 引用这么强的功能 能不能代替指针 6 1 引用概念 1 定义 引用不是新定义一个变量 而是给已存在的变量
  • python日志(2)——logging

    python日志 2 logging进阶 文章目录 python日志 2 logging进阶 一 logging的四大组件 1 logger 2 Handler 3 Formatter 二 输出日志的常用方式 总结 一 logging的四大
  • x86寄存器

    通用寄存器 GPR寄存器 AX Accumulator 累加寄存器 也叫累加器 BX Base 基地址寄存器 CX Count 计数器寄存器 DX Data 数据寄存器 指针寄存器 SP Stack Pointer 堆栈指针寄存器 BP B
  • 47 转置卷积 [动手学深度学习v2]

    转置卷积 卷积不会增大输入的高宽 通常要么不变 要么减半 转置卷积则可以用来增大输入高宽 Y i i
  • 测试自动化框架平台选型汇总篇

    本文介绍测试自动化常用的框架和平台 语言为python或javascript 无java UI自动化 python pytest playwright 文章 http t csdn cn 2dMF5 python selenium unit
  • 计算机英语·NO

    N n 换行符 name demanding 名字恢复 name mangling 名字毁坏 nanoseconds ns 纳秒 neg operations neg操作 negation two s complement 非 二进制补码的
  • 【电商】电商后台设计—订单中心

    订单系统连接了用户和商家 用户可以通过订单看到商品购买详情 商家则可以通过订单看到购买用户信息等 而整个订单系统囊括了许多模块 如订单生成 订单计算等 一 订单的生成与状态 1 下单过程 电商下单的过程相信大家都不陌生 我们以从购物车下单为
  • laravel路由

    路由 在laravel中 定义路由的地方在routes web php文件中 在使用laravel前必须先定义路由 然后才能在浏览器中访问 routes文件夹中还有一个api php 用于定义api路径 最简单的路由 Route get f
  • GPIO_Speed_50MHz的值是多少

    在STM32底层库中 使用GPIO Speed 50MHz等来表示输出口的最高频率 那么他的值是多少 查看了一下定义 是个枚举 后来查了一下枚举才知道 当枚举中的某个元素备赋值后 从该元素往后是递增的 即1 2 3 当赋给指定的偏移地址后
  • react中props详解

    1 props的基本使用 react组件之间的传值 是离不开props的 代码展示 export default class Parent extends Component render return div h3 我是Parent组件
  • python中if else语句用法_Python条件语句详解:if、else、switch都有了

    01 if条件语句 if语句用于检测某个条件是否成立 如果成立 则执行if语句内的程序 否则 跳过if语句 执行后面的内容 if语句的格式如下 if 表达式 语句1 else 语句2 if语句的执行过程如下 如果表达式的布尔值为真 则执行语

随机推荐

  • PyAutoGui图像操作(一):图像定位方式及返回

    一 PyAutoGui介绍 PyAutoGUI是Python功能强大的UI自动化库 其目的是可以用程序自动控制鼠标和键盘操作 主要用来实现PC端的UI自动化 有鼠标控制 键盘操作 屏幕截图 图片定位 消息对话框 窗口操作等功能 有倒计时 鼠
  • 使用IntelliJ IDEA开发Java Web HelloWorld

    下载Tomcat 首先 下载Apache Tomcat并解压到本地计算机 可存放于任何位置 tomcat官网 https tomcat apache org 下载稳定版版本即可 下载解压好 启动bin下的startup bat文件 访问 h
  • 图神经网络调研

    图神经网络调研 图神经网络简介 应用场景 典型模型 GCN PinSAGE GraphSAGE GAT 图神经网络与知识图谱 异质图和同质图 部分参考链接 最近在做一些图神经网络相关的课题 做了些调研 简单记录一下想法和收获 图神经网络简介
  • OSFormer阅读笔记

    目录 前言 1 模型的特点 2 模型结构 2 1 CNN backbone 2 2 位置感知Transformer LST 2 3 粗细特征融合 CFF 2 4 动态伪装实例归一化 DCIN 2 5 损失函数 3 可视化分析 参考 前言 O
  • JAVA面向过程(二十六) if-else if-else多选择结构

    语法结构 1 2 3 4 5 6 7 8 9 10 if 布尔表达式1 语句块1 else if 布尔表达式2 语句块2 else if 布尔表达式n 语句块n else 语句块n 1 当布尔表达式1为真时 执行语句块1 否则 判断布尔表达
  • 微信小程序反编译

    安装逍遥安卓模拟器 安装node js不作细述 按提示安装即可 安装完成后在命令窗口输入 node v 能查看到版本号即可 打开脚本地址下载反编译脚本 解压 安装依赖 在脚本目录下shift 鼠标右键 打开命令窗口 逐条命令安装 npm i
  • python requests请求终止,python中requests小技巧

    关于 Python requests 在使用中 总结了一些小技巧把 记录下 1 保持请求之间的Cookies 我们可以这样做 2 请求时 会加上headers 一般我们会写成这样 唯一不便的是之后的代码每次都需要这么写 代码显得臃肿 所以我
  • opencv+mfc应用程序依赖库

    msvcp110 dll msvcr110 dll vccorlib110 dll和它统计目录下的所有库 https blog csdn net seu nuaa zc article details 53525569 ucrtbased
  • PC端:hover 样式在移动端的兼容处理

    写了一个轮播 有hover效果 PC端正常显示 移动端就出现一些问题 点击之后滑动到下一张 上一张有hover效果 要点击其他地方才会消失 解决方案 参考文章CSS hover 样式在移动端的兼容处理 链滴 media hover hove
  • mysql唯一索引如何实现,从基础到源码统统帮你搞定

    面试失败之后 在这之后的很长一段时间后 他没敢再去面试 觉得自己太丢人 技术太差不敢去谈论技术话题 后来他渐渐开始看网上的文章 知道要刷leetcode 看面经 然后之后一年多的时间 边上课 边刷题 边看知识点 直到去年中旬 第二次开始面试
  • ImportError: cannot import name ‘soft_unicode‘ from ‘markupsafe‘

    打开jupyter notebook报下面的错误 这里说是markupsafe有错误 查看一下是否安装了这个包 pip show markupsafe 已经有了这个包 但是还报错 经过测试发现这个2 1 3版本不兼容 回退到2 1 0才行
  • 一文搞定Nginx的压缩、黑白名单、防盗链、零拷贝、跨域、双机热备等知识

    点击上方 Java基基 选择 设为星标 做积极的人 而不是积极废人 每天 14 00 更新文章 每天掉亿点点头发 源码精品专栏 原创 Java 2021 超神之路 很肝 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框
  • C++操作SQLite数据库

    准备工作 在使用C 操作SQLite之前 需要获得sqlite3 h sqlite3 lib sqlite3 dll 大家可以在 这里 下载 并将这3个文件导入VC 工程中 其中sqlite3 dll文件放到Debug文件夹里 SQLite
  • 01一刷AD20入门教程记录

    学习视频 Altium Designer 20 19 入门到精通全38集 四层板智能车PCB设计视频教程AD19 AD20 凡亿 哔哩哔哩 bilibili 工程 安装现有元件库和封装库 AD20 1 打开优选项设置 gt Data Man
  • 分享一个多类别超实用AI工具集合网站,你想要的AI网站这里全都有

    随着Al技术的快速发展 人工智能也变成当今热门的领域之一 它正在改变着我们的生活和工作方式 今天就和大家分享一个多类别超实用AI工具集合网站 你想要的AI网站这里全都有 全网AI工具一城选择 AI 城市是一个集合了各种人工智能相关的工具和资
  • 如何判断服务器在国内还是海外?

    已知晓网站或是已知晓IP 如何判断该服务器是国内的还是海外的呢 在已知网站域名的情况下 可以通过ping网站域名来获得服务器的IP 当然有些网站是做了禁ping的 不知道IP的情况下是无法判断是国内还是海外的机器 比如咱们已知晓IP是103
  • Java响应式编程

    Java响应式编程 一 lambda表达式 1 1 lambda简介 1 2 lambda语法 1 3 FunctionalInterface 1 4 方法引用 1 5 类型推断 1 6 变量引用 1 7 级联表达式和柯里化 二 Strea
  • RFID桌面一体机在珠宝管理中的应用

    1 产品 铨顺宏 FU M6 USB N是一款以Thingamgic优异的M6e NANO模组为核心集成桌面式RFID一体机 RFID桌面工作台外观轻薄时尚 便于安装同时不影响美观 适用于进行RFID标签的读取 写入等绑定操作 同时 设备具
  • 【华为OD统一考试B卷

    华为OD统一考试A卷 B卷 新题库说明 2023年5月份 华为官方已经将的 2022 0223Q 1 2 3 4 统一修改为OD统一考试 A卷 和OD统一考试 B卷 你收到的链接上面会标注A卷还是B卷 请注意 根据反馈 目前大部分收到的都是
  • oracle清除试图的数据,ORACLE大表中删除部分数据最佳方案

    如果业务无法停止的话 主要有这三种思路 思路1 根据ROWID分片 再利用Rowid排序 批量处理 回表删除 在业务无法停止的时候 选择这种方式 的确是最好的 一般可以控制在每一万行以内提交一次 不会对回滚段造成太大压力 我在做大DML时