程序员经验分享-hwhale

加速 mysql 转储和导入 [关闭]

2024-01-10

是否有任何记录在案的技术可以加速 mySQL 转储和导入？

这将包括 my.cnf 设置、使用 ramdisk 等。

只寻找有记录的技术，最好有显示潜在加速的基准。


假设您正在使用 InnoDB...

我的情况是有一堆现有的 mysqldump 输出文件，我想在合理的时间内导入它们。这些表（每个文件一个）大约 500MB，每个表包含大约 5,000,000 行数据。使用以下参数，我能够将插入时间从 32 分钟减少到 3 分钟以下。

innodb_flush_log_at_trx_commit = 2
innodb_log_file_size = 256M
innodb_flush_method = O_DIRECT

你还需要有一个相当大的innodb_buffer_pool_size环境。

因为我的插入是一次性的，所以我后来恢复了设置。如果您打算长期继续使用它们，请确保您知道它们在做什么。

我找到了使用这些设置的建议塞德里克·尼利的博客 https://lordgun.com/2008/05/tuning-mysql-innodb/每个设置的详细说明可以在MySQL 文档 http://dev.mysql.com/doc/refman/5.0/en/innodb-parameters.html.

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

mysql

backup

restore

加速 mysql 转储和导入 [关闭] 的相关文章

  • MySQL+子串怎么做？ + 替换？

    我不太擅长 SQL 希望能够变得更好 我在尝试执行某些表操作时遇到一些麻烦 我希望能够从下面的 ProgUID 列中选择子字符串 就像是 SUBSTRING table ProgUID 3 12 这将为我提供 ProgUID P CAMVE

  • PHP PDO相关：更新SQL语句未更新数据库内容

    我正在尝试使用准备好的语句来实现更新语句PHP http en wikipedia org wiki PHP脚本 但它似乎没有更新数据库中的记录 我不确定为什么 所以如果您能分享一些见解 我将不胜感激 Code query UPDATE D

  • 使用按位函数查询 BIT 字段时，MySQL 不使用索引

    我的 MySQL 表中有一个 BIT 类型的字段 我想使用位值存储记录的状态 例如 1 status1 2 status2 4 status3 8 status4 每条记录可以同时具有多种状态 对于 status1 和 status3 该值

  • 如何将 MySQL 数据库更改为 UTC？

    我使用的是 Windows 7 对数据库方面的东西有点陌生 我尝试在 Google 上搜索如何将系统时区更改为 UTC 但文档有些高级 我不太确定如何更改此字段 在 my ini 文件的 mysqld 部分下 添加以下行 default t

  • 单行的总和值？

    我有一个 MySQL 查询 它返回由一系列 1 和 0 组成的单行 它用于进度条指示器 我现在在代码中对它进行求和 但我尝试对查询中的值求和 并意识到我无法使用 SUM 因为它们有很多列 但只有一行 有没有办法可以在查询中自动求和 就像这样

  • MySQL 存储过程将值分配给 select 语句中的多个变量

    这是我的存储过程 我在为声明的变量赋值时遇到问题 当我执行它时 插入和更新命令工作正常 但声明变量的值保持为 0 但我在数据库中有一些价值 我怎样才能正确地做到这一点 BEGIN DECLARE PaidFee INT DEFAULT 0

  • 社交应用程序的数据库设计和优化注意事项

    通常的情况 我有一个简单的应用程序 允许人们上传照片并关注其他人 因此 每个用户都会有类似 墙 或 活动源 的东西 他或她可以在其中看到他 她的朋友 他或她关注的人 上传的最新照片 大多数功能都很容易实现 然而 当涉及到这个历史活动源时 由

  • ActiveRecord3死锁重试

    Rails 3 或 ActiveRecord 3 是否有任何插件可以复制旧版本死锁重试 http agilewebdevelopment com plugins deadlock retry插入 或者 该插件仍然适用于 Rails 3 吗

  • 对于数据库来说，选择正确的数据类型会影响性能吗？

    如果是这样 为什么 我的意思是 tinyint 的搜索速度比 int 快吗 如果是这样 性能上的实际差异是什么 是的 根据数据类型 它确实有所不同 int vs tinyint不会在速度上产生明显的差异 但会在数据大小上产生差异 假设tin

  • Python：如何使用生成器来避免 sql 内存问题

    我有以下方法来访问 mysql 数据库 并且查询在服务器中执行 我无权更改有关增加内存的任何内容 我对生成器很陌生 并开始阅读更多有关它的内容 并认为我可以将其转换为使用生成器 def getUNames self globalUserQu

  • java mysql 准备好的语句

    我正在尝试使用 java 向数据库中进行简单的插入 它告诉我我的 sql 语法已关闭 但是 当我复制打印出来的字符串并将其放入 phpmyadmin 中的 sql 命令中时 它会正确执行该命令 并且我似乎无法弄清楚 java 中的字符串查询

  • 为什么这会返回资源 id #2？ [复制]

    这个问题在这里已经有答案了 可能的重复 我如何从 PHP 中的 MySql 响应中 回显 资源 id 6 https stackoverflow com questions 4290108 how do i echo a resource

  • 第三个下拉菜单不从数据库填充

    我有以下 Index php

  • 为什么我的 if 语句没有按我预期的方式工作？

    我正在尝试实现以下目标 我向我的 SQL 数据库询问使用SELECT FROM subjects 这样做之后我要求使用数组mysqli fetch assoc 在那之前一切都很好 现在的问题是 当我尝试在每个循环中修改 genero 的值

  • MySQL 按重复项从上到下排序

    我有一个lammer问题 因为我不是mysql专业人士 我有类似的字段 id color 1 red 2 green 3 yellow 4 green 5 green 6 red 我想按重复项进行分组 最常见的重复项先进行分组 所以应该这样

  • 如何使用 vitess 仅对特定表进行分片

    我创建了一个包含三个表的未分片键空间 现在我想对前两个表的键空间进行分片 但不想对第三个表进行分片 如何才能做到这一点 Vitess 文档不包含任何与此相关的信息或示例 请帮忙 Thanks vitess 中的垂直分片与水平分片类似 您应该

  • 如何将ElasticSearch与MySQL集成？

    在我的一个项目中 我计划将 ElasticSearch 与 MySQL 结合使用 我已经成功安装ElasticSearch 我可以单独管理ES中的索引 但我不知道如何用 MySQL 实现同样的功能 我读过一些文件 但我有点困惑 没有明确的想

  • 如何使用 Perl 更改 mysql 密码

    我需要使用 Perl 脚本更改一些 mysql 密码 以下内容在更改数据库条目时有效 但是当我针对 mysql 用户更改修改它时 它将它们重置为空白密码 最后 刷新权限 也很好 但我还没有找到方法 usr bin perl use DBI

  • 在 PHP 字符串中格式化 MySQL 代码

    是否有任何程序 IDE 可以在 PHP 字符串中格式化 MySQL 代码 例如 我使用 PHPStorm IDE 但它无法做到这一点 它对 PHP 和 MYSQL 执行此操作 但不适用于 php 字符串内的 MYSQL 我已准备好使用新的

  • 我可以使用 HSQLDB 进行 junit 测试克隆 mySQL 数据库吗

    我正在开发一个 spring webflow 项目 我想我可以使用 HSQLDB 而不是 mysql 进行 junit 测试吗 如何将我的 mysql 数据库克隆到 HSQLDB 如果您使用 spring 3 1 或更高版本 您可以使用 s

随机推荐

  • 绘图未通过闪亮仪表板侧边栏上的输入进行渲染

    几天来我一直在开发一个应用程序shiny图书馆 现在我想用shinydashboard包裹 问题是 当我在侧边栏中设置输入时 我的绘图没有显示 渲染 在我希望显示的选项卡中 仅使用闪亮的包 我设置了以下代码 没有菜单侧边栏 如闪亮仪表板中所

  • html5验证表单标签

    标签元素的 for 属性必须引用表单控件 老实说 我不明白标记有什么问题 我浏览了很多 W3 的网站 但就是找不到 Help HTML

  • WebGL：异步操作？

    我想知道是否有任何可以利用的 WebGL 异步调用 我查看了 Spec v1 和 Spec v2 他们没有提及任何内容 在 V2 中 有一个 WebGL 查询机制 我认为这不是我正在寻找的 在网络上搜索并没有得到任何明确的信息 有这个例子

  • Angular 2 参数更改时重新加载路线

    我目前正在编写我的第一个 Angular 2 应用程序 我有一个概述组件 它具有以下简单模板 div class row div class col lg 8 div div

  • SpriteKit：即使设备上的帧率为 60 fps，运动也会不稳定

    我正在制作一个无限滚动游戏 并在其中生成精灵update 基于计数器的函数如下所示 void update spawnCar 1 if spawnCar gt 500 spawnCar 0 self spawnCar Inside spaw

  • @grant 指令并通过页面检测用户脚本

    我的问题有两个方面 首先 有人可以解释一下使用的优点和缺点是什么 grant none在坦普尔猴子 第二 哪个 grant我应该使用哪些值来防止网页检测到脚本 grant https www tampermonkey net documen

  • rabbitmq 使用线程与 pika

    我正在尝试使用rabbitmq 获得一个基本的队列系统 但是当我尝试使用线程时 它似乎只运行1 个线程 my code import pika import threading rabbit url amqp user email prot

  • 异步委托与线程

    用异步委托 回调 替换线程 不是线程池线程 我的场景 为每个客户端生成一个 Thread del beginInvoke 据我说 Reasons 需要通过回调通知 在回调中再次调用委托 避免线程开销 委托使用线程池线程 传递参数 避免转换为

  • 无法绘制 svm 图。 terms.default(x) 中的错误：没有术语组件或属性

    我可以在我的数据集上使用 R 包 e1071 运行 svm 但我无法使用任何两个预测变量来绘制图表 即使在谷歌搜索了很多之后我也无法找到它的解决方案 请专家帮我解决这个问题 我有一个具有以下属性的数据集 gt dim fulldata 1

  • 使用 preg_match_all() 或更好的函数获取标签之间的所有文本？

    2010 June 11

  • Eclipse 代码格式化插件

    有人可以建议我一个插件来格式化 HTML 和 JAVA 代码并具有适当的缩进等吗 Eclipse 中有内置选项吗 使用源 gt 格式或 CTRL SHIFT F

  • CURLOPT_POSTFIELDS 的curl POST 格式

    当我使用curl via POST并设置CURLOPT POSTFIELD我一定要吗urlencode或者任何特殊格式 例如 如果我想发布 2 个字段 第一个和最后一个 first John last Smith 应该与curl一起使用的确

  • Objective-C 单例内存释放

    如果没有使用垃圾收集器 iPhone 环境 当我的应用程序终止时 我是否应该以某种方式释放共享对象 单例所基于的共享对象 当应用程序退出时 其所有内存都会被释放 因此 只要运行时不使用太多内存 释放对象并不重要 即使4 0策略发生变化 单个

  • 如何将逗号分隔值拆分为列

    我有一张这样的桌子 Value String 1 Cleo Smith 我想将逗号分隔的字符串分成两列 Value Name Surname 1 Cleo Smith 我只需要两个固定的额外列 您的目的可以使用以下查询来解决 Select

  • Groovy 和 Java 支持矩阵 [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 为了了解哪些 Java Groovy 组合可以工作 我正在寻找一个可以显示此信息的矩阵 两者都开启ht

  • redis.lpush 一些项目

    In my node js脚本我有一个字符串数组 我想要LPUSH将这些字符串放入 Redis 队列中 我试过 var redis require redis createClient redis lpush queue 1 2 3 这会导

  • MongoDB ObjectID 对于会话 ID 来说是安全的

    我正在为 Happstack 服务器制作一个会话系统 并使用 mongoDB 进行持久存储 我想知道 MongoDB ObjectID 用作会话 ID 是否安全 一般来说 MongoDB ObjectID 是全局唯一的 因此如果您担心冲突

  • 使用push_back将整数放入字符串中

    我正在尝试使用以下代码将整数放入字符串中 int x 42 string num bool negative false if x lt 0 negative true x x 1 while x gt 0 num push back x

  • 如何从 SwiftyJSON 创建对象

    我有一个代码 可以解析 JSON 的问题列表 并且可以获得每个属性 如何迭代整个文件并为每个问题创建一个对象 class ViewController UIViewController var hoge JSON override func

  • 加速 mysql 转储和导入 [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi

热门标签