Python + MySQLdb 执行许多

2024-01-26

我正在使用 Python 及其 MySQLdb 模块将一些测量数据导入 Mysql 数据库。我们拥有的数据量相当大(目前大约有 250 MB 的 csv 文件,未来还会有更多)。

目前我使用cursor.execute(...) 导入一些元数据。这不是问题,因为这些条目只有几个。

问题是,当我尝试使用cursor.executemany()导入大量实际测量数据时,MySQLdb会引发

TypeError: not all arguments converted during string formatting

我当前的代码是

def __insert_values(self, values):
    cursor = self.connection.cursor()
    cursor.executemany("""
        insert into values (ensg, value, sampleid)
        values (%s, %s, %s)""", values)
    cursor.close()

where values是一个元组列表,每个元组包含三个字符串。有什么想法这可能有什么问题吗?

Edit:

这些值是由生成的

yield (prefix + row['id'], row['value'], sample_id)

然后一次读入一个列表,其中行和迭代器来自csv.DictReader.


回想起来,这是一个非常愚蠢但很难发现的错误。 Values 是 sql 中的关键字,因此表名值需要用引号引起来。

def __insert_values(self, values):
    cursor = self.connection.cursor()
    cursor.executemany("""
        insert into `values` (ensg, value, sampleid)
        values (%s, %s, %s)""", values)
    cursor.close()
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Python + MySQLdb 执行许多 的相关文章

  • 底图上的子图

    我有一张英国地图和 121 个地点 每个地点有 3 个值 我想绘制 121 个位置中每个位置的三个值的小条形图 目前 这些值绘制为markersize属性 看起来像这样 密集恐惧症情节 https i stack imgur com 5fv
  • 子进程改变目录

    我想在子目录 超级目录中执行脚本 我需要首先进入该子目录 超级目录 我无法得到subprocess进入我的子目录 tducin localhost Projekty tests ve python Python 2 7 4 default
  • Python 中的安全解除引用

    Groovy 有一个很好的安全取消引用运算符 这有助于避免 NullPointerExceptions variable method The method仅当以下情况时才会被调用variable is not null 有没有办法在 Py
  • 如何使用 Connector/C++ 更新 MySQL 中的一行值

    我有一个简单的数据库 想要更新一个 int 值 我最初执行一个查询并返回一个 ResultSet sql ResultSet 对于结果集中的每个条目 我想修改表的一个特定列中的值 然后将其写回到数据库 更新该行中的该条目 根据文档 我不清楚
  • Django 的 URL 覆盖率测试为 0%,为什么?

    使用姜戈鼻子 我对 URL 进行了测试 但 URL 覆盖率仍然为 0 为什么 python manage py 测试配置文件 这是我的报道 Name Stmts Miss Cover Missing profiles 0 0 100 pro
  • Tomcat JDBC 池中没有足够的空闲连接

    给定以下 Tomcat JDBC 连接设置
  • 用Python中的嵌套for循环替换重复的if语句?

    在我编写的下面的代码中 n 4 所以有五个 if 语句 所以如果我想将 n 增加到 比如说 10 那么就会有很多 if 语句 因此我的问题是 如何用更优雅的东西替换所有 if 语句 n p 4 5 number of trials prob
  • 在查询中创建临时变量

    我希望能够在查询中创建一个临时变量 而不是存储过程或函数 它不需要声明和设置 这样我在调用它时就不需要传递查询参数 正在努力朝这个方向努力 Select field1 tempvariable 2 2 newlycreatedfield t
  • 一行Python和SQLite代码,为什么需要加“,”? [复制]

    这个问题在这里已经有答案了 c execute INSERT INTO numbers VALUES random randint 0 100 如果我将上面的代码更改为 c execute INSERT INTO numbers VALUE
  • 如何使用 PySpark 有效地将这么多 csv 文件(大约 130,000 个)合并到一个大型数据集中?

    我之前发布了这个问题并得到了一些使用 PySpark 的建议 如何有效地将这一大数据集合并到一个大数据框中 https stackoverflow com questions 60259271 how can i merge this la
  • Matplotlib 图例不工作

    自从升级 matplotlib 以来 每当尝试创建图例时 我都会收到以下错误 usr lib pymodules python2 7 matplotlib legend py 610 UserWarning Legend does not
  • Mysql:将数据库从本地时间转换为UTC

    我需要从本地时间 ut UTC 转换现有的 日期时间字段 数据库 这些值和日期时间存储在时区为 CET 1 夏令时 2 的服务器上 选择我使用的数据时UNIX TIMESTAMP 它神奇地补偿了一切 即时区偏移和夏令时 如果我正确阅读了文档
  • 求解不等式系统时“多项式错误:仅允许使用单变量多项式”

    我想找到以下两个常数的区间cons1 and cons2我写了下面的代码 from sympy import Poly from sympy import Abs from sympy solvers inequalities import
  • numpy.cov() 返回意外的输出

    我有一个 X 数据集 有 9 个特征和 683 行 683x9 我想获取这个 X 数据集和另一个与 X 具有相同形状的数据集的协方差矩阵 我使用np cov originalData generatedData rowvar False 代
  • 大型数据集上的 Sklearn-GMM

    我有一个很大的数据集 我无法将整个数据放入内存中 我想在这个数据集上拟合 GMM 我可以用吗GMM fit sklearn mixture GMM 重复小批量数据 没有理由重复贴合 只需随机采样您认为机器可以在合理时间内计算的尽可能多的数据
  • 使用Beam IO ReadFromPubSub模块时,可以在Python中提取带有属性的消息吗?尚不清楚是否支持

    尝试将具有存储在 PubSub 中的属性的消息拉取到 Beam 管道中 我想知道是否添加了对 Python 的支持 这就是我无法阅读它们的原因 我看到它存在于Java中 pipeline options PipelineOptions pi
  • Spyder 如何在同一线程的后台运行 asyncio 事件循环(或者确实如此?)

    我已经研究 asyncio 模块 功能几天了 因为我想将它用于我的应用程序的 IO 绑定部分 并且我认为我现在对它的工作原理有一个合理的理解 或者在至少我认为我已经理解了以下内容 任一时刻 任一线程中只能运行一个异步事件循环 一旦一切都设置
  • 在 Python 的 Textmate 中突出显示尾随空格?

    我想做类似的事情this http remysharp com 2008 03 30 trailing white space in textmate Textmate 提示 这样当我在 Python 中编写代码时 尾随空白总是以某种方式突
  • 获取调用者文件的绝对路径

    假设我在不同的目录中有两个文件 1 py 比如说 在C FIRST FOLDER 1 py and 2 py 比如说 在C SECOND FOLDER 2 py 文件1 py进口2 py using sys path insert 0 pa
  • scipysolve_ivp() 中的访问时间步长

    我有一个常微分方程系统 正在使用 scipy 的solve ivp 函数求解 它运行良好 但我在访问每个步骤中使用的时间步时遇到问题 我知道solve ivp 将当前时间传递给用户定义的函数 但我需要使用的时间步长 而不是当前时间 为了解决

随机推荐

  • 如何判断 Bash shell 脚本中是否未定义字符串

    如果我想检查空字符串我会这样做 z mystr 但是如果我想检查变量是否已定义怎么办 或者 Bash 脚本没有区别吗 我认为你所追求的答案是隐含的 如果没有说明的话 Vinko https stackoverflow com users 5
  • 当目标是网络路径时,FileUtils.copyFile() 不会创建文件(在 Windows 上)

    我正在使用 apache commonFileUtils copyFile https commons apache org proper commons io apidocs org apache commons io FileUtils
  • 如何学习 C 调试和最佳实践 [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我用 C 语言编写了一个 Apache 模块 在某些条件下 我可以让它出现段错误 但我不知道为什么 此时 它可能是我的代码 可能是我编
  • 适用于 iOS 应用程序的 WCF 或 Web 服务 (.asmx)?

    我对网络开发和网络服务相当陌生 我一直在使用 C 在 NET 中尝试传统的 Web 服务 asmx 有人建议现在很多服务都使用 WCF 我想知道我是否应该学习 WCF 并使用它与我的 iOS 应用程序进行通信 看起来 WCF 会有一点学习曲
  • 如何在 Next.js 中使用 props 输入页面组件?

    我正在寻找正确的注释Home函数组件的参数 但遇到了一点麻烦 我希望将其注释为 events events Event 但收到 TypeScript 错误 Property events does not exist on type chi
  • 如何将输入元素(文本/选择/单选)的值发送到node.js服务器

    如何接收单选按钮和选择列表的值并将其放在文件名中 这是将使用这些值的函数 router get import function req res next var csvStream fastCsv on data function data
  • Thymeleaf/Spring - 将项目添加到从组合框到表格的列表中

    情况 有一个类称为 工具 这个工具类有一个 分发点 列表 在用户界面上 用户从组合框 也称为选项 HTML 中选择一个项目 分发位置 并将其添加到表中 然后 用户单击表单上的 提交 表格上的所有内容都会绑定到一个列表 Problem Spr
  • Mysql 数据库连接被拒绝

    我正在尝试让我的 Symfony 3 应用程序在 Amazon EC2 实例上以生产模式运行 我将代码放在正确的位置 然后尝试通过运行来设置与 Composer 的任何依赖关系 export SYMFONY ENV prod compose
  • ReactJs 全局辅助函数

    问题 我有很多小的辅助函数 它们不一定需要存在于组件中 或者也许它们可以 但它们会使该组件因大量代码而变得臃肿 我懒惰的一面只是想让这些全部都存在组件可以调用的某种全局函数 我真的很想编写好的 ReactJs 代码 问题 Reactjs 中
  • 从命令行(终端)启动 Pycharm

    我想尝试使用 PyCharm 进行明智的数学开发 通常我运行 eclipse 进行 sage 开发 但现在我想尝试使用 PyCharm 要使用 sage 环境变量启动 eclipse 在命令行中我通常执行以下操作 sage sh cd pa
  • 是否有相对 jQuery 选择器之类的东西?

    我有一个对 jquery 对象的引用this多变的 我正在寻找一种将子选择器应用于对象的方法 我在用着 this find table gt tbody gt tr gt td 但我的目标更像是 Value of this goes her
  • 全新 python 3.3.5 安装时出现 _socket 模块导入错误

    我安装了 python 3 35 并收到此错误 Traceback most recent call last File C Users Augusto PycharmProjects Plot Database py line 48 in
  • 那么属性在 void 类型上不存在,打字稿错误

    Code reset let alert this AlertCtrl create buttons ok this userservice passwordreset this email then res any gt if res s
  • 在 RESTful 架构中移动资源

    我有一个代表流程和活动的 RESTful Web 服务 每项活动都在一个且仅有一个进程内 我想表示当前所在进程与另一个进程之间的活动 移动 操作 我查看了论坛 发现人们建议使用不太标准的 MOVE 操作 其他人建议使用 PUT 但我不确定如
  • VS 2008 中的“多线程调试 DLL”运行时库选项到底在做什么?

    我在 VS 2008 中有一个创建 DLL 的解决方案 然后我在另一个应用程序中使用该 DLL 如果我进入 DLL 项目属性页并更改 DEBUG 构建的以下配置 则构建的 dll 将不再提供所需的功能 如果我把它改回来并重建 DLL 那么
  • 正则表达式中的最大十六进制值

    不使用u标志可以使用的十六进制范围是 x 00 x ff 但与u标记它达到 4 字节值 x 7fffffff x 00000000 x 7fffffff 所以如果我执行下面的代码 preg match x 00000000 x 800000
  • 遵守标准有多重要?

    对于像 C 这样的语言来说 标准的存在是必须的 好的编译器会尽最大努力 至少是大多数好的编译器 来遵守 许多编译器都有语言扩展 其中一些是标准允许的 有些则不允许 后一种例子有2个 gcc 的 typeof 微软的编译器允许纯虚函数声明同时
  • 将原始 Markdown 文本传递给 Jade

    我正在尝试我的第一个 Node jsExpress http expressjs com 应用程序 正如每个程序员都知道的那样 在测试新框架时您应该构建的第一件事就是博客 不管怎样 我想用 Markdown 写文章 然后在视图中渲染它 我看
  • 避免循环内的条件和函数调用

    我有一个看起来像这样的代码 void function int parameter for a big loop double a for a big loop double b double value if parameter 1 va
  • Python + MySQLdb 执行许多

    我正在使用 Python 及其 MySQLdb 模块将一些测量数据导入 Mysql 数据库 我们拥有的数据量相当大 目前大约有 250 MB 的 csv 文件 未来还会有更多 目前我使用cursor execute 导入一些元数据 这不是问