如何使用executemany将Python中的字典列表插入MySQL

2023-11-29

我目前正在使用 MySQL 和 Python 从网络上抓取数据。具体来说,我正在抓取表数据并将其插入到我的数据库中。我当前的解决方案有效,但我觉得它效率极低,如果我不重写代码,很可能会锁定我的数据库。这是我目前使用的(部分代码):

itemBank = []
for row in rows:
    itemBank.append((tempRow2,tempRow1,tempRow3,tempRow4)) #append data

#itemBank List of dictionaries representing data from each 
row of the table. i.e. 
('Item_Name':"Tomatoes",'Item_Price':"10",'Item_In_Stock':"10",'Item_Max':"30")

for item in itemBank:
    tempDict1 = item[0]
    tempDict2 = item[1]
    tempDict3 = item[2]
    tempDict4 = item[3]

    q = """ INSERT IGNORE INTO
         TABLE1   
        (
           Item_Name,
           Item_Price,
           Item_In_Stock,
           Item_Max,
           Observation_Date
         ) VALUES (
           "{0}",
           "{1}",
           "{2}",
           "{3}",
           "{4}"
           )
        """.format(tempDict1['Item_Name'],tempDict2['Item_Price'],tempDict3['Item_In_Stock'],
                   tempDict4['Item_Max'],getTimeExtra)

    try:
        x.execute(q)
        conn.commit()
    except:
        conn.rollback()

执行表的每一行是很麻烦的。我尝试过使用executemany,但我似乎无法弄清楚如何正确访问字典的值。 那么,我该如何使用executemany在这里插入给定我的数据结构的数据库?


itemBank = [] 
for row in rows:
    itemBank.append((
        tempRow2['Item_Name'],
        tempRow1['Item_Price'],
        tempRow3['Item_In_Stock'],
        tempRow4['Item_Max'], 
        getTimeExtra
        )) #append data


q = """ insert ignore into TABLE1 (
        Item_Name, Item_Price, Item_In_Stock, Item_Max, Observation_Date ) 
        values (%s,%s,%s,%s,%s)           
    """

try:
    x.executemany(q, itemBank)
    conn.commit()
except:
    conn.rollback()

希望它能帮助你

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何使用executemany将Python中的字典列表插入MySQL 的相关文章

  • 如何在 Matplotlib 饼图周围绘制箭头以将每个标签指向圆圈中各自的部分?

    我一直在用 Matplotlib 绘制一些图表 我有一个饼图 想要在图表周围绘制箭头 使每个标签都指向图表 我有一个例子 这是我当前的代码 import matplotlib pyplot as plt plt rcParams font
  • 为什么 dataclasses.astuple 返回类属性的深层副本?

    在下面的代码中astuple函数正在执行数据类的类属性的深层复制 为什么它不能产生与函数相同的结果my tuple import copy import dataclasses dataclasses dataclass class Dem
  • 在 Python 中将列表元素作为单独的项目返回

    Stackoverflow 的朋友们大家好 我有一个计算列表的函数 我想单独返回列表的每个元素 如下所示 接收此返回的函数旨在处理未定义数量的参数 def foo my list 1 2 3 4 return 1 2 3 4 列表中的元素数
  • pandas DataFrame.join 的运行时间是多少(大“O”顺序)?

    这个问题更具概念性 理论性 与非常大的数据集的运行时间有关 所以我很抱歉没有一个最小的例子来展示 我有一堆来自两个不同传感器的数据帧 我需要最终将它们连接成两个very来自两个不同传感器的大数据帧 df snsr1 and df snsr2
  • 多输出堆叠回归器

    一次性问题 我正在尝试构建一个多输入堆叠回归器 添加到 sklearn 0 22 据我了解 我必须结合StackingRegressor and MultiOutputRegressor 经过多次尝试 这似乎是正确的顺序 import nu
  • Django Rest Framework 是否有第三方应用程序来自动生成 swagger.yaml 文件?

    我有大量的 API 端点编写在django rest framework并且不断增加和更新 如何创建和维护最新的 API 文档 我当前的版本是 Create swagger yaml文件并以某种方式在每次端点更改时自动生成 然后使用此文件作
  • python multiprocessing 设置生成进程等待

    是否可以生成一些进程并将生成进程设置为等待生成的进程完成 下面是我用过的一个例子 import multiprocessing import time import sys def daemon p multiprocessing curr
  • Python 3d 绘图设置固定色阶

    我正在尝试绘制两个 3d 数组 第一个数组的 z 值在范围内 0 15 0 15 第二个来自 0 001 0 001 当我绘图时 色标自动遵循数据范围 如何设置自定义比例 我不想看到 0 001 的浅色 而应该看到 0 15 的浅色 如何修
  • MongoEngine 查询具有以列表中指定的前缀开头的属性的对象的列表

    我需要在 Mongo 数据库中查询具有以列表中任何前缀开头的特定属性的元素 现在我有一段这样的代码 query mymodel terms term in query terms 并且这会匹配在列表 term 上有一个项目的对象 该列表中的
  • 通过触发器应用表的列权限

    现在 我有一个名为 Members 的表 其中包含内容 分为联系人数据 银行数据 现在 管理员应该能够创建 更新 删除用户 这些用户保存在另一个表中 该表只能访问管理员 用户应该获得自己的 mysql 用户帐户 管理员还应该能够设置权限 例
  • mysql排序和排名语句

    我需要一些 mysql 语句的帮助 我的表 1 有 7 列 表 2 有 8 列 额外的列名为排名 我的语句应该是这样的 从表 1 中选择全部 然后按 用户数 排序 将其插入表 2 中并排名开始 1 2 3 等 table 1 usernam
  • 快速将列的副本添加到 MySQL 表

    我需要一种快速的方法来复制表中的 DATETIME 列并为其指定一个新名称 我的表中有一个名为 myDate 的列 名为 myResults 我需要一个查询来在名为 newDate 的表中创建一个新列 该列的数据与 myDate 列完全相同
  • 当字段是数字时怎么说...在 mongodb 中匹配?

    所以我的结果中有一个名为 城市 的字段 结果已损坏 有时它是一个实际名称 有时它是一个数字 以下代码显示所有记录 db zips aggregate project city substr city 0 1 sort city 1 我需要修
  • pandas - 包含时间序列数据的堆积条形图

    我正在尝试使用时间序列数据在 pandas 中创建堆积条形图 DATE TYPE VOL 0 2010 01 01 Heavy 932 612903 1 2010 01 01 Light 370 612903 2 2010 01 01 Me
  • Python GTK+ 画布

    我目前正在通过 PyGobject 学习 GTK 需要画布之类的东西 我已经搜索了文档 发现两个小部件似乎可以完成这项工作 GtkDrawingArea 和 GtkLayout 我需要一些基本函数 如 fillrect 或 drawline
  • 如何使用 Python 3 检查目录是否包含文件

    我到处寻找这个答案但找不到 我正在尝试编写一个脚本来搜索特定的子文件夹 然后检查它是否包含任何文件 如果包含 则写出该文件夹的路径 我已经弄清楚了子文件夹搜索部分 但检查文件却难倒了我 我发现了有关如何检查文件夹是否为空的多个建议 并且我尝
  • Spider 必须返回 Request、BaseItem、dict 或 None,已“设置”

    我正在尝试从以下位置下载所有产品的图像 我的蜘蛛看起来像 from shopclues items import ImgData import scrapy class multipleImages scrapy Spider name m
  • 内部 while 循环不工作

    这是我项目网页上的代码片段 这里我想显示用户选择的类别 然后想显示属于该类别的主题 在那里 用户可以拥有多个类别 这没有问题 我可以在第一个 while 循环中打印所有这些类别 问题是当我尝试打印主题时 结果只显示一行 但每个类别中有更多主
  • python 对浮点数进行不正确的舍入

    gt gt gt a 0 3135 gt gt gt print 3f a 0 314 gt gt gt a 0 3125 gt gt gt print 3f a 0 312 gt gt gt 我期待 0 313 而不是 0 312 有没有
  • 如何将Python3设置为Mac上的默认Python版本?

    有没有办法将 Python 3 8 3 设置为 macOS Catalina 版本 10 15 2 上的默认 Python 版本 我已经完成的步骤 看看它安装在哪里 ls l usr local bin python 我得到的输出是这样的

随机推荐

  • C++:何时(以及如何)调用 C++ 全局静态构造函数?

    我正在编写一些 C 代码 并且遇到了一个困扰我一段时间的问题 假设我在 Linux 主机上使用 GCC 为 ELF 目标进行编译 全局静态构造函数和析构函数在哪里叫 我听说 crtbegin o 中有一个函数 init crtend o 中
  • 对于 HTML 表单输入字段,disabled="disabled" 和 readonly="readonly" 之间有什么区别?

    我读过一些相关内容 但我似乎找不到任何关于不同浏览器如何处理事物的可靠信息 A readonly元素只是不可编辑 但是当根据form提交 Adisabled元素不可编辑 并且不会在提交时发送 另一个区别是readonly元素可以聚焦 并且在
  • 蓝图 404 错误处理程序不会在蓝图的 url 前缀下激活

    我创建了一个蓝图404错误处理程序 但是 当我转到蓝图前缀下不存在的 url 时 会显示标准 404 页面 而不是我的自定义页面 如何让蓝图正确处理404错误 以下是演示该问题的简短应用程序 导航至http localhost 5000 s
  • CSS 优先级

    我的网页包含 引用的样式表包含 rightColumn margin 0 padding 0 我有一张桌子在rightcolumn我希望单元格有一点填充的 ID 但是 引用的样式表优先于内联样式 我通过视觉和 Firebug 看到了这一点
  • Rmarkdown中嵌入的PDF文档的大小

    我正在尝试将 pdf 文档嵌入到 KnitR 生成的 Rmarkdown 文档中 includepdf 它可以工作 但包含的文档非常小 下面的可重现示例 output pdf document header includes usepack
  • 如何在本地更改navigationBar背景颜色

    我尝试了这种方法 但它是全局的 这是不希望的 struct ExperienceView View init UINavigationBar appearance barTintColor colorLiteral red 0 176470
  • Extjs 4 MVC - App.JS 查找我的控制器的相对路径问题 - 在带有 Spring MVC 的 WEB-INF 下

    也许我的问题的解决方案包含在问题中 但基本上 我是 ExtJs 4 MVC 的新手 在放置 JSP 的位置时遇到一些困难 我正在使用带有请求映射注释的 Spring MVC 我在 ExtJs App JS 查找控制器时遇到相对路径问题 我通
  • Woocommerce 获取下一个/上一个产品相同类别

    我读过这个 Woocommerce 获取下一个 上一个产品 并且还尝试过这个 他们中的任何一个都在 woocommerce 产品类别下工作 有什么想法吗 提前致谢 在您的文件 yourtheme functions php 中添加这些函数
  • 安卓 adb 找不到

    当我从 Eclipse 运行 Android 应用程序时 出现此错误 Unexpected exception Cannot run program home antz Development adt bundle linux sdk pl
  • 将照片保存到相机胶卷并确保它确实保存

    我目前正在以这种方式将 UIImage 保存到相机胶卷中 UIImageWriteToSavedPhotosAlbum finalPicture image nil nil nil 但是 如果用户拒绝我们访问他们的照片的权限 会发生什么 我
  • 背景大小 100% 在 IE8 和 IE7 中不起作用

    我有一个空的 div 其中包含比容器大小更大的背景图像 我通过以下方式解决这个问题background image具有值 100 100 的属性 直到您在 IE8 和 IE7 中打开示例为止都没有问题 有什么解决方案吗 甚至是 javasc
  • 通过Java连接SAP时出现异常

    您能告诉我解决以下问题的解决方案吗 我在尝试通过 Java 类连接 SAP 相关文件时遇到此异常 即使sapjco3 jar在我的图书馆路径中 我在 Windows XP 和 Windows Server 98 中尝试过此操作 java l
  • 扩展不正确的 Typescript 类定义

    我正在使用 NPM 包下一个路线在我的项目中 默认导出是一个具有如下类型定义的类 export default class Routes implements Registry getRequestHandler app Server cu
  • 从 Java 调用 JavaScript 时出错

    我试图从 Java 调用 JavaFx WebView 中的 JavaScript 但我得到 Exception in thread JavaFX Application Thread netscape javascript JSExcep
  • 匹配不以空格开头或结尾的字符串的正则表达式

    我需要一个正则表达式来确保字符串不以空格开头或结尾 我不在乎它的 中间 是否有空格 只是不在开头或结尾 我有一个正则表达式almost works S S 以下是一些结果示例 HELLO Match HEL LO Match HELLO N
  • PHP file_get_contents - 替换所有 链接中的所有 URL

    SOLVED 回答如下 如何 使用 file get contents 从拉取的文件中获取所有 url 该文件可以是动态的并且有多个 URL 用自定义的新 URL 替换所有 url 并将现有的当前 url 添加到末尾作为变量 Example
  • 如何将 CString 和 std::string std::wstring 相互转换?

    CString非常方便 同时std string与STL容器更加兼容 我在用hash map 然而 hash map不支持CStrings 作为键 所以我想转换CString into a std string 写一个CString哈希函数
  • 如何获取 ASP.NET 应用程序的根文件夹

    我正在尝试获取应用程序的根文件夹 我使用了以下代码 但这给出了bin文件夹 但我需要的是应用程序的根文件夹 有可能得到这个吗 This is the full directory and exe name String fullAppNam
  • 这个 php 结构是什么意思:$html->redirect("URL")?

    我在 php 的其他地方看到过这个 gt 我以前学PHP的一本书里有这个 但是从来没有解释过 它有什么作用 如何工作 我知道重定向位 但是 html 变量和重定向函数发生了什么 提前致谢 注意 如果您不知道 对象 是什么 则下一段可能没有意
  • 如何使用executemany将Python中的字典列表插入MySQL

    我目前正在使用 MySQL 和 Python 从网络上抓取数据 具体来说 我正在抓取表数据并将其插入到我的数据库中 我当前的解决方案有效 但我觉得它效率极低 如果我不重写代码 很可能会锁定我的数据库 这是我目前使用的 部分代码 itemBa